🔥 Перевод больших видео и транскрибация русской речи с GigaAM

Это многофункциональная схема для перевода видео на различные языки. Но схему можно использовать как транскрибатор аудио в текст. Модель для транскрибирования аудио GigaAM - это модель от российских разработчиков Giga которая обучалась на Русском языке и с русской речью работает очень, хорошо, а так же быстро и с низким потреблением VRAM (в пределах 8Гб). На выходе вы можете получать текст с таймингами с разными разбивками по словам или предложениями, а так же делать диаризацию говорящих (разделение по говорящим). В схеме используются LLM модели для корректировки транскрибированного текста и перевода. Чтобы LLM хватило контекста, текст разбивается на чанки (части). Загрузчик аудио/видео специально разработан под эту схему, чтобы переваривать многочасовые аудио/видео. Озвучка переведенного текста может быть сделана на любой TTS модели, в этой схеме CosyVoice3 и OmniVoice3. Причем озвучку можно делать в режиме Multi Speak. Для склейки видео и новой аудио дорожки специально разработан для больших видео файлов - работает моментально. Обязательно пользуйте меню, так как видео очень большое. УЗЛЫ 🔗 OreX Nodes: https://github.com/orex2121/comfyui-OreX.git 🔗 GigaAM: https://github.com/orex2121/ComfyUI-GigaAM.git ВИДЕО 📼 Установка ComfyUI: https://rutube.ru/video/702889f3d8f7a1799780b173cf0c7bfb/ 📼 Ollama Manager: https://rutube.ru/video/5efced268785821fdbfb31e8c16edbea/ 📼 LM-Studio и HY-MT модель переводчик: https://rutube.ru/video/cb949c61d7ea5a77e1d048e7ed350889/ 📼 CosyVoice3: https://rutube.ru/video/93aeec4c82a99511f008bfe75ab88fc0/ 🍕 МЕНЮ 00:00 - Кратко о технологии перевода видео и транскрибаторе GigaAM 03:21 - Как установить ComfyUI 03:50 - Нюансы по LLM моделям 05:32 - Установка узлов GigaAM и OreX nodes 08:32 - Обзор Audio Loader, который загружает большие видео и аудио 08:28 - Обзор схемы 10:14 - Обзор узла GigaAM 20:28 - Почему CosyVoice лучше OmniVoice 22:23 - LM-Studio для исправления транскрибации и перевода 30:09 - Ollama для редактирования и перевода 33:20 - Gemini для редактирования и перевода 35:55 - Подготовка субтитров для озвучки 38:00 - CosyVoice для переозвучки 39:13 - CosyVoice Multi Speak переозвучка 42:03 - OmniVoice для переозвучки 42:50 - Склеивание видео и аудио 44:53 - Переводим 6 минутное видео на английский 48:26 - Пример CosyVoice 6мин озвучка En 50:56 - Пример OmniVoice 6мин озвучка En 53:18 - Пример CosyVoice 6мин озвучка Ch 55:27 - Пример OmniVoice 6мин озвучка Ch 56:47 - Тестируем MultiSpeak 01:00:18 - Пример CosyVoice MultiSpeak озвучка En 01:01:39 - Переводим 40 минутное видео на английский 01:04:56 - Пример OmniVoice 40мин озвучка En 01:10:20 - Эпилог 🔥 Мой структурированный курс по "ComfyUI" с моей поддержкой на сайте https://stabledif.ru/comfyui 🔥 Мой структурированный курс по "AUTOMATIC 1111" с моей поддержкой на сайте https://stabledif.ru 🔑 Все ссылки и файлы доступны на Boosty: https://boosty.to/stabledif/posts/ce5d54ed-47e8-4c3c-a81d-267a1620fae8 ✔️Телеграм-канал: https://t.me/stabledif_lesson ✔️ Telegram ЧАТ: https://t.me/stable_dif ✔️VK Prompts: https://vk.com/stabledif