Linly-Dubbing — открытый проект Kedreamix для перевода и озвучки видео. Он объединяет несколько моделей и инструментов в цепочку: распознать речь, перевести текст, создать новую звуковую дорожку и собрать ролик. Это вариант для тех, кто готов настраивать окружение и разбираться в моделях, языках и правах на материалы.
Открыть Linly-Dubbing на GitHub
Содержание
Как устроена работа с видео
В основной цепочке Demucs отделяет голос от остального звука, WhisperX или FunASR преобразует речь в текст, затем выполняются перевод и синтез озвучки. На последнем этапе FFmpeg собирает видео. В коде предусмотрены MP4, субтитры SRT и добавление фоновой музыки.
Такое разделение позволяет выбирать инструменты для отдельных этапов. Оно же означает, что удачная расшифровка не гарантирует хороший перевод и естественное звучание. Перед большим роликом разумно выбрать короткий фрагмент и оценить каждую часть результата.
Что нужно для локального запуска
README описывает окружение Python 3.10, PyTorch 2.3.1, CUDA 11.8 или 12.1 и FFmpeg 7.0.2. Это пример конфигурации автора, а не универсальный минимальный набор. Подтверждённых требований к объёму оперативной памяти, видеопамяти и месту на диске здесь нет; нагрузка зависит от моделей и длины видео.
WebUI можно запустить на своём компьютере. Для перевода предусмотрен локальный Qwen1.5-4B-Chat, но также доступны внешние сервисы; EdgeTTS использует отдельный клиент. Поэтому локальный интерфейс не означает, что все этапы проходят без сети. Условия передачи данных и стоимость зависят от выбранных подключений.
Озвучка и клонирование голоса
В диспетчере синтеза подключены XTTS, CosyVoice и EdgeTTS. Для клонирования важны не только возможности модели, но и право использовать образец: берите собственный голос либо запись с разрешением его владельца. README отдельно требует разрешения автора или правообладателя на исходные материалы. Лицензия программы не предоставляет права на чужой голос и видео.
Можно ли получить русский дубляж
Базовая XTTS-v2 поддерживает русский, и в адаптере проекта есть соответствие Russian → ru. Однако штатные списки целевого перевода и озвучки WebUI не предлагают Russian. Интерфейс преимущественно китайский. Возможности одной модели нельзя автоматически считать поддержкой русского дубляжа через стандартную форму.
Бесплатный код и отдельные лицензии моделей
Условия приведены на 4 ноября 2026 года. Код Linly-Dubbing доступен бесплатно под Apache-2.0; использование своего оборудования и платных API может создавать расходы. У зависимостей отдельные правила: код Coqui TTS использует MPL-2.0, код CosyVoice — Apache-2.0, у Qwen1.5-4B-Chat указана tongyi-qianwen-research.
Особенно важна лицензия весов XTTS-v2: Coqui Public Model License 1.0.0 разрешает некоммерческое использование модели и результатов. Открытый код основной программы не отменяет это ограничение. Для коммерческого ролика нужно отдельно оценить условия всей выбранной цепочки.
Что известно о синхронизации губ
README связывает lip-sync с отдельным Linly-Talker, а интеграция остаётся в списке задач. Готовая синхронизация губ в изученной основной цепочке не подтверждена. В новости о Linly-Dubbing есть обзор общей идеи проекта; выбирать его стоит с учётом текущих ограничений.
Частые вопросы
Нужна ли подписка на Linly-Dubbing?
Код распространяется бесплатно. Отдельные API, оборудование и лицензии моделей требуют самостоятельной оценки расходов и условий.
Все данные останутся на компьютере?
Это зависит от выбранных модулей. Внешние переводчики и сетевой синтез могут передавать данные провайдерам.
Можно ли сразу использовать XTTS-v2 в платном проекте?
Нельзя выводить такое разрешение из Apache-2.0 Linly-Dubbing: опубликованная лицензия весов XTTS-v2 ограничена некоммерческим использованием.



