Meta описала Text-Audiobox для дубляжа и диалогов, где собеседники перебивают друг друга

Что известно

Ключевая техническая идея — модель получает обычный текст и сама учит связь текста со звуком через cross-attention. По описанию Meta, это избавляет от обязательного принудительного выравнивания текста со звуком и отдельного предсказания длительности. Базовая модель имеет 3 млрд параметров; дообучение охватывает кросс-языковой дубляж, full-duplex диалог и эмоциональный full-duplex диалог. Для речи до примерно минуты поддерживается одноразовая генерация, а для длинных фрагментов — схема multi-diffusion.

Авторы пишут, что на своём реальном бенчмарке дубляжа Text-AB заметно превосходит последнюю внутреннюю систему Meta, а в коротких диалогах приближается к человеческим записям. Это результаты самой исследовательской команды и сравнение с внутренней базой, поэтому их нельзя переносить на любой язык, голос или продакшен-сценарий. Страница ведёт к статье на arXiv, но не сообщает о публичном сервисе, API или условиях использования. Следить имеет смысл за воспроизводимыми оценками и тем, как система справляется с согласием владельца голоса и маркировкой синтетического аудио — эти вопросы публикация здесь не раскрывает.

Источник: Meta AI Research, 6 сентября 2026.