J-MAC: Японский многодикторский корпус аудиокниг для синтеза речи

1. Введение

В статье представлен J-MAC (Japanese Multi-speaker Audiobook Corpus) — новый речевой корпус, созданный для продвижения исследований в области выразительного, контекстно-зависимого синтеза речи, в частности для приложений аудиокниг. Авторы утверждают, что хотя синтез речи в стиле чтения достиг почти человеческого качества, следующей границей является обработка сложных, межфразовых контекстов, выразительности, специфичной для диктора, и повествовательного потока — отличительных черт профессионального озвучивания аудиокниг. Отсутствие высококачественных многодикторских корпусов аудиокниг, особенно для таких языков, как японский, определено как ключевое узкое место. J-MAC призван заполнить этот пробел, предоставив ресурс, созданный из профессионально озвученных аудиокниг с использованием автоматизированного, не зависящего от языка конвейера построения.

2. Построение корпуса

Построение J-MAC включает трёхэтапный конвейер: сбор данных, их очистка и точное выравнивание текста и аудио.

2.1 Сбор данных

Аудиокниги отбирались на основе двух основных критериев: 1) Наличие точного эталонного текста (приоритет отдавался романам, не защищённым авторским правом, чтобы избежать ошибок транскрипции ASR для именованных сущностей), и 2) Существование нескольких профессиональных озвучек одной и той же книги для фиксации выразительности, зависящей от диктора. Этот акцент на параллельных записях (одна книга, разные дикторы) является стратегическим выбором, позволяющим проводить контролируемые исследования стиля диктора.

2.2 Очистка и выравнивание данных

Исходное аудио аудиокниги проходит многоэтапный процесс очистки. Сначала разделение вокала и инструментов (например, с помощью таких инструментов, как Spleeter или Open-Unmix) изолирует голос диктора от любой фоновой музыки или звуковых эффектов. Затем Connectionist Temporal Classification (CTC), обычно из предварительно обученной модели ASR, обеспечивает грубое выравнивание между аудиосегментами и соответствующим текстом. Наконец, применяется обнаружение речевой активности (VAD) для уточнения границ речевых сегментов, обеспечивая чистые, точные высказывания, сопоставленные с текстом.

3. Техническая методология

Основное нововведение заключается в автоматизированном конвейере, который сводит к минимуму ручной труд.

3.1 Разделение вокала и инструментов

Этот шаг имеет решающее значение для получения «чистых» речевых данных. В статье подразумевается использование моделей разделения источников для извлечения вокальной дорожки, удаляя неречевые элементы, которые могут ухудшить обучение моделей TTS.

3.2 Выравнивание на основе CTC

Выравнивание CTC используется благодаря его способности обрабатывать последовательности разной длины без явной сегментации. Функция потерь CTC, $L_{CTC} = -\log P(\mathbf{y}|\mathbf{x})$, где $\mathbf{x}$ — акустический вход, а $\mathbf{y}$ — целевая последовательность меток, позволяет модели изучать соответствие между аудиокадрами и текстовыми символами/фонемами.

3.3 Уточнение с помощью VAD

После выравнивания CTC алгоритмы VAD (например, на основе порогов энергии или нейронных сетей) используются для обнаружения точных точек начала и конца речи в грубо выровненных сегментах, удаляя начальные/конечные паузы или шум.

4. Оценка и результаты

Авторы провели оценку синтеза речи для аудиокниг с использованием моделей, обученных на J-MAC. Ключевые выводы включают:

Обобщение метода: Улучшения в базовом методе синтеза (например, лучшие акустические модели) повысили естественность синтетической речи для всех дикторов в корпусе.
Переплетённые факторы: Естественность синтезированной речи аудиокниг сильно зависела от сложного взаимодействия между методом синтеза, голосовыми характеристиками целевого диктора и конкретной книгой/контентом, который синтезировался. Разделение этих факторов остаётся сложной задачей.

Инсайт оценки

Ключевой результат: Качество синтеза существенно зависит от взаимодействия Диктор x Метод x Контент.

5. Ключевые выводы и обсуждение

J-MAC решает критическую проблему нехватки данных для исследований выразительного TTS на японском языке.
Автоматизированный конвейер построения является значительным вкладом, снижая стоимость и время создания таких корпусов и потенциально применим к другим языкам.
Оценка подчёркивает, что синтез аудиокниг — это не просто масштабирование однофразового TTS; он требует моделирования контекста повествования более высокого уровня и идентичности диктора.
Вывод о «переплетении» факторов предполагает, что будущие метрики оценки и модели должны учитывать многомерные факторы.

6. Оригинальный анализ: отраслевая перспектива

Ключевой инсайт: Статья о J-MAC — это не просто новый набор данных; это стратегический ход для смены парадигмы TTS с генерации изолированных высказываний на целостное моделирование повествования. Авторы верно определяют, что следующая точка перелома в ценности синтеза речи лежит в длинном, выразительном контенте, таком как аудиокниги, подкасты и интерактивные нарративы — областях, где текущий TTS всё ещё звучит роботизированно и без учёта контекста. Открывая многодикторский корпус, они не просто предоставляют данные; они устанавливают эталон и определяют повестку исследований.

Логический поток: Их логика безупречна: 1) Высококачественные данные — это топливо для глубокого обучения. 2) Профессиональные аудиокниги — это золотой стандарт выразительной, контекстно-согласованной речи. 3) Ручное создание корпуса непомерно дорого. Следовательно, автоматизированный конвейер (разделение → выравнивание CTC → VAD) — единственное масштабируемое решение. Это отражает движение к центрированному на данных ИИ, которое продвигает Эндрю Ын, где качество конвейера данных так же важно, как и архитектура модели.

Сильные стороны и недостатки: Основная сила — практичность и независимый от языка дизайн конвейера. Использование готовых компонентов, таких как модели разделения источников (например, на основе архитектур, подобных U-Net, используемой в Demucs) и ASR на основе CTC, делает его воспроизводимым. Однако недостаток статьи — её поверхностное рассмотрение проблемы «контекста», которую она же и выделяет. Она предоставляет данные (J-MAC), но предлагает ограниченные новые моделирующие решения для использования межфразового контекста или разделения стиля диктора и контента. Результаты оценки, хотя и информативны, но скорее описательные, чем предписывающие. Как нам на самом деле моделировать «переплетённые» факторы? Техники из трансфера стиля и обучения разделённым представлениям, такие как в CycleGAN или вариационных автоэнкодерах, упоминаются, но не исследуются глубоко.

Практические выводы: Для отраслевых специалистов вывод двоякий. Во-первых, инвестируйте в создание или приобретение аналогичных длинных, многостилевых речевых корпусов — это станет ключевым отличием. Во-вторых, приоритетом исследований должны быть контекстно-зависимые архитектуры. Это могут быть трансформерные модели с гораздо более длинными окнами контекста или иерархические модели, которые отдельно кодируют локальную просодию, стиль диктора и глобальную повествовательную арку. Работа таких команд, как Google Brain над SoundStream или Microsoft над VALL-E, указывает на подходы на основе нейронных кодеков, которые можно расширить с помощью контекстных сигналов, предоставляемых J-MAC. Будущее — не просто в синтезе предложения; оно в синтезе исполнения.

7. Технические детали и математическая формулировка

Процесс выравнивания в значительной степени опирается на цель CTC. Для входной последовательности $\mathbf{x}$ (аудио-признаков) длины $T$ и целевой последовательности меток $\mathbf{l}$ (текстовых символов) длины $U$, где $T > U$, CTC вводит пустой токен $\epsilon$ и определяет отображение «многие к одному» $\mathcal{B}$ с пути $\pi$ (длины $T$) на $\mathbf{l}$. Вероятность пути: $P(\pi|\mathbf{x}) = \prod_{t=1}^{T} y_{\pi_t}^t$, где $y_{\pi_t}^t$ — вероятность символа $\pi_t$ в момент времени $t$. Условная вероятность последовательности меток — это сумма по всем путям, отображаемым на неё через $\mathcal{B}$: $P(\mathbf{l}|\mathbf{x}) = \sum_{\pi \in \mathcal{B}^{-1}(\mathbf{l})} P(\pi|\mathbf{x})$. Эта формулировка позволяет модели изучать выравнивание без предварительно сегментированных данных. В конвейере J-MAC предварительно обученная модель CTC (например, на основе архитектуры, подобной DeepSpeech2) генерирует эти выравнивания для разбиения аудио на фрагменты.

8. Экспериментальные результаты и описание диаграмм

Хотя предоставленный отрывок PDF не содержит явных диаграмм, описанные результаты подразумевают многофакторный дизайн оценки. Гипотетическая диаграмма результатов, которая иллюстрировала бы их ключевой вывод, была бы 3D-поверхностным графиком или серией сгруппированных столбчатых диаграмм.

Описание диаграммы: Ось Y представляет собой среднюю оценку мнений (MOS) за естественность (например, шкала 1-5). Ось X перечисляет различные методы синтеза (например, Tacotron2, FastSpeech2, предлагаемая модель). Группировка/ось Z представляла бы разных дикторов из J-MAC (Диктор A, B, C) и/или разные книги (Книга X, Книга Y). Ключевым визуальным выводом было бы то, что высоты столбцов (MOS) не следуют единообразному порядку по группам. Например, Метод 1 может быть лучшим для Диктора A в Книге X, но худшим для Диктора B в Книге Y, наглядно демонстрируя «сильное переплетение» факторов. Полосы погрешностей, вероятно, показали бы значительное перекрытие, указывая на сложность простых выводов.

9. Структура анализа: пример

Пример: Оценка новой модели TTS для аудиокниг

Цель: Определить, улучшает ли «Модель-Z» базовый уровень для синтеза аудиокниг с использованием J-MAC.

Структура:

Разделение данных: Разделите J-MAC по книгам и дикторам. Убедитесь, что тестовые наборы содержат невидимые предложения из книг, представленных в обучении (внутри домена), и полностью невидимые книги (вне домена).
Обучение модели: Обучите как базовую модель (например, FastSpeech2), так и Модель-Z на одном и том же обучающем разделе. Используйте пары текст-аудио J-MAC.
Контролируемая оценка: Сгенерируйте речь для идентичных текстовых последовательностей во всех тестовых условиях (комбинации Диктор x Книга).
Метрики:
- Основные: MOS за Естественность и Выразительность.
- Вторичные: Частота ошибок по словам (WER) ASR на синтетической речи (разборчивость), Оценка сходства с диктором (например, с использованием модели верификации диктора, такой как ECAPA-TDNN).
- Контекстная метрика: A/B-тест, где оценщики слушают два последовательных синтезированных предложения и оценивают связность.
Анализ: Проведите дисперсионный анализ (ANOVA) или аналогичный статистический анализ, чтобы изолировать влияние Модели, Диктора, Книги и их взаимодействий на оценки MOS. Нулевая гипотеза будет: «Модель-Z не оказывает независимого от Диктора и Книги эффекта».

Эта структура напрямую решает проблему переплетения, выделенную в статье.

10. Будущие применения и направления исследований

Персонализированные аудиокниги: Синтез книг голосом любимого диктора пользователя или даже личного голосового клона.
Динамическое повествование для игр/XR: Генерация контекстно-зависимых, выразительных диалогов и повествования в реальном времени для интерактивных медиа.
Доступность: Кардинальное сокращение времени и стоимости производства аудиокниг для слабовидящих или для книг на языках с ограниченными ресурсами.
Направления исследований:
1. Обучение разделённым представлениям: Разработка моделей, которые явно разделяют контент, стиль диктора, эмоции и повествовательный тон на латентные переменные.
2. Моделирование длинного контекста: Использование эффективных вариантов трансформеров (например, Longformer, Performer) для кондиционирования синтеза на целых абзацах или главах.
3. Трансфер и контроль просодии: Обеспечение детального контроля над темпом, акцентами и интонацией в длинных отрывках, возможно, с использованием референсных аудиоклипов в качестве промптов стиля.
4. Кросс-лингвистическое расширение: Применение конвейера построения J-MAC для создания аналогичных корпусов для других языков, способствуя сравнительным исследованиям.

11. Ссылки

J. Shen, et al., "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions," ICASSP 2018.
A. Vaswani, et al., "Attention Is All You Need," NeurIPS 2017.
Y. Ren, et al., "FastSpeech: Fast, Robust and Controllable Text to Speech," NeurIPS 2019.
J.-Y. Zhu, et al., "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," ICCV 2017 (CycleGAN).
A. Défossez, et al., "Demucs: Deep Extractor for Music Sources with extra unlabeled data remixed," arXiv:1909.01174.
A. van den Oord, et al., "WaveNet: A Generative Model for Raw Audio," arXiv:1609.03499.
J. Kong, et al., "HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis," NeurIPS 2020.
N. Zeghidour, et al., "SoundStream: An End-to-End Neural Audio Codec," arXiv:2107.03312.
A. Graves, et al., "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks," ICML 2006.
Andrew Ng, "Data-Centric AI," DeepLearning.AI.