J-MAC: Korpus Buku Audio Berbilang Penutur Bahasa Jepun untuk Sintesis Pertuturan

1. Pengenalan

Kertas kerja ini memperkenalkan J-MAC (Korpus Buku Audio Berbilang Penutur Bahasa Jepun), sebuah korpus pertuturan baharu yang direka untuk memajukan penyelidikan dalam sintesis pertuturan yang ekspresif dan sedar konteks, khususnya untuk aplikasi buku audio. Penulis berhujah bahawa walaupun TTS gaya bacaan telah mencapai kualiti hampir manusia, cabaran seterusnya melibatkan pengendalian konteks rentas ayat yang kompleks, ekspresiviti khusus penutur, dan aliran naratif—ciri-ciri utama narasi buku audio profesional. Kekurangan korpus buku audio berbilang penutur yang berkualiti tinggi, terutamanya untuk bahasa seperti Jepun, dikenal pasti sebagai halangan utama. J-MAC bertujuan untuk mengisi jurang ini dengan menyediakan sumber yang dibina daripada buku audio yang dinarasikan secara profesional, menggunakan saluran pembinaan automatik yang bebas bahasa.

2. Pembinaan Korpus

Pembinaan J-MAC melibatkan saluran tiga peringkat: pengumpulan data, pembersihan, dan penjajaran teks-audio yang tepat.

3. Metodologi Teknikal

Inovasi teras terletak pada saluran automatik, yang meminimumkan usaha manual.

4. Penilaian & Keputusan

Penulis menjalankan penilaian sintesis pertuturan buku audio menggunakan model yang dilatih pada J-MAC. Penemuan utama termasuk:

• Generalisasi Kaedah: Penambahbaikan dalam kaedah sintesis asas (contohnya, model akustik yang lebih baik) meningkatkan keaslian pertuturan sintetik merentas semua penutur dalam korpus.
• Faktor Terjerat: Keaslian pertuturan buku audio yang disintesis sangat dipengaruhi oleh interaksi kompleks antara kaedah sintesis, ciri suara penutur sasaran, dan buku/kandungan khusus yang disintesis. Memisahkan faktor-faktor ini masih menjadi cabaran.

5. Wawasan Utama & Perbincangan

• J-MAC menangani isu kekurangan data kritikal untuk penyelidikan TTS ekspresif dalam bahasa Jepun.
• Saluran pembinaan automatik adalah sumbangan penting, mengurangkan kos dan masa untuk mencipta korpus sedemikian dan berpotensi digunakan untuk bahasa lain.
• Penilaian menekankan bahawa sintesis buku audio bukan sekadar penskalaan TTS ayat tunggal; ia memerlukan pemodelan konteks naratif peringkat tinggi dan identiti penutur.
• Penemuan "jeratan" mencadangkan bahawa metrik dan model penilaian masa depan perlu mengambil kira faktor pelbagai dimensi.

6. Analisis Asal: Perspektif Industri

Wawasan Teras: Kertas kerja J-MAC bukan sekadar tentang set data baharu; ia adalah langkah strategik untuk mengalihkan paradigma TTS daripada penjanaan ujaran terpencil kepada pemodelan naratif holistik. Penulis betul mengenal pasti bahawa titik infleksi nilai seterusnya dalam sintesis pertuturan terletak pada kandungan bentuk panjang dan ekspresif seperti buku audio, podcast, dan naratif interaktif—bidang di mana TTS semasa masih kedengaran robotik dan tidak sedar konteks. Dengan membuka sumber korpus berbilang penutur, mereka bukan sekadar menyediakan data; mereka menetapkan penanda aras dan agenda penyelidikan.

Aliran Logik: Logik mereka sempurna: 1) Data berkualiti tinggi adalah bahan api untuk pembelajaran mendalam. 2) Buku audio profesional adalah piawaian emas untuk pertuturan ekspresif dan koheren secara kontekstual. 3) Penciptaan korpus manual adalah terlalu mahal. Oleh itu, saluran automatik (pemisahan → penjajaran CTC → VAD) adalah satu-satunya penyelesaian yang boleh dikecilkan. Ini mencerminkan pergerakan AI berpusat data yang didukung oleh Andrew Ng, di mana kualiti saluran data adalah sama pentingnya dengan seni bina model.

Kekuatan & Kelemahan: Kekuatan utama adalah kepraktisan saluran dan reka bentuk bebas bahasa. Menggunakan komponen siap seperti model pemisahan sumber (contohnya, berdasarkan seni bina seperti U-Net yang digunakan dalam Demucs) dan ASR berasaskan CTC menjadikannya boleh dihasilkan semula. Walau bagaimanapun, kelemahan kertas kerja ini adalah sentuhan ringannya terhadap masalah "konteks" yang diketengahkannya. Ia menyediakan data (J-MAC) tetapi menawarkan penyelesaian pemodelan baharu yang terhadap untuk memanfaatkan konteks rentas ayat atau memisahkan gaya penutur daripada kandungan. Keputusan penilaian, walaupun memberi wawasan, adalah deskriptif dan bukannya preskriptif. Bagaimana kita sebenarnya memodelkan faktor "terjerat"? Teknik daripada pemindahan gaya dan pembelajaran perwakilan terpisah, seperti dalam CycleGAN atau penyekod automatik variasi, diisyaratkan tetapi tidak diterokai secara mendalam.

Wawasan Boleh Tindak: Bagi pengamal industri, pengajaran adalah dua kali ganda. Pertama, melabur dalam membina atau memperoleh korpus pertuturan bentuk panjang, pelbagai gaya yang serupa—ia akan menjadi pembeza utama. Kedua, keutamaan penyelidikan harus pada seni bina sedar konteks. Ini boleh bermaksud model berasaskan transformer dengan tetingkap konteks yang lebih panjang, atau model hierarki yang mengkodkan prosodi tempatan, gaya penutur, dan arka naratif global secara berasingan. Kerja pasukan seperti Google Brain pada SoundStream atau Microsoft pada VALL-E menunjuk ke arah pendekatan berasaskan kod neural yang boleh diperluaskan dengan isyarat kontekstual yang disediakan oleh J-MAC. Masa depan bukan sekadar mensintesis ayat; ia mensintesis persembahan.

7. Butiran Teknikal & Formulasi Matematik

Proses penjajaran sangat bergantung pada objektif CTC. Untuk jujukan input $\mathbf{x}$ (ciri audio) panjang $T$ dan jujukan label sasaran $\mathbf{l}$ (aksara teks) panjang $U$, di mana $T > U$, CTC memperkenalkan token kosong $\epsilon$ dan mentakrifkan pemetaan banyak-ke-satu $\mathcal{B}$ daripada laluan $\pi$ (panjang $T$) kepada $\mathbf{l}$. Kebarangkalian laluan ialah: $P(\pi|\mathbf{x}) = \prod_{t=1}^{T} y_{\pi_t}^t$, di mana $y_{\pi_t}^t$ ialah kebarangkalian simbol $\pi_t$ pada masa $t$. Kebarangkalian bersyarat jujukan label ialah jumlah semua laluan yang dipetakan kepadanya oleh $\mathcal{B}$: $P(\mathbf{l}|\mathbf{x}) = \sum_{\pi \in \mathcal{B}^{-1}(\mathbf{l})} P(\pi|\mathbf{x})$. Formulasi ini membolehkan model mempelajari penjajaran tanpa data yang telah disegmentasi terlebih dahulu. Dalam saluran J-MAC, model CTC yang telah dilatih terdahulu (contohnya, berdasarkan seni bina seperti DeepSpeech2) menjana penjajaran ini untuk membahagikan audio.

8. Keputusan Eksperimen & Penerangan Carta

Walaupun petikan PDF yang disediakan tidak mengandungi carta eksplisit, keputusan yang diterangkan membayangkan reka bentuk penilaian pelbagai faktor. Carta keputusan hipotesis yang akan menggambarkan penemuan utama mereka ialah plot permukaan 3D atau siri carta bar berkumpulan.

Penerangan Carta: Paksi-y mewakili Skor Pendapat Purata (MOS) untuk keaslian (contohnya, skala 1-5). Paksi-x menyenaraikan kaedah sintesis berbeza (contohnya, Tacotron2, FastSpeech2, model yang dicadangkan). Pengelompokan/paksi-z akan mewakili penutur berbeza daripada J-MAC (Penutur A, B, C) dan/atau buku berbeza (Buku X, Buku Y). Penemuan visual utama ialah ketinggian bar (MOS) tidak mengikut susunan konsisten merentas kumpulan. Contohnya, Kaedah 1 mungkin terbaik untuk Penutur A pada Buku X, tetapi paling teruk untuk Penutur B pada Buku Y, dengan jelas menunjukkan "jeratan kuat" faktor. Bar ralat mungkin menunjukkan pertindihan ketara, menunjukkan cabaran untuk membuat kesimpulan mudah.

9. Kerangka Analisis: Contoh Kes

Kajian Kes: Menilai Model TTS Baharu untuk Buku Audio

Objektif: Tentukan sama ada "Model-Z" menambah baik garis dasar untuk sintesis buku audio menggunakan J-MAC.

Kerangka:

1. Pembahagian Data: Bahagikan J-MAC mengikut buku dan penutur. Pastikan set ujian mengandungi ayat yang tidak dilihat daripada buku yang dilihat dalam latihan (dalam domain) dan buku yang tidak dilihat sama sekali (luar domain).
2. Latihan Model: Latih kedua-dua Garis Dasar (contohnya, FastSpeech2) dan Model-Z pada bahagian latihan yang sama. Gunakan pasangan teks-audio J-MAC.
3. Penilaian Terkawal: Hasilkan pertuturan untuk jujukan teks yang sama merentas semua keadaan ujian (gabungan Penutur x Buku).
4. Metrik:
   • Primer: MOS untuk Keaslian dan Ekspresiviti.
   • Sekunder: Kadar Ralat Perkataan (WER) ASR pada pertuturan sintetik (kebolehfahaman), Skor Kesamaan Penutur (contohnya, menggunakan model pengesahan penutur seperti ECAPA-TDNN).
   • Metrik Kontekstual: Ujian A/B di mana penilai mendengar dua ayat bersintesis berturut-turut dan menilai koheren.
5. Analisis: Lakukan ANOVA atau analisis statistik serupa untuk mengasingkan kesan Model, Penutur, Buku, dan interaksi mereka pada skor MOS. Hipotesis nol ialah "Model-Z tiada kesan bebas daripada Penutur dan Buku."

10. Aplikasi Masa Depan & Hala Tuju Penyelidikan

• Buku Audio Peribadi: Mensintesis buku dengan suara narator kegemaran pengguna atau malah klon suara peribadi.
• Narasi Dinamik untuk Permainan/XR: Menjana dialog dan narasi yang sedar konteks dan ekspresif secara masa nyata untuk media interaktif.
• Aksesibiliti: Mengurangkan masa dan kos untuk menghasilkan buku audio untuk orang kurang upaya penglihatan atau untuk buku dalam bahasa sumber rendah.
• Hala Tuju Penyelidikan:
  1. Pembelajaran Perwakilan Terpisah: Membangunkan model yang secara eksplisit memisahkan kandungan, gaya penutur, emosi, dan nada naratif kepada pembolehubah pendam.
  2. Pemodelan Konteks Panjang: Memanfaatkan varian transformer cekap (contohnya, Longformer, Performer) untuk mengkondisikan sintesis pada keseluruhan perenggan atau bab.
  3. Pemindahan & Kawalan Prosodi: Membolehkan kawalan terperinci terhadap kelajuan, penekanan, dan intonasi merentas petikan panjang, mungkin menggunakan klip audio rujukan sebagai petunjuk gaya.
  4. Pengembangan Rentas Bahasa: Menggunakan saluran pembinaan J-MAC untuk membina korpus serupa untuk bahasa lain, memupuk kajian perbandingan.

11. Rujukan

1. J. Shen, et al., "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions," ICASSP 2018.
2. A. Vaswani, et al., "Attention Is All You Need," NeurIPS 2017.
3. Y. Ren, et al., "FastSpeech: Fast, Robust and Controllable Text to Speech," NeurIPS 2019.
4. J.-Y. Zhu, et al., "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," ICCV 2017 (CycleGAN).
5. A. Défossez, et al., "Demucs: Deep Extractor for Music Sources with extra unlabeled data remixed," arXiv:1909.01174.
6. A. van den Oord, et al., "WaveNet: A Generative Model for Raw Audio," arXiv:1609.03499.
7. J. Kong, et al., "HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis," NeurIPS 2020.
8. N. Zeghidour, et al., "SoundStream: An End-to-End Neural Audio Codec," arXiv:2107.03312.
9. A. Graves, et al., "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks," ICML 2006.
10. Andrew Ng, "Data-Centric AI," DeepLearning.AI.