J-MAC: 음성 합성을 위한 일본어 다중 화자 오디오북 코퍼스

1. 서론

본 논문은 표현적이고 문맥을 인지하는 음성 합성 연구, 특히 오디오북 응용을 발전시키기 위해 설계된 새로운 음성 코퍼스인 J-MAC (Japanese Multi-speaker Audiobook Corpus)를 소개합니다. 저자들은 낭독 스타일 TTS(Text-to-Speech)는 인간 수준에 근접한 품질을 달성했지만, 다음 도전 과제는 전문 오디오북 낭독의 특징인 복잡한 문장 간 문맥, 화자 특유의 표현성, 내러티브 흐름을 처리하는 것이라고 주장합니다. 특히 일본어와 같은 언어를 위한 고품질 다중 화자 오디오북 코퍼스의 부족이 주요 병목 현상으로 지적됩니다. J-MAC은 전문적으로 낭독된 오디오북을 기반으로 구축되고, 자동화된 언어 독립적 구축 파이프라인을 사용하여 이 격차를 메우기 위한 자원을 제공하는 것을 목표로 합니다.

2. 코퍼스 구축

J-MAC의 구축은 데이터 수집, 정제, 정밀한 텍스트-오디오 정렬의 세 단계 파이프라인을 포함합니다.

3. 기술적 방법론

핵심 혁신은 수작업을 최소화하는 자동화 파이프라인에 있습니다.

4. 평가 및 결과

저자들은 J-MAC으로 훈련된 모델을 사용하여 오디오북 음성 합성 평가를 수행했습니다. 주요 결과는 다음과 같습니다:

• 방법 일반화: 기본 합성 방법의 개선 (예: 더 나은 음향 모델)은 코퍼스 내 모든 화자에 대한 합성 음성의 자연스러움을 향상시켰습니다.
• 뒤엉킨 요인: 합성된 오디오북 음성의 자연스러움은 합성 방법, 목표 화자의 음성 특성, 합성되는 특정 책/내용 간의 복잡한 상호작용에 의해 강하게 영향을 받았습니다. 이러한 요인들을 분리하는 것은 여전히 과제로 남아 있습니다.

5. 주요 통찰 및 논의

• J-MAC은 일본어 표현적 TTS 연구를 위한 중요한 데이터 부족 문제를 해결합니다.
• 자동화된 구축 파이프라인은 이러한 코퍼스 생성의 비용과 시간을 줄이고, 잠재적으로 다른 언어에도 적용 가능하다는 점에서 중요한 기여입니다.
• 평가는 오디오북 합성이 단일 문장 TTS의 단순한 확장이 아니라, 더 높은 수준의 내러티브 문맥과 화자 정체성을 모델링해야 함을 강조합니다.
• "뒤엉킴" 발견은 향후 평가 지표와 모델이 다차원적 요인들을 고려해야 함을 시사합니다.

6. 원본 분석: 산업 관점

핵심 통찰: J-MAC 논문은 단순히 새로운 데이터셋에 관한 것이 아닙니다. 이는 TTS 패러다임을 고립된 발화 생성에서 전체적 내러티브 모델링으로 전환하기 위한 전략적 움직임입니다. 저자들은 음성 합성의 다음 가치 변곡점이 오디오북, 팟캐스트, 인터랙티브 내러티브와 같은 장편 표현적 콘텐츠에 있으며, 이 분야에서 현재 TTS는 여전히 로봇 같고 문맥을 고려하지 못한다고 정확히 지적합니다. 다중 화자 코퍼스를 오픈소스화함으로써, 그들은 단순히 데이터를 제공하는 것이 아니라 벤치마크와 연구 의제를 설정하고 있습니다.

논리적 흐름: 그들의 논리는 흠잡을 데 없습니다: 1) 고품질 데이터는 딥러닝의 연료입니다. 2) 전문 오디오북은 표현적이고 문맥적으로 일관된 음성의 황금 표준입니다. 3) 수동 코퍼스 생성은 엄청나게 비쌉니다. 따라서 자동화 파이프라인 (분리 → CTC 정렬 → VAD)이 유일한 확장 가능한 해결책입니다. 이는 앤드류 응이 주창한 데이터 중심 AI 운동을 반영하며, 여기서 데이터 파이프라인의 품질은 모델 아키텍처만큼 중요합니다.

강점과 결점: 주요 강점은 파이프라인의 실용성과 언어 독립적 설계입니다. Demucs에서 사용된 U-Net과 같은 아키텍처를 기반으로 한 음원 분리 모델 및 CTC 기반 ASR과 같은 기성 구성 요소를 사용함으로써 재현 가능성을 높였습니다. 그러나 논문의 결점은 강조한 "문맥" 문제에 대한 접근이 가볍다는 점입니다. 데이터(J-MAC)는 제공하지만, 문장 간 문맥을 활용하거나 화자 스타일을 내용으로부터 분리하기 위한 새로운 모델링 솔루션은 제한적으로 제시합니다. 평가 결과는 통찰적이지만, 규범적이라기보다는 서술적입니다. 실제로 "뒤엉킨" 요인들을 어떻게 모델링할까요? CycleGAN이나 변분 오토인코더와 같은 스타일 전이 및 분리 표현 학습의 기술이 암시되지만 깊이 탐구되지는 않았습니다.

실행 가능한 통찰: 산업 실무자들에게 얻을 수 있는 교훈은 두 가지입니다. 첫째, 유사한 장편 다중 스타일 음성 코퍼스를 구축하거나 획득하는 데 투자하십시오. 이는 주요 차별화 요소가 될 것입니다. 둘째, 연구 우선순위는 문맥 인지 아키텍처에 두어야 합니다. 이는 훨씬 더 긴 문맥 창을 가진 트랜스포머 기반 모델, 또는 지역적 운율, 화자 스타일, 글로벌 내러티브 흐름을 별도로 인코딩하는 계층적 모델을 의미할 수 있습니다. Google Brain 팀의 SoundStream이나 Microsoft의 VALL-E와 같은 작업은 J-MAC이 제공하는 문맥적 단서로 확장될 수 있는 신경 코덱 기반 접근법을 지향합니다. 미래는 단순히 문장을 합성하는 것이 아니라, 공연을 합성하는 것입니다.

7. 기술적 상세 및 수학적 공식화

정렬 과정은 CTC 목적 함수에 크게 의존합니다. 길이 $T$의 입력 시퀀스 $\mathbf{x}$ (오디오 특징)와 길이 $U$의 목표 레이블 시퀀스 $\mathbf{l}$ (텍스트 문자)에 대해 ($T > U$), CTC는 공백 토큰 $\epsilon$을 도입하고 경로 $\pi$ (길이 $T$)에서 $\mathbf{l}$로의 다대일 매핑 $\mathcal{B}$를 정의합니다. 경로의 확률은 다음과 같습니다: $P(\pi|\mathbf{x}) = \prod_{t=1}^{T} y_{\pi_t}^t$, 여기서 $y_{\pi_t}^t$는 시간 $t$에서 심볼 $\pi_t$의 확률입니다. 레이블 시퀀스의 조건부 확률은 $\mathcal{B}$에 의해 매핑되는 모든 경로의 합입니다: $P(\mathbf{l}|\mathbf{x}) = \sum_{\pi \in \mathcal{B}^{-1}(\mathbf{l})} P(\pi|\mathbf{x})$. 이 공식화는 사전 분할된 데이터 없이도 모델이 정렬을 학습할 수 있게 합니다. J-MAC 파이프라인에서는 사전 훈련된 CTC 모델 (예: DeepSpeech2와 유사한 아키텍처 기반)이 이러한 정렬을 생성하여 오디오를 청크로 나눕니다.

8. 실험 결과 및 차트 설명

제공된 PDF 발췌문에 명시적인 차트는 포함되어 있지 않지만, 설명된 결과는 다중 요인 평가 설계를 암시합니다. 그들의 핵심 발견을 설명할 가상의 결과 차트는 3D 표면 플롯 또는 일련의 그룹화된 막대 차트가 될 것입니다.

차트 설명: y축은 자연스러움에 대한 평균 의견 점수(MOS)를 나타냅니다 (예: 1-5 척도). x축은 다른 합성 방법들을 나열합니다 (예: Tacotron2, FastSpeech2, 제안 모델). 그룹화/z축은 J-MAC의 다른 화자들 (화자 A, B, C) 및/또는 다른 책들 (책 X, 책 Y)을 나타냅니다. 핵심 시각적 발견은 막대의 높이(MOS)가 그룹 간에 일관된 순서를 따르지 않는다는 것입니다. 예를 들어, 방법 1은 화자 A와 책 X에 대해서는 최고일 수 있지만, 화자 B와 책 Y에 대해서는 최악일 수 있으며, 이는 요인들의 "강한 뒤엉킴"을 생생하게 보여줍니다. 오차 막대는 상당한 중첩을 보여줄 가능성이 높으며, 이는 단순한 결론을 도출하기 어려움을 나타냅니다.

9. 분석 프레임워크: 예시 사례

사례 연구: 오디오북을 위한 새로운 TTS 모델 평가

목적: "Model-Z"가 J-MAC을 사용한 오디오북 합성에서 기준선을 개선하는지 확인합니다.

프레임워크:

1. 데이터 분할: J-MAC을 책과 화자별로 분할합니다. 테스트 세트가 훈련에서 본 책의 보지 못한 문장 (도메인 내)과 완전히 보지 못한 책 (도메인 외)을 포함하도록 합니다.
2. 모델 훈련: 기준선 (예: FastSpeech2)과 Model-Z를 동일한 훈련 분할로 훈련시킵니다. J-MAC 텍스트-오디오 쌍을 사용합니다.
3. 통제 평가: 모든 테스트 조건 (화자 x 책 조합)에서 동일한 텍스트 시퀀스에 대한 음성을 생성합니다.
4. 지표:
   • 주요 지표: 자연스러움과 표현성에 대한 MOS.
   • 부차적 지표: 합성 음성에 대한 ASR의 단어 오류율(WER) (이해도), 화자 유사도 점수 (예: ECAPA-TDNN과 같은 화자 검증 모델 사용).
   • 문맥적 지표: 평가자가 연속된 두 개의 합성 문장을 듣고 일관성을 평가하는 A/B 테스트.
5. 분석: MOS 점수에 대한 모델, 화자, 책 및 그 상호작용의 효과를 분리하기 위해 ANOVA 또는 유사한 통계 분석을 수행합니다. 귀무가설은 "Model-Z는 화자와 책과 독립적으로 효과가 없다"일 것입니다.

10. 미래 응용 및 연구 방향

• 개인화된 오디오북: 사용자가 좋아하는 내레이터의 목소리 또는 심지어 개인 음성 클론으로 책을 합성합니다.
• 게임/XR을 위한 동적 내레이션: 인터랙티브 미디어를 위해 실시간으로 문맥을 인지하고 표현적인 대화와 내레이션을 생성합니다.
• 접근성: 시각 장애인이나 저자원 언어의 책을 위한 오디오북 제작 시간과 비용을 획기적으로 줄입니다.
• 연구 방향:
  1. 분리 표현 학습: 내용, 화자 스타일, 감정, 내러티브 톤을 잠재 변수로 명시적으로 분리하는 모델 개발.
  2. 장문 문맥 모델링: 효율적인 트랜스포머 변형 (예: Longformer, Performer)을 활용하여 전체 단락이나 장에 대한 합성을 조건화합니다.
  3. 운율 전이 및 제어: 장문에 걸쳐 속도, 강세, 억양에 대한 세밀한 제어를 가능하게 하며, 참조 오디오 클립을 스타일 프롬프트로 사용할 수 있습니다.
  4. 교차 언어 확장: J-MAC 구축 파이프라인을 적용하여 다른 언어에 대한 유사 코퍼스를 구축하고 비교 연구를 촉진합니다.

11. 참고문헌

1. J. Shen, 외, "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions," ICASSP 2018.
2. A. Vaswani, 외, "Attention Is All You Need," NeurIPS 2017.
3. Y. Ren, 외, "FastSpeech: Fast, Robust and Controllable Text to Speech," NeurIPS 2019.
4. J.-Y. Zhu, 외, "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," ICCV 2017 (CycleGAN).
5. A. Défossez, 외, "Demucs: Deep Extractor for Music Sources with extra unlabeled data remixed," arXiv:1909.01174.
6. A. van den Oord, 외, "WaveNet: A Generative Model for Raw Audio," arXiv:1609.03499.
7. J. Kong, 외, "HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis," NeurIPS 2020.
8. N. Zeghidour, 외, "SoundStream: An End-to-End Neural Audio Codec," arXiv:2107.03312.
9. A. Graves, 외, "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks," ICML 2006.
10. Andrew Ng, "Data-Centric AI," DeepLearning.AI.