有聲書韻律分析：用於增強文字轉語音的NLP模型

目錄

1. 簡介與概述

本研究論文《有聲書韻律分析》旨在解決現代文字轉語音系統的一個關鍵缺陷：無法複製人類朗讀有聲書所特有的富有表現力與戲劇性的發聲特徵。雖然商用TTS在一般語音上已達到高度的自然度，但在處理富含對話、情感與描述的敘事文本時卻表現不佳。其核心論點是，可以利用更高階的自然語言處理分析——特別是針對角色識別、對話與敘事結構——來預測韻律特徵（音高、音量、語速），從而顯著提升合成有聲書的品質。

本研究提出了一個包含93組對齊書籍-有聲書配對的新穎資料集，並證明在此資料集上訓練的模型，在與人類韻律模式的相關性上，優於最先進的商用TTS基準（Google Cloud TTS）。

2. 方法論與資料集

2.1 資料集建構

本研究的基礎是一個精心策劃的資料集，包含93部小說及其對應的人聲朗讀有聲書。該資料集涵蓋1,806個章節，並在文本與音訊之間進行了句子層級的對齊，以實現精確分析。此資料集已公開提供，為語音與NLP社群提供了寶貴的資源。對齊過程對於從文本中為每個句子擷取準確的韻律標籤（音高、音量、語速）至關重要。

2.2 韻律屬性擷取

從對齊的有聲書中，在句子層級擷取三個核心韻律屬性：

• 音高（F0）： 基頻，表示聲帶振動速率。以赫茲（Hz）為單位。
• 音量（強度/能量）： 語音訊號的振幅或響度。以分貝（dB）為單位。
• 語速（說話速率）： 表達的速度，通常以每秒音節數衡量。

這些屬性作為預測模型的目標變數。

2.3 模型架構

主要模型是一個建基於MPNet（用於語言理解的遮罩與置換預訓練）句子嵌入的長短期記憶網路。MPNet為輸入文本提供了豐富的上下文表示。LSTM層則對敘事中的序列依賴性進行建模，以預測音高、音量和語速的連續值。選擇此架構是因為其能夠捕捉對敘事理解至關重要的長距離上下文線索。

3. 主要發現與分析

3.1 角色層級韻律模式

一個重要的實證發現是，人類朗讀者會根據角色屬性與敘事上下文，系統性地調節韻律。分析顯示：

• 在31部兩位主角性別不同的書籍中，有21部的朗讀者使用較低的音高與較高的音量來詮釋男性角色。
• 與對話相比，朗讀者一致地在敘事段落中使用較低的音高，與角色性別無關。

這量化了專業朗讀者所使用的隱含表演規則，為模型學習提供了清晰的訊號。

3.2 模型效能 vs. 商用TTS

與Google Cloud文字轉語音的預設輸出相比，所提出模型預測的韻律屬性與人類朗讀的相關性顯著更高。

• 音高： 在測試集的24部書籍中的22部，模型的預測與人類朗讀的相關性更佳。
• 音量： 在24部書籍中的23部，模型的預測相關性更佳。

這證明了模型在捕捉通用TTS系統所忽略的細微人類韻律模式方面的有效性。

4. 技術實作

4.1 數學公式化

韻律預測任務被定義為一個迴歸問題。給定一個由MPNet嵌入 $\mathbf{e}_S$ 表示的輸入句子 $S$，由參數 $\theta$ 參數化的模型 $f_\theta$ 預測一個韻律向量 $\mathbf{p}$： $$\mathbf{p} = [\hat{pitch}, \hat{volume}, \hat{rate}]^T = f_\theta(\mathbf{e}_S)$$ 模型訓練的目標是最小化其預測值 $\hat{\mathbf{p}}$ 與從人聲音訊擷取的真實韻律值 $\mathbf{p}_{gt}$ 之間的均方誤差損失： $$\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \| \hat{\mathbf{p}}_i - \mathbf{p}_{gt,i} \|^2_2$$

4.2 LSTM架構細節

核心序列模型是一個標準的LSTM單元。在每個步驟 $t$（對應一個句子），它根據輸入 $\mathbf{x}_t$（MPNet嵌入）和先前的狀態更新其隱藏狀態 $\mathbf{h}_t$ 和細胞狀態 $\mathbf{c}_t$： $$\mathbf{i}_t = \sigma(\mathbf{W}_{xi}\mathbf{x}_t + \mathbf{W}_{hi}\mathbf{h}_{t-1} + \mathbf{b}_i)$$ $$\mathbf{f}_t = \sigma(\mathbf{W}_{xf}\mathbf{x}_t + \mathbf{W}_{hf}\mathbf{h}_{t-1} + \mathbf{b}_f)$$ $$\mathbf{o}_t = \sigma(\mathbf{W}_{xo}\mathbf{x}_t + \mathbf{W}_{ho}\mathbf{h}_{t-1} + \mathbf{b}_o)$$ $$\tilde{\mathbf{c}}_t = \tanh(\mathbf{W}_{xc}\mathbf{x}_t + \mathbf{W}_{hc}\mathbf{h}_{t-1} + \mathbf{b}_c)$$ $$\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$$ $$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{c}_t)$$ 其中 $\sigma$ 是sigmoid函數，$\odot$ 表示元素乘法，$\mathbf{W}$ 和 $\mathbf{b}$ 是可學習參數。最終的隱藏狀態 $\mathbf{h}_t$ 通過一個全連接層，以產生三維的韻律預測。

5. 實驗結果

5.1 相關性指標與圖1

主要的評估指標是預測的韻律輪廓與人類朗讀的韻律輪廓在整個章節中的相關係數（例如皮爾森相關係數 r）。論文中的圖1呈現了一個點圖，比較了所提出系統與Google Cloud TTS在24本測試書籍上與人類朗讀的相關性。

• 圖表說明（圖1a - 音高）： x軸代表不同的書籍。每本書有兩個點：一個代表所提出模型的音高與人類朗讀的相關性，另一個代表Google TTS的相關性。該圖直觀地顯示，對於絕大多數書籍，模型的點（可能以不同顏色標示）高於Google的點，定量地支持了22/24的聲明。
• 圖表說明（圖1b - 音量）： 一個類似的音量相關性點圖，顯示所提出模型的表現更具優勢，對應於23/24的結果。

這些圖表為模型模仿人類敘事韻律的優越能力提供了強有力的視覺證據。

5.2 人工評估研究

除了相關性指標外，還進行了一項人工評估研究。使用模型的韻律預測來生成SSML標籤，以控制TTS引擎。聽眾會聽到兩個版本：預設的Google TTS音訊，以及使用模型預測進行SSML增強的音訊。結果較為微妙：略多數的受試者（22人中的12人）偏好SSML增強後的朗讀，但偏好並不壓倒性。這突顯了主觀音訊品質評估的複雜性，並表明雖然模型能很好地捕捉客觀的韻律模式，但將其無縫整合到最終音訊輸出中仍然是一個挑戰。

6. 分析框架與個案研究

敘事韻律分析框架：

1. 文本分割與註釋： 將小說分割成句子。執行NLP流程以進行：
   • 命名實體識別以識別角色。
   • 引語歸屬以將對話連結到角色。
   • 文本分類以將句子標記為「敘事」、「對話」或「描述」。
2. 上下文特徵工程： 為每個句子創建特徵：
   • 二元標誌：`is_dialogue`、`is_narrative`。
   • 說話者的角色ID（若在對話中）。
   • 元資料：角色性別（來自外部知識庫）。
   • 捕捉語義內容的句子嵌入（MPNet）。
3. 韻律標籤擷取： 從時間對齊的音訊中，為每個句子擷取音高（F0）、音量（RMS能量）和語速（音節數/持續時間）。
4. 模型訓練與推論： 在 {特徵 → 韻律標籤} 配對上訓練LSTM模型（第4.2節）。對於新文本，應用訓練好的模型來預測韻律屬性。
5. SSML生成與合成： 將預測的音高（作為相對乘數，例如 `+20%`）、音量（例如 `+3dB`）和語速（例如 `slow`）轉換為SSML標籤。將標記後的文本輸入高品質神經TTS引擎（例如Google、Amazon Polly）以進行最終音訊渲染。

個案研究 - 應用框架： 考慮句子「『我絕不回去，』他挑釁地說。」該框架將：1) 識別其為男性角色（「他」）的對話。2) 模型在學習到男性對話通常比敘事具有較低音高和較高音量後，可能會預測：`pitch_shift = -10%`、`volume_boost = +2dB`。3) 這些將被渲染為SSML：`我絕不回去，他挑釁地說。`。最終的合成語音將帶有預期的戲劇性強調。

7. 未來應用與方向

• 個人化有聲書朗讀： 使用者可以透過在具有特定風格的朗讀者所朗讀的有聲書上微調韻律預測模型，來選擇「朗讀者風格」（例如「平靜」、「戲劇性」、「諷刺」）。
• 即時互動式說故事： 整合到遊戲引擎或互動式小說平台中，根據敘事張力、角色關係和玩家選擇動態調整韻律。
• 無障礙與語言學習： 為視障使用者提供增強的TTS，使其能更投入且易於理解地接觸文學作品。它也可以透過提供更具表現力與上下文感知的發音模型來幫助語言學習者。
• 跨模態創意工具： 為作者與音訊製作人提供工具，在稿件中建議韻律標記，或自動生成富有表現力的音訊草稿以供審閱。
• 研究方向 - 情感與情緒： 透過結合文本的情感分析與情緒檢測，擴展模型以預測更細緻的情感韻律（例如喜悅、悲傷、憤怒），類似於卡內基美隆大學語言技術研究所等機構在情感TTS方面的研究。
• 研究方向 - 端到端系統： 超越事後SSML控制，轉向訓練一個端到端神經TTS系統（如Tacotron 2或FastSpeech 2），其中韻律預測是聲學模型中一個整合的、條件化的部分，可能產生更自然且連貫的輸出。

8. 參考文獻

1. Pethe, C., Pham, B., Childress, F. D., Yin, Y., & Skiena, S. (2025). Prosody Analysis of Audiobooks. arXiv preprint arXiv:2310.06930v3.
2. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
3. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
4. Song, K., et al. (2020). MPNet: Masked and Permuted Pre-training for Language Understanding. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
5. Google Cloud. (n.d.). Text-to-Speech. Retrieved from https://cloud.google.com/text-to-speech
6. World Wide Web Consortium (W3C). (2010). Speech Synthesis Markup Language (SSML) Version 1.1. W3C Recommendation.
7. Zen, H., et al. (2019). LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech. Interspeech 2019.

分析師觀點：批判性解構

核心洞見： 這篇論文不僅僅是關於讓機器人聽起來更像人類；它巧妙地利用了龐大且未充分利用的資料集——人類有聲書表演——來逆向工程敘事表達的隱含規則。作者正確地指出，價值數十億美元的有聲書產業實際上是一個龐大的、預先存在的表達性語音註釋集。他們的關鍵洞見是將朗讀者視為文本情感的高保真感測器，這個概念類似於CycleGAN（Zhu等人，2017）使用未配對圖像集來學習風格轉換——在這裡，「風格」是韻律表現。

邏輯流程： 邏輯令人信服：1) 對齊文本與音訊以創建有監督資料集。2) 使用穩健的NLP（MPNet）理解文本。3) 使用序列模型（LSTM）將上下文映射到韻律。4) 在相關性指標上擊敗商業巨頭（Google）。從資料創建到模型優越性的流程清晰且得到其22/24和23/24勝率的良好支持。然而，這個鏈條在最關鍵的最後一環——主觀聽眾偏好——上有所削弱。12/22的結果在統計上站不住腳，並揭示了AI音訊中長期存在的「指標良好，體驗平庸」問題。

優勢與缺陷： 在資料集以及捕捉客觀韻律輪廓方面明顯優於基準TTS的優勢是無可否認的。角色層級分析（男性 vs. 女性，敘事 vs. 對話）是實證觀察的瑰寶，既驗證了模型，也提供了對人類表演的迷人洞見。主要缺陷在於依賴事後的SSML修改。正如任何音訊工程師都會告訴你的，將韻律控制事後應用於通用TTS語音，聽起來常常顯得人工且脫節——就像在糟糕的錄音上使用圖形等化器。人工評估結果凸顯了這個限制。模型預測了正確的音符，但合成引擎無法準確演奏。一個更雄心勃勃的端到端方法，如FastSpeech 2等模型所開創的，是必要但更困難的下一步。

可行洞見： 對於產品團隊而言，立即的收穫是授權或基於此資料集和模型進行開發，為現有的TTS產品添加「說書人」或「富有表現力」模式——這是一個可行的近期功能。對於研究人員而言，路徑有兩個：首先，將此韻律預測直接整合到神經TTS系統的聲學模型中，超越SSML。其次，將分析範圍擴展到三個基本屬性之外，涵蓋聲音品質（氣息聲、粗糙度）和更細緻的情感狀態，或許可以利用像MSP-Podcast語料庫這樣的資源進行情感語音分析。這篇論文成功地開啟了一個豐富的研究領域；現在，提煉礦石的艱鉅工作才剛開始。