MultiActor-Audiobook：結合面孔與聲音的零樣本生成技術

1. 簡介與概述

MultiActor-Audiobook 提出了一個零樣本框架，用於生成具有多位不同說話者、富有表現力的有聲書。它解決了先前系統的關鍵限制：大量配音員資料集的高成本、訓練模型的領域特定性，以及手動韻律標註的勞力密集性質。其核心創新在於兩個自動化的零樣本流程：多模態說話者角色生成 (MSP) 與 基於LLM的腳本指令生成 (LSI)。透過從生成的視覺角色合成角色特定的聲音，並從文本上下文動態推斷情感/韻律線索，該系統旨在無需任何任務特定訓練資料的情況下，產出具有一致性、適切性且富有表現力的旁白有聲書。

2. 核心方法論

該系統的有效性取決於兩個新穎且相互關聯的流程，它們將有聲書製作中最具挑戰性的部分自動化：角色聲音創建與富有表現力的朗讀。

2.1 多模態說話者角色生成 (MSP)

此流程僅從文本描述，為故事中的每個角色創造一個獨特且一致的聲音。

實體識別與文本角色擷取： 一個LLM（例如 GPT-4）解析小說腳本，識別所有說話實體（角色、旁白者）。針對每個實體，它從敘述文本中擷取描述性特徵（個性、年齡、角色、身體特徵）。
視覺角色生成： 一個文生圖模型（例如 Stable Diffusion）使用擷取出的文本描述，生成一個在視覺上體現該角色的臉部圖像。
臉部到聲音合成： 一個預訓練的臉部到聲音系統（參考如 [14] 的工作）接收生成的臉部圖像及其標題，合成一個短聲音樣本。此樣本封裝了該角色獨特的韻律特徵（音色、音高基準、說話風格）。這個聲音成為該角色後續所有對話的錨點。

對於新角色，此流程是完全零樣本的，無需任何先前的錄音。

2.2 基於LLM的腳本指令生成 (LSI)

為了避免單調的朗讀，此流程生成動態的、句子層級的韻律指令。

上下文感知分析： 對於每個要合成的句子，LLM 會獲得以下資訊：目標句子、周圍上下文（前/後句子），以及當前說話者的角色資訊。
指令生成： LLM 輸出一組結構化的指令，指定適合該上下文和角色的情感狀態（例如「愉悅的」、「陰鬱的」）、語氣（例如「諷刺的」、「權威的」）、音高變化以及語速。
用於TTS的提示： 這些指令被格式化為自然語言提示（例如「以[情感]的語氣、帶有[音高]變化來說這句話」），用以引導一個預訓練的、可提示的文字轉語音 (TTS) 模型生成最終音訊。

這以自動化、上下文敏感的推斷取代了手動標註。

3. 技術架構與細節

3.1 系統流程

端到端的工作流程可視為一個順序流程： 輸入小說文本 → LLM（說話者識別與角色擷取）→ 文生圖（臉部生成）→ 臉部到聲音（聲音樣本）→ [每個角色]
針對每個句子：[句子 + 上下文 + 角色] → LLM (LSI) → 提示式TTS（使用角色聲音）→ 輸出音訊片段
最終的有聲書是所有處理過的句子在時間上串接的輸出。

3.2 數學公式化

角色 $c$ 所說的句子 $s_i$ 的核心生成過程可以公式化。令 $C$ 為 $s_i$ 周圍的上下文窗口，$P_c$ 為角色 $c$ 的多模態角色（包含文本描述 $D_c$、生成的臉部 $F_c$ 和聲音樣本 $V_c$）。

LSI 流程生成一個指令向量 $I_i$： $$I_i = \text{LLM}_{\theta}(s_i, C, P_c)$$ 其中 $\text{LLM}_{\theta}$ 是具有參數 $\theta$ 的大型語言模型。

該句子的最終音訊 $A_i$ 由一個可提示的 TTS 模型 $\text{TTS}_{\phi}$ 合成，條件設定為角色的聲音 $V_c$ 和指令 $I_i$： $$A_i = \text{TTS}_{\phi}(s_i | V_c, I_i)$$ 該系統的零樣本能力源於使用預訓練、凍結的模型（$\text{LLM}_{\theta}$、文生圖、臉部到聲音、$\text{TTS}_{\phi}$）而無需微調。

4. 實驗結果與評估

該論文透過與商業有聲書產品的比較評估以及消融研究，驗證了 MultiActor-Audiobook。

4.1 人工評估

人工評估者根據情感表現力、說話者一致性和整體自然度等標準評估生成的有聲書樣本。與商業的基於TTS的有聲書服務相比，MultiActor-Audiobook 獲得了具有競爭力或更優的評分。值得注意的是，它在涉及具有不同角色的多位角色的對話中，表現優於使用單一聲音或簡單基於規則韻律的基線系統。

4.2 MLLM評估

為了補充人工評估，作者採用了多模態大型語言模型 (MLLMs)，如 GPT-4V。MLLM 被提供音訊和場景/角色的描述，並被要求判斷聲音演繹是否與上下文相符。這個客觀指標證實了該系統生成上下文適切的韻律的能力與商業系統一樣有效，驗證了LSI模組的有效性。

4.3 消融研究

消融研究展示了每個核心模組的貢獻：

沒有 MSP（使用通用聲音）： 說話者一致性和角色區分度顯著下降，導致對話混亂。
沒有 LSI（使用中性TTS）： 音訊變得單調且情感平淡，在表現力指標上得分不佳。
完整系統 (MSP + LSI)： 在所有評估維度上獲得最高分，證明了兩個組件的協同必要性。

這些結果有力地證明了所提出的雙流程架構。

5. 分析框架與個案研究

框架應用： 為了分析一部小說以進行製作，系統遵循一個確定性的框架。 個案研究 - 奇幻小說節錄：

輸入： 「那位老巫師，鬍鬚長而灰白，低聲發出警告。『小心陰影，』他說，聲音如同磨石。」
MSP 執行： LLM 識別「老巫師」為說話者。擷取角色：{年齡：老，角色：巫師，描述：鬍鬚長而灰白，聲音品質：如同磨石}。文生圖生成一張蒼老的臉。臉部到聲音產生一個低沉、沙啞的聲音樣本。
針對「小心陰影」的 LSI 執行： LLM 接收句子、上下文（一個警告）和巫師角色。生成指令：{情感：嚴重關切，語氣：不祥且低沉，音高：低且穩定，語速：緩慢}。
輸出： 可提示的 TTS 使用沙啞的巫師聲音合成「小心陰影」，以緩慢、不祥、低音調的方式演繹。

此框架展示了文本線索如何在不經手動干預的情況下，轉化為多模態、富有表現力的音訊。

6. 批判性分析與專家見解

核心見解： MultiActor-Audiobook 不僅僅是另一個 TTS 包裝器；它是從以資料為中心到以提示為中心的生成式音訊的戰略性轉向。其真正的突破在於將有聲書創作視為一個多模態上下文檢索與指令遵循問題，繞過了傳統聲音克隆和韻律建模的過高成本曲線。這與更廣泛的產業轉變相符，例如視覺領域的 DALL-E 和 Stable Diffusion 等模型所體現的，其中來自預訓練部件的組合性取代了單一模型的訓練。

邏輯流程： 其邏輯優雅地呈線性，但依賴於脆弱的假設。MSP 假設一個臉部到聲音模型能可靠地將任何生成的臉部映射到一個合適、一致的聲音——鑑於跨模態表示學習中已知的挑戰（如 AudioCLIP 等工作中討論的圖像與音訊潛在空間之間的差異），這是一個信念的飛躍。LSI 假設 LLM 對「陰鬱語氣」的文本理解能完美轉化為下游 TTS 中的聲學參數——這是一個語義-聲學差距，正如語音處理文獻中所指出的，這仍然是一個根本性的挑戰。

優勢與缺陷： 其優勢在於無可否認的經濟和運營效率：零樣本、無需為演員聲音處理授權問題、快速原型製作。缺陷在於品質上限。該系統僅與其最弱的現成組件——臉部到聲音模型和可提示的 TTS——一樣好。它將難以處理細微差別和長程一致性。它能處理角色因情緒而聲音哽咽、這種需要次音素控制的細微差別嗎？可能性不大。依賴視覺角色來生成聲音也是一個潛在的偏見放大器，這是生成式 AI 倫理中一個有充分記載的問題。

可操作的見解： 對於投資者和產品經理來說，這是利基市場（獨立遊戲開發、快速內容在地化、個人化教育娛樂）的一個引人注目的最小可行產品 (MVP)。然而，對於尋求與人類競爭品質的主流出版業，它是一個補充，而非替代品。當前的發展路線圖應專注於混合方法：使用此系統生成豐富的「初稿」有聲書，然後由人類導演高效地編輯和潤飾，將製作時間減少 70-80%，而非追求 100% 自動化。研究重點必須是透過更好的聯合嵌入空間來縮小語義-聲學差距，或許可以從 Flamingo 或 CM3 等多模態模型中使用的對齊技術中獲得靈感。

7. 未來應用與方向

MultiActor-Audiobook 引入的範式開闢了多條途徑：

互動式媒體與遊戲： 根據玩家選擇和角色狀態的演變，在遊戲或互動式故事中動態、即時生成角色對話。
無障礙與教育： 將教科書、文件或個人化兒童故事即時轉換為引人入勝、多聲音的旁白，極大增強視障使用者的無障礙性，或創造沉浸式學習材料。
內容在地化： 透過生成目標語言中符合文化和角色適切的聲音，快速為影片內容進行配音和旁白，儘管這需要先進的多語言 TTS 後端。
未來研究方向：
1. 增強的角色建模： 納入更多模態（例如角色動作、描述的聲音），而不僅僅是臉部和文本描述，以告知聲音和韻律。
2. 長上下文連貫性： 改進 LSI，以在整本書中（而不僅僅是局部句子）維持更廣泛的敘事弧一致性（例如角色逐漸的情感低落）。
3. 直接聲學參數預測： 超越自然語言指令，讓 LLM 輸出直接、可解釋的聲學特徵目標（F0 曲線、能量），以實現更細粒度的控制，類似於 VALL-E 中的方法，但在零樣本設定下。
4. 倫理聲音設計： 開發框架來審計和消除臉部到聲音及角色生成組件的偏見，以防止刻板印象。

最終目標是一個完全通用化、可控制且符合倫理的「故事到音軌」合成引擎。

8. 參考文獻

Tan, X., et al. (2021). NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level Quality. arXiv preprint arXiv:2105.04421.
Wang, C., et al. (2023). Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers. arXiv preprint arXiv:2301.02111.
Zhang, Y., et al. (2022). META-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech. IEEE/ACM Transactions on Audio, Speech, and Language Processing.
Radford, A., et al. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. Proceedings of ICML.
Kim, J., et al. (2021). VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech. Proceedings of ICML.
OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the CVPR.
Alayrac, J., et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. Advances in Neural Information Processing Systems.
Park, K., Joo, S., & Jung, K. (2024). MultiActor-Audiobook: Zero-Shot Audiobook Generation with Faces and Voices of Multiple Speakers. Manuscript submitted for publication.
Guzhov, A., et al. (2022). AudioCLIP: Extending CLIP to Image, Text and Audio. Proceedings of the ICASSP.