MultiActor-Audiobook：多說話者零樣本生成技術

1. 緒論

有聲書生成在無需昂貴資料收集或人工標註的情況下，面臨著產生富有表現力、情境感知的語調並維持說話者一致性的挑戰。傳統方法依賴大量資料集或人為介入，限制了可擴展性與效率。MultiActor-Audiobook透過零樣本方法解決這些問題，該方法自動化說話者角色創建與動態腳本指令生成。

2. 方法論

2.1 多模態說話者角色生成

此流程透過結合文字描述、AI生成的人臉影像與語音樣本，生成獨特的說話者角色。大型語言模型（LLM）識別說話者實體並提取描述性特徵。文字轉影像模型（例如DALL·E）創建視覺表徵，而預訓練的臉部轉語音系統（例如[14]）產生語音樣本。角色$c$的角色嵌入$P_c$推導如下：$P_c = \text{Voice}(\text{Image}(\text{LLM}(\text{Text}_c)))$。

2.2 基於LLM的腳本指令生成

GPT-4o為每個句子生成動態指令，包含情緒、語調和音高提示。輸入包含目標句子、周圍上下文和角色設定。句子$s$的指令$I_s$為：$I_s = \text{GPT-4o}(s, \text{context}, P_c)$。

3. 技術細節

3.1 數學公式

整體有聲書生成過程形式化為：$A = \text{TTS}(\text{concat}(s, I_s), P_c)$，其中TTS為基於提示的文字轉語音系統，$s$為句子，$I_s$為指令，$P_c$為說話者角色。角色一致性損失$L_c$確保語音穩定性：$L_c = \sum_{t=1}^T \| V_c(t) - V_c(t-1) \|^2$，其中$V_c(t)$為時間$t$的語音嵌入。

3.2 程式碼實作

# MultiActor-Audiobook 虛擬碼
def generate_audiobook(novel_text):
    speakers = llm_identify_speakers(novel_text)
    personas = {}
    for speaker in speakers:
        text_desc = llm_extract_features(speaker, novel_text)
        face_image = text2image(text_desc)
        voice_sample = face_to_voice(face_image, text_desc)
        personas[speaker] = voice_sample
    
    sentences = split_into_sentences(novel_text)
    audiobook = []
    for i, sentence in enumerate(sentences):
        context = get_context(sentences, i)
        instruction = gpt4o_generate(sentence, context, personas)
        audio = tts_synthesize(sentence, instruction, personas[speaker])
        audiobook.append(audio)
    return concatenate(audiobook)

4. 實驗與結果

4.1 人工評估

人工評估者針對表現力、說話者一致性和自然度，將MultiActor-Audiobook與商業系統進行評比。在5分量表中，其表現力獲得4.2分，一致性獲得4.0分，優於基準系統（例如NarrativePlay的表現力為3.5分）。

4.2 MLLM評估

多模態大型語言模型（MLLM）評估音訊品質，MultiActor-Audiobook在情緒適切性方面獲得85/100分，而傳統TTS系統為70/100分。消融研究證實MSP和LSI對效能均至關重要。

5. 未來應用

潛在應用包括互動式故事敘述、教育內容和虛擬助理。未來工作可整合即時適應、支援更多語言，以及使用如CycleGAN等風格轉換技術增強情緒建模[23]。

6. 參考文獻

Y. Ren等人，「FastSpeech 2: Fast and High-Quality End-to-End Text to Speech」，發表於Proc. ICLR，2021年。
OpenAI，「GPT-4 Technical Report」，2023年。
Zhu等人，「Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks」，發表於Proc. ICCV，2017年。

7. 專家分析

一針見血: MultiActor-Audiobook不僅是另一篇TTS論文——它是一場圍繞資料稀缺問題的戰略性迂迴，該問題困擾富有表現力的語音合成領域多年。透過利用多模態角色和基於LLM的指令，他們有效地將敘事上下文的「理解」外包給通用模型，避開了對領域特定訓練資料的需求。這是「基礎模型作為特徵提取器」範式的經典案例，該範式在AI研究中日益佔據主導地位，類似於CycleGAN [23]透過巧妙使用循環一致性損失而非配對資料，徹底改變了非配對影像轉換領域。

邏輯鏈條: 此處的核心創新是一個優美簡單的因果鏈：文字描述 → 視覺角色 → 語音嵌入 → 一致性角色塑造。這創造了我稱之為「湧現韻律」的現象——系統並未以傳統訊號處理的方式明確建模韻律，而是透過角色一致性和上下文指令的組合來誘導它。數學公式$A = \text{TTS}(\text{concat}(s, I_s), P_c)$優雅地捕捉了他們如何將問題分解為可管理的子任務，類似於現代神經渲染將幾何與外觀分離的方式。

亮點與槽點: 零樣本能力確實令人印象深刻——僅從文字描述就能生成具特色的語音，這可能使有聲書製作民主化。使用臉部轉語音系統作為個性嵌入的代理尤其巧妙，它建立在關於語音-臉部對應的既定認知科學基礎上。然而，不容忽視的問題是計算成本：針對長篇內容對每個句子運行GPT-4o並不便宜，且對多個專有API（用於指令的OpenAI，潛在的商業TTS系統）的依賴使得開放研究較難取得。論文也輕描淡寫地帶過了臉部轉語音映射對非人類或奇幻角色的效果——它真的能從龍的影像生成令人信服的龍語音嗎？

行動啟示: 對從業者而言，這標誌著富有表現力的TTS未來在於組合性而非單一模型。致勝策略將是開發能與多個骨幹TTS引擎協作的穩健角色嵌入系統。研究人員應專注於使指令生成更有效率——或許透過蒸餾模型或基於快取的方法。內容創作者應為不久的將來做好準備，屆時生成專業品質的角色語音僅需描述性文字。這種方法可以擴展到有聲書之外的領域，如遊戲、虛擬實境和個性化教育，類似於GAN在最初發表後催生了整個產業。

目錄