MultiActor-Audiobook：基于面孔与声音的零样本有声书生成

1. 引言与概述

MultiActor-Audiobook 提出了一种零样本框架，用于生成包含多个不同说话者的富有表现力的有声书。它解决了先前系统的关键限制：大量配音演员数据集的高成本、训练模型的领域特定性以及手动韵律标注的劳动密集型性质。其核心创新在于两个自动化的零样本过程：多模态说话人角色生成 (MSP) 和 基于LLM的脚本指令生成 (LSI)。通过从生成的视觉角色中合成特定角色的声音，并从文本上下文中动态推断情感/韵律线索，该系统旨在无需任何特定任务训练数据的情况下，生成具有一致性、恰当性和表现力的有声书叙述。

2. 核心方法

该系统的有效性取决于两个新颖且相互关联的过程，它们自动化了有声书制作中最具挑战性的方面：角色声音创建和富有表现力的朗读。

2.1 多模态说话人角色生成 (MSP)

此过程仅从文本描述中为故事中的每个角色创建独特且一致的声音。

实体识别与文本角色提取： 一个大型语言模型（例如 GPT-4）解析小说脚本，识别所有说话实体（角色、旁白）。对于每个实体，它从叙述文本中提取描述性特征（性格、年龄、角色、身体特征）。
视觉角色生成： 一个文生图模型（例如 Stable Diffusion）使用提取的文本描述生成一个在视觉上体现该角色的面部图像。
面到声合成： 一个预训练的面到声系统（参考如 [14] 的工作）接收生成的面部图像及其描述，合成一个简短的声音样本。该样本封装了角色独特的韵律特征（音色、音高基线、说话风格）。这个声音成为该角色所有后续对话的锚点。

此流程对于新角色是完全零样本的，无需任何先前的录音。

2.2 基于LLM的脚本指令生成 (LSI)

为了避免单调的朗读，此过程生成动态的、句子级别的韵律指令。

上下文感知分析： 对于要合成的每个句子，向LLM提供：目标句子、周围上下文（前/后句子）以及当前说话者的角色信息。
指令生成： LLM输出一组结构化指令，指定适合上下文和角色的情感状态（例如，“欢快的”、“阴郁的”）、语调（例如，“讽刺的”、“权威的”）、音高变化和语速。
提示TTS： 这些指令被格式化为自然语言提示（例如，“用[情感]的语调，带有[音高]变化来说这句话”），以指导一个预训练的、可提示的文本转语音 (TTS) 模型生成最终的音频。

这用自动化的、上下文敏感的推断取代了手动标注。

3. 技术架构与细节

3.1 系统流程

端到端的工作流程可以可视化为一个顺序流程： 输入小说文本 → LLM（说话者识别与角色提取）→ 文生图（面部生成）→ 面到声（声音样本）→ [每个角色]
对于每个句子：[句子 + 上下文 + 角色] → LLM (LSI) → 提示式TTS（使用角色声音）→ 输出音频片段
最终的有声书是所有处理过的句子在时间上拼接的输出。

3.2 数学公式化

角色 $c$ 所说的句子 $s_i$ 的核心生成过程可以形式化。令 $C$ 为 $s_i$ 周围的上下文窗口，$P_c$ 为角色 $c$ 的多模态角色（包含文本描述 $D_c$、生成的面部 $F_c$ 和声音样本 $V_c$）。

LSI 过程生成一个指令向量 $I_i$： $$I_i = \text{LLM}_{\theta}(s_i, C, P_c)$$ 其中 $\text{LLM}_{\theta}$ 是参数为 $\theta$ 的大型语言模型。

句子的最终音频 $A_i$ 由一个可提示的 TTS 模型 $\text{TTS}_{\phi}$ 合成，条件是该角色的声音 $V_c$ 和指令 $I_i$： $$A_i = \text{TTS}_{\phi}(s_i | V_c, I_i)$$ 该系统的零样本能力源于使用预训练的、冻结的模型（$\text{LLM}_{\theta}$、文生图、面到声、$\text{TTS}_{\phi}$）而无需微调。

4. 实验结果与评估

该论文通过与商业有声书产品的比较评估和消融研究来验证 MultiActor-Audiobook。

4.1 人工评估

人工评估员根据情感表现力、说话者一致性和整体自然度等标准评估生成的有声书样本。与基于TTS的商业有声书服务相比，MultiActor-Audiobook 获得了具有竞争力或更优的评分。值得注意的是，它在涉及具有不同角色的多个角色的对话中，表现优于使用单一声音或简单基于规则的韵律的基线系统。

4.2 MLLM评估

为了补充人工评估，作者采用了多模态大型语言模型 (MLLMs)，如 GPT-4V。向 MLLM 提供音频和场景/角色的描述，并要求其判断声音演绎是否与上下文匹配。这一客观指标证实了该系统能够像商业系统一样有效地生成符合上下文的韵律，验证了 LSI 模块的有效性。

4.3 消融研究

消融研究展示了每个核心模块的贡献：

无 MSP（使用通用声音）： 说话者一致性和角色区分度显著下降，导致对话混乱。
无 LSI（使用中性TTS）： 音频变得单调且情感平淡，在表现力指标上得分很低。
完整系统 (MSP + LSI)： 在所有评估维度上获得了最高分，证明了两个组件的协同必要性。

这些结果有力地证明了所提出的双过程架构的合理性。

5. 分析框架与案例研究

框架应用： 为了分析一部小说以进行制作，系统遵循一个确定性的框架。 案例研究 - 奇幻小说节选：

输入： “老巫师，他的胡须又长又灰，低声发出警告。‘当心阴影，’他说，他的声音像碾磨的石头。”
MSP 执行： LLM 将“老巫师”识别为说话者。提取角色：{年龄：老，角色：巫师，描述：胡须又长又灰，音质：像碾磨的石头}。文生图生成一张苍老的面孔。面到声产生一个深沉、沙哑的声音样本。
LSI 执行（针对“当心阴影”）： LLM 接收句子、上下文（一个警告）和巫师角色。生成指令：{情感：严重关切，语调：不祥且低沉，音高：低且稳定，语速：缓慢}。
输出： 可提示的 TTS 使用沙哑的巫师声音，以缓慢、不祥、低音调的方式合成“当心阴影”。

此框架展示了文本线索如何在没有人工干预的情况下转化为多模态的、富有表现力的音频。

6. 批判性分析与专家见解

核心见解： MultiActor-Audiobook 不仅仅是另一个 TTS 包装器；它是从以数据为中心到以提示为中心的生成式音频的战略性转变。其真正的突破在于将有声书创作视为一个多模态上下文检索和指令遵循问题，绕过了传统声音克隆和韵律建模的过高成本曲线。这与更广泛的行业转变相一致，例如视觉领域的 DALL-E 和 Stable Diffusion 等模型所体现的，即通过预训练部件的组合性取代单一模型的训练。

逻辑流程： 其逻辑优雅且线性，但依赖于脆弱的假设。MSP 假设面到声模型能够可靠地将任何生成的面部映射到一个合适、一致的声音——鉴于跨模态表示学习中的已知挑战（如 AudioCLIP 等工作中讨论的图像和音频潜在空间之间的差异），这是一个信仰的飞跃。LSI 假设 LLM 对“阴郁语调”的文本理解能完美转化为下游 TTS 中的声学参数——这是一个语义-声学鸿沟，正如语音处理文献所指出的，仍然是一个根本性的挑战。

优势与缺陷： 其优势在于无可否认的经济和运营效率：零样本、无需为演员声音授权、快速原型制作。缺陷在于质量上限。该系统仅与其最弱的现成组件——面到声模型和可提示的 TTS——一样好。它将难以处理细微差别和长程一致性。它能处理角色因情绪而声音哽咽这种需要亚音素控制的细微差别吗？可能性不大。依赖视觉角色来生成声音也是一个潜在的偏见放大器，这是生成式 AI 伦理中一个有据可查的问题。

可操作的见解： 对于投资者和产品经理来说，这是利基市场（独立游戏开发、快速内容本地化、个性化教育娱乐）的一个引人注目的最小可行产品。然而，对于寻求媲美人类质量的主流出版业，它是一个补充，而非替代品。当前的路线图应侧重于混合方法：使用该系统生成丰富的“初稿”有声书，然后由人类导演高效地进行编辑和润色，将制作时间减少 70-80%，而不是追求 100% 自动化。研究重点必须是通过更好的联合嵌入空间来弥合语义-声学鸿沟，或许可以借鉴 Flamingo 或 CM3 等多模态模型中使用的对齐技术。

7. 未来应用与方向

MultiActor-Audiobook 引入的范式开辟了多个方向：

互动媒体与游戏： 根据玩家选择和不断变化的角色状态，在游戏或互动故事中动态、实时生成角色对话。
无障碍与教育： 将教科书、文档或个性化儿童故事即时转换为引人入胜的多声音叙述，极大地增强了视障用户的无障碍性，或创建沉浸式学习材料。
内容本地化： 通过生成目标语言中符合文化和角色特征的声音，快速为视频内容进行配音和旁白，但这需要先进的多语言 TTS 后端支持。
未来研究方向：
1. 增强的角色建模： 除了面部和文本描述外，纳入更多模态（例如，角色动作、描述的声音）来指导声音和韵律。
2. 长上下文连贯性： 改进 LSI，以在整个书籍中保持更广泛的叙事弧一致性（例如，角色逐渐的情绪低落），而不仅仅是局部句子。
3. 直接声学参数预测： 超越自然语言指令，让 LLM 输出直接的、可解释的声学特征目标（基频轮廓、能量），以实现更精细的控制，类似于 VALL-E 的方法，但在零样本设置下。
4. 伦理声音设计： 开发框架来审计和消除面到声及角色生成组件中的偏见，以防止刻板印象。

最终目标是实现一个完全通用、可控且符合伦理的“故事到音轨”合成引擎。

8. 参考文献

Tan, X., et al. (2021). NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level Quality. arXiv preprint arXiv:2105.04421.
Wang, C., et al. (2023). Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers. arXiv preprint arXiv:2301.02111.
Zhang, Y., et al. (2022). META-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech. IEEE/ACM Transactions on Audio, Speech, and Language Processing.
Radford, A., et al. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. Proceedings of ICML.
Kim, J., et al. (2021). VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech. Proceedings of ICML.
OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the CVPR.
Alayrac, J., et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. Advances in Neural Information Processing Systems.
Park, K., Joo, S., & Jung, K. (2024). MultiActor-Audiobook: Zero-Shot Audiobook Generation with Faces and Voices of Multiple Speakers. Manuscript submitted for publication.
Guzhov, A., et al. (2022). AudioCLIP: Extending CLIP to Image, Text and Audio. Proceedings of the ICASSP.