Análise de Prosódia em Audiolivros: Modelos de PLN para Síntese de Voz Aprimorada

Índice

1. Introdução e Visão Geral

Este artigo de pesquisa, "Análise de Prosódia em Audiolivros", aborda uma lacuna crítica nos sistemas modernos de Síntese de Voz a partir de Texto (SVT): a incapacidade de replicar as vocalizações expressivas e dramáticas características dos audiolivros narrados por humanos. Embora a SVT comercial tenha alcançado alta naturalidade na fala genérica, ela falha com textos narrativos ricos em diálogo, emoção e descrição. A tese central é que a análise de Processamento de Linguagem Natural (PLN) de ordem superior — especificamente focada na identificação de personagens, diálogo e estrutura narrativa — pode ser aproveitada para prever características prosódicas (tom, volume, ritmo da fala) e melhorar significativamente a qualidade dos audiolivros sintéticos.

O trabalho apresenta um novo conjunto de dados com 93 pares alinhados de livro-audiolivro e demonstra que os modelos treinados com esses dados superam uma linha de base comercial de SVT de última geração (Google Cloud TTS) na correlação com os padrões de prosódia humana.

2. Metodologia e Conjunto de Dados

2.1 Construção do Conjunto de Dados

A base desta pesquisa é um conjunto de dados meticulosamente curado, composto por 93 romances e seus respectivos audiolivros lidos por humanos. O conjunto de dados inclui 1.806 capítulos com alinhamento ao nível da frase entre o texto e o áudio, permitindo uma análise precisa. Este conjunto de dados foi disponibilizado publicamente, fornecendo um recurso valioso para as comunidades de fala e PLN. O processo de alinhamento é crucial para extrair rótulos de prosódia precisos (tom, volume, ritmo) para cada frase no texto.

2.2 Extração de Atributos de Prosódia

Dos audiolivros alinhados, três atributos de prosódia principais são extraídos ao nível da frase:

• Tom (F0): A frequência fundamental, indicando a taxa de vibração das cordas vocais. Medido em Hertz (Hz).
• Volume (Intensidade/Energia): A amplitude ou sonoridade do sinal de fala. Medido em decibéis (dB).
• Ritmo (Taxa de Fala): A velocidade de entrega, frequentemente medida em sílabas por segundo.

Esses atributos servem como variáveis-alvo para os modelos preditivos.

2.3 Arquitetura do Modelo

O modelo principal é uma rede de Memória de Longo e Curto Prazo (LSTM) construída sobre incorporações de frase do MPNet (Pré-treinamento Mascarado e Permutado para Compreensão de Linguagem). O MPNet fornece representações contextuais ricas do texto de entrada. A camada LSTM então modela as dependências sequenciais na narrativa para prever os valores contínuos de tom, volume e ritmo. Esta arquitetura foi escolhida por sua capacidade de capturar pistas contextuais de longo alcance, essenciais para a compreensão narrativa.

3. Principais Descobertas e Análise

3.1 Padrões de Prosódia ao Nível de Personagem

Uma descoberta empírica significativa é que os narradores humanos modulam sistematicamente a prosódia com base nos atributos dos personagens e no contexto narrativo. A análise revela:

• Em 21 dos 31 livros onde os dois personagens principais diferem em gênero, os narradores usaram tom mais baixo e volume mais alto para retratar o personagem masculino.
• Os narradores usam consistentemente tom mais baixo em regiões narrativas em comparação com o diálogo, independentemente do gênero do personagem.

Isso quantifica uma regra de performance implícita usada por narradores profissionais, fornecendo um sinal claro para os modelos aprenderem.

3.2 Desempenho do Modelo vs. SVS Comercial

Os atributos de prosódia previstos pelo modelo proposto mostram uma correlação significativamente maior com as leituras humanas do que a saída padrão do Google Cloud Text-to-Speech.

• Tom: As previsões do modelo correlacionaram-se melhor com a leitura humana em 22 dos 24 livros no conjunto de teste.
• Volume: As previsões do modelo correlacionaram-se melhor em 23 dos 24 livros.

Isso demonstra a eficácia do modelo em capturar padrões prosódicos humanos sutis que os sistemas genéricos de SVT perdem.

4. Implementação Técnica

4.1 Formulação Matemática

A tarefa de previsão de prosódia é enquadrada como um problema de regressão. Dada uma frase de entrada $S$ representada por sua incorporação MPNet $\mathbf{e}_S$, o modelo $f_\theta$ parametrizado por $\theta$ prevê um vetor de prosódia $\mathbf{p}$: $$\mathbf{p} = [\hat{pitch}, \hat{volume}, \hat{rate}]^T = f_\theta(\mathbf{e}_S)$$ O modelo é treinado para minimizar a perda de Erro Quadrático Médio (MSE) entre suas previsões $\hat{\mathbf{p}}$ e os valores de prosódia reais $\mathbf{p}_{gt}$ extraídos do áudio humano: $$\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \| \hat{\mathbf{p}}_i - \mathbf{p}_{gt,i} \|^2_2$$

4.2 Detalhes da Arquitetura LSTM

O modelo de sequência central é uma célula LSTM padrão. Em cada passo $t$ (correspondente a uma frase), ele atualiza seu estado oculto $\mathbf{h}_t$ e estado de célula $\mathbf{c}_t$ com base na entrada $\mathbf{x}_t$ (a incorporação MPNet) e nos estados anteriores: $$\mathbf{i}_t = \sigma(\mathbf{W}_{xi}\mathbf{x}_t + \mathbf{W}_{hi}\mathbf{h}_{t-1} + \mathbf{b}_i)$$ $$\mathbf{f}_t = \sigma(\mathbf{W}_{xf}\mathbf{x}_t + \mathbf{W}_{hf}\mathbf{h}_{t-1} + \mathbf{b}_f)$$ $$\mathbf{o}_t = \sigma(\mathbf{W}_{xo}\mathbf{x}_t + \mathbf{W}_{ho}\mathbf{h}_{t-1} + \mathbf{b}_o)$$ $$\tilde{\mathbf{c}}_t = \tanh(\mathbf{W}_{xc}\mathbf{x}_t + \mathbf{W}_{hc}\mathbf{h}_{t-1} + \mathbf{b}_c)$$ $$\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$$ $$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{c}_t)$$ onde $\sigma$ é a função sigmoide, $\odot$ denota multiplicação elemento a elemento, e $\mathbf{W}$ e $\mathbf{b}$ são parâmetros aprendíveis. O estado oculto final $\mathbf{h}_t$ é passado por uma camada totalmente conectada para produzir a previsão de prosódia tridimensional.

5. Resultados Experimentais

5.1 Métricas de Correlação e Figura 1

A principal métrica de avaliação é o coeficiente de correlação (por exemplo, r de Pearson) entre o contorno de prosódia previsto e o contorno de prosódia lido por humano em um capítulo. A Figura 1 do artigo apresenta um gráfico de pontos comparando a correlação humano-SVT para o sistema proposto e o Google Cloud TTS em 24 livros de teste.

• Descrição do Gráfico (Fig. 1a - Tom): O eixo x representa diferentes livros. Cada livro tem dois pontos: um para a correlação de tom do modelo proposto com a leitura humana e outro para a correlação do Google TTS. O gráfico mostra visualmente o ponto do modelo (provavelmente em uma cor distinta) sendo mais alto que o ponto do Google para a grande maioria dos livros, apoiando quantitativamente a afirmação de 22/24.
• Descrição do Gráfico (Fig. 1b - Volume): Um gráfico de pontos semelhante para correlação de volume, mostrando um desempenho ainda mais dominante pelo modelo proposto, correspondendo ao resultado de 23/24.

Esses gráficos fornecem forte evidência visual da capacidade superior do modelo de imitar a prosódia narrativa humana.

5.2 Estudo de Avaliação Humana

Além das métricas de correlação, foi conduzido um estudo de avaliação humana. As previsões de prosódia do modelo foram usadas para gerar tags SSML (Speech Synthesis Markup Language) para controlar um motor de SVT. Os ouvintes receberam duas versões: o áudio padrão do Google TTS e o áudio aprimorado com SSML usando as previsões do modelo. Os resultados foram matizados: uma pequena maioria (12 de 22 sujeitos) preferiu as leituras aprimoradas com SSML, mas a preferência não foi esmagadora. Isso destaca a complexidade da avaliação subjetiva da qualidade de áudio e sugere que, embora o modelo capture bem os padrões prosódicos objetivos, integrá-los perfeitamente na saída de áudio final permanece um desafio.

6. Estrutura de Análise e Estudo de Caso

Estrutura para Análise de Prosódia Narrativa:

1. Segmentação e Anotação de Texto: Dividir o romance em frases. Executar pipelines de PLN para:
   • Reconhecimento de Entidade Nomeada (NER) para identificar personagens.
   • Atribuição de citações para vincular diálogos a personagens.
   • Classificação de texto para rotular frases como "Narrativa", "Diálogo" ou "Descrição".
2. Engenharia de Características Contextuais: Para cada frase, criar características:
   • Flags binárias: `is_dialogue`, `is_narrative`.
   • ID do personagem que fala (se em diálogo).
   • Metadados: gênero do personagem (de base de conhecimento externa).
   • Incorporacao de frase (MPNet) capturando o conteúdo semântico.
3. Extração de Rótulos de Prosódia: Do áudio alinhado no tempo, extrair tom (F0), volume (energia RMS) e taxa de fala (sílabas/duração) para cada frase.
4. Treinamento e Inferência do Modelo: Treinar o modelo LSTM (Seção 4.2) nos pares {características → rótulos de prosódia}. Para novo texto, aplicar o modelo treinado para prever atributos de prosódia.
5. Geração SSML e Síntese: Converter o tom previsto (como um multiplicador relativo, ex: `+20%`), volume (ex: `+3dB`) e ritmo (ex: `slow`) em tags SSML. Alimentar o texto marcado para um motor de SVT neural de alta qualidade (ex: Google, Amazon Polly) para a renderização final do áudio.

Estudo de Caso - Aplicando a Estrutura: Considere a frase "'Eu nunca voltarei,' disse ele desafiadoramente." A estrutura faria: 1) Identificá-la como diálogo falado por um personagem masculino ("ele"). 2) O modelo, tendo aprendido que o diálogo masculino frequentemente tem tom mais baixo e volume mais alto que a narrativa, poderia prever: `pitch_shift = -10%`, `volume_boost = +2dB`. 3) Isso seria renderizado como SSML: `Eu nunca voltarei, disse ele desafiadoramente.`. A fala sintética resultante carregaria a ênfase dramática pretendida.

7. Aplicações Futuras e Direções

• Narração Personalizada de Audiolivros: Os usuários poderiam selecionar um "estilo de narrador" (ex: "calmo", "dramático", "sarcástico") ajustando o modelo de previsão de prosódia em audiolivros lidos por narradores com aquele estilo.
• Narrativa Interativa em Tempo Real: Integração em motores de jogo ou plataformas de ficção interativa, onde a prosódia é ajustada dinamicamente com base na tensão narrativa, relacionamentos entre personagens e escolhas do jogador.
• Acessibilidade e Aprendizado de Idiomas: SVT aprimorada para usuários com deficiência visual, proporcionando acesso mais envolvente e compreensível à literatura. Também poderia auxiliar aprendizes de idiomas fornecendo modelos de pronúncia mais expressivos e conscientes do contexto.
• Ferramentas Criativas Cross-Modais: Para autores e produtores de áudio, ferramentas que sugerem marcações de prosódia em um manuscrito ou geram automaticamente rascunhos de áudio expressivos para revisão.
• Direção de Pesquisa - Emoção e Sentimento: Estender o modelo para prever prosódia emocional mais granular (ex: alegria, tristeza, raiva) incorporando análise de sentimento e detecção de emoção a partir do texto, semelhante aos esforços em SVT emocional vistos em pesquisas de instituições como o Language Technologies Institute da Carnegie Mellon University.
• Direção de Pesquisa - Sistemas End-to-End: Ir além do controle SSML post-hoc para treinar um sistema de SVT neural end-to-end (como Tacotron 2 ou FastSpeech 2) onde a previsão de prosódia é uma parte integral e condicionada do modelo acústico, potencialmente produzindo uma saída mais natural e coesa.

8. Referências

1. Pethe, C., Pham, B., Childress, F. D., Yin, Y., & Skiena, S. (2025). Prosody Analysis of Audiobooks. arXiv preprint arXiv:2310.06930v3.
2. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
3. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
4. Song, K., et al. (2020). MPNet: Masked and Permuted Pre-training for Language Understanding. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
5. Google Cloud. (n.d.). Text-to-Speech. Recuperado de https://cloud.google.com/text-to-speech
6. World Wide Web Consortium (W3C). (2010). Speech Synthesis Markup Language (SSML) Version 1.1. W3C Recommendation.
7. Zen, H., et al. (2019). LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech. Interspeech 2019.

Perspectiva do Analista: Uma Desconstrução Crítica

Insight Central: Este artigo não é apenas sobre fazer robôs soarem mais humanos; é uma exploração astuta de um conjunto de dados massivo e subutilizado — as performances de audiolivros humanos — para engenharia reversa das regras tácitas da entrega narrativa. Os autores identificam corretamente que a indústria bilionária de audiolivros é, na verdade, um conjunto de anotação colossal e pré-existente para fala expressiva. Seu insight chave é tratar o narrador como um sensor de alta fidelidade para o afeto textual, um conceito com paralelos em como o CycleGAN (Zhu et al., 2017) usa conjuntos de imagens não pareados para aprender tradução de estilo — aqui, o "estilo" é a performance prosódica.

Fluxo Lógico: A lógica é convincente: 1) Alinhar texto e áudio para criar um conjunto de dados supervisionado. 2) Usar PLN robusto (MPNet) para entender o texto. 3) Usar um modelo sequencial (LSTM) para mapear contexto para prosódia. 4) Superar um gigante comercial (Google) em seu próprio jogo em métricas de correlação. O fluxo desde a criação de dados até a superioridade do modelo é claro e bem apoiado por suas taxas de vitória de 22/24 e 23/24. No entanto, a cadeia enfraquece no elo final e crucial: a preferência subjetiva do ouvinte. Um resultado de 12/22 é estatisticamente frágil e revela o perene problema de "boas métricas, experiência medíocre" no áudio de IA.

Pontos Fortes e Falhas: O ponto forte é inegável no conjunto de dados e na superioridade clara e quantificável sobre a linha de base de SVT na captura de contornos prosódicos objetivos. A análise ao nível de personagem (masculino vs. feminino, narrativa vs. diálogo) é uma joia de observação empírica que fornece tanto uma validação do modelo quanto um insight fascinante sobre a performance humana. A principal falha é a dependência do "hacking" SSML post-hoc. Como qualquer engenheiro de áudio dirá, aplicar controles de prosódia após o fato a uma voz de SVT genérica frequentemente soa artificial e desconexo — como usar um equalizador gráfico em uma gravação ruim. Os resultados da avaliação humana gritam essa limitação. O modelo prevê as notas certas, mas o motor de síntese não consegue tocá-las afinadas. Uma abordagem mais ambiciosa, end-to-end, como a pioneira por modelos como o FastSpeech 2, é o próximo passo necessário, porém mais difícil.

Insights Acionáveis: Para equipes de produto, a conclusão imediata é licenciar ou construir sobre este conjunto de dados e modelo para adicionar um modo "Contador de Histórias" ou "Expressivo" às ofertas de SVT existentes — uma característica viável no curto prazo. Para pesquisadores, o caminho é duplo: Primeiro, integrar esta previsão de prosódia diretamente no modelo acústico de um sistema de SVT neural, indo além do SSML. Segundo, expandir a análise além dos três atributos básicos para abranger qualidade vocal (sopro, rugosidade) e estados emocionais mais sutis, talvez aproveitando recursos como o corpus MSP-Podcast para análise de fala emocional. O artigo abre com sucesso uma rica veia de pesquisa; agora começa o trabalho árduo de refinar o minério.