Análisis de Prosodia en Audiolibros: Modelos de PLN para una Síntesis de Voz Mejorada

Tabla de Contenidos

1. Introducción y Visión General

Este artículo de investigación, "Análisis de Prosodia en Audiolibros", aborda una brecha crítica en los sistemas modernos de Síntesis de Voz (TTS): la incapacidad para replicar las vocalizaciones expresivas y dramáticas características de los audiolibros narrados por humanos. Si bien la TTS comercial ha logrado una alta naturalidad en el habla genérica, falla con textos narrativos ricos en diálogo, emoción y descripción. La tesis central es que el análisis de Procesamiento del Lenguaje Natural (PLN) de orden superior—específicamente dirigido a la identificación de personajes, diálogo y estructura narrativa—puede aprovecharse para predecir características prosódicas (tono, volumen, ritmo del habla) y mejorar significativamente la calidad sintética de los audiolibros.

El trabajo presenta un novedoso conjunto de datos de 93 pares alineados de libro-audiolibro y demuestra que los modelos entrenados con estos datos superan a una línea de base comercial de TTS de última generación (Google Cloud TTS) en la correlación con los patrones prosódicos humanos.

2. Metodología y Conjunto de Datos

2.1 Construcción del Conjunto de Datos

La base de esta investigación es un conjunto de datos meticulosamente curado que comprende 93 novelas y sus correspondientes audiolibros leídos por humanos. El conjunto de datos incluye 1.806 capítulos con alineación a nivel de oración entre el texto y el audio, lo que permite un análisis preciso. Este conjunto de datos se ha puesto a disposición del público, proporcionando un recurso valioso para las comunidades de habla y PLN. El proceso de alineación es crucial para extraer etiquetas prosódicas precisas (tono, volumen, ritmo) para cada oración en el texto.

2.2 Extracción de Atributos Prosódicos

De los audiolibros alineados, se extraen tres atributos prosódicos principales a nivel de oración:

• Tono (F0): La frecuencia fundamental, que indica la tasa de vibración de las cuerdas vocales. Se mide en Hertz (Hz).
• Volumen (Intensidad/Energía): La amplitud o sonoridad de la señal de voz. Se mide en decibelios (dB).
• Ritmo (Tasa de Habla): La velocidad de entrega, a menudo medida en sílabas por segundo.

Estos atributos sirven como las variables objetivo para los modelos predictivos.

2.3 Arquitectura del Modelo

El modelo principal es una red de Memoria a Largo Plazo (LSTM) construida sobre incrustaciones de oraciones MPNet (Preentrenamiento Enmascarado y Permutado para la Comprensión del Lenguaje). MPNet proporciona representaciones contextuales ricas del texto de entrada. La capa LSTM modela entonces las dependencias secuenciales en la narrativa para predecir los valores continuos de tono, volumen y ritmo. Se elige esta arquitectura por su capacidad para captar pistas contextuales de largo alcance esenciales para la comprensión narrativa.

3. Hallazgos Clave y Análisis

3.1 Patrones Prosódicos a Nivel de Personaje

Un hallazgo empírico significativo es que los narradores humanos modulan sistemáticamente la prosodia en función de los atributos de los personajes y el contexto narrativo. El análisis revela:

• En 21 de 31 libros donde los dos personajes principales difieren en género, los narradores usaron tono más bajo y volumen más alto para representar al personaje masculino.
• Los narradores usan consistentemente un tono más bajo en las regiones narrativas en comparación con el diálogo, independientemente del género del personaje.

Esto cuantifica una regla de interpretación implícita utilizada por narradores profesionales, proporcionando una señal clara para que los modelos aprendan.

3.2 Rendimiento del Modelo vs. Síntesis de Voz Comercial

Los atributos prosódicos predichos por el modelo propuesto muestran una correlación significativamente mayor con las lecturas humanas que la salida predeterminada de Google Cloud Text-to-Speech.

• Tono: Las predicciones del modelo se correlacionaron mejor con la lectura humana en 22 de 24 libros del conjunto de prueba.
• Volumen: Las predicciones del modelo se correlacionaron mejor en 23 de 24 libros.

Esto demuestra la efectividad del modelo para capturar matices de los patrones prosódicos humanos que los sistemas TTS genéricos pasan por alto.

4. Implementación Técnica

4.1 Formulación Matemática

La tarea de predicción de prosodia se enmarca como un problema de regresión. Dada una oración de entrada $S$ representada por su incrustación MPNet $\mathbf{e}_S$, el modelo $f_\theta$ parametrizado por $\theta$ predice un vector de prosodia $\mathbf{p}$: $$\mathbf{p} = [\hat{pitch}, \hat{volume}, \hat{rate}]^T = f_\theta(\mathbf{e}_S)$$ El modelo se entrena para minimizar la pérdida de Error Cuadrático Medio (MSE) entre sus predicciones $\hat{\mathbf{p}}$ y los valores de prosodia reales $\mathbf{p}_{gt}$ extraídos del audio humano: $$\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \| \hat{\mathbf{p}}_i - \mathbf{p}_{gt,i} \|^2_2$$

4.2 Detalles de la Arquitectura LSTM

El modelo de secuencia central es una celda LSTM estándar. En cada paso $t$ (correspondiente a una oración), actualiza su estado oculto $\mathbf{h}_t$ y su estado de celda $\mathbf{c}_t$ basándose en la entrada $\mathbf{x}_t$ (la incrustación MPNet) y los estados anteriores: $$\mathbf{i}_t = \sigma(\mathbf{W}_{xi}\mathbf{x}_t + \mathbf{W}_{hi}\mathbf{h}_{t-1} + \mathbf{b}_i)$$ $$\mathbf{f}_t = \sigma(\mathbf{W}_{xf}\mathbf{x}_t + \mathbf{W}_{hf}\mathbf{h}_{t-1} + \mathbf{b}_f)$$ $$\mathbf{o}_t = \sigma(\mathbf{W}_{xo}\mathbf{x}_t + \mathbf{W}_{ho}\mathbf{h}_{t-1} + \mathbf{b}_o)$$ $$\tilde{\mathbf{c}}_t = \tanh(\mathbf{W}_{xc}\mathbf{x}_t + \mathbf{W}_{hc}\mathbf{h}_{t-1} + \mathbf{b}_c)$$ $$\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$$ $$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{c}_t)$$ donde $\sigma$ es la función sigmoide, $\odot$ denota la multiplicación elemento a elemento, y $\mathbf{W}$ y $\mathbf{b}$ son parámetros aprendibles. El estado oculto final $\mathbf{h}_t$ pasa a través de una capa completamente conectada para producir la predicción prosódica tridimensional.

5. Resultados Experimentales

5.1 Métricas de Correlación y Figura 1

La métrica de evaluación principal es el coeficiente de correlación (por ejemplo, r de Pearson) entre el contorno prosódico predicho y el contorno prosódico leído por humanos a lo largo de un capítulo. La Figura 1 del artículo presenta un gráfico de puntos que compara la correlación humano-TTS para el sistema propuesto y Google Cloud TTS en 24 libros de prueba.

• Descripción del Gráfico (Fig. 1a - Tono): El eje x representa diferentes libros. Cada libro tiene dos puntos: uno para la correlación de tono del modelo propuesto con la lectura humana, y otro para la correlación de Google TTS. El gráfico muestra visualmente que el punto del modelo (probablemente en un color distintivo) es más alto que el punto de Google para la gran mayoría de los libros, respaldando cuantitativamente la afirmación de 22/24.
• Descripción del Gráfico (Fig. 1b - Volumen): Un gráfico de puntos similar para la correlación de volumen, que muestra un rendimiento aún más dominante por parte del modelo propuesto, correspondiente al resultado de 23/24.

Estos gráficos proporcionan una fuerte evidencia visual de la capacidad superior del modelo para imitar la prosodia narrativa humana.

5.2 Estudio de Evaluación Humana

Más allá de las métricas de correlación, se realizó un estudio de evaluación humana. Las predicciones de prosodia del modelo se utilizaron para generar etiquetas SSML (Lenguaje de Marcado de Síntesis de Voz) para controlar un motor TTS. A los oyentes se les presentaron dos versiones: el audio predeterminado de Google TTS y el audio mejorado con SSML utilizando las predicciones del modelo. Los resultados fueron matizados: una pequeña mayoría (12 de 22 sujetos) prefirió las lecturas mejoradas con SSML, pero la preferencia no fue abrumadora. Esto destaca la complejidad de la evaluación subjetiva de la calidad del audio y sugiere que, si bien el modelo capta bien los patrones prosódicos objetivos, integrarlos sin problemas en la salida de audio final sigue siendo un desafío.

6. Marco de Análisis y Caso de Estudio

Marco para el Análisis de Prosodia Narrativa:

1. Segmentación y Anotación del Texto: Dividir la novela en oraciones. Ejecutar pipelines de PLN para:
   • Reconocimiento de Entidades Nombradas (NER) para identificar personajes.
   • Atribución de citas para vincular el diálogo a los personajes.
   • Clasificación de texto para etiquetar oraciones como "Narrativa", "Diálogo" o "Descripción".
2. Ingeniería de Características Contextuales: Para cada oración, crear características:
   • Indicadores binarios: `is_dialogue`, `is_narrative`.
   • ID del personaje que habla (si está en diálogo).
   • Metadatos: género del personaje (de una base de conocimiento externa).
   • Incrustación de la oración (MPNet) que captura el contenido semántico.
3. Extracción de Etiquetas Prosódicas: Del audio alineado en el tiempo, extraer tono (F0), volumen (energía RMS) y tasa de habla (sílabas/duración) para cada oración.
4. Entrenamiento e Inferencia del Modelo: Entrenar el modelo LSTM (Sección 4.2) con los pares {características → etiquetas prosódicas}. Para un texto nuevo, aplicar el modelo entrenado para predecir los atributos prosódicos.
5. Generación de SSML y Síntesis: Convertir el tono predicho (como un multiplicador relativo, ej. `+20%`), volumen (ej. `+3dB`) y ritmo (ej. `slow`) en etiquetas SSML. Alimentar el texto etiquetado a un motor TTS neuronal de alta calidad (ej. Google, Amazon Polly) para la renderización final del audio.

Caso de Estudio - Aplicando el Marco: Considere la oración "'Nunca volveré', dijo él con desafío." El marco haría: 1) Identificarla como diálogo hablado por un personaje masculino ("él"). 2) El modelo, habiendo aprendido que el diálogo masculino a menudo tiene un tono más bajo y un volumen más alto que la narrativa, podría predecir: `pitch_shift = -10%`, `volume_boost = +2dB`. 3) Esto se representaría como SSML: `Nunca volveré, dijo él con desafío.`. El habla sintética resultante llevaría el énfasis dramático deseado.

7. Aplicaciones Futuras y Direcciones

• Narración Personalizada de Audiolibros: Los usuarios podrían seleccionar un "estilo de narrador" (ej. "calmado", "dramático", "sarcástico") ajustando el modelo de predicción de prosodia con audiolibros leídos por narradores con ese estilo.
• Narración Interactiva en Tiempo Real: Integración en motores de juego o plataformas de ficción interactiva, donde la prosodia se ajusta dinámicamente según la tensión narrativa, las relaciones entre personajes y las elecciones del jugador.
• Accesibilidad y Aprendizaje de Idiomas: TTS mejorada para usuarios con discapacidad visual, proporcionando un acceso más atractivo y comprensible a la literatura. También podría ayudar a los estudiantes de idiomas proporcionando modelos de pronunciación más expresivos y conscientes del contexto.
• Herramientas Creativas Transmodales: Para autores y productores de audio, herramientas que sugieran marcas prosódicas en un manuscrito o generen automáticamente borradores de audio expresivos para revisión.
• Dirección de Investigación - Emoción y Sentimiento: Extender el modelo para predecir una prosodia emocional más granular (ej. alegría, tristeza, ira) incorporando análisis de sentimiento y detección de emociones a partir del texto, similar a los esfuerzos en TTS emocional vistos en investigaciones de instituciones como el Language Technologies Institute de la Universidad Carnegie Mellon.
• Dirección de Investigación - Sistemas de Extremo a Extremo: Ir más allá del control SSML a posteriori para entrenar un sistema de TTS neuronal de extremo a extremo (como Tacotron 2 o FastSpeech 2) donde la predicción de prosodia sea una parte integral y condicionada del modelo acústico, produciendo potencialmente una salida más natural y cohesionada.

8. Referencias

1. Pethe, C., Pham, B., Childress, F. D., Yin, Y., & Skiena, S. (2025). Prosody Analysis of Audiobooks. arXiv preprint arXiv:2310.06930v3.
2. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
3. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
4. Song, K., et al. (2020). MPNet: Masked and Permuted Pre-training for Language Understanding. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
5. Google Cloud. (n.d.). Text-to-Speech. Recuperado de https://cloud.google.com/text-to-speech
6. World Wide Web Consortium (W3C). (2010). Speech Synthesis Markup Language (SSML) Version 1.1. W3C Recommendation.
7. Zen, H., et al. (2019). LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech. Interspeech 2019.

Perspectiva del Analista: Una Deconstrucción Crítica

Insight Central: Este artículo no se trata solo de hacer que los robots suenen más humanos; es una explotación astuta de un conjunto de datos masivo y subutilizado—las interpretaciones de audiolibros humanos—para ingeniería inversa de las reglas tácitas de la entrega narrativa. Los autores identifican correctamente que la industria multimillonaria de los audiolibros es, en efecto, un conjunto de anotaciones preexistente y colosal para el habla expresiva. Su idea clave es tratar al narrador como un sensor de alta fidelidad para el afecto textual, un concepto con paralelos a cómo CycleGAN (Zhu et al., 2017) usa conjuntos de imágenes no emparejados para aprender la traducción de estilos—aquí, el "estilo" es la interpretación prosódica.

Flujo Lógico: La lógica es convincente: 1) Alinear texto y audio para crear un conjunto de datos supervisado. 2) Usar PLN robusto (MPNet) para entender el texto. 3) Usar un modelo secuencial (LSTM) para mapear contexto a prosodia. 4) Vencer a un gigante comercial (Google) en su propio juego en métricas de correlación. El flujo desde la creación de datos hasta la superioridad del modelo es claro y está bien respaldado por sus tasas de éxito de 22/24 y 23/24. Sin embargo, la cadena se debilita en el último eslabón crucial: la preferencia subjetiva del oyente. Un resultado de 12/22 es estadísticamente débil y revela el perenne problema de "buenas métricas, experiencia mediocre" en el audio de IA.

Fortalezas y Debilidades: La fortaleza es innegable en el conjunto de datos y la superioridad clara y cuantificable sobre la línea de base de TTS en la captura de contornos prosódicos objetivos. El análisis a nivel de personaje (masculino vs. femenino, narrativa vs. diálogo) es una joya de observación empírica que proporciona tanto una validación del modelo como una visión fascinante de la interpretación humana. La debilidad principal es la dependencia del "hackeo" a posteriori con SSML. Como cualquier ingeniero de audio dirá, aplicar controles de prosodia después del hecho a una voz TTS genérica a menudo suena artificial y desarticulado—como usar un ecualizador gráfico en una grabación pobre. Los resultados de la evaluación humana gritan esta limitación. El modelo predice las notas correctas, pero el motor de síntesis no puede tocarlas afinadas. Un enfoque más ambicioso, de extremo a extremo, como el iniciado por modelos como FastSpeech 2, es el siguiente paso necesario pero más difícil.

Insights Accionables: Para equipos de producto, la conclusión inmediata es licenciar o construir sobre este conjunto de datos y modelo para agregar un modo "Narrador" o "Expresivo" a las ofertas TTS existentes—una característica viable a corto plazo. Para los investigadores, el camino es doble: Primero, integrar esta predicción de prosodia directamente en el modelo acústico de un sistema TTS neuronal, yendo más allá del SSML. Segundo, expandir el análisis más allá de los tres atributos básicos para abarcar la calidad de voz (soplo, aspereza) y estados emocionales más matizados, quizás aprovechando recursos como el corpus MSP-Podcast para el análisis del habla emocional. El artículo abre con éxito una veta rica de investigación; ahora comienza el trabajo duro de refinar el mineral.