Analyse Prosodique des Livres Audio : Modèles de TAL pour une Synthèse Vocale Améliorée

Table des Matières

1. Introduction & Aperçu

Cet article de recherche, "Analyse Prosodique des Livres Audio", aborde une lacune critique des systèmes modernes de Synthèse Vocale (Text-to-Speech, TTS) : leur incapacité à reproduire les vocalisations expressives et dramatiques caractéristiques des livres audio narrés par des humains. Alors que la TTS commerciale a atteint un haut degré de naturel pour la parole générique, elle échoue avec les textes narratifs riches en dialogues, émotions et descriptions. La thèse centrale est qu'une analyse de Traitement Automatique du Langage (TAL) de haut niveau—ciblant spécifiquement l'identification des personnages, les dialogues et la structure narrative—peut être exploitée pour prédire les caractéristiques prosodiques (hauteur, volume, débit) et améliorer significativement la qualité des livres audio synthétiques.

Ce travail présente un nouveau jeu de données de 93 paires alignées livre-audio et démontre que les modèles entraînés sur ces données surpassent une référence commerciale de pointe (Google Cloud TTS) en termes de corrélation avec les modèles prosodiques humains.

2. Méthodologie & Jeu de Données

2.1 Construction du Jeu de Données

Le fondement de cette recherche est un jeu de données méticuleusement constitué comprenant 93 romans et leurs livres audio lus par des humains correspondants. Le jeu de données inclut 1 806 chapitres avec un alignement au niveau de la phrase entre le texte et l'audio, permettant une analyse précise. Ce jeu de données a été rendu public, offrant une ressource précieuse pour les communautés de la parole et du TAL. Le processus d'alignement est crucial pour extraire des étiquettes prosodiques précises (hauteur, volume, débit) pour chaque phrase du texte.

2.2 Extraction des Attributs Prosodiques

À partir des livres audio alignés, trois attributs prosodiques fondamentaux sont extraits au niveau de la phrase :

• Hauteur (F0) : La fréquence fondamentale, indiquant le taux de vibration des cordes vocales. Mesurée en Hertz (Hz).
• Volume (Intensité/Énergie) : L'amplitude ou l'intensité du signal vocal. Mesuré en décibels (dB).
• Débit (Vitesse d'Élocution) : La vitesse de délivrance, souvent mesurée en syllabes par seconde.

Ces attributs servent de variables cibles pour les modèles prédictifs.

2.3 Architecture du Modèle

Le modèle principal est un réseau à mémoire à long terme (Long Short-Term Memory, LSTM) construit sur des représentations de phrases MPNet (Masked and Permuted Pre-training for Language Understanding). MPNet fournit des représentations contextuelles riches du texte d'entrée. La couche LSTM modélise ensuite les dépendances séquentielles dans le récit pour prédire les valeurs continues de la hauteur, du volume et du débit. Cette architecture est choisie pour sa capacité à capturer les indices contextuels à long terme essentiels à la compréhension narrative.

3. Principaux Résultats & Analyse

3.1 Modèles Prosodiques au Niveau des Personnages

Une découverte empirique significative est que les narrateurs humains modulent systématiquement la prosodie en fonction des attributs des personnages et du contexte narratif. L'analyse révèle :

• Dans 21 des 31 livres où les deux personnages principaux diffèrent par le genre, les narrateurs ont utilisé une hauteur plus basse et un volume plus élevé pour représenter le personnage masculin.
• Les narrateurs utilisent systématiquement une hauteur plus basse dans les parties narratives par rapport aux dialogues, indépendamment du genre du personnage.

Cela quantifie une règle de performance implicite utilisée par les narrateurs professionnels, fournissant un signal clair pour l'apprentissage des modèles.

3.2 Performance du Modèle vs. Synthèse Vocale Commerciale

Les attributs prosodiques prédits par le modèle proposé montrent une corrélation significativement plus élevée avec les lectures humaines que la sortie par défaut de Google Cloud Text-to-Speech.

• Hauteur : Les prédictions du modèle ont mieux corrélé avec la lecture humaine dans 22 des 24 livres de l'ensemble de test.
• Volume : Les prédictions du modèle ont mieux corrélé dans 23 des 24 livres.

Cela démontre l'efficacité du modèle à capturer les modèles prosodiques humains nuancés que les systèmes TTS génériques manquent.

4. Implémentation Technique

4.1 Formulation Mathématique

La tâche de prédiction prosodique est formulée comme un problème de régression. Étant donné une phrase d'entrée $S$ représentée par son embedding MPNet $\mathbf{e}_S$, le modèle $f_\theta$ paramétré par $\theta$ prédit un vecteur prosodique $\mathbf{p}$ : $$\mathbf{p} = [\hat{pitch}, \hat{volume}, \hat{rate}]^T = f_\theta(\mathbf{e}_S)$$ Le modèle est entraîné à minimiser la perte d'erreur quadratique moyenne (Mean Squared Error, MSE) entre ses prédictions $\hat{\mathbf{p}}$ et les valeurs prosodiques de référence $\mathbf{p}_{gt}$ extraites de l'audio humain : $$\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \| \hat{\mathbf{p}}_i - \mathbf{p}_{gt,i} \|^2_2$$

4.2 Détails de l'Architecture LSTM

Le modèle séquentiel central est une cellule LSTM standard. À chaque étape $t$ (correspondant à une phrase), il met à jour son état caché $\mathbf{h}_t$ et son état de cellule $\mathbf{c}_t$ en fonction de l'entrée $\mathbf{x}_t$ (l'embedding MPNet) et des états précédents : $$\mathbf{i}_t = \sigma(\mathbf{W}_{xi}\mathbf{x}_t + \mathbf{W}_{hi}\mathbf{h}_{t-1} + \mathbf{b}_i)$$ $$\mathbf{f}_t = \sigma(\mathbf{W}_{xf}\mathbf{x}_t + \mathbf{W}_{hf}\mathbf{h}_{t-1} + \mathbf{b}_f)$$ $$\mathbf{o}_t = \sigma(\mathbf{W}_{xo}\mathbf{x}_t + \mathbf{W}_{ho}\mathbf{h}_{t-1} + \mathbf{b}_o)$$ $$\tilde{\mathbf{c}}_t = \tanh(\mathbf{W}_{xc}\mathbf{x}_t + \mathbf{W}_{hc}\mathbf{h}_{t-1} + \mathbf{b}_c)$$ $$\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$$ $$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{c}_t)$$ où $\sigma$ est la fonction sigmoïde, $\odot$ désigne la multiplication élément par élément, et $\mathbf{W}$ et $\mathbf{b}$ sont les paramètres apprenables. L'état caché final $\mathbf{h}_t$ passe par une couche entièrement connectée pour produire la prédiction prosodique tridimensionnelle.

5. Résultats Expérimentaux

5.1 Métriques de Corrélation & Figure 1

La métrique d'évaluation principale est le coefficient de corrélation (par exemple, le r de Pearson) entre le contour prosodique prédit et le contour prosodique de la lecture humaine sur un chapitre. La figure 1 de l'article présente un diagramme à points comparant la corrélation humain-TTS pour le système proposé et Google Cloud TTS sur 24 livres de test.

• Description du Graphique (Fig. 1a - Hauteur) : L'axe des x représente les différents livres. Chaque livre a deux points : un pour la corrélation de hauteur du modèle proposé avec la lecture humaine, et un pour la corrélation de Google TTS. Le graphique montre visuellement que le point du modèle (probablement d'une couleur distincte) est plus haut que celui de Google pour la grande majorité des livres, soutenant quantitativement l'affirmation des 22/24.
• Description du Graphique (Fig. 1b - Volume) : Un diagramme à points similaire pour la corrélation du volume, montrant une performance encore plus dominante du modèle proposé, correspondant au résultat des 23/24.

Ces graphiques fournissent une preuve visuelle forte de la capacité supérieure du modèle à imiter la prosodie narrative humaine.

5.2 Étude d'Évaluation Humaine

Au-delà des métriques de corrélation, une étude d'évaluation humaine a été menée. Les prédictions prosodiques du modèle ont été utilisées pour générer des balises SSML (Speech Synthesis Markup Language) afin de contrôler un moteur TTS. Les auditeurs ont été présentés avec deux versions : l'audio Google TTS par défaut et l'audio amélioré par SSML utilisant les prédictions du modèle. Les résultats étaient nuancés : une petite majorité (12 des 22 sujets) a préféré les lectures améliorées par SSML, mais la préférence n'était pas écrasante. Cela souligne la complexité de l'évaluation subjective de la qualité audio et suggère que si le modèle capture bien les modèles prosodiques objectifs, leur intégration transparente dans la sortie audio finale reste un défi.

6. Cadre d'Analyse & Étude de Cas

Cadre pour l'Analyse Prosodique Narrative :

1. Segmentation & Annotation du Texte : Diviser le roman en phrases. Exécuter des pipelines TAL pour :
   • La Reconnaissance d'Entités Nommées (NER) pour identifier les personnages.
   • L'attribution de citations pour lier les dialogues aux personnages.
   • La classification de texte pour étiqueter les phrases comme "Narratif", "Dialogue" ou "Description".
2. Ingénierie des Caractéristiques Contextuelles : Pour chaque phrase, créer des caractéristiques :
   • Indicateurs binaires : `is_dialogue`, `is_narrative`.
   • ID du personnage parlant (si en dialogue).
   • Métadonnées : genre du personnage (à partir d'une base de connaissances externe).
   • Embedding de phrase (MPNet) capturant le contenu sémantique.
3. Extraction des Étiquettes Prosodiques : À partir de l'audio aligné dans le temps, extraire la hauteur (F0), le volume (énergie RMS) et le débit d'élocution (syllabes/durée) pour chaque phrase.
4. Entraînement & Inférence du Modèle : Entraîner le modèle LSTM (Section 4.2) sur les paires {caractéristiques → étiquettes prosodiques}. Pour un nouveau texte, appliquer le modèle entraîné pour prédire les attributs prosodiques.
5. Génération SSML & Synthèse : Convertir la hauteur prédite (comme un multiplicateur relatif, p. ex. `+20%`), le volume (p. ex. `+3dB`) et le débit (p. ex. `slow`) en balises SSML. Fournir le texte balisé à un moteur TTS neuronal de haute qualité (p. ex., Google, Amazon Polly) pour le rendu audio final.

Étude de Cas - Application du Cadre : Considérons la phrase "'Je n'y retournerai jamais,' dit-il avec défi." Le cadre : 1) L'identifier comme un dialogue prononcé par un personnage masculin ("il"). 2) Le modèle, ayant appris que les dialogues masculins ont souvent une hauteur plus basse et un volume plus élevé que le narratif, pourrait prédire : `pitch_shift = -10%`, `volume_boost = +2dB`. 3) Ceux-ci seraient rendus en SSML : `Je n'y retournerai jamais, dit-il avec défi.`. La parole synthétique résultante porterait l'emphase dramatique souhaitée.

7. Applications Futures & Orientations

• Narration de Livres Audio Personnalisée : Les utilisateurs pourraient sélectionner un "style de narrateur" (p. ex., "calme", "dramatique", "sarcastique") en affinant le modèle de prédiction prosodique sur des livres audio lus par des narrateurs ayant ce style.
• Raconter des Histoires Interactif en Temps Réel : Intégration dans des moteurs de jeu ou des plateformes de fiction interactive, où la prosodie est ajustée dynamiquement en fonction de la tension narrative, des relations entre personnages et des choix du joueur.
• Accessibilité & Apprentissage des Langues : TTS améliorée pour les utilisateurs malvoyants, offrant un accès plus engageant et compréhensible à la littérature. Elle pourrait également aider les apprenants en langues en fournissant des modèles de prononciation plus expressifs et conscients du contexte.
• Outils Créatifs Intermodaux : Pour les auteurs et producteurs audio, des outils qui suggèrent des marques prosodiques dans un manuscrit ou génèrent automatiquement des versions audio expressives pour relecture.
• Orientation de Recherche - Émotion & Sentiment : Étendre le modèle pour prédire une prosodie émotionnelle plus granulaire (p. ex., joie, tristesse, colère) en incorporant l'analyse des sentiments et la détection des émotions à partir du texte, similaire aux efforts en TTS émotionnelle observés dans des institutions comme le Language Technologies Institute de l'Université Carnegie Mellon.
• Orientation de Recherche - Systèmes de Bout en Bout : Aller au-delà du contrôle SSML a posteriori pour entraîner un système TTS neuronal de bout en bout (comme Tacotron 2 ou FastSpeech 2) où la prédiction prosodique est une partie intégrante et conditionnée du modèle acoustique, produisant potentiellement une sortie plus naturelle et cohérente.

8. Références

1. Pethe, C., Pham, B., Childress, F. D., Yin, Y., & Skiena, S. (2025). Prosody Analysis of Audiobooks. arXiv preprint arXiv:2310.06930v3.
2. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
3. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
4. Song, K., et al. (2020). MPNet: Masked and Permuted Pre-training for Language Understanding. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
5. Google Cloud. (s.d.). Text-to-Speech. Récupéré de https://cloud.google.com/text-to-speech
6. World Wide Web Consortium (W3C). (2010). Speech Synthesis Markup Language (SSML) Version 1.1. W3C Recommendation.
7. Zen, H., et al. (2019). LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech. Interspeech 2019.

Perspective de l'Analyste : Une Déconstruction Critique

Idée Maîtresse : Cet article ne se contente pas de rendre les robots plus humains ; c'est une exploitation astucieuse d'un jeu de données massif et sous-utilisé—les performances de livres audio humains—pour rétro-ingénierier les règles tacites de la délivrance narrative. Les auteurs identifient correctement que l'industrie du livre audio, pesant des milliards, est en effet un ensemble d'annotations colossal et préexistant pour la parole expressive. Leur idée clé est de traiter le narrateur comme un capteur haute fidélité pour l'affect textuel, un concept qui trouve des parallèles avec la façon dont CycleGAN (Zhu et al., 2017) utilise des ensembles d'images non appariés pour apprendre la traduction de style—ici, le "style" est la performance prosodique.

Enchaînement Logique : La logique est convaincante : 1) Aligner texte et audio pour créer un jeu de données supervisé. 2) Utiliser un TAL robuste (MPNet) pour comprendre le texte. 3) Utiliser un modèle séquentiel (LSTM) pour mapper le contexte à la prosodie. 4) Battre un géant commercial (Google) à son propre jeu sur les métriques de corrélation. L'enchaînement, de la création des données à la supériorité du modèle, est clair et bien étayé par leurs taux de réussite de 22/24 et 23/24. Cependant, la chaîne s'affaiblit au dernier maillon crucial : la préférence subjective de l'auditeur. Un résultat de 12/22 est statistiquement fragile et révèle le problème perpétuel des "bonnes métriques, expérience médiocre" dans l'audio IA.

Points Forts & Faiblesses : Le point fort est indéniable dans le jeu de données et la supériorité claire et quantifiable par rapport à la TTS de base pour capturer les contours prosodiques objectifs. L'analyse au niveau des personnages (masculin vs féminin, narratif vs dialogue) est un joyau d'observation empirique qui fournit à la fois une validation du modèle et un aperçu fascinant de la performance humaine. La faiblesse majeure est la dépendance au bricolage SSML a posteriori. Comme tout ingénieur du son le dira, appliquer des contrôles prosodiques après coup à une voix TTS générique sonne souvent artificiel et décousu—comme utiliser un égaliseur graphique sur un enregistrement de mauvaise qualité. Les résultats de l'évaluation humaine crient cette limitation. Le modèle prédit les bonnes notes, mais le moteur de synthèse ne peut pas les jouer juste. Une approche plus ambitieuse, de bout en bout, comme celle initiée par des modèles comme FastSpeech 2, est l'étape suivante nécessaire mais plus difficile.

Perspectives Actionnables : Pour les équipes produit, la conclusion immédiate est de licencier ou de s'appuyer sur ce jeu de données et ce modèle pour ajouter un mode "Conteur" ou "Expressif" aux offres TTS existantes—une fonctionnalité viable à court terme. Pour les chercheurs, la voie est double : Premièrement, intégrer cette prédiction prosodique directement dans le modèle acoustique d'un système TTS neuronal, au-delà du SSML. Deuxièmement, étendre l'analyse au-delà des trois attributs de base pour englober la qualité vocale (souffle, raucité) et des états émotionnels plus nuancés, en exploitant peut-être des ressources comme le corpus MSP-Podcast pour l'analyse de la parole émotionnelle. L'article ouvre avec succès une veine riche de recherche ; commence maintenant le travail difficile d'affiner le minerai.