Évaluation de la Vision du Monde des Modèles de Langage pour la Génération de Fiction

1. Introduction

Les grands modèles de langage (LLM) sont devenus des outils omniprésents en créativité computationnelle, avec des applications croissantes dans la génération d'histoires fictionnelles. Cependant, la fiction exige plus qu'une simple compétence linguistique — elle nécessite la création et le maintien d'un univers narratif cohérent qui diffère de la réalité tout en conservant une cohérence interne. Cet article examine si les LLM actuels possèdent la « vision du monde » ou l'état interne nécessaire pour générer des fictions captivantes, dépassant ainsi la simple complétion de texte pour atteindre une véritable construction narrative.

Le défi fondamental réside dans la distinction entre la récupération de connaissances factuelles et la construction d'univers fictionnels. Alors que les LLM excellent dans la reconnaissance de motifs et la synthèse d'informations, ils peinent à maintenir des réalités alternatives cohérentes — une exigence centrale pour l'écriture de fiction. Cette recherche évalue systématiquement neuf LLM selon des métriques de cohérence et des tâches de génération d'histoires, révélant des limitations significatives dans les architectures actuelles.

2. Questions de recherche & Méthodologie

L'étude utilise un cadre d'évaluation structuré pour évaluer l'adéquation des LLM à la génération de fiction, en se concentrant sur deux capacités critiques.

3. Résultats expérimentaux & Analyse

Les résultats expérimentaux révèlent des limitations fondamentales dans la capacité des LLM actuels à fonctionner comme générateurs de fiction.

4. Cadre technique & Formulation mathématique

Le défi central peut être formalisé comme un problème de maintien d'état. Soit $W_t$ l'état du monde au temps $t$, contenant tous les faits fictionnels établis, les attributs des personnages et les contraintes narratives. Pour un LLM générant de la fiction, on s'attendrait à :

$P(réponse_{t+1} | prompt, W_t) \neq P(réponse_{t+1} | prompt)$

C'est-à-dire que la réponse du modèle devrait dépendre à la fois du prompt immédiat et de l'état du monde accumulé $W_t$. Cependant, les architectures actuelles basées sur des transformers optimisent principalement pour :

$\max \sum_{i=1}^{n} \log P(w_i | w_{

où $\theta$ représente les paramètres du modèle et $w_i$ sont les tokens. Cet objectif de prédiction du prochain token n'encourage pas explicitement le maintien de $W_t$ au-delà de la fenêtre de contexte immédiate.

La recherche suggère qu'une génération de fiction réussie nécessite des mécanismes similaires à ceux des systèmes neuro-symboliques ou des architectures à mémoire externe, où l'état du monde $W_t$ est explicitement maintenu et mis à jour, comme discuté dans des travaux tels que le Differentiable Neural Computer (Graves et al., 2016).

5. Étude de cas : Échec du suivi de l'état du monde

Scénario : Un modèle est invité à générer une histoire sur « un monde où la gravité fonctionne latéralement ». Après avoir établi cette prémisse, des prompts ultérieurs interrogent sur la vie quotidienne, l'architecture et les transports dans ce monde.

Observation : La plupart des modèles reviennent rapidement aux hypothèses de gravité standard en 2-3 tours de réponse, contredisant la prémisse établie. Par exemple, après avoir décrit des « maisons construites dans des falaises », un modèle pourrait mentionner plus tard « tomber d'un bâtiment » sans reconnaître la contradiction dans un monde à gravité latérale.

Cadre d'analyse : Cela peut être modélisé comme un échec de suivi d'état où la représentation interne du modèle $W_t$ ne met pas correctement à jour ou ne persiste pas la contrainte fictionnelle $C_{gravité} = \text{latérale}$. La distribution de probabilité sur les réponses dérive progressivement vers la distribution d'entraînement $P_{entraînement}(\text{concepts de gravité})$ plutôt que de rester conditionnée par $C_{gravité}$.

Implication : Sans mécanismes explicites pour le maintien des contraintes fictionnelles, les LLM ne peuvent pas servir de générateurs de fiction fiables, quelles que soient leurs capacités linguistiques.

6. Applications futures & Axes de recherche

Les résultats pointent vers plusieurs axes de recherche prometteurs pour améliorer les capacités de génération de fiction des LLM :

• Modules explicites d'état du monde : Architectures qui séparent le suivi de l'état narratif de la génération de langage, utilisant potentiellement une mémoire externe ou des représentations symboliques.
• Entraînement axé sur la cohérence : Objectifs de fine-tuning qui récompensent explicitement le maintien des contraintes fictionnelles sur des contextes étendus.
• Systèmes avec intervention humaine : Interfaces collaboratives où les humains gèrent l'état du monde tandis que les LLM gèrent la réalisation linguistique, similaires aux systèmes de co-création explorés dans Yuan et al. (2022).
• Modèles de fiction spécialisés : Entraînement spécifique au domaine sur des corpus de fiction curés avec annotation explicite des éléments de construction d'univers et des arcs narratifs.
• Métriques d'évaluation : Développement de benchmarks standardisés pour la cohérence fictionnelle, allant au-delà des métriques traditionnelles de modélisation du langage pour évaluer la cohérence narrative et le maintien de l'état du monde.

Ces approches pourraient combler l'écart entre les capacités actuelles des LLM et les exigences d'une véritable génération de fiction, permettant potentiellement de nouvelles formes de créativité computationnelle et de narration interactive.

7. Références

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Perspective de l'analyste : L'écart en génération de fiction