Bewertung des Weltbildes von Sprachmodellen für die Fiktionsgenerierung

1. Einleitung

Große Sprachmodelle (LLMs) sind allgegenwärtige Werkzeuge in der rechnergestützten Kreativität geworden, mit zunehmenden Anwendungen in der Generierung fiktionaler Geschichten. Fiktion erfordert jedoch mehr als nur sprachliche Kompetenz – sie verlangt die Schaffung und Aufrechterhaltung einer kohärenten Geschichtenwelt, die sich von der Realität unterscheidet, dabei aber interne Konsistenz bewahrt. Diese Arbeit untersucht, ob aktuelle LLMs das notwendige "Weltbild" oder den internen Zustand besitzen, um überzeugende Fiktion zu generieren, und geht damit über einfache Textvervollständigung hinaus hin zu echter narrativer Konstruktion.

Die grundlegende Herausforderung liegt in der Unterscheidung zwischen dem Abruf faktischen Wissens und dem Aufbau fiktionaler Welten. Während LLMs in Mustererkennung und Informationssynthese hervorragend sind, haben sie Schwierigkeiten, konsistente alternative Realitäten aufrechtzuerhalten – eine Kernanforderung für das Schreiben von Fiktion. Diese Forschung evaluiert systematisch neun LLMs anhand von Konsistenzmetriken und Geschichtengenerierungsaufgaben und deckt erhebliche Grenzen in aktuellen Architekturen auf.

2. Forschungsfragen & Methodik

Die Studie verwendet einen strukturierten Evaluierungsrahmen, um die Eignung von LLMs für die Fiktionsgenerierung zu bewerten, wobei der Fokus auf zwei kritischen Fähigkeiten liegt.

3. Experimentelle Ergebnisse & Analyse

Die experimentellen Ergebnisse zeigen grundlegende Grenzen in der Fähigkeit aktueller LLMs auf, als Fiktionsgeneratoren zu fungieren.

4. Technischer Rahmen & Mathematische Formulierung

Die Kernherausforderung kann als Zustandserhaltungsproblem formalisiert werden. Sei $W_t$ der Weltzustand zum Zeitpunkt $t$, der alle etablierten fiktionalen Fakten, Charakterattribute und narrativen Einschränkungen enthält. Für ein LLM, das Fiktion generiert, würden wir erwarten:

$P(Antwort_{t+1} | prompt, W_t) \neq P(Antwort_{t+1} | prompt)$

Das heißt, die Antwort des Modells sollte sowohl vom unmittelbaren Prompt als auch vom akkumulierten Weltzustand $W_t$ abhängen. Aktuelle Transformer-basierte Architekturen optimieren jedoch primär für:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

wobei $\theta$ die Modellparameter und $w_i$ die Tokens repräsentieren. Dieses Next-Token-Prediction-Ziel fördert nicht explizit die Erhaltung von $W_t$ über das unmittelbare Kontextfenster hinaus.

Die Forschung legt nahe, dass erfolgreiche Fiktionsgenerierung Mechanismen erfordert, die ähnlich sind wie in neuronal-symbolischen Systemen oder Architekturen mit externem Speicher, bei denen der Weltzustand $W_t$ explizit gepflegt und aktualisiert wird, wie in Arbeiten wie dem Differentiable Neural Computer (Graves et al., 2016) diskutiert.

5. Fallstudie: Scheitern der Weltzustandsverfolgung

Szenario: Ein Modell wird aufgefordert, eine Geschichte über "eine Welt, in der die Schwerkraft seitlich wirkt" zu generieren. Nachdem diese Prämisse etabliert ist, fragen nachfolgende Prompts nach dem täglichen Leben, der Architektur und dem Transport in dieser Welt.

Beobachtung: Die meisten Modelle kehren innerhalb von 2-3 Antwortrunden zu Standard-Schwerkraftannahmen zurück und widersprechen damit der etablierten Prämisse. Beispielsweise könnte ein Modell nach der Beschreibung von "in Felswände gebauten Häusern" später "das Fallen von einem Gebäude" erwähnen, ohne den Widerspruch in einer Welt mit seitlicher Schwerkraft zu erkennen.

Analyse-Rahmen: Dies kann als Zustandsverfolgungsfehler modelliert werden, bei dem die interne Repräsentation $W_t$ des Modells die fiktionale Einschränkung $C_{Schwerkraft} = \text{seitlich}$ nicht korrekt aktualisiert oder beibehält. Die Wahrscheinlichkeitsverteilung über Antworten driftet allmählich zurück zur Trainingsverteilung $P_{train}(\text{Schwerkraftkonzepte})$ anstatt auf $C_{Schwerkraft}$ konditioniert zu bleiben.

Implikation: Ohne explizite Mechanismen zur Aufrechterhaltung fiktionaler Einschränkungen können LLMs, unabhängig von ihren sprachlichen Fähigkeiten, nicht als zuverlässige Fiktionsgeneratoren dienen.

6. Zukünftige Anwendungen & Forschungsrichtungen

Die Ergebnisse weisen auf mehrere vielversprechende Forschungsrichtungen zur Verbesserung der Fiktionsgenerierungsfähigkeiten von LLMs hin:

• Explizite Weltzustandsmodule: Architekturen, die die Verfolgung des narrativen Zustands von der Sprachgenerierung trennen, möglicherweise unter Verwendung von externem Speicher oder symbolischen Repräsentationen.
• Konsistenzfokussiertes Training: Fine-Tuning-Ziele, die explizit die Aufrechterhaltung fiktionaler Einschränkungen über erweiterte Kontexte hinweg belohnen.
• Human-in-the-Loop-Systeme: Kollaborative Schnittstellen, bei denen Menschen den Weltzustand verwalten, während LLMs die sprachliche Realisierung übernehmen, ähnlich wie in ko-kreativen Systemen, die in Yuan et al. (2022) untersucht wurden.
• Spezialisierte Fiktionsmodelle: Domänenspezifisches Training an kuratierten Fiktionskorpora mit expliziter Annotation von Weltenbau-Elementen und narrativen Bögen.
• Evaluierungsmetriken: Entwicklung standardisierter Benchmarks für fiktionale Konsistenz, die über traditionelle Sprachmodellierungsmetriken hinausgehen, um narrative Kohärenz und Weltzustandserhaltung zu bewerten.

Diese Ansätze könnten die Kluft zwischen den aktuellen LLM-Fähigkeiten und den Anforderungen echter Fiktionsgenerierung überbrücken und potenziell neue Formen rechnergestützter Kreativität und interaktiven Storytellings ermöglichen.

7. Literaturverzeichnis

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Analystenperspektive: Die Kluft in der Fiktionsgenerierung