评估语言模型在虚构内容生成中的世界观构建能力

1. 引言

大语言模型（LLMs）已成为计算创意领域的普遍工具，在虚构故事生成中的应用日益增多。然而，虚构创作不仅需要语言能力，更要求创造并维持一个与现实不同、但内部逻辑自洽的故事世界。本文旨在探究当前的大语言模型是否具备生成引人入胜的虚构内容所必需的“世界观”或内部状态，从而超越简单的文本补全，实现真正的叙事构建。

根本挑战在于事实知识检索与虚构世界构建之间的区别。虽然大语言模型擅长模式匹配和信息综合，但在维持一致的替代现实方面存在困难——而这正是虚构写作的核心要求。本研究通过一致性指标和故事生成任务，系统性地评估了九个大语言模型，揭示了当前架构的重大局限性。

2. 研究问题与方法论

本研究采用结构化评估框架来评估大语言模型在虚构内容生成方面的适用性，重点关注两项关键能力。

3. 实验结果与分析

实验结果揭示了当前大语言模型作为虚构内容生成器的基本能力局限。

4. 技术框架与数学形式化

核心挑战可以形式化为一个状态维持问题。令 $W_t$ 表示时间 $t$ 的世界状态，包含所有已确立的虚构事实、角色属性和叙事约束。对于一个生成虚构内容的大语言模型，我们期望：

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

即，模型的响应应同时取决于即时提示 和 累积的世界状态 $W_t$。然而，当前基于Transformer的架构主要优化的是：

$\max \sum_{i=1}^{n} \log P(w_i | w_{

其中 $\theta$ 代表模型参数，$w_i$ 是词元。这种下一个词预测目标并未明确鼓励在即时上下文窗口之外维持 $W_t$。

研究表明，成功的虚构内容生成需要类似于神经符号系统或外部记忆架构的机制，其中世界状态 $W_t$ 被显式地维持和更新，正如可微分神经计算机（Graves等人，2016）等工作中所讨论的那样。

5. 案例研究：世界状态追踪失败

场景： 提示一个模型生成一个关于“重力横向作用的世界”的故事。在确立此前提后，后续提示询问该世界中日常生活、建筑和交通的情况。

观察： 大多数模型在2-3轮响应内迅速回归到标准重力假设，与已确立的前提相矛盾。例如，在描述了“建在悬崖面上的房屋”后，模型稍后可能会提到“从建筑物上坠落”，而没有意识到这在重力横向作用的世界中是矛盾的。

分析框架： 这可以建模为状态追踪失败，即模型的内部表征 $W_t$ 未能正确更新或持久化虚构约束 $C_{gravity} = \text{sideways}$。响应上的概率分布逐渐漂移回训练分布 $P_{train}(\text{重力概念})$，而不是保持在 $C_{gravity}$ 的条件下。

启示： 如果没有明确的虚构约束维持机制，无论其语言能力如何，大语言模型都无法成为可靠的虚构内容生成器。

6. 未来应用与研究方向

研究结果指出了几个有前景的研究方向，以改进大语言模型的虚构内容生成能力：

• 显式世界状态模块： 将叙事状态追踪与语言生成分离的架构，可能使用外部记忆或符号表征。
• 聚焦一致性的训练： 微调目标，明确奖励在扩展上下文中维持虚构约束。
• 人在回路系统： 协作界面，由人类管理世界状态，而大语言模型处理语言实现，类似于Yuan等人（2022）探索的协同创意系统。
• 专用虚构模型： 在精选的虚构语料库上进行领域特定训练，并明确标注世界构建元素和叙事弧线。
• 评估指标： 开发用于虚构一致性的标准化基准，超越传统的语言建模指标，以评估叙事连贯性和世界状态维持。

这些方法可以弥合当前大语言模型能力与真正虚构内容生成需求之间的差距，可能催生新的计算创意形式和交互式叙事。

7. 参考文献

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. 分析师视角：虚构内容生成的鸿沟