評估語言模型嘅虛構世界觀生成能力

1. 引言

大型語言模型（LLMs）已經成為計算創意領域無處不在嘅工具，喺虛構故事生成方面嘅應用日益增多。然而，虛構創作需要嘅唔單止係語言能力——佢要求創造同維持一個連貫嘅故事世界，呢個世界同現實唔同，但內部要保持一致性。本文研究現時嘅LLMs係咪具備必要嘅「世界觀」或內部狀態去生成引人入勝嘅虛構作品，超越簡單嘅文本補全，邁向真正嘅敘事建構。

根本嘅挑戰在於事實知識檢索同虛構世界建構之間嘅區別。雖然LLMs擅長模式匹配同信息合成，但佢哋喺維持一致嘅替代現實方面存在困難——呢個係虛構寫作嘅核心要求。本研究系統性咁評估咗九個LLMs喺一致性指標同故事生成任務上嘅表現，揭示咗當前架構嘅重大局限。

2. 研究問題與方法論

本研究採用結構化評估框架來評估LLMs喺虛構生成方面嘅適用性，重點關注兩種關鍵能力。

3. 實驗結果與分析

實驗結果揭示咗當前LLMs作為虛構生成器嘅基本能力局限。

4. 技術框架與數學公式

核心挑戰可以形式化為一個狀態維持問題。設 $W_t$ 代表時間 $t$ 嘅世界狀態，包含所有已確立嘅虛構事實、角色屬性同敘事約束。對於一個生成虛構作品嘅LLM，我哋期望：

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

即係話，模型嘅回應應該同時取決於即時提示 同 累積嘅世界狀態 $W_t$。然而，當前基於Transformer嘅架構主要優化嘅係：

$\max \sum_{i=1}^{n} \log P(w_i | w_{

其中 $\theta$ 代表模型參數，$w_i$ 係詞元。呢個下一詞元預測目標並唔會明確鼓勵喺即時上下文窗口之外維持 $W_t$。

研究指出，成功嘅虛構生成需要類似於神經符號系統或外部記憶架構嘅機制，喺嗰啲系統中，世界狀態 $W_t$ 會被明確維持同更新，正如喺可微分神經計算機（Graves等人，2016）等工作中所討論嘅一樣。

5. 案例研究：世界狀態追蹤失敗

場景： 提示一個模型生成一個關於「一個重力橫向作用嘅世界」嘅故事。確立呢個前提之後，後續提示會詢問呢個世界中嘅日常生活、建築同交通。

觀察： 大多數模型喺2-3個回應回合內就迅速恢復到標準重力假設，同已確立嘅前提相矛盾。例如，描述完「建喺懸崖面上嘅房屋」之後，模型之後可能會提到「從建築物跌落」，而冇意識到喺一個橫向重力世界中嘅矛盾。

分析框架： 呢個可以被建模為狀態追蹤失敗，模型嘅內部表示 $W_t$ 冇正確更新或持續虛構約束 $C_{gravity} = \text{sideways}$。回應嘅概率分佈逐漸漂移返去訓練分佈 $P_{train}(\text{gravity concepts})$，而唔係保持以 $C_{gravity}$ 為條件。

含義： 如果冇明確嘅機制來維持虛構約束，無論LLMs嘅語言能力有幾強，佢哋都無法作為可靠嘅虛構生成器。

6. 未來應用與研究方向

研究結果指出咗幾個有前景嘅研究方向，用於提升LLMs嘅虛構生成能力：

• 明確嘅世界狀態模組： 將敘事狀態追蹤同語言生成分開嘅架構，可能使用外部記憶或符號表示。
• 聚焦一致性嘅訓練： 微調目標，明確獎勵喺擴展上下文中維持虛構約束。
• 人在迴路系統： 協作界面，由人類管理世界狀態，而LLMs處理語言實現，類似於Yuan等人（2022）探索嘅共同創造系統。
• 專門嘅虛構模型： 喺精選嘅虛構語料庫上進行領域特定訓練，並對世界建構元素同敘事弧進行明確註釋。
• 評估指標： 開發用於虛構一致性嘅標準化基準，超越傳統嘅語言建模指標，以評估敘事連貫性同世界狀態維持。

呢啲方法可以彌合當前LLM能力同真正虛構生成要求之間嘅差距，可能催生新形式嘅計算創意同互動式講故事。

7. 參考文獻

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. 分析師觀點：虛構生成嘅差距