評估語言模型在小說生成中的世界觀建構能力

1. 緒論

大型語言模型已成為計算創意領域中無所不在的工具，在小說故事生成方面的應用日益增加。然而，小說創作不僅需要語言能力，更要求創造並維持一個與現實不同、但內部邏輯一致的虛構故事世界。本文旨在探討當前的大型語言模型是否具備生成引人入勝小說所需的「世界觀」或內部狀態，從而超越單純的文字接續，邁向真正的敘事建構。

根本的挑戰在於事實知識檢索與虛構世界建構之間的區別。雖然大型語言模型擅長模式匹配與資訊整合，但在維持一致的替代現實方面卻力有未逮，而這正是小說創作的核心要求。本研究系統性地評估了九個大型語言模型在一致性指標與故事生成任務上的表現，揭示了當前模型架構的重大限制。

2. 研究問題與方法論

本研究採用結構化的評估框架來評量大型語言模型是否適合用於小說生成，重點關注兩項關鍵能力。

3. 實驗結果與分析

實驗結果揭示了當前大型語言模型作為小說生成器能力的根本限制。

4. 技術框架與數學表述

核心挑戰可被形式化為一個狀態維持問題。令 $W_t$ 代表時間 $t$ 的世界狀態，包含所有已建立的虛構事實、角色屬性與敘事限制。對於一個生成小說的大型語言模型，我們期望：

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

也就是說，模型的回應應同時取決於即時提示 以及 累積的世界狀態 $W_t$。然而，當前基於 Transformer 的架構主要最佳化的是：

$\max \sum_{i=1}^{n} \log P(w_i | w_{

其中 $\theta$ 代表模型參數，$w_i$ 是詞元。這個「下一個詞元預測」的目標函數，並未明確鼓勵在即時上下文視窗之外維持 $W_t$。

本研究指出，成功的小說生成需要類似於神經符號系統或外部記憶體架構的機制，其中世界狀態 $W_t$ 被明確地維持與更新，正如可微分神經電腦等研究中所探討的。

5. 個案研究：世界狀態追蹤失敗

情境： 提示一個模型生成一個關於「重力作用於側面世界」的故事。在建立此前提後，後續提示詢問該世界中的日常生活、建築與交通。

觀察： 大多數模型在 2-3 個回應輪次內，迅速回歸到標準的重力假設，與已建立的前提相矛盾。例如，在描述了「建在懸崖面上的房屋」後，模型稍後可能會提到「從建築物上墜落」，卻未意識到在側向重力世界中的矛盾。

分析框架： 這可被建模為一種狀態追蹤失敗，模型的內部表徵 $W_t$ 未能正確更新或持續維持虛構限制 $C_{gravity} = \text{sideways}$。回應的機率分佈逐漸漂移回訓練分佈 $P_{train}(\text{gravity concepts})$，而非持續以 $C_{gravity}$ 為條件。

意涵： 若無明確的虛構限制維持機制，無論其語言能力如何，大型語言模型都無法成為可靠的小說生成器。

6. 未來應用與研究方向

研究結果指出了幾個有前景的研究方向，以提升大型語言模型的小說生成能力：

• 明確的世界狀態模組： 將敘事狀態追蹤與語言生成分離的架構，可能使用外部記憶體或符號表徵。
• 聚焦一致性的訓練： 微調目標函數，明確獎勵在擴展上下文中維持虛構限制。
• 人機協作系統： 協作式介面，由人類管理世界狀態，而大型語言模型處理語言實現，類似於 Yuan 等人探討的共創系統。
• 專業小說模型： 在經過策展、並明確標註世界建構元素與敘事弧的小說語料庫上進行領域特定訓練。
• 評估指標： 開發標準化的虛構一致性基準測試，超越傳統的語言建模指標，以評估敘事連貫性與世界狀態維持。

這些方法可以彌合當前大型語言模型能力與真正小說生成需求之間的鴻溝，可能促成新形式的計算創意與互動式故事敘述。

7. 參考文獻

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. 分析師觀點：小說生成的鴻溝