大規模言語モデルのフィクション生成における世界観評価

1. 序論

大規模言語モデル（LLM）は、計算論的創造性において遍在するツールとなり、架空の物語生成への応用が増加している。しかし、フィクションには言語能力以上のものが求められる。それは、現実とは異なりながらも内的な一貫性を保った、首尾一貫した物語世界の創造と維持を要求する。本論文は、現在のLLMが魅力的なフィクションを生成するために必要な「世界観」または内的状態を備えているかどうかを調査する。単純なテキスト補完を超えて、真の物語構築へと移行する能力に焦点を当てる。

根本的な課題は、事実的知識の検索と架空世界構築の区別にある。LLMはパターンマッチングと情報統合に優れているが、フィクション執筆の核心要件である、一貫した代替現実の維持には苦戦している。本研究は、9つのLLMを一貫性指標と物語生成タスクにわたって体系的に評価し、現在のアーキテクチャにおける重大な限界を明らかにする。

2. 研究課題と方法論

本研究は、LLMのフィクション生成への適合性を評価するために構造化された評価フレームワークを採用し、2つの重要な能力に焦点を当てる。

3. 実験結果と分析

実験結果は、現在のLLMがフィクション生成器として機能する能力における根本的な限界を明らかにしている。

4. 技術的フレームワークと数学的定式化

中核的な課題は、状態維持問題として定式化できる。時点$t$における世界状態を$W_t$とし、そこには確立されたすべての架空の事実、キャラクター属性、物語的制約が含まれるとする。フィクションを生成するLLMに対して、我々は以下を期待する：

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

つまり、モデルの応答は、即時のプロンプトと蓄積された世界状態$W_t$の両方に依存すべきである。しかし、現在のトランスフォーマーベースのアーキテクチャは主に以下を最適化する：

$\max \sum_{i=1}^{n} \log P(w_i | w_{

ここで、$\theta$はモデルパラメータを、$w_i$はトークンを表す。この次トークン予測目的関数は、即時のコンテキストウィンドウを超えて$W_t$を維持することを明示的に奨励しない。

本研究は、成功したフィクション生成には、ニューラル・シンボリックシステムや外部メモリアーキテクチャと同様のメカニズムが必要であることを示唆している。そこでは、世界状態$W_t$が明示的に維持・更新される。これは、Differentiable Neural Computer（Graves et al., 2016）などの研究で議論されている通りである。

5. 事例研究：世界状態追跡の失敗

シナリオ： モデルに「重力が横方向に働く世界」についての物語を生成するようプロンプトする。この前提を確立した後、続くプロンプトでこの世界における日常生活、建築、交通について尋ねる。

観察： ほとんどのモデルは、2〜3回の応答ターン以内に標準的な重力の仮定に迅速に戻り、確立された前提と矛盾する。例えば、「崖面に建てられた家」を説明した後、モデルは後に「建物から落ちる」ことに言及するかもしれないが、横方向重力の世界における矛盾を認識しない。

分析フレームワーク： これは、モデルの内部表現$W_t$が架空の制約$C_{gravity} = \text{sideways}$を適切に更新または持続させない状態追跡の失敗としてモデル化できる。応答の確率分布は、$C_{gravity}$に条件付けられたままであるのではなく、学習分布$P_{train}(\text{gravity concepts})$へと徐々に戻ってしまう。

示唆： 架空の制約維持のための明示的なメカニズムがなければ、LLMはその言語能力に関わらず、信頼できるフィクション生成器として機能することはできない。

6. 将来の応用と研究の方向性

本研究の知見は、LLMのフィクション生成能力を向上させるためのいくつかの有望な研究の方向性を示している：

• 明示的世界状態モジュール： 物語状態追跡と言語生成を分離するアーキテクチャ。外部メモリやシンボリック表現の使用が考えられる。
• 一貫性重視の学習： 拡張されたコンテキストにわたる架空の制約の維持を明示的に報酬とするファインチューニング目的関数。
• 人間参加型システム： 人間が世界状態を管理し、LLMが言語的実現を担当する協調的インターフェース。Yuan et al. (2022) で探求された共創的システムと類似。
• 専門化されたフィクションモデル： 世界構築要素と物語の展開弧に明示的な注釈を付けた精選されたフィクションコーパスに対するドメイン特化学習。
• 評価指標： 従来の言語モデリング指標を超えて、物語の一貫性と世界状態の維持を評価するための標準化されたベンチマークの開発。

これらのアプローチは、現在のLLMの能力と真のフィクション生成の要件との間のギャップを埋め、新たな形式の計算論的創造性とインタラクティブ・ストーリーテリングを可能にする可能性がある。

7. 参考文献

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. アナリストの視点：フィクション生成のギャップ