Оценка мировоззрения языковых моделей для генерации художественной литературы

1. Введение

Большие языковые модели (БЯМ) стали повсеместными инструментами в области вычислительного творчества, находя всё больше применений в генерации художественных произведений. Однако художественная литература требует не только языковой компетенции — она требует создания и поддержания целостного мира истории, который отличается от реальности, сохраняя при этом внутреннюю непротиворечивость. В данной статье исследуется, обладают ли современные БЯМ необходимым «мировоззрением» или внутренним состоянием для генерации убедительной художественной литературы, выходя за рамки простого завершения текста к истинному построению нарратива.

Основная сложность заключается в различии между извлечением фактических знаний и построением вымышленного мира. В то время как БЯМ преуспевают в сопоставлении паттернов и синтезе информации, они испытывают трудности с поддержанием непротиворечивых альтернативных реальностей — ключевого требования для написания художественной литературы. Это исследование систематически оценивает девять БЯМ по метрикам целостности и задачам генерации историй, выявляя значительные ограничения в современных архитектурах.

2. Вопросы исследования и методология

В исследовании используется структурированная оценочная система для оценки пригодности БЯМ для генерации художественной литературы, сфокусированная на двух критически важных способностях.

3. Результаты экспериментов и анализ

Результаты экспериментов выявляют фундаментальные ограничения в способности современных БЯМ функционировать в качестве генераторов художественной литературы.

4. Техническая система и математическая формулировка

Основную проблему можно формализовать как задачу поддержания состояния. Пусть $W_t$ представляет состояние мира в момент времени $t$, содержащее все установленные вымышленные факты, атрибуты персонажей и нарративные ограничения. Для БЯМ, генерирующей художественную литературу, мы ожидали бы:

$P(ответ_{t+1} | промпт, W_t) \neq P(ответ_{t+1} | промпт)$

То есть ответ модели должен зависеть как от непосредственного промпта, так и от накопленного состояния мира $W_t$. Однако современные архитектуры на основе трансформеров в основном оптимизируют:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

где $\theta$ представляет параметры модели, а $w_i$ — токены. Эта цель предсказания следующего токена не поощряет явно поддержание $W_t$ за пределами непосредственного контекстного окна.

Исследование предполагает, что успешная генерация художественной литературы требует механизмов, схожих с теми, что используются в нейро-символических системах или архитектурах с внешней памятью, где состояние мира $W_t$ явно поддерживается и обновляется, как обсуждается в работах, подобных Differentiable Neural Computer (Graves et al., 2016).

5. Пример: Сбой в отслеживании состояния мира

Сценарий: Модели предлагается сгенерировать историю о «мире, где гравитация действует вбок». После установки этой предпосылки последующие промпты задают вопросы о повседневной жизни, архитектуре и транспорте в этом мире.

Наблюдение: Большинство моделей быстро возвращаются к стандартным предположениям о гравитации в течение 2-3 раундов ответов, противореча установленной предпосылке. Например, после описания «домов, встроенных в скалы», модель может позже упомянуть «падение с здания», не осознавая противоречия в мире с боковой гравитацией.

Аналитическая система: Это можно смоделировать как сбой отслеживания состояния, при котором внутреннее представление модели $W_t$ не обновляет или не сохраняет должным образом вымышленное ограничение $C_{gravity} = \text{боковая}$. Распределение вероятностей ответов постепенно смещается обратно к обучающему распределению $P_{train}(\text{концепции гравитации})$, а не остаётся обусловленным $C_{gravity}$.

Следствие: Без явных механизмов для поддержания вымышленных ограничений БЯМ не могут служить надёжными генераторами художественной литературы, независимо от их языковых возможностей.

6. Будущие применения и направления исследований

Результаты указывают на несколько перспективных направлений исследований для улучшения способностей БЯМ к генерации художественной литературы:

• Явные модули состояния мира: Архитектуры, разделяющие отслеживание нарративного состояния и генерацию языка, потенциально с использованием внешней памяти или символьных представлений.
• Обучение, сфокусированное на целостности: Цели тонкой настройки, которые явно вознаграждают поддержание вымышленных ограничений в расширенных контекстах.
• Системы с участием человека: Совместные интерфейсы, где человек управляет состоянием мира, а БЯМ занимается языковой реализацией, подобно со-креативным системам, исследованным в Yuan et al. (2022).
• Специализированные модели для художественной литературы: Предметно-ориентированное обучение на курированных корпусах художественной литературы с явной аннотацией элементов построения мира и нарративных арок.
• Оценочные метрики: Разработка стандартизированных бенчмарков для оценки целостности художественной литературы, выходящих за рамки традиционных метрик языкового моделирования для оценки нарративной связности и поддержания состояния мира.

Эти подходы могут преодолеть разрыв между текущими возможностями БЯМ и требованиями подлинной генерации художественной литературы, потенциально открывая новые формы вычислительного творчества и интерактивного повествования.

7. Список литературы

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Перспектива аналитика: Пробел в генерации художественной литературы