Avaliação da Visão de Mundo de Modelos de Linguagem para Geração de Ficção

1. Introdução

Os Modelos de Linguagem de Grande Escala (LLMs) tornaram-se ferramentas ubíquas na criatividade computacional, com aplicações crescentes na geração de histórias ficcionais. No entanto, a ficção exige mais do que competência linguística — ela demanda a criação e manutenção de um mundo narrativo coerente que difere da realidade, mantendo consistência interna. Este artigo investiga se os LLMs atuais possuem a "visão de mundo" ou estado interno necessário para gerar ficção envolvente, indo além da simples conclusão de texto para uma verdadeira construção narrativa.

O desafio fundamental reside na distinção entre recuperação de conhecimento factual e construção de mundos ficcionais. Embora os LLMs se destaquem na correspondência de padrões e síntese de informações, eles lutam para manter realidades alternativas consistentes — um requisito central para a escrita de ficção. Esta pesquisa avalia sistematicamente nove LLMs através de métricas de consistência e tarefas de geração de histórias, revelando limitações significativas nas arquiteturas atuais.

2. Questões de Pesquisa & Metodologia

O estudo emprega uma estrutura de avaliação estruturada para avaliar a adequação dos LLMs para a geração de ficção, focando em duas capacidades críticas.

3. Resultados Experimentais & Análise

Os resultados experimentais revelam limitações fundamentais na capacidade dos LLMs atuais de funcionarem como geradores de ficção.

4. Estrutura Técnica & Formulação Matemática

O desafio central pode ser formalizado como um problema de manutenção de estado. Seja $W_t$ o estado do mundo no tempo $t$, contendo todos os fatos ficcionais estabelecidos, atributos de personagens e restrições narrativas. Para um LLM gerando ficção, esperaríamos:

$P(resposta_{t+1} | prompt, W_t) \neq P(resposta_{t+1} | prompt)$

Ou seja, a resposta do modelo deve depender tanto do *prompt* imediato quanto do estado acumulado do mundo $W_t$. No entanto, as arquiteturas atuais baseadas em *transformers* otimizam principalmente para:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

onde $\theta$ representa os parâmetros do modelo e $w_i$ são os tokens. Este objetivo de previsão do próximo token não incentiva explicitamente a manutenção de $W_t$ além da janela de contexto imediata.

A pesquisa sugere que a geração de ficção bem-sucedida requer mecanismos semelhantes aos de sistemas neuro-simbólicos ou arquiteturas de memória externa, onde o estado do mundo $W_t$ é explicitamente mantido e atualizado, conforme discutido em trabalhos como o Differentiable Neural Computer (Graves et al., 2016).

5. Estudo de Caso: Falha no Rastreamento do Estado do Mundo

Cenário: Um modelo recebe um *prompt* para gerar uma história sobre "um mundo onde a gravidade funciona lateralmente". Após estabelecer esta premissa, *prompts* subsequentes perguntam sobre a vida quotidiana, arquitetura e transporte neste mundo.

Observação: A maioria dos modelos rapidamente reverte para suposições padrão de gravidade dentro de 2-3 turnos de resposta, contradizendo a premissa estabelecida. Por exemplo, após descrever "casas construídas em faces de penhascos", um modelo pode mais tarde mencionar "cair de um edifício" sem reconhecer a contradição em um mundo de gravidade lateral.

Estrutura de Análise: Isto pode ser modelado como uma falha de rastreamento de estado onde a representação interna do modelo $W_t$ não atualiza ou persiste adequadamente a restrição ficcional $C_{gravidade} = \text{lateral}$. A distribuição de probabilidade sobre as respostas gradualmente retorna à distribuição de treinamento $P_{treino}(\text{conceitos de gravidade})$ em vez de permanecer condicionada a $C_{gravidade}$.

Implicação: Sem mecanismos explícitos para manutenção de restrições ficcionais, os LLMs não podem servir como geradores de ficção confiáveis, independentemente de suas capacidades linguísticas.

6. Aplicações Futuras & Direções de Pesquisa

As descobertas apontam para várias direções de pesquisa promissoras para melhorar as capacidades de geração de ficção dos LLMs:

• Módulos Explícitos de Estado do Mundo: Arquiteturas que separam o rastreamento do estado narrativo da geração de linguagem, potencialmente usando memória externa ou representações simbólicas.
• Treinamento Focado em Consistência: Objetivos de *fine-tuning* que recompensam explicitamente a manutenção de restrições ficcionais em contextos estendidos.
• Sistemas com Humano no Ciclo: Interfaces colaborativas onde humanos gerenciam o estado do mundo enquanto os LLMs lidam com a realização linguística, semelhante aos sistemas co-criativos explorados em Yuan et al. (2022).
• Modelos de Ficção Especializados: Treinamento específico de domínio em corpora de ficção curados com anotação explícita de elementos de construção de mundo e arcos narrativos.
• Métricas de Avaliação: Desenvolvimento de *benchmarks* padronizados para consistência ficcional, indo além das métricas tradicionais de modelagem de linguagem para avaliar coerência narrativa e manutenção do estado do mundo.

Estas abordagens poderiam preencher a lacuna entre as capacidades atuais dos LLMs e os requisitos da geração de ficção genuína, potencialmente permitindo novas formas de criatividade computacional e narrativa interativa.

7. Referências

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Perspectiva do Analista: A Lacuna na Geração de Ficção