소설 생성 능력 평가를 위한 언어 모델의 세계관 분석

1. 서론

대규모 언어 모델(LLM)은 계산 창의성 분야에서 보편적인 도구가 되었으며, 가상 스토리 생성 분야에서의 응용이 점차 증가하고 있습니다. 그러나 소설은 언어적 능력 이상을 요구합니다. 즉, 내적 일관성을 유지하면서 현실과는 다른 일관된 스토리 세계를 창조하고 유지하는 능력이 필요합니다. 본 논문은 현재의 LLM이 단순한 텍스트 완성을 넘어 진정한 서사 구축을 가능케 하는, 매력적인 소설을 생성하기 위한 필수적인 "세계관" 또는 내부 상태를 보유하고 있는지 조사합니다.

근본적인 과제는 사실적 지식 검색과 가상 세계 구축 사이의 차이에 있습니다. LLM은 패턴 매칭과 정보 종합에는 탁월하지만, 소설 쓰기의 핵심 요구 사항인 일관된 대체 현실을 유지하는 데는 어려움을 겪습니다. 본 연구는 일관성 지표와 스토리 생성 작업에 걸쳐 9개의 LLM을 체계적으로 평가하여 현재 아키텍처의 중대한 한계를 밝혀냅니다.

2. 연구 질문 및 방법론

본 연구는 LLM의 소설 생성 적합성을 평가하기 위해 구조화된 평가 프레임워크를 사용하며, 두 가지 핵심 능력에 초점을 맞춥니다.

3. 실험 결과 및 분석

실험 결과는 현재 LLM이 소설 생성기로서 기능하는 능력에 근본적인 한계가 있음을 보여줍니다.

4. 기술 프레임워크 및 수학적 정식화

핵심 과제는 상태 유지 문제로 정식화될 수 있습니다. $W_t$를 시간 $t$에서의 세계 상태로 나타내며, 여기에는 확립된 모든 가상 사실, 캐릭터 속성 및 서사 제약 조건이 포함됩니다. 소설을 생성하는 LLM의 경우 다음과 같이 기대할 수 있습니다:

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

즉, 모델의 응답은 즉각적인 프롬프트 및 누적된 세계 상태 $W_t$에 모두 의존해야 합니다. 그러나 현재의 트랜스포머 기반 아키텍처는 주로 다음을 최적화합니다:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

여기서 $\theta$는 모델 매개변수를 나타내고 $w_i$는 토큰입니다. 이 다음 토큰 예측 목표는 즉각적인 컨텍스트 윈도우를 넘어 $W_t$의 유지를 명시적으로 장려하지 않습니다.

본 연구는 성공적인 소설 생성에는 세계 상태 $W_t$가 명시적으로 유지 및 업데이트되는 신경-심볼릭 시스템 또는 외부 메모리 아키텍처와 유사한 메커니즘이 필요함을 시사하며, 이는 Differentiable Neural Computer(Graves 외, 2016)와 같은 연구에서 논의된 바와 같습니다.

5. 사례 연구: 세계 상태 추적 실패

시나리오: 모델은 "중력이 옆으로 작용하는 세계"에 대한 스토리를 생성하라는 프롬프트를 받습니다. 이 전제를 확립한 후, 후속 프롬프트는 이 세계의 일상 생활, 건축 및 교통에 대해 묻습니다.

관찰: 대부분의 모델은 2-3회의 응답 차례 내에 확립된 전제와 모순되게 표준 중력 가정으로 빠르게 되돌아갑니다. 예를 들어, "절벽 면에 지어진 집"을 묘사한 후, 모델은 나중에 옆으로 중력이 작용하는 세계에서의 모순을 인식하지 못한 채 "건물에서 떨어지는" 것에 대해 언급할 수 있습니다.

분석 프레임워크: 이는 모델의 내부 표현 $W_t$가 가상 제약 조건 $C_{gravity} = \text{sideways}$를 제대로 업데이트하거나 유지하지 못하는 상태 추적 실패로 모델링될 수 있습니다. 응답에 대한 확률 분포는 $C_{gravity}$에 조건화된 상태를 유지하기보다는 점차 훈련 분포 $P_{train}(\text{gravity concepts})$로 다시 표류합니다.

함의: 가상 제약 조건 유지를 위한 명시적 메커니즘이 없으면, LLM은 언어적 능력과 관계없이 신뢰할 수 있는 소설 생성기 역할을 할 수 없습니다.

6. 향후 응용 및 연구 방향

연구 결과는 LLM의 소설 생성 능력을 향상시키기 위한 몇 가지 유망한 연구 방향을 제시합니다:

• 명시적 세계 상태 모듈: 서사 상태 추적을 언어 생성과 분리하는 아키텍처로, 외부 메모리나 심볼릭 표현을 사용할 수 있습니다.
• 일관성 중심 훈련: 확장된 컨텍스트 전반에 걸쳐 가상 제약 조건의 유지를 명시적으로 보상하는 미세 조정 목표.
• 인간 참여 시스템: 인간이 세계 상태를 관리하고 LLM이 언어적 실현을 처리하는 협업 인터페이스로, Yuan 외(2022)에서 탐구한 공동 창작 시스템과 유사합니다.
• 전문 소설 모델: 세계 구축 요소와 서사 흐름에 대한 명시적 주석이 달린 선별된 소설 코퍼스에 대한 도메인 특화 훈련.
• 평가 지표: 전통적인 언어 모델링 지표를 넘어 서사 일관성과 세계 상태 유지를 평가하기 위한 표준화된 벤치마크 개발.

이러한 접근 방식은 현재 LLM의 능력과 진정한 소설 생성의 요구 사항 사이의 격차를 해소할 수 있으며, 잠재적으로 새로운 형태의 계산 창의성과 인터랙티브 스토리텔링을 가능하게 할 수 있습니다.

7. 참고문헌

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. 분석가 관점: 소설 생성 격차