Dil Modellerinin Kurgu Üretimi İçin Dünya Görüşünün Değerlendirilmesi

1. Giriş

Büyük Dil Modelleri (LLM'ler), kurgusal hikaye üretiminde artan uygulamalarla birlikte, hesaplamalı yaratıcılıkta yaygın araçlar haline gelmiştir. Ancak, kurgu yalnızca dilsel yeterlilikten fazlasını gerektirir—gerçeklikten farklı olan ancak içsel tutarlılığını koruyan, uyumlu bir hikaye dünyası yaratılmasını ve sürdürülmesini talep eder. Bu makale, mevcut LLM'lerin basit metin tamamlamanın ötesine geçerek gerçek anlatı inşası için gerekli "dünya görüşüne" veya içsel duruma sahip olup olmadığını araştırmaktadır.

Temel zorluk, gerçek bilgi erişimi ile kurgusal dünya inşası arasındaki ayrımda yatmaktadır. LLM'ler örüntü eşleme ve bilgi sentezinde üstün olsalar da, kurgu yazımının temel bir gereksinimi olan tutarlı alternatif gerçeklikleri sürdürmede zorlanmaktadırlar. Bu araştırma, dokuz LLM'yi tutarlılık metrikleri ve hikaye üretim görevleri üzerinden sistematik olarak değerlendirerek mevcut mimarilerdeki önemli sınırlamaları ortaya koymaktadır.

2. Araştırma Soruları ve Metodoloji

Çalışma, LLM'lerin kurgu üretimi için uygunluğunu değerlendirmek üzere yapılandırılmış bir değerlendirme çerçevesi kullanmakta ve iki kritik yeteneğe odaklanmaktadır.

3. Deneysel Sonuçlar ve Analiz

Deneysel bulgular, mevcut LLM'lerin kurgu üreticisi olarak işlev görme yeteneklerindeki temel sınırlamaları ortaya koymaktadır.

4. Teknik Çerçeve ve Matematiksel Formülasyon

Temel zorluk bir durum bakımı problemi olarak formalize edilebilir. $W_t$, t zamanındaki dünya durumunu, tüm belirlenmiş kurgusal gerçekleri, karakter niteliklerini ve anlatı kısıtlamalarını içerecek şekilde temsil etsin. Kurgu üreten bir LLM için şunu bekleriz:

$P(yanıt_{t+1} | komut, W_t) \neq P(yanıt_{t+1} | komut)$

Yani, modelin yanıtı hem anlık komuta hem de birikmiş dünya durumu $W_t$'ye bağlı olmalıdır. Ancak, mevcut transformer tabanlı mimariler öncelikle şunu optimize eder:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

Burada $\theta$ model parametrelerini, $w_i$ ise token'ları temsil eder. Bu bir sonraki token tahmini hedefi, anlık bağlam penceresinin ötesinde $W_t$'nin bakımını açıkça teşvik etmez.

Araştırma, başarılı kurgu üretiminin, sinirsel-sembolik sistemler veya harici bellek mimarilerindekilere benzer mekanizmalar gerektirdiğini öne sürmektedir; bu sistemlerde dünya durumu $W_t$ açıkça sürdürülür ve güncellenir, tıpkı Farklılaştırılabilir Sinirsel Bilgisayar (Graves ve diğerleri, 2016) gibi çalışmalarda tartışıldığı gibi.

5. Vaka Çalışması: Dünya Durumu Takip Başarısızlığı

Senaryo: Bir modelden "yerçekiminin yanlara doğru çalıştığı bir dünya" hakkında bir hikaye üretmesi istenir. Bu öncül belirlendikten sonra, bu dünyadaki günlük yaşam, mimari ve ulaşım hakkında ardışık komutlar sorulur.

Gözlem: Çoğu model, 2-3 yanıt turu içinde hızla standart yerçekimi varsayımlarına geri döner ve belirlenen öncülle çelişir. Örneğin, "uçurum yüzlerine inşa edilmiş evler" tanımlandıktan sonra, bir model daha sonra yanlara doğru yerçekimi olan bir dünyadaki çelişkiyi fark etmeden "bir binadan düşmekten" bahsedebilir.

Analiz Çerçevesi: Bu, modelin içsel temsili $W_t$'nin kurgusal kısıtlamayı $C_{yerçekimi} = \text{yanlara}$ düzgün bir şekilde güncellemediği veya sürdürmediği bir durum takip başarısızlığı olarak modellenebilir. Yanıtlar üzerindeki olasılık dağılımı, $C_{yerçekimi}$ üzerinde koşullu kalmak yerine, yavaş yavaş eğitim dağılımı $P_{train}(\text{yerçekimi kavramları})$'na geri kayar.

Çıkarım: Kurgusal kısıtlama bakımı için açık mekanizmalar olmadan, LLM'ler dilsel yeteneklerinden bağımsız olarak güvenilir kurgu üreticileri olarak hizmet edemezler.

6. Gelecekteki Uygulamalar ve Araştırma Yönleri

Bulgular, LLM'lerin kurgu üretim yeteneklerini geliştirmek için birkaç umut verici araştırma yönüne işaret etmektedir:

• Açık Dünya Durumu Modülleri: Anlatı durumu takibini dil üretiminden ayıran, potansiyel olarak harici bellek veya sembolik temsiller kullanan mimariler.
• Tutarlılık Odaklı Eğitim: Genişletilmiş bağlamlar boyunca kurgusal kısıtlamaların sürdürülmesini açıkça ödüllendiren ince ayar hedefleri.
• İnsan-Döngü Sistemleri: İnsanların dünya durumunu yönettiği, LLM'lerin ise dilsel gerçekleştirmeyi ele aldığı, Yuan ve diğerleri (2022) tarafından araştırılan ortak yaratıcı sistemlere benzer işbirlikçi arayüzler.
• Özelleştirilmiş Kurgu Modelleri: Dünya inşa unsurlarının ve anlatı yaylarının açıkça etiketlendiği, titizlikle seçilmiş kurgu derlemeleri üzerinde alana özgü eğitim.
• Değerlendirme Metrikleri: Geleneksel dil modelleme metriklerinin ötesine geçerek anlatı tutarlılığını ve dünya-durumu bakımını değerlendirmek için standartlaştırılmış kıyaslama testlerinin geliştirilmesi.

Bu yaklaşımlar, mevcut LLM yetenekleri ile gerçek kurgu üretiminin gereklilikleri arasındaki açığı kapatabilir ve potansiyel olarak yeni hesaplamalı yaratıcılık ve etkileşimli hikaye anlatımı biçimlerini mümkün kılabilir.

7. Kaynaklar

1. Graves, A., ve diğerleri. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., ve diğerleri. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., ve diğerleri. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., ve diğerleri. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Analist Perspektifi: Kurgu Üretim Açığı