تقييم النظرة العالمية لنماذج اللغة في توليد القصص الخيالية

1. المقدمة

أصبحت نماذج اللغة الكبيرة (LLMs) أدوات شائعة في الإبداع الحاسوبي، مع تزايد تطبيقاتها في توليد القصص الخيالية. ومع ذلك، يتطلب الخيال أكثر من مجرد الكفاءة اللغوية - فهو يتطلب إنشاء والحفاظ على عالم قصصي متماسك يختلف عن الواقع مع الاحتفاظ بالاتساق الداخلي. تبحث هذه الورقة فيما إذا كانت نماذج اللغة الكبيرة الحالية تمتلك "النظرة العالمية" أو الحالة الداخلية اللازمة لتوليد خيال مقنع، متجاوزةً مجرد إكمال النص إلى بناء السرد الحقيقي.

يكمن التحدي الأساسي في التمييز بين استرجاع المعرفة الواقعية وبناء العالم الخيالي. بينما تتفوق نماذج اللغة الكبيرة في مطابقة الأنماط وتركيب المعلومات، فإنها تواجه صعوبة في الحفاظ على عواقع بديلة متسقة - وهو شرط أساسي لكتابة القصص الخيالية. يقوم هذا البحث بتقييم تسعة نماذج لغة كبيرة بشكل منهجي عبر مقاييس الاتساق ومهام توليد القصص، مما يكشف عن قيود كبيرة في البنى الحالية.

2. أسئلة البحث والمنهجية

تستخدم الدراسة إطار تقييم منظمًا لتقييم مدى ملاءمة نماذج اللغة الكبيرة لتوليد القصص الخيالية، مع التركيز على قدرتين حاسمتين.

3. النتائج التجريبية والتحليل

تكشف النتائج التجريبية عن قيود أساسية في قدرة نماذج اللغة الكبيرة الحالية على العمل كمولدات للقصص الخيالية.

4. الإطار التقني والصياغة الرياضية

يمكن صياغة التحدي الأساسي كمشكلة في الحفاظ على الحالة. لنفترض أن $W_t$ تمثل حالة العالم في الوقت $t$، وتحتوي على جميع الحقائق الخيالية المحددة، وسمات الشخصية، وقيود السرد. بالنسبة لنموذج لغة كبير يولد خيالًا، نتوقع:

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

أي أن استجابة النموذج يجب أن تعتمد على المطالبة الفورية و حالة العالم المتراكمة $W_t$. ومع ذلك، فإن البنى الحالية القائمة على المحولات (Transformer) تحسن بشكل أساسي من أجل:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

حيث يمثل $\theta$ معاملات النموذج و$w_i$ هي الرموز. لا يشجع هدف التنبؤ بالرمز التالي هذا بشكل صريح على الحفاظ على $W_t$ خارج نافذة السياق الفورية.

يشير البحث إلى أن توليد الخيال الناجح يتطلب آليات مشابهة لتلك الموجودة في الأنظمة العصبية الرمزية أو بنى الذاكرة الخارجية، حيث يتم الحفاظ على حالة العالم $W_t$ وتحديثها بشكل صريح، كما نوقش في أعمال مثل الحاسوب العصبي القابل للتفاضل (Differentiable Neural Computer) (Graves et al., 2016).

5. دراسة حالة: فشل تتبع حالة العالم

السيناريو: يُطلب من نموذج توليد قصة عن "عالم تعمل فيه الجاذبية بشكل جانبي". بعد تأسيس هذه الفرضية، تطلب المطالبات اللاحقة معلومات عن الحياة اليومية، والعمارة، والنقل في هذا العالم.

الملاحظة: تعود معظم النماذج بسرعة إلى افتراضات الجاذبية القياسية خلال 2-3 أدوار استجابة، متناقضة مع الفرضية المحددة. على سبيل المثال، بعد وصف "منازل مبنية في وجوه المنحدرات"، قد يذكر النموذج لاحقًا "السقوط من مبنى" دون إدراك التناقض في عالم ذي جاذبية جانبية.

إطار التحليل: يمكن نمذجة هذا كفشل في تتبع الحالة حيث لا يقوم التمثيل الداخلي للنموذج $W_t$ بتحديث أو الحفاظ على القيد الخيالي $C_{gravity} = \text{sideways}$ بشكل صحيح. ينجرف توزيع الاحتمالات على الردود تدريجيًا إلى توزيع التدريب $P_{train}(\text{gravity concepts})$ بدلاً من البقاء مشروطًا بـ $C_{gravity}$.

المضمون: بدون آليات صريحة للحفاظ على القيود الخيالية، لا يمكن لنماذج اللغة الكبيرة أن تكون مولدات خيال موثوقة، بغض النظر عن قدراتها اللغوية.

6. التطبيقات المستقبلية واتجاهات البحث

تشير النتائج إلى عدة اتجاهات بحثية واعدة لتحسين قدرات نماذج اللغة الكبيرة في توليد الخيال:

• وحدات حالة العالم الصريحة: بنى تفصل بين تتبع حالة السرد وتوليد اللغة، باستخدام ذاكرة خارجية أو تمثيلات رمزية.
• التدريب المرتكز على الاتساق: أهداف الضبط الدقيق التي تكافئ صراحة الحفاظ على القيود الخيالية عبر سياقات ممتدة.
• أنظمة الإنسان في الحلقة: واجهات تعاونية يدير فيها البشر حالة العالم بينما تتعامل نماذج اللغة الكبيرة مع التحقيق اللغوي، مشابهة للأنظمة الإبداعية المشتركة التي استكشفت في Yuan et al. (2022).
• نماذج الخيال المتخصصة: تدريب خاص بمجال على مجموعات قصصية خيالية منتقاة مع شرح صريح لعناصر بناء العالم وأقواس السرد.
• مقاييس التقييم: تطوير معايير موحدة لاتساق الخيال، تتجاوز مقاييس نمذجة اللغة التقليدية لتقييم تماسك السرد والحفاظ على حالة العالم.

يمكن لهذه الأساليب أن تسد الفجوة بين قدرات نماذج اللغة الكبيرة الحالية ومتطلبات توليد الخيال الحقيقي، مما قد يمكن من أشكال جديدة من الإبداع الحاسوبي وسرد القصص التفاعلي.

7. المراجع

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. منظور المحلل: فجوة توليد القصص الخيالية