ارزیابی جهان‌نگری مدل‌های زبانی برای تولید داستان

1. مقدمه

مدل‌های زبانی بزرگ (LLMs) به ابزارهایی فراگیر در خلاقیت محاسباتی تبدیل شده‌اند و کاربردهای فزاینده‌ای در تولید داستان‌های تخیلی دارند. با این حال، داستان‌نویسی چیزی فراتر از شایستگی زبانی می‌طلبد—این حوزه نیازمند خلق و حفظ یک جهان داستانی منسجم است که با واقعیت متفاوت بوده و در عین حال سازگاری درونی خود را حفظ کند. این مقاله بررسی می‌کند که آیا مدل‌های زبانی بزرگ کنونی از «جهان‌نگری» یا حالت درونی لازم برای تولید داستان‌های جذاب برخوردارند یا خیر، و فراتر از تکمیل ساده متن به ساخت روایی واقعی می‌پردازد.

چالش بنیادی در تمایز بین بازیابی دانش واقعی و ساخت جهان تخیلی نهفته است. در حالی که مدل‌های زبانی بزرگ در تطبیق الگو و ترکیب اطلاعات مهارت دارند، در حفظ واقعیت‌های جایگزین سازگار—که یک نیاز اصلی برای نوشتن داستان است—دچار مشکل هستند. این پژوهش به طور سیستماتیک نه مدل زبانی بزرگ را بر اساس معیارهای سازگاری و وظایف تولید داستان ارزیابی می‌کند و محدودیت‌های قابل توجهی در معماری‌های کنونی آشکار می‌سازد.

2. پرسش‌های پژوهشی و روش‌شناسی

این مطالعه از یک چارچوب ارزیابی ساختاریافته برای ارزیابی مناسب بودن مدل‌های زبانی بزرگ برای تولید داستان استفاده می‌کند و بر دو قابلیت حیاتی متمرکز است.

3. نتایج و تحلیل آزمایش

یافته‌های آزمایشی محدودیت‌های بنیادی در توانایی مدل‌های زبانی بزرگ کنونی برای عملکرد به عنوان مولد داستان را آشکار می‌سازد.

4. چارچوب فنی و فرمول‌بندی ریاضی

چالش اصلی را می‌توان به عنوان یک مسئله نگهداری حالت صوری‌سازی کرد. اجازه دهید $W_t$ حالت جهان در زمان $t$ را نشان دهد، که شامل تمام حقایق تخیلی ایجاد شده، ویژگی‌های شخصیت و محدودیت‌های روایی است. برای یک مدل زبانی بزرگ که داستان تولید می‌کند، انتظار داریم:

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

یعنی پاسخ مدل باید هم به پرامپت فوری و هم به حالت انباشته شده جهان $W_t$ وابسته باشد. با این حال، معماری‌های مبتنی بر ترانسفورمر کنونی عمدتاً برای بهینه‌سازی زیر عمل می‌کنند:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

که در آن $\theta$ پارامترهای مدل و $w_i$ توکن‌ها را نشان می‌دهد. این هدف پیش‌بینی توکن بعدی، صراحتاً نگهداری $W_t$ را فراتر از پنجره زمینه فوری تشویق نمی‌کند.

این پژوهش نشان می‌دهد که تولید موفق داستان نیازمند مکانیسم‌هایی مشابه سیستم‌های عصبی-نمادین یا معماری‌های حافظه خارجی است، جایی که حالت جهان $W_t$ به صراحت حفظ و به‌روزرسانی می‌شود، همانطور که در آثار مانند Differentiable Neural Computer (Graves و همکاران، 2016) مورد بحث قرار گرفته است.

5. مطالعه موردی: شکست در ردیابی حالت جهان

سناریو: از یک مدل خواسته می‌شود داستانی درباره «جهانی که گرانش به صورت جانبی کار می‌کند» تولید کند. پس از ایجاد این فرضیه، پرامپت‌های بعدی در مورد زندگی روزمره، معماری و حمل و نقل در این جهان سؤال می‌کنند.

مشاهده: اکثر مدل‌ها ظرف 2 تا 3 نوبت پاسخ، به سرعت به فرضیات استاندارد گرانش بازمی‌گردند و با فرضیه ایجاد شده در تضاد هستند. به عنوان مثال، پس از توصیف «خانه‌هایی که در دل صخره‌ها ساخته شده‌اند»، یک مدل ممکن است بعداً به «سقوط از یک ساختمان» اشاره کند بدون اینکه تناقض در یک جهان با گرانش جانبی را تشخیص دهد.

چارچوب تحلیل: این را می‌توان به عنوان یک شکست در ردیابی حالت مدل‌سازی کرد که در آن بازنمایی درونی مدل $W_t$ محدودیت تخیلی $C_{gravity} = \text{sideways}$ را به درستی به‌روزرسانی یا حفظ نمی‌کند. توزیع احتمال روی پاسخ‌ها به تدریج به سمت توزیع آموزشی $P_{train}(\text{gravity concepts})$ منحرف می‌شود تا اینکه بر اساس $C_{gravity}$ شرطی باقی بماند.

دلالت: بدون مکانیسم‌های صریح برای نگهداری محدودیت تخیلی، مدل‌های زبانی بزرگ نمی‌توانند به عنوان مولدهای داستان قابل اعتماد عمل کنند، صرف نظر از قابلیت‌های زبانی آن‌ها.

6. کاربردهای آتی و جهت‌های پژوهشی

یافته‌ها به چندین جهت پژوهشی امیدوارکننده برای بهبود قابلیت‌های تولید داستان مدل‌های زبانی بزرگ اشاره می‌کنند:

• ماژول‌های حالت جهان صریح: معماری‌هایی که ردیابی حالت روایی را از تولید زبان جدا می‌کنند، با استفاده بالقوه از حافظه خارجی یا بازنمایی‌های نمادین.
• آموزش متمرکز بر سازگاری: اهداف تنظیم دقیقی که صراحتاً حفظ محدودیت‌های تخیلی را در زمینه‌های گسترده پاداش می‌دهند.
• سیستم‌های انسان در حلقه: رابط‌های مشارکتی که در آن انسان‌ها حالت جهان را مدیریت می‌کنند در حالی که مدل‌های زبانی بزرگ تحقق زبانی را انجام می‌دهند، مشابه سیستم‌های هم‌آفرین مورد بررسی در Yuan و همکاران (2022).
• مدل‌های تخصصی داستان: آموزش حوزه‌ای خاص بر روی پیکره‌های داستانی منتخب با حاشیه‌نویسی صریح عناصر ساخت جهان و قوس‌های روایی.
• معیارهای ارزیابی: توسعه معیارهای استاندارد شده برای سازگاری تخیلی، فراتر از معیارهای سنتی مدل‌سازی زبان برای ارزیابی انسجام روایی و نگهداری حالت جهان.

این رویکردها می‌توانند شکاف بین قابلیت‌های کنونی مدل‌های زبانی بزرگ و الزامات تولید داستان اصیل را پر کنند و به طور بالقوه اشکال جدیدی از خلاقیت محاسباتی و داستان‌گویی تعاملی را ممکن سازند.

7. منابع

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. دیدگاه تحلیلی: شکاف تولید داستان