Kukagua Mtazamo wa Ulimwengu wa Mifano ya Lugha kwa Ajili ya Uundaji wa Hadithi za Kubuni

1. Utangulizi

Mifano Mikubwa ya Lugha (LLMs) imekuwa zana za kawaida katika ubunifu wa kompyuta, zikiwa na matumizi yanayoongezeka katika uundaji wa hadithi za kubuni. Hata hivyo, hadithi za kubuni zinahitaji zaidi ya ustadi wa lugha—zinahitaji kuundwa na kudumishwa kwa ulimwengu thabiti wa hadithi unaotofautiana na ukweli hali inadumisha mshikamano wa ndani. Karatasi hii inachunguza ikiwa LLMs za sasa zina "mtazamo wa ulimwengu" au hali ya ndani inayohitajika kuzalisha hadithi za kubuni zinazovutia, ikipita zaidi ya ukamilishaji wa maandishi rahisi hadi ujenzi wa kweli wa simulizi.

Changamoto ya msingi iko katika tofauti kati ya utafutaji wa ujuzi wa ukweli na ujenzi wa ulimwengu wa kubuni. Ingawa LLMs zinafanikiwa katika kuendana na muundo na usanisi wa habari, zinapambana na kudumisha ukweli mbadala thabiti—hitaji la msingi kwa uandishi wa hadithi za kubuni. Utafiti huu unatathmini kwa utaratibu LLMs tisa kwenye vipimo vya uthabiti na kazi za uundaji wa hadithi, ukifunua udhaifu mkubwa katika usanifu wa sasa.

2. Maswali ya Utafiti na Mbinu

Utafiti huu unatumia mfumo wa tathmini ulio na muundo ili kukagua ufaafu wa LLMs kwa uundaji wa hadithi za kubuni, ukizingatia uwezo mbili muhimu.

3. Matokeo ya Majaribio na Uchambuzi

Matokeo ya majaribio yanafunua udhaifu wa msingi katika uwezo wa LLMs za sasa kufanya kazi kama vizalishi vya hadithi za kubuni.

4. Mfumo wa Kiufundi na Uundaji wa Kihisabati

Changamoto ya msingi inaweza kuwekwa rasmi kama shida ya udumishaji wa hali. Hebu $W_t$ iwakilishe hali ya ulimwengu kwa wakati $t$, ikijumuisha ukweli wote wa kubuni uliowekwa, sifa za wahusika, na vikwazo vya simulizi. Kwa LLM inayozalisha hadithi za kubuni, tungetarajia:

$P(majibu_{t+1} | haraka, W_t) \neq P(majibu_{t+1} | haraka)$

Yaani, majibu ya mfano yanapaswa kutegemea haraka ya papo hapo na hali ya ulimwengu iliyokusanyika $W_t$. Hata hivyo, usanifu wa msingi wa transformer unaolenga hasa:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

ambapo $\theta$ inawakilisha vigezo vya mfano na $w_i$ ni tokeni. Lengo hili la utabiri wa tokeni inayofuata halihimizi wazi udumishaji wa $W_t$ zaidi ya dirisha la muktadha la papo hapo.

Utafiti unapendekeza kwamba uundaji wa mafanikio wa hadithi za kubuni unahitaji utaratibu sawa na ule ulio katika mifumo ya neva-ya ishara au usanifu wa kumbukumbu ya nje, ambapo hali ya ulimwengu $W_t$ inadumishwa na kusasishwa wazi, kama ilivyojadiliwa katika kazi kama Kompyuta ya Neva Inayoweza Kutofautishwa (Graves et al., 2016).

5. Uchunguzi wa Kesi: Kushindwa Kufuatilia Hali ya Ulimwengu

Hali: Mfano unaulizwa kuzalisha hadithi kuhusu "ulimwengu ambapo mvuto unafanya kazi kwa upande." Baada ya kuweka dhana hii, maswali yanayofuata yanauliza kuhusu maisha ya kila siku, usanifu, na usafiri katika ulimwengu huu.

Uchunguzi: Mifano mingi hurudi upya kwenye mawazo ya kawaida ya mvuto ndani ya zamu 2-3 za majibu, ikipingana na dhana iliyowekwa. Kwa mfano, baada ya kuelezea "nyumba zilizojengwa ndani ya uso wa mwamba," mfano unaweza baadaye kutaja "kuanguka kutoka kwenye jengo" bila kutambua kupingana katika ulimwengu wenye mvuto wa upande.

Mfumo wa Uchambuzi: Hii inaweza kuonyeshwa kama shida ya kufuatilia hali ambapo uwakilishi wa ndani wa mfano $W_t$ hausasishi au kudumisha kikwazo cha kubuni $C_{mvuto} = \text{upande}$ ipasavyo. Usambazaji wa uwezekano juu ya majibu huelekea kurudi polepole kwenye usambazaji wa mafunzo $P_{train}(\text{dhana za mvuto})$ badala ya kubaki kuwa na masharti kwenye $C_{mvuto}$.

Maana: Bila utaratibu wazi wa udumishaji wa kikwazo cha kubuni, LLMs haziwezi kutumika kama vizalishi vya kuaminika vya hadithi za kubuni, bila kujali uwezo wao wa lugha.

6. Matumizi ya Baadaye na Mwelekeo wa Utafiti

Matokeo yanaonyesha mwelekeo kadhaa wa utafiti unaotumainiwa wa kuboresha uwezo wa LLMs wa uundaji wa hadithi za kubuni:

• Moduli Wazi za Hali ya Ulimwengu: Usanifu unaotenganisha ufuatiliaji wa hali ya simulizi na uundaji wa lugha, ukitumia kumbukumbu ya nje au uwakilishi wa ishara.
• Mafunzo Yanayolenga Uthabiti: Malengo ya urekebishaji mwembamba ambayo yanathimini wazi udumishaji wa vikwazo vya kubuni kwenye miktadha iliyopanuliwa.
• Mifumo ya Mtu-katika-Kitanzi: Kiolesura cha ushirikiano ambapo wanadamu wanasimamia hali ya ulimwengu wakati LLMs zinashughulikia utekelezaji wa lugha, sawa na mifumo ya ushirikiano iliyochunguzwa katika Yuan et al. (2022).
• Mifano Maalum ya Hadithi za Kubuni: Mafunzo maalum ya kikoa kwenye mkusanyiko uliochaguliwa wa hadithi za kubuni zilizo na maelezo wazi ya vipengele vya ujenzi wa ulimwengu na safu za simulizi.
• Vipimo vya Tathmini: Uundaji wa viwango vya kawaida vya uthabiti wa kubuni, ukipita zaidi ya vipimo vya kawaida vya mfano wa lugha ili kukagua mshikamano wa simulizi na udumishaji wa hali ya ulimwengu.

Mbinu hizi zinaweza kujaza pengo kati ya uwezo wa sasa wa LLMs na mahitaji ya uundaji wa kweli wa hadithi za kubuni, zikiwezesha aina mpya za ubunifu wa kompyuta na simulizi shirikishi.

7. Marejeo

1. Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
2. Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
3. Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
4. Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
5. Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
6. Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Mtazamo wa Mchambuzi: Pengo la Uundaji wa Hadithi za Kubuni