Menilai Pandangan Alam Model Bahasa untuk Penjanaan Fiksyen

1. Pengenalan

Model Bahasa Besar (LLM) telah menjadi alat yang sangat lazim dalam kreativiti pengiraan, dengan aplikasi yang semakin meningkat dalam penjanaan cerita fiksyen. Walau bagaimanapun, fiksyen memerlukan lebih daripada sekadar kecekapan linguistik—ia memerlukan penciptaan dan penyelenggaraan dunia cerita yang koheren yang berbeza daripada realiti sambil mengekalkan konsistensi dalaman. Kertas kerja ini menyiasat sama ada LLM semasa memiliki "pandangan alam" atau keadaan dalaman yang diperlukan untuk menjana fiksyen yang menarik, melangkaui penyiapan teks mudah kepada pembinaan naratif sebenar.

Cabaran asas terletak pada perbezaan antara pengambilan pengetahuan faktual dan pembinaan dunia fiksyen. Walaupun LLM cemerlang dalam pemadanan corak dan sintesis maklumat, mereka bergelut dengan mengekalkan realiti alternatif yang konsisten—satu keperluan teras untuk penulisan fiksyen. Penyelidikan ini menilai sembilan LLM secara sistematik merentas metrik konsistensi dan tugasan penjanaan cerita, mendedahkan batasan ketara dalam seni bina semasa.

2. Soalan & Metodologi Penyelidikan

Kajian ini menggunakan kerangka penilaian berstruktur untuk menilai kesesuaian LLM untuk penjanaan fiksyen, memberi tumpuan kepada dua keupayaan kritikal.

2.1. Soalan Penyelidikan Teras

Konsistensi: Bolehkah LLM mengenal pasti dan menghasilkan semula maklumat secara konsisten merentas konteks yang berbeza?
Kekukuhan: Adakah LLM kukuh terhadap perubahan dalam bahasa pemangkin apabila menghasilkan semula maklumat fiksyen?
Pengekalan Keadaan Dunia: Bolehkah LLM mengekalkan "keadaan" fiksyen yang koheren sepanjang penjanaan naratif?

2.2. Pemilihan Model & Kerangka Penilaian

Penyelidikan ini menilai sembilan LLM merangkumi saiz, seni bina, dan paradigma latihan yang berbeza (kedua-dua sumber tertutup dan sumber terbuka). Protokol penilaian melibatkan:

Soalan Pandangan Alam: Satu siri pemangkin sasaran yang direka untuk menyiasat konsistensi dalam ingatan fakta fiksyen.
Tugasan Penjanaan Cerita: Penjanaan langsung fiksyen pendek berdasarkan kekangan pembinaan dunia tertentu.
Perbandingan Rentas Model: Analisis corak naratif dan koheren merentas seni bina yang berbeza.

Skop Penilaian

Model Diuji: 9 LLM

Metrik Utama: Skor Konsistensi Pandangan Alam

Metrik Sekunder: Indeks Keseragaman Naratif

3. Keputusan & Analisis Eksperimen

Penemuan eksperimen mendedahkan batasan asas dalam keupayaan LLM semasa untuk berfungsi sebagai penjana fiksyen.

3.1. Penilaian Konsistensi Pandangan Alam

Hanya dua daripada sembilan model yang dinilai menunjukkan pengekalan pandangan alam yang konsisten merentas soal siasat. Tujuh yang selebihnya menunjukkan percanggahan diri yang ketara apabila diminta untuk menghasilkan semula atau menghuraikan fakta fiksyen yang telah ditetapkan lebih awal dalam interaksi. Ini mencadangkan bahawa kebanyakan LLM kekurangan mekanisme keadaan dalaman yang berterusan untuk menjejaki parameter dunia fiksyen.

Penemuan Utama: Majoriti model kembali kepada respons yang berkemungkinan secara statistik daripada mengekalkan kekangan fiksyen yang telah ditetapkan, menunjukkan ketidakpadanan asas antara ramalan token seterusnya dan pengurusan keadaan naratif.

3.2. Analisis Kualiti Penjanaan Cerita

Analisis cerita yang dijana oleh empat model perwakilan mendedahkan "corak naratif yang sangat seragam" merentas seni bina. Walaupun data latihan dan kiraan parameter berbeza, cerita yang dijana menumpu pada struktur plot, arketip watak, dan corak resolusi yang serupa.

Implikasi: Keseragaman ini mencadangkan LLM tidak benar-benar menjana fiksyen berdasarkan model dunia dalaman tetapi sebaliknya menggabungkan semula templat naratif yang dipelajari. Kekurangan "suara pengarang" yang tersendiri atau pembinaan dunia yang konsisten menunjukkan ketiadaan pengekalan keadaan yang diperlukan untuk fiksyen sebenar.

Rajah 1: Keseragaman Naratif Rentas Model

Analisis mendedahkan bahawa 78% cerita yang dijana mengikuti salah satu daripada tiga struktur plot asas, tanpa mengira pemangkin pembinaan dunia awal. Perkembangan watak menunjukkan penumpuan yang serupa, dengan 85% protagonis mempamerkan corak motivasi yang sama merentas latar fiksyen yang berbeza.

4. Kerangka Teknikal & Formulasi Matematik

Cabaran teras boleh diformalkan sebagai masalah pengekalan keadaan. Biarkan $W_t$ mewakili keadaan dunia pada masa $t$, mengandungi semua fakta fiksyen yang ditetapkan, atribut watak, dan kekangan naratif. Untuk LLM yang menjana fiksyen, kami menjangkakan:

$P(response_{t+1} | prompt, W_t) \neq P(response_{t+1} | prompt)$

Iaitu, respons model harus bergantung pada kedua-dua pemangkin segera dan keadaan dunia terkumpul $W_t$. Walau bagaimanapun, seni bina berasaskan transformer semasa terutamanya mengoptimumkan untuk:

$\max \sum_{i=1}^{n} \log P(w_i | w_{

di mana $\theta$ mewakili parameter model dan $w_i$ adalah token. Objektif ramalan token seterusnya ini tidak secara eksplisit menggalakkan pengekalan $W_t$ melebihi tetingkap konteks segera.

Penyelidikan mencadangkan bahawa penjanaan fiksyen yang berjaya memerlukan mekanisme yang serupa dengan sistem neural-simbolik atau seni bina memori luaran, di mana keadaan dunia $W_t$ dikekalkan dan dikemas kini secara eksplisit, seperti yang dibincangkan dalam karya seperti Differentiable Neural Computer (Graves et al., 2016).

5. Kajian Kes: Kegagalan Penjejakan Keadaan Dunia

Skenario: Sebuah model dipangkin untuk menjana cerita tentang "dunia di mana graviti berfungsi secara melintang." Selepas menetapkan premis ini, pemangkin seterusnya bertanya tentang kehidupan harian, seni bina, dan pengangkutan di dunia ini.

Pemerhatian: Kebanyakan model cepat kembali kepada andaian graviti standard dalam 2-3 pusingan respons, bercanggah dengan premis yang telah ditetapkan. Sebagai contoh, selepas menggambarkan "rumah yang dibina ke dalam permukaan tebing," model mungkin kemudian menyebut "jatuh dari bangunan" tanpa mengenali percanggahan dalam dunia graviti melintang.

Kerangka Analisis: Ini boleh dimodelkan sebagai kegagalan penjejakan keadaan di mana perwakilan dalaman model $W_t$ tidak mengemas kini atau mengekalkan kekangan fiksyen $C_{gravity} = \text{melintang}$ dengan betul. Taburan kebarangkalian ke atas respons secara beransur-ansur hanyut kembali kepada taburan latihan $P_{train}(\text{konsep graviti})$ daripada kekal dikondisikan pada $C_{gravity}$.

Implikasi: Tanpa mekanisme eksplisit untuk penyelenggaraan kekangan fiksyen, LLM tidak boleh berfungsi sebagai penjana fiksyen yang boleh dipercayai, tanpa mengira keupayaan linguistik mereka.

6. Aplikasi & Hala Tuju Penyelidikan Masa Depan

Penemuan menunjukkan beberapa hala tuju penyelidikan yang menjanjikan untuk meningkatkan keupayaan penjanaan fiksyen LLM:

Modul Keadaan Dunia Eksplisit: Seni bina yang memisahkan penjejakan keadaan naratif daripada penjanaan bahasa, berpotensi menggunakan memori luaran atau perwakilan simbolik.
Latihan Berfokus Konsistensi: Objektif penyelarasan halus yang secara eksplisit memberi ganjaran untuk penyelenggaraan kekangan fiksyen merentas konteks lanjutan.
Sistem Manusia-dalam-Gelung: Antara muka kolaboratif di mana manusia mengurus keadaan dunia sementara LLM mengendalikan realisasi linguistik, serupa dengan sistem ko-kreatif yang diterokai dalam Yuan et al. (2022).
Model Fiksyen Khusus: Latihan khusus domain pada korpus fiksyen terkurasi dengan anotasi eksplisit elemen pembinaan dunia dan arka naratif.
Metrik Penilaian: Pembangunan penanda aras piawai untuk konsistensi fiksyen, melangkaui metrik pemodelan bahasa tradisional untuk menilai koheren naratif dan pengekalan keadaan dunia.

Pendekatan ini boleh merapatkan jurang antara keupayaan LLM semasa dan keperluan penjanaan fiksyen sebenar, berpotensi membolehkan bentuk kreativiti pengiraan dan penceritaan interaktif yang baru.

7. Rujukan

Graves, A., et al. (2016). Hybrid computing using a neural network with dynamic external memory. Nature, 538(7626), 471-476.
Patel, A., et al. (2024). Large Language Models for Interactive Storytelling: Opportunities and Challenges. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment.
Riedl, M. O., & Young, R. M. (2003). Character-focused narrative generation for storytelling in games. Proceedings of the AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment.
Tang, J., Loakman, T., & Lin, C. (2023). Towards coherent story generation with large language models. arXiv preprint arXiv:2302.07434.
Yuan, A., et al. (2022). Wordcraft: A Human-AI Collaborative Editor for Story Writing. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
Yang, L., et al. (2023). Improving coherence in long-form story generation with large language models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.

8. Perspektif Penganalisis: Jurang Penjanaan Fiksyen

Pandangan Teras

Kertas kerja ini mendedahkan kelemahan kritikal tetapi sering diabaikan dalam kitaran gembar-gembur LLM: model ini pada dasarnya adalah pemadan corak reaktif, bukan pembina dunia proaktif. Industri telah menjual fiksyen "AI kreatif" sementara model itu sendiri tidak dapat mengekalkan konsistensi fiksyen asas. Ini bukan masalah penskalaan—ia adalah masalah seni bina. Seperti yang ditunjukkan oleh penyelidikan, walaupun model terbesar gagal dalam apa yang dianggap oleh penulis manusia sebagai kemahiran asas: menjaga dunia cerita mereka tetap konsisten.

Aliran Logik

Metodologi kajian dengan bijak mengasingkan isu teras. Dengan menguji konsistensi merentas fakta fiksyen mudah daripada mengukur kualiti linguistik, mereka memintas kesan mengagumkan permukaan prosa LLM untuk mendedahkan kekosongan struktur di bawahnya. Perkembangan dari soal siasat pandangan alam kepada penjanaan cerita menunjukkan bahawa ketidak-konsistenan bukan sekadar pepijat kecil—ia secara langsung merosakkan output naratif. Cerita seragam merentas model mengesahkan kita berhadapan dengan batasan sistematik, bukan kekurangan model individu.

Kekuatan & Kelemahan

Kekuatan: Penyelidikan ini memberikan pemeriksaan realiti yang diperlukan kepada domain aplikasi yang terlalu digembar-gemburkan. Dengan memberi tumpuan kepada pengekalan keadaan daripada ciri permukaan, ia mengenal pasti penghalang sebenar untuk penjanaan fiksyen. Perbandingan merentas sembilan model memberikan bukti yang meyakinkan bahawa ini adalah batasan LLM sejagat.

Kelemahan: Kertas kerja ini kurang menekankan implikasi komersial. Jika LLM tidak dapat mengekalkan konsistensi fiksyen, nilai mereka untuk alat penulisan profesional adalah sangat terhad. Ini bukan hanya kebimbangan akademik—ia menjejaskan peta jalan produk di setiap syarikat AI utama yang kini memasarkan "pembantu penulisan kreatif." Penyelidikan juga tidak cukup menghubungkan kerja berkaitan dalam AI permainan dan naratif interaktif, di mana penjejakan keadaan telah menjadi masalah yang diselesaikan selama beberapa dekad menggunakan pendekatan simbolik.

Pandangan Boleh Tindak

Pertama, syarikat AI perlu berhenti memasarkan LLM sebagai penulis fiksyen sehingga mereka menyelesaikan masalah pengekalan keadaan. Kedua, penyelidik harus melihat melampaui seni bina transformer tulen—pendekatan neuro-simbolik hibrid, seperti yang diterokai dalam Differentiable Neural Computer DeepMind, menawarkan laluan terbukti untuk pengurusan keadaan berterusan. Ketiga, kerangka penilaian yang dibangunkan di sini harus menjadi standard untuk sebarang penanda aras "AI kreatif." Akhirnya, terdapat peluang produk dalam membina antara muka yang secara eksplisit memisahkan pengurusan keadaan dunia daripada penjanaan prosa, mengubah batasan menjadi ciri untuk kerjasama manusia-AI.

Sumbangan paling berharga kertas kerja ini mungkin amaran tersiratnya: kita membina model bahasa yang semakin canggih tanpa menangani kekangan seni bina asas yang menghalang mereka daripada mencapai kecerdasan naratif sebenar. Sehingga kita menyelesaikan masalah keadaan, fiksyen yang dijana LLM akan kekal seperti sekarang—omong kosong yang ditulis dengan indah.