Kertas kerja ini memperkenalkan Penjanaan Naratif, satu tugas baharu dalam AI multimodal yang melibatkan penjanaan automatik teks naratif kontekstual yang menyumbang kepada cerita untuk diselitkan pada titik-titik tertentu dalam video. Berbeza dengan kapsyen atau penerangan video tradisional yang bertujuan untuk menerangkan kandungan yang kelihatan, naratif memberikan ulasan aras tinggi yang berasaskan konteks, memajukan jalan cerita, mengisi butiran yang tidak kelihatan, dan membimbing penonton. Tugas ini berbeza kerana teks yang dijana menjadi sebahagian penting daripada pengalaman menonton video, memerlukan penaakulan temporal dan pemahaman tentang arka naratif.
Penulis meletakkan tugas ini sebagai pengganti yang lebih mencabar kepada kapsyen imej dan penerangan video, yang memerlukan model yang boleh membuat penaakulan tentang konteks temporal dan membuat inferens tentang perkembangan cerita melampaui sekadar asas visual.
Untuk membolehkan penyelidikan, penulis mencipta set data baharu yang bersumber dari siri televisyen animasi Peppa Pig. Pilihan ini adalah strategik: video kartun mengabstrakkan kerumitan visual dunia sebenar dan dialog dewasa, membolehkan penilaian yang lebih bersih terhadap cabaran teras penjanaan teks dan penentuan masa.
Sumber: Siri animasi Peppa Pig.
Kandungan: Klip video yang dipadankan dengan dialog sari kata dan baris narator yang sepadan.
Ciri Utama: Naratif bukan sekadar penerangan; ia memberikan konteks cerita, pandangan watak, atau ulasan selari.
Set data ini termasuk contoh di mana naratif secara langsung menerangkan adegan (contohnya, "Mr Dinosaur diselimutkan bersamanya") dan contoh lain di mana ia memberikan konteks cerita luaran (contohnya, "Peppa suka menjaga adik lelakinya, George"), menonjolkan kerumitan tugas ini.
Penulis menguraikan masalah penjanaan naratif kepada dua sub-tugas teras:
Menentukan bilakah sesuatu naratif harus diselitkan. Ini melibatkan analisis aliran temporal video, jeda dialog, dan peralihan adegan untuk mengenal pasti titik hentian semula jadi untuk selitan naratif. Model mesti meramalkan capaian masa mula dan tamat untuk segmen naratif.
Menjana apa yang harus dikatakan oleh naratif. Diberikan segmen video dan dialog kontekstualnya, model mesti menghasilkan teks yang koheren dan sesuai dengan konteks yang menyumbang kepada cerita. Ini memerlukan gabungan ciri visual (dari bingkai video), ciri teks (dari dialog watak), dan konteks temporal.
Kertas kerja ini membentangkan satu set model yang menangani tugas berganda. Seni bina kemungkinan melibatkan penyelaras multimodal (contohnya, CNN untuk bingkai video, RNN atau Transformer untuk sari kata) diikuti oleh penyahkod khusus tugas.
Butiran Teknikal (Formulasi Matematik): Satu cabaran teras ialah menyelaraskan jujukan multimodal. Biarkan $V = \{v_1, v_2, ..., v_T\}$ mewakili jujukan ciri visual (contohnya, dari CNN 3D seperti I3D) dan $S = \{s_1, s_2, ..., s_M\}$ mewakili jujukan penyematan dialog sari kata. Model penentuan masa mempelajari fungsi $f_{time}$ untuk meramalkan taburan kebarangkalian mengikut masa untuk penyelitan naratif: $P(t_{start}, t_{end} | V, S)$. Model penjanaan kandungan, yang dikondisikan pada segmen terpilih $(V_{[t_{start}:t_{end}]}, S_{context})$, mempelajari model bahasa $f_{text}$ untuk menjana jujukan naratif $N = \{n_1, n_2, ..., n_L\}$, selalunya dioptimumkan melalui kerugian entropi silang: $\mathcal{L}_{gen} = -\sum_{i=1}^{L} \log P(n_i | n_{ Formulasi ini mencerminkan kemajuan dalam model jujukan-ke-jujukan untuk kapsyen video tetapi menambah lapisan kritikal asas temporal silang-modal untuk penentuan masa.
Walaupun petikan PDF yang diberikan tidak menunjukkan keputusan berangka khusus, ia membayangkan penilaian melalui metrik NLP piawai seperti BLEU, ROUGE, dan METEOR untuk kualiti kandungan, dan ketepatan/ingatan capaian masa yang diramal berbanding kebenaran asas untuk ketepatan masa.
Metrik Penjanaan Kandungan: BLEU-n, ROUGE-L, METEOR. Ini mengukur pertindihan n-gram dan persamaan semantik antara naratif yang dijana dan rujukan yang ditulis manusia.
Metrik Tugas Penentuan Masa: IoU Temporal (Persilangan atas Kesatuan), Ketepatan/Ingatan pada ambang (contohnya, jika segmen yang diramal bertindih dengan kebenaran asas >0.5).
Penilaian Manusia: Kemungkinan termasuk penarafan untuk koheren, relevan, dan sumbangan penceritaan, yang penting untuk tugas subjektif seperti naratif.
Penemuan utama ialah pemodelan bersama masa dan kandungan, atau menggunakan saluran paip yang pertama mengenal pasti masa dan kemudian menjana kandungan untuk segmen itu, mengatasi pendekatan naif yang merawat keseluruhan video sebagai input tunggal untuk penjanaan teks.
Kerangka untuk Menilai Kualiti Naratif:
Kajian Kes (Berdasarkan Rajah 1):
Input: Klip video George pergi tidur, dialog: "Selamat malam, George."
Output Lemah (Kapsyen Deskriptif): "Seekor babi berada di atas katil dengan mainan."
Output Kuat (Naratif Kontekstual): "Apabila George pergi tidur, Mr Dinosaur diselimutkan bersamanya."
Output kuat lulus kerangka: ia koheren temporal (selepas ucapan selamat malam), menambah nilai naratif (mewujudkan rutin/kebiasaan), dan menggunakan gaya yang sesuai.
Pandangan Teras: Papasarantopoulos dan Cohen bukan sekadar mencadangkan satu lagi tugas multimodal; mereka cuba memformalkan kepintaran naratif untuk mesin. Kejayaan sebenar di sini ialah pemisahan eksplisit "masa" dan "kandungan"—pengiktirafan bahawa menjana teks yang relevan dengan cerita adalah tidak bermakna jika disampaikan pada detik dramatik yang salah. Ini melangkaui paradigma deskriptif bingkai-demi-bingkai kapsyen video klasik (contohnya, MSR-VTT, ActivityNet Captions) ke dalam alam niat pengarah. Dengan memilih Peppa Pig, mereka membuat langkah bijak, walaupun defensif. Ia mengasingkan masalah struktur naratif dari kekacauan pemahaman visual dunia sebenar yang masih belum selesai, sama seperti bagaimana penyelidikan terjemahan mesin awal menggunakan teks berita yang dikurasi. Walau bagaimanapun, ini juga mewujudkan potensi "jurang kartun"—adakah teknik yang mempelajari logik sebab-akibat mudah rancangan kanak-kanak akan digeneralisasikan kepada kekaburan moral filem Scorsese?
Aliran Logik & Sumbangan Teknikal: Logik kertas kerja ini adalah kukuh: takrifkan tugas baharu, cipta set data bersih, uraikan masalah, dan cadangkan model asas. Sumbangan teknikal terutamanya dalam takrifan tugas dan penciptaan set data. Seni bina model tersirat—kemungkinan penyelaras multimodal dengan mekanisme perhatian mengikut masa—adalah piawai untuk tempoh masa 2021, banyak dipengaruhi dari tradisi video-dan-bahasa yang ditubuhkan oleh karya seperti S2VT Xu et al. (2017). Inovasi sebenar ialah pembingkaian. Pemformalan matematik tugas penentuan masa sebagai masalah ramalan segmen ($P(t_{start}, t_{end} | V, S)$) adalah aplikasi langsung teknik penyetempatan tindakan temporal dari analisis video kepada masalah berpusatkan bahasa.
Kekuatan & Kelemahan: Kekuatan utama ialah fokus. Kertas kerja ini mengukir niche yang berbeza, berharga, dan ditakrifkan dengan baik. Set data, walaupun sempit, adalah berkualiti tinggi untuk tujuannya. Kelemahan adalah pada apa yang ditinggalkan untuk masa depan: perkara yang jelas tetapi tidak dibincangkan ialah penilaian. Metrik seperti BLEU terkenal lemah dalam menangkap perpaduan naratif atau kepintaran. Kertas kerja ini membayangkan penilaian manusia, tetapi kejayaan jangka panjang bergantung pada pembangunan metrik automatik yang menilai kualiti penceritaan, mungkin diilhamkan oleh kerja terkini mengenai konsistensi fakta atau koheren wacana dalam NLP. Tambahan pula, saluran paip dua peringkat (masa kemudian kandungan) berisiko penyebaran ralat; model hujung-ke-hujung yang membuat penaakulan bersama tentang "bila" dan "apa" mungkin lebih teguh, seperti yang dilihat dalam seni bina bersatu kemudian seperti Flamingo Google atau Kosmos-1 Microsoft.
Pandangan Boleh Tindak: Untuk penyelidik, laluan segera ialah menanda aras seni bina maju (Transformer Visi-Bahasa, model resapan untuk teks) pada set data Peppa Pig baharu ini. Untuk industri, aplikasi jangka pendek bukan di Hollywood tetapi dalam penggunaan semula kandungan berskala. Bayangkan platform yang boleh menjana "ringkasan cerita" secara automatik untuk video pendidikan atau mencipta naratif boleh akses untuk kandungan terjana pengguna pada skala besar. Langkah strategik adalah untuk merawat ini bukan sebagai pengarah autonomi sepenuhnya, tetapi sebagai alat pengarangan yang berkuasa—"pembantu naratif" yang mencadangkan titik naratif dan draf teks untuk editor manusia memperhalusi. Langkah seterusnya haruslah mengintegrasikan pangkalan pengetahuan luaran (à la REALM Google atau model RAG Facebook) untuk membolehkan naratif menggabungkan fakta relevan, menjadikan output benar-benar bernilai pandangan dan bukan sekadar koheren.