Penjanaan Naratif untuk Video Kartun: Pemformalan Tugas, Set Data, dan Model

1. Pengenalan & Definisi Tugas

Kertas kerja ini memperkenalkan Penjanaan Naratif, satu tugas baharu dalam AI multimodal yang memberi tumpuan kepada menjana ulasan kontekstual yang menyumbang kepada cerita untuk video. Berbeza dengan kapsyen video tradisional yang menerangkan elemen yang kelihatan, naratif menyediakan teks peringkat tinggi yang berasaskan konteks untuk memajukan jalan cerita dan bertujuan untuk diselitkan pada capaian masa tertentu. Tugas ini berbeza daripada penerangan video kerana naratif bukan metadata tetapi sebahagian penting daripada naratif video, selalunya membuat inferens maklumat yang tidak kelihatan secara langsung.

Penulis berhujah bahawa kemajuan dalam penjanaan teks berasaskan video adalah lebih perlahan berbanding imej statik kerana kerumitan penaakulan temporal yang ditambah. Kerja ini bertujuan untuk merapatkan jurang tersebut dengan memformalkan tugas dan menyediakan set data khusus.

2. Set Data Naratif Peppa Pig

Untuk memudahkan penyelidikan, penulis mencipta set data baharu yang bersumberkan siri animasi Peppa Pig. Pilihan ini mengabstrakkan kerumitan video dunia sebenar (contohnya, pencahayaan, okulusi) dan dialog dewasa, membolehkan penilaian teknik penjanaan teks teras yang lebih bersih.

2.1. Pengumpulan & Ciri-ciri Set Data

Set data terdiri daripada klip video yang dipadankan dengan sari kata sepadannya, yang dipecahkan kepada dialog watak dan baris narator. Baris narator berfungsi sebagai naratif sebenar. Ciri-ciri utama termasuk:

• Sumber: Episod Peppa Pig.
• Kandungan: Klip video berpasangan, sari kata dialog, dan sari kata narator.
• Tujuan: Menyediakan data multimodal sejajar (visual, audio, teks) untuk melatih dan menilai model penjanaan naratif.

2.2. Format Data & Contoh

Setiap titik data termasuk tempoh masa klip video, adegan visual (gambar wakil), dialog watak, dan teks naratif sasaran. Seperti yang ditunjukkan dalam Rajah 1 PDF, naratif boleh bersifat deskriptif (contohnya, "Mr Dinosaur diselimutkan bersamanya") atau inferensial/kontekstual (contohnya, "Peppa suka menjaga adik lelakinya, George"), menyerlahkan kerumitan tugas ini.

3. Pemformalan Tugas & Metodologi

Sumbangan teras adalah penguraian formal penjanaan naratif kepada dua sub-tugas saling bergantung.

3.1. Tugas Dua Peringkat: Masa & Kandungan

Penulis mencadangkan pecahan yang jelas:

1. Penjanaan Masa: Menentukan bilakah naratif harus dimasukkan dalam garis masa video. Ini melibatkan mengenal pasti jeda semula jadi atau detik di mana ulasan naratif sesuai.
2. Penjanaan Kandungan: Diberikan segmen video dan konteksnya, menjana apa yang harus dikatakan oleh teks naratif. Ini memerlukan pemahaman jalan cerita, hubungan watak, dan membuat inferens maklumat di luar visual semata-mata.

Pemformalan ini mencerminkan saluran pengeluaran dalam animasi dan filem, di mana masa (penyuntingan) dan kandungan (penulisan skrip) selalunya adalah proses berasingan tetapi diselaraskan.

3.2. Seni Bina Model yang Dicadangkan

Kertas kerja ini membentangkan satu set model yang menangani tugas tersebut. Walaupun butiran seni bina khusus disingkatkan dalam petikan yang diberikan, pendekatan berkemungkinan melibatkan:

• Pengekod Multimodal: Memproses ciri visual (dari bingkai video) dan ciri teks (dari sari kata dialog).
• Pemodelan Temporal: Menggunakan model jujukan (contohnya, LSTM, Transformer) untuk menangkap konteks merentasi masa.
• Penyahkod Dual atau Saluran Paip: Satu komponen untuk meramal masa/segmentasi naratif, dan satu lagi untuk menjana teks berdasarkan segmen yang dipilih.

Fungsi objektif ringkas yang berpotensi untuk latihan boleh menggabungkan kehilangan masa dan kandungan: $\mathcal{L} = \lambda_{time} \mathcal{L}_{time} + \lambda_{content} \mathcal{L}_{content}$, di mana $\mathcal{L}_{content}$ mungkin kehilangan entropi silang untuk penjanaan teks dan $\mathcal{L}_{time}$ boleh menjadi kehilangan regresi atau pengesanan sempadan.

4. Persediaan Eksperimen & Keputusan

Model dinilai pada set data Peppa Pig yang baru dicipta.

4.1. Metrik Penilaian

Metrik Penjanaan Bahasa Semula Jadi (NLG) standard digunakan, seperti:

• BLEU (Bilingual Evaluation Understudy): Mengukur ketepatan n-gram terhadap teks rujukan.
• ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Memberi tumpuan kepada ingatan semula n-gram dan jujukan perkataan.
• METEOR (Metric for Evaluation of Translation with Explicit ORdering): Mempertimbangkan sinonim dan stemming, lebih selari dengan pertimbangan manusia.
• CIDEr (Consensus-based Image Description Evaluation): Asalnya untuk kapsyen imej, ia mengukur konsensus melalui pemberat TF-IDF, berpotensi berguna untuk menilai frasa naratif biasa.

Ketepatan masa mungkin diukur menggunakan Intersection-over-Union (IoU) antara segmen naratif yang diramal dan sebenar.

4.2. Penemuan Utama & Prestasi

Walaupun keputusan penuh tidak terdapat dalam petikan, kertas kerja ini mungkin menunjukkan bahawa:

• Model yang memanfaatkan kedua-dua konteks visual dan dialog mengatasi garis dasar visual sahaja.
• Pendekatan dua peringkat (masa kemudian kandungan) adalah bermanfaat berbanding penjanaan teks dengan capaian masa secara hujung ke hujung.
• Penjanaan naratif lebih mencabar berbanding kapsyen standard, seperti yang tercermin dalam skor metrik automatik yang lebih rendah, disebabkan sifatnya yang kontekstual dan inferensial.

5. Analisis Teknikal & Kerangka Kerja

Pandangan Teras, Aliran Logik, Kekuatan & Kelemahan, Pandangan Boleh Tindak

Pandangan Teras: Kejayaan asas kertas kerja ini adalah mengenali bahawa naratif video bukan sekadar kapsyen mewah—ia adalah tugas AI pengarah dan editor. Ia memerlukan model bertindak sebagai editor cerita, memutuskan bukan sahaja apa yang perlu dikatakan, tetapi yang penting bilakah untuk mengatakannya untuk memaksimumkan impak naratif. Ini memisahkannya daripada laluan penerangan video padat yang biasa (contohnya, ActivityNet Captions) dan menyelaraskannya lebih dekat dengan penceritaan pengiraan dan penyuntingan video automatik.

Aliran Logik: Logik penulis sangat bersih: 1) Mengasingkan masalah dengan menggunakan data kartun (Peppa Pig) untuk membuang semantik visual dunia sebenar yang bising, 2) Menguraikan tugas tunggal "jana naratif" kepada saluran paip standard industri "masa" (masalah penyuntingan) dan "kandungan" (masalah penulisan skrip), dan 3) Menyediakan set data penanda aras untuk mengukur kemajuan. Ini adalah resipi klasik untuk penyelidikan AI yang berkesan: takrifkan, uraikan, dan penanda aras.

Kekuatan & Kelemahan: Kekuatan terletak pada takrifan tugas dan penciptaan set data—ini adalah niche yang benar-benar baharu dan berguna. Pilihan Peppa Pintar untuk abstraksi tetapi juga kelemahan utama. Ia mencipta potensi "jurang kartun"; model yang dilatih pada dunia bergaya dan berperaturan ini mungkin gagal teruk pada naratif video aksi langsung yang kucar-kacir dan kabur. Seperti yang dilihat dalam cabaran memindahkan model dari simulasi ke persekitaran sebenar dalam robotik (seperti yang dibincangkan dalam penyelidikan OpenAI mengenai rawak domain), ini adalah lompatan yang tidak remeh. Tambahan pula, kertas kerja ini membayangkan tetapi tidak sepenuhnya menangani masalah penilaian. Metrik seperti BLEU terkenal lemah dalam menangkap perpaduan dan niat naratif. Bagaimana anda memberi skor jika naratif itu "berwawasan" atau "masanya sangat dramatik"?

Pandangan Boleh Tindak: Bagi pengamal, pengajaran segera adalah untuk merawat projek AI video dengan komponen naratif sebagai saluran paip dua peringkat. Jangan hanya suapkan video ke penjana teks. Pertama, bina atau gunakan model untuk mengenal pasti "detik naratif" atau "titik sunting" (tugas masa). Ini mempunyai nilai berdiri sendiri untuk ringkasan video dan pengesanan sorotan. Kedua, penjana kandungan mesti dikondisikan pada tetingkap konteks yang merangkumi kedua-dua cerita visual dan dialog lepas, bukan hanya bingkai segera. Bagi penyelidik, langkah seterusnya jelas: 1) Serang "jurang kartun" dengan mencipta atau menyesuaikan set data dengan naratif aksi langsung yang lebih kompleks (contohnya, dari sitkom atau dokumentari), dan 2) Perintis metrik penilaian baharu, mungkin memanfaatkan model bahasa besar (LLM) sebagai hakim untuk kualiti naratif, teknik yang mendapat daya tarikan dalam bidang seperti penilaian dialog, seperti yang dirujuk dalam kerja dari Meta AI dan Anthropic.

Contoh Kes Kerangka Analisis

Skenario: Menganalisis klip pendek dari kartun pendidikan di mana watak cuba membina mainan.

1. Segmentasi Input: Pecahkan klip 30 saat kepada selang 5 saat. Ekstrak ciri visual (objek: blok, watak frustrasi) dan dialog ("Ini tak muat!").
2. Modul Masa: Model mengenal pasti skor "naratif" tinggi pada tanda 15 saat (puncak frustrasi) dan pada tanda 28 saat (detik kejayaan).
3. Tetingkap Konteks: Untuk titik pertama, penjana kandungan menerima ciri dari saat 10-20, ditambah semua dialog sebelumnya.
4. Penjanaan Kandungan: Berdasarkan konteks, ia menjana naratif: "Sam semakin frustrasi kerana kepingan itu nampaknya tidak sepadan." Untuk titik kedua: "Selepas mencuba pendekatan berbeza, Sam akhirnya menemui cara blok itu bersambung."
5. Output: Dua segmen naratif dengan capaian masa dan teks tepat mereka.

Kerangka kerja ini menunjukkan pemisahan keputusan masa (editorial) dan kandungan (penulisan skrip).

6. Aplikasi Masa Depan & Hala Tuju Penyelidikan

Implikasi penyelidikan ini melangkaui penanda aras akademik:

• Aksesibiliti: Penjanaan automatik naratif deskriptif untuk orang kurang penglihatan untuk pelbagai kandungan video.
• Penciptaan & Penyetempatan Kandungan: Penjanaan pantas trek narator untuk video pendidikan, dokumentari, atau bahan latihan korporat, berpotensi dalam pelbagai bahasa.
• Media Interaktif & Permainan: Naratif dinamik yang menyesuaikan diri dengan tindakan pemain atau tahap kefahaman penonton.
• Ringkasan Video: Menjana ringkasan naratif yang menyerlahkan titik plot dan bukan hanya menyenaraikan tindakan.

Hala Tuju Penyelidikan Utama:

1. Merapatkan Jurang Gaya: Membangunkan teknik untuk memindahkan model dari data kartun kepada genre video dunia sebenar yang pelbagai.
2. Menggabungkan Audio & Muzik: Petikan yang diberikan memberi tumpuan kepada isyarat visual dan teks. Kerja masa depan mesti mengintegrasikan ciri audio (kesan bunyi, nada muzik) sebagai isyarat kuat untuk masa dan kandungan emosi naratif.
3. Naratif Peribadi: Menjana naratif yang disesuaikan untuk kumpulan umur, konteks budaya, atau pengetahuan terdahulu yang berbeza.
4. Penjanaan Boleh Diterangkan & Dikawal: Membenarkan pencipta kandungan membimbing gaya naratif (contohnya, lucu, serius, mendebarkan) atau menentukan titik utama untuk diserlahkan.

7. Rujukan

• Papasarantopoulos, N., & Cohen, S. B. (2021). Narration Generation for Cartoon Videos. arXiv preprint arXiv:2101.06803.
• Bernardi, R., et al. (2016). Automatic Description Generation from Images: A Survey of Models, Datasets, and Evaluation Measures. Journal of Artificial Intelligence Research.
• Gatt, A., & Krahmer, E. (2018). Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation. Journal of Artificial Intelligence Research.
• Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (CycleGAN - untuk konsep pemindahan gaya yang berkaitan dengan merapatkan jurang kartun).
• OpenAI. (2018). Learning Dexterous In-Hand Manipulation. (Membincangkan rawak domain untuk pemindahan simulasi-ke-sebenar).
• Meta AI. (2023). Innovations in LLM-based Evaluation for Dialogue and Summarization. (Mengenai penggunaan LLM sebagai penilai).
• Mostafazadeh, N., et al. (2016). A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories. Proceedings of NAACL-HLT.