1. Pengenalan

Naratif filem automatik, atau Penerangan Audio (AD), adalah teknologi bantu kritikal yang direka untuk menjadikan media visual boleh diakses oleh penonton yang cacat penglihatan. Ia melibatkan penjanaan penerangan ringkas dan berkaitan plot bagi kandungan visual yang dimasukkan ke dalam jeda semula jadi dalam dialog. Berbeza dengan kapsyen video standard yang sering menerangkan klip pendek dan terpencil, naratif filem memerlukan pemahaman dan ringkasan plot yang berkembang merentasi pelbagai rakaman dan adegan, melibatkan dinamik watak, peralihan adegan, dan urutan peristiwa kausal. Kertas kerja ini memperkenalkan Movie101v2, set data penanda aras dwibahasa berskala besar yang dipertingkat dengan ketara, bertujuan untuk memajukan penyelidikan dalam bidang kompleks ini. Kerja ini mencadangkan pelan jalan tiga peringkat yang jelas untuk tugas tersebut dan menyediakan penilaian garis asas yang meluas menggunakan model visi-bahasa terkini.

2. Kerja Berkaitan & Motivasi

Set data terdahulu seperti LSMDC, M-VAD, MAD, dan Movie101 asal telah meletakkan asas tetapi mengalami batasan utama yang menghalang kemajuan ke arah sistem naratif dunia sebenar yang boleh diaplikasikan.

2.1. Batasan Set Data Sedia Ada

  • Skala & Skop: Banyak set data adalah kecil (cth., Movie101 asal: 101 filem) atau mengandungi klip video pendek (cth., ~4-6 saat), menghalang model daripada mempelajari koheren plot jangka panjang.
  • Halangan Bahasa: Movie101 asal hanya dalam bahasa Cina, mengehadkan aplikasi model pra-latihan berasaskan bahasa Inggeris yang berkuasa.
  • Kualiti Data: Metadata yang diambil secara automatik selalunya mengandungi ralat (cth., watak hilang, nama tidak konsisten), mengurangkan kebolehpercayaan untuk latihan dan penilaian.
  • Penyederhanaan Tugas: Sesetengah set data, seperti LSMDC, menggantikan nama watak dengan "seseorang", mengurangkan tugas kepada kapsyen generik dan menanggalkan elemen naratif penting.

2.2. Keperluan untuk Movie101v2

Movie101v2 dicadangkan untuk menangani jurang ini secara langsung, menyediakan sumber berkualiti tinggi, dwibahasa, dan berskala besar yang mencerminkan kerumitan sebenar tugas naratif filem, membolehkan pembangunan dan penilaian model yang lebih ketat.

3. Set Data Movie101v2

3.1. Ciri Utama dan Penambahbaikan

  • Naratif Dwibahasa: Menyediakan naratif dalam bahasa Cina dan Inggeris untuk setiap klip video, memperluaskan kebolehaksesan dan kebolehgunaan model.
  • Skala Dipertingkat: Diperluaskan dengan ketara daripada 101 filem asal, menawarkan koleksi pasangan video-naratif yang lebih besar dan pelbagai.
  • Kualiti Data Diperbaiki: Metadata disahkan dan diperbetulkan secara manual, termasuk senarai watak yang tepat dan penggunaan nama yang konsisten merentasi naratif.
  • Segmen Video Lebih Panjang: Mempunyai klip filem yang lebih panjang yang merangkumi perkembangan plot yang lebih kompleks, mencabar model untuk mengekalkan koheren naratif.

3.2. Statistik Data

Filem

Ketara > 101

Pasangan Video-Naratif

Ketara > 14,000

Bahasa

2 (Cina & Inggeris)

Tempoh Klip Purata

Lebih panjang daripada 4.1s (MAD)

4. Pelan Tugas Tiga Peringkat

Kertas kerja ini membingkarkan semula naratif filem automatik sebagai cabaran progresif dengan tiga peringkat berbeza, setiap satunya dengan kerumitan yang meningkat.

4.1. Peringkat 1: Penerangan Fakta Visual

Peringkat asas. Model mesti menerangkan elemen yang kelihatan dalam satu rakaman atau klip pendek dengan tepat: adegan, watak, objek, dan tindakan atomik. Ini selari dengan kapsyen video padat tradisional. Penilaian memberi tumpuan kepada ketepatan dan perolehan entiti visual.

4.2. Peringkat 2: Inferens Plot

Peringkat pertengahan. Model mesti membuat inferens hubungan kausal, motivasi watak, dan perkembangan plot merentasi pelbagai rakaman. Ini memerlukan pemahaman bukan sahaja tentang apa yang dilihat, tetapi mengapa ia berlaku dan apa implikasinya untuk cerita. Metrik di sini menilai konsistensi logik dan kerelevanan plot.

4.3. Peringkat 3: Penjanaan Naratif Koheren

Peringkat utama yang sedia untuk aplikasi. Model mesti menjana naratif yang lancar, ringkas, dan sesuai untuk penonton yang menggabungkan fakta visual dan inferens plot dengan lancar. Naratif tersebut mesti sesuai secara semula jadi dengan jeda dialog, mengekalkan koheren temporal, dan berguna untuk penonton yang cacat penglihatan. Penilaian melibatkan metrik holistik seperti BLEU, ROUGE, METEOR, dan penilaian manusia terhadap kelancaran, koheren, dan kegunaan.

5. Persediaan Eksperimen & Garis Asas

5.1. Model yang Dinilai

Kajian ini menetapkan garis asas menggunakan pelbagai model visi-bahasa besar (VLM), termasuk tetapi tidak terhad kepada:

  • GPT-4V (Vision): Versi multimodal GPT-4 oleh OpenAI.
  • VLM kontemporari lain seperti BLIP-2, Flamingo, dan VideoLLaMA.

5.2. Metrik Penilaian

  • Peringkat 1: Metrik berasaskan entiti (Ketepatan, Perolehan, F1) untuk watak, objek, tindakan.
  • Peringkat 2: Metrik berasaskan logik, mungkin menggunakan model entailment atau ketepatan ramalan berstruktur.
  • Peringkat 3: Metrik penjanaan teks (BLEU-4, ROUGE-L, METEOR, CIDEr) dan skor penilaian manusia.

6. Keputusan & Analisis

6.1. Prestasi pada Peringkat Berbeza

Keputusan garis asas mendedahkan jurang prestasi yang ketara merentasi tiga peringkat:

  • Peringkat 1 (Fakta Visual): VLM moden mencapai prestasi yang agak kuat, menunjukkan keupayaan pengenalpastian objek dan adegan yang baik.
  • Peringkat 2 (Inferens Plot): Prestasi menurun dengan ketara. Model bergelut dengan penaakulan kausal, memahami hubungan watak, dan menyambung peristiwa merentasi masa.
  • Peringkat 3 (Naratif Koheren): Malah model terbaik seperti GPT-4V menjana naratif yang selalunya betul dari segi fakta tetapi kekurangan kedalaman plot, aliran naratif, dan masa ringkas yang diperlukan untuk AD sebenar. Skor automatik (BLEU, dll.) tidak sepenuhnya berkorelasi dengan penilaian manusia tentang kegunaan.

6.2. Cabaran Utama yang Dikenal Pasti

  • Pemodelan Kebergantungan Jangka Panjang: Mengekalkan konteks merentasi jujukan video panjang adalah kelemahan asas.
  • Penaakulan Naratif: Melangkaui penerangan kepada inferens plot, motif, dan subteks.
  • Penjanaan Berpusatkan Penonton: Menyesuaikan output untuk menjadi maksimum informatif untuk penonton bukan visual, yang memerlukan teori minda.
  • Jurang Penilaian: Metrik automatik semasa tidak mencukupi untuk menilai kualiti naratif yang diaplikasikan.

7. Butiran Teknikal & Kerangka Kerja

Kerangka kerja tiga peringkat boleh diformalkan. Biarkan $V = \{v_1, v_2, ..., v_T\}$ mewakili jujukan bingkai/klip video. Matlamatnya adalah untuk menjana naratif $N = \{w_1, w_2, ..., w_M\}$.

Peringkat 1: Ekstrak fakta visual $F_t = \phi(v_t)$, di mana $\phi$ adalah modul persepsi visual yang mengenal pasti entiti dan tindakan pada masa $t$.

Peringkat 2: Buat inferens elemen plot $P = \psi(F_{1:T})$, di mana $\psi$ adalah modul penaakulan naratif yang membina graf plot atau rantai kausal daripada jujukan fakta.

Peringkat 3: Jana naratif $N = \Gamma(F, P, C)$. Di sini, $\Gamma$ adalah modul penjanaan bahasa yang dikondisikan bukan sahaja pada fakta $F$ dan plot $P$, tetapi juga pada kekangan kontekstual $C$ (cth., masa relatif kepada dialog, keringkasan).

Contoh Kerangka Analisis (Bukan Kod): Untuk mendiagnosis kegagalan model, seseorang boleh menggunakan kerangka kerja ini. Untuk output naratif yang lemah, semak: 1) Adakah entiti visual utama dari Peringkat 1 hilang atau salah? 2) Adakah pautan kausal antara dua peristiwa (Peringkat 2) salah tafsir? 3) Adakah bahasa (Peringkat 3) lancar tetapi masa tidak sesuai atau terlalu terperinci? Diagnosis berstruktur ini membantu mengenal pasti modul spesifik yang memerlukan penambahbaikan.

8. Analisis Asal & Pandangan Pakar

Pandangan Teras: Movie101v2 bukan sekadar set data lain; ia adalah intervensi strategik yang mengenal pasti dengan betul punca utama kemandekan dalam penyelidikan AD automatik: kekurangan laluan berperingkat dan boleh diukur daripada penerangan mudah kepada naratif teraplikasi. Dengan menguraikan tugas monolitik "jana naratif" kepada tiga sub-masalah yang boleh diurus, penulis menyediakan perancah yang sangat diperlukan untuk kemajuan berperingkat, serupa dengan bagaimana pengenalan ImageNet dan struktur hierarkinya merevolusikan pengenalpastian objek.

Aliran Logik: Logik kertas kerja ini menarik. Ia bermula dengan mendiagnosis mengapa set data terdahulu (klip pendek, monolingual, bising) telah membawa kepada model yang berprestasi baik pada metrik akademik tetapi gagal dalam tetapan praktikal. Penyelesaiannya adalah dua kali ganda: 1) Bina set data yang lebih baik (Movie101v2) yang mencerminkan kerumitan dunia sebenar, dan 2) Tentukan pelan jalan penilaian yang jelas (tiga peringkat) yang memaksa komuniti untuk menghadapi jurang penaakulan naratif secara langsung, bukannya menyembunyikannya di sebalik skor penjanaan teks permukaan.

Kekuatan & Kelemahan: Kekuatan utama adalah pembingkaian konseptual ini. Pelan jalan tiga peringkat adalah sumbangan paling berharga kertas kerja ini, berkemungkinan mempengaruhi penanda aras masa depan di luar naratif filem. Aspek dwibahasa adalah langkah pragmatik untuk memanfaatkan sepenuhnya kuasa ekosistem VLM yang didominasi bahasa Inggeris. Walau bagaimanapun, kelemahan terletak pada lineariti yang tersirat. Dalam praktik, peringkat ini saling berkait rapat; pencerita manusia tidak memisahkan fakta, plot, dan bahasa. Penilaian mungkin masih terasing. Tambahan pula, walaupun set data lebih besar, ujian sebenar akan menjadi kepelbagaiannya merentasi genre, pengarah, dan gaya sinematik untuk mengelakkan bias, satu pelajaran yang dipelajari daripada cabaran dalam set data pengenalpastian wajah.

Pandangan Boleh Tindak: Untuk penyelidik: Fokus pada Peringkat 2 (Inferens Plot). Ini adalah sempadan baharu. Teknik daripada naratif pengiraan (cth., penjanaan graf plot, pembelajaran skrip) dan model dengan penaakulan temporal dipertingkat (seperti penukar video lanjutan) mesti disepadukan. Untuk industri (cth., platform penstriman): Bekerjasama dengan akademik untuk menggunakan penanda aras seperti Movie101v2 untuk pembangunan model dalaman. Matlamatnya sepatutnya sistem hibrid di mana AI mengendalikan Peringkat 1 dengan kukuh, membantu manusia dalam Peringkat 2, dan manusia memperhalusi Peringkat 3 untuk kawalan kualiti—model kecerdasan kolaboratif, seperti yang dicadangkan oleh penyelidikan dari makmal Interaksi Manusia-Komputer MIT mengenai kreativiti dipertingkat AI. Laluan kepada AD berkualiti tinggi yang sepenuhnya automatik masih panjang, tetapi Movie101v2 menyediakan peta pertama yang boleh dipercayai.

9. Aplikasi & Hala Tuju Masa Depan

  • Media Keutamaan Kebolehaksesan: Integrasi ke dalam perkhidmatan penstriman (Netflix, Disney+) untuk menyediakan AD masa nyata atau pra-jana untuk perpustakaan kandungan yang jauh lebih besar.
  • Alat Pendidikan: Menjana naratif deskriptif untuk video pendidikan dan dokumentari, meningkatkan pembelajaran untuk pelajar cacat penglihatan.
  • Analisis & Carian Kandungan: Model pemahaman naratif asas boleh menggerakkan carian lanjutan dalam arkib video (cth., "cari adegan di mana watak mempunyai dilema moral").
  • Penceritaan Interaktif: Dalam permainan atau VR, penjanaan naratif dinamik berdasarkan tindakan pemain boleh mencipta pengalaman lebih mendalam untuk semua pengguna.
  • Hala Tuju Penyelidikan: 1) Membangunkan model bersepadu yang mempelajari tiga peringkat secara bersama bukannya menganggapnya secara berasingan. 2) Mencipta metrik penilaian yang lebih baik, berpotensi menggunakan LLM sebagai hakim atau membangunkan metrik khusus tugas. 3) Meneroka adaptasi sedikit atau sifar tembakan kepada filem baharu menggunakan skrip filem dan metadata sebagai konteks tambahan.

10. Rujukan

  1. Yue, Z., Zhang, Y., Wang, Z., & Jin, Q. (2024). Movie101v2: Improved Movie Narration Benchmark. arXiv preprint arXiv:2404.13370v2.
  2. Han, Z., et al. (2023a). AutoAD II: Towards Synthesizing Audio Descriptions with Contextual Labeling. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).
  3. Han, Z., et al. (2023b). AutoAD: Movie Description in Context. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  4. Soldan, M., et al. (2022). MAD: A Scalable Dataset for Language Grounding in Videos from Movie Audio Descriptions. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  5. Rohrbach, A., et al. (2017). Movie Description. International Journal of Computer Vision (IJCV).
  6. Torabi, A., et al. (2015). Using Descriptive Video Services to Create a Large Data Source for Video Annotation Research. arXiv preprint arXiv:1503.01070.
  7. OpenAI. (2023). GPT-4V(ision) System Card. OpenAI.
  8. Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Dirujuk sebagai contoh kerangka kerja yang menguraikan masalah kompleks—terjemahan imej—kepada kitaran pemetaan dan pembinaan semula yang boleh diurus).