Uundaji wa Uhadithi kwa Video za Katuni: Ufafanuzi wa Kazi, Seti ya Data, na Miundo

1. Utangulizi & Ufafanuzi wa Kazi

Makala hii yanatanguliza Uundaji wa Uhadithi, kazi mpya katika AI ya njia nyingi inayolenga kuunda maelezo ya muktadha, yanayochangia hadithi kwa video. Tofauti na ufafanuzi wa kawaida wa video, ambao unaelezea vipengele vinavyoonekana, uhadithi hutoa maandishi ya kiwango cha juu, yenye muktadha ambayo huendeleza mfuatano wa hadithi na yanakusudiwa kuingizwa kwa wakati maalum. Kazi hii ni tofauti na uelezaji wa video kwani uhadithi sio metadata bali ni sehemu muhimu ya hadithi ya video, mara nyingi hukisia habari isiyoonekana moja kwa moja.

Waandishi wanasema kuwa maendeleo katika uundaji wa maandishi unaotokana na video yamekuwa polepole zaidi kuliko kwa picha tuli kwa sababu ya utata ulioongezeka wa kufikiri kwa muda. Kazi hii inalenga kufunga pengo hilo kwa kufafanua kazi hiyo na kutoa seti ya data maalum.

2. Seti ya Data ya Uhadithi ya Peppa Pig

Ili kuwezesha utafiti, waandishi waliunda seti mpya ya data iliyotokana na mfululizo wa katuni Peppa Pig. Uchaguzi huu unatoa mfano rahisi bila utata wa video ya ulimwengu halisi (k.m., mwanga, kuzuia) na mazungumzo ya watu wazima, na kwa hivyo kuwezesha tathmini safi zaidi ya mbinu za msingi za uundaji wa maandishi.

2.1. Ukusanyaji wa Data & Sifa

Seti ya data inajumuisha vipande vya video vilivyounganishwa na manukuu yanayolingana, ambayo yamegawanywa katika mazungumzo ya wahusika na mistari ya mhadithi. Mistari ya mhadithi hutumika kama uhadithi wa kweli. Sifa kuu ni pamoja na:

• Chanzo: Vipindi vya Peppa Pig.
• Maudhui: Vipande vya video vilivyounganishwa, manukuu ya mazungumzo, na manukuu ya mhadithi.
• Lengo: Hutoa data ya njia nyingi zilizopangwa (kuona, sauti, maandishi) kwa ajili ya kufundisha na kutathmini miundo ya uundaji wa uhadithi.

2.2. Muundo wa Data & Mifano

Kila kipengee cha data kinajumuisha muda wa kipande cha video, eneo la kuona (picha ya mwakilishi), mazungumzo ya wahusika, na maandishi ya lengo ya uhadithi. Kama inavyoonyeshwa kwenye Mchoro 1 wa PDF, uhadithi unaweza kuwa wa kuelezea (k.m., "Mheshimiwa Dinosaur amefungwa naye") au wa kukisia/wa muktadha (k.m., "Peppa anapenda kumtunza mdogo wake, George"), ikionyesha utata wa kazi hii.

3. Ufafanuzi wa Kazi & Mbinu

Mchango wa msingi ni mgawanyiko rasmi wa uundaji wa uhadithi katika kazi ndogo mbili zinazotegemeana.

3.1. Kazi ya Hatua Mbili: Kuamua Wakati & Maudhui

Waandishi wanapendekeza mgawanyiko wazi:

1. Uundaji wa Wakati: Kuamua lini uhadithi unapaswa kuingizwa ndani ya ratiba ya video. Hii inahusisha kutambua mapumziko ya asili au wakati ambapo maelezo ya hadithi yangekuwa sahihi.
2. Uundaji wa Maudhui: Kwa kuzingatia sehemu ya video na muktadha wake, kuunda nini maandishi ya uhadithi yanapaswa kusema. Hii inahitaji kuelewa mfuatano wa hadithi, uhusiano wa wahusika, na kukisia habari zaidi ya ile inayoonekana tu.

Ufafanuzi huu unafanana na mifumo ya uzalishaji katika uundaji wa katuni na filamu, ambapo kuamua wakati (kuhariri) na maudhui (kuandika hati) mara nyingi ni michakato tofauti lakini iliyopangwa.

3.2. Miundo Iliyopendekezwa

Makala yanawasilisha seti ya miundo inayoshughulikia kazi hiyo. Ingawa maelezo maalum ya muundo yamefupishwa katika dondoo iliyotolewa, mbinu hii kwa uwezekano inahusisha:

• Vihifadhi vya Njia Nyingi: Kusindika vipengele vya kuona (kutoka kwa sura za video) na vipengele vya maandishi (kutoka kwa manukuu ya mazungumzo).
• Uundaji wa Muda: Kutumia miundo ya mfuatano (k.m., LSTM, Transformer) kukamata muktadha kwa muda.
• Kihifadhi-Mbili au Mfumo wa Bomba: Kipengele kimoja cha kutabiri wakati/ugawaji wa uhadithi, na kingine cha kuzalisha maandishi yanayotegemea sehemu iliyochaguliwa.

Kazi rahisi inayowezekana ya kufundisha inaweza kuchanganya hasara ya wakati na ya maudhui: $\mathcal{L} = \lambda_{time} \mathcal{L}_{time} + \lambda_{content} \mathcal{L}_{content}$, ambapo $\mathcal{L}_{content}$ inaweza kuwa hasara ya msalaba kwa uundaji wa maandishi na $\mathcal{L}_{time}$ inaweza kuwa hasara ya urejeshaji au ugunduzi wa mpaka.

4. Usanidi wa Majaribio & Matokeo

Miundo hiyo inatathminiwa kwenye seti mpya ya data ya Peppa Pig.

4.1. Vipimo vya Tathmini

Vipimo vya kawaida vya Uundaji wa Lugha ya Asili (NLG) vinatumika, kama vile:

• BLEU (Bilingual Evaluation Understudy): Hupima usahihi wa n-gram dhidi ya maandishi ya kumbukumbu.
• ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Inalenga kukumbuka n-gram na mfuatano wa maneno.
• METEOR (Metric for Evaluation of Translation with Explicit ORdering): Inazingatia visawe na mizizi ya maneno, ikilinganishwa zaidi na uamuzi wa binadamu.
• CIDEr (Consensus-based Image Description Evaluation): Hapo awali ilikuwa kwa ufafanuzi wa picha, hupima makubaliano kupitia uzani wa TF-IDF, inayoweza kufaa kwa kutathmini misemo ya kawaida ya hadithi.

Usahihi wa wakati unaweza kupimwa kwa kutumia Makutano-juu-ya-Muungano (IoU) kati ya sehemu za uhadithi zilizotabiriwa na za kweli.

4.2. Ugunduzi Muhimu & Utendaji

Ingawa matokeo kamili hayako kwenye dondoo, makala yanaonyesha kwa uwezekano kuwa:

• Miundo inayotumia muktadha wa kuona na wa mazungumzo hufanya vizuri zaidi kuliko misingi ya kuona pekee.
• Mbinu ya hatua mbili (kuamua wakati kisha maudhui) ni muhimu ikilinganishwa na uundaji wa moja kwa moja wa maandishi yenye alama za wakati.
• Uundaji wa uhadithi ni changamoto zaidi kuliko ufafanuzi wa kawaida, kama inavyoonyeshwa kwenye alama za chini za kiotomatiki, kwa sababu ya asili yake ya muktadha na ya kukisia.

5. Uchambuzi wa Kiufundi & Mfumo

Ufahamu wa Msingi, Mfuatano wa Mantiki, Nguvu & Kasoro, Ufahamu Unaoweza Kutekelezwa

Ufahamu wa Msingi: Uvumbuzi wa msingi wa makala ni kutambua kwamba uhadithi wa video sio tu ufafanuzi wa kifahari—ni kazi ya AI ya kiongozi na kuhariri. Inahitaji mfano kufanya kama mhariri wa hadithi, kuamua sio tu nini cha kusema, lakini muhimu zaidi lini cha kusema ili kuongeza athari ya hadithi. Hii inaitofautisha na njia iliyotembea sana ya uelezaji mnene wa video (k.m., ActivityNet Captions) na kuilinganisha zaidi na uhadithi wa kikokotoo na uhariri wa kiotomatiki wa video.

Mfuatano wa Mantiki: Mantiki ya waandishi ni safi kwa kustaajabisha: 1) Tenganisha tatizo kwa kutumia data ya katuni (Peppa Pig) ili kuondoa maana ya kuona yenye kelele ya ulimwengu halisi, 2) Gawanya kazi moja ya "unda uhadithi" katika mfumo wa kiwango cha tasnia wa "kuamua wakati" (tatizo la kuhariri) na "maudhui" (tatizo la kuandika hati), na 3) Toa seti ya data ya kiwango cha kulinganisha kupima maendeleo. Hii ni njia ya kawaida ya utafiti bora wa AI: fafanua, gawanya, na pima kiwango.

Nguvu & Kasoro: Nguvu iko katika ufafanuzi wa kazi na uundaji wa seti ya data—hii ni nafasi mpya na muhimu kwa kweli. Uchaguzi wa Peppa Pig ni mwerevu kwa ajili ya kutoa mfano lakini pia ni kasoro kubwa. Hii huunda "pengo la katuni" linalowezekana; miundo iliyofunzwa kwenye ulimwengu huu wenye mtindo, wenye kanuni inaweza kushindwa vibaya sana kwenye hadithi zenye utata na isiyo wazi za video halisi. Kama inavyoonekana katika changamoto za kuhamisha miundo kutoka kwa mazingira ya kuiga hadi halisi katika robotiki (kama ilivyojadiliwa katika utafiti wa OpenAI kuhusu upangaji wa kikoa), huu ni mkondo usio wa kawaida. Zaidi ya hayo, makala yanaonyesha lakini hayashughulikii kabisa tatizo la tathmini. Vipimo kama BLEU vinajulikana kuwa dhaifu katika kukamata mshikamano wa hadithi na dhamira. Unapima vipi ikiwa uhadithi ni "wa kina" au "umeingizwa kwa wakati mzuri wa kishindo"?

Ufahamu Unaoweza Kutekelezwa: Kwa watendaji, ufahamu wa haraka ni kushughulikia miradi ya AI ya video yenye kipengele cha hadithi kama mfumo wa hatua mbili. Usiingize video tu kwenye kizazi cha maandishi. Kwanza, jenga au tumia mfano kutambua "vipigo vya hadithi" au "pointi za kuhariri" (kazi ya kuamua wakati). Hii ina thamani yenyewe kwa ajili ya muhtasari wa video na ugunduzi wa mambo muhimu. Pili, kizazi cha maudhui lazima kizingatiwe kwenye dirisha la muktadha ambalo linajumuisha hadithi ya kuona iliyopita na mazungumzo, sio sura ya haraka tu. Kwa watafiti, hatua zinazofuata ni wazi: 1) Shambulia "pengo la katuni" kwa kuunda au kurekebisha seti za data zenye hadithi ngumu zaidi, za halisi (k.m., kutoka kwa vichekesho au makala), na 2) Anzisha vipimo vipya vya tathmini, labda kwa kutumia miundo mikubwa ya lugha (LLM) kama wakaguzi wa ubora wa hadithi, mbinu inayopata umaarufu katika maeneo kama tathmini ya mazungumzo, kama ilivyorejelewa katika kazi kutoka Meta AI na Anthropic.

Mfano wa Mfumo wa Uchambuzi

Hali: Kuchambua kipande kifupi kutoka kwa katuni ya kielimu ambapo mhusika anajaribu kujenga mchezwa.

1. Ugawaji wa Ingizo: Gawanya kipande cha sekunde 30 katika vipindi vya sekunde 5. Toa vipengele vya kuona (vitu: vitalu, mhusika mwenye hasira) na mazungumzo ("Hii haitaingia!").
2. Kipengele cha Kuamua Wakati: Mfano hutambua "alama ya juu ya hadithi" kwenye alama ya sekunde 15 (kiwango cha juu cha hasira) na kwenye alama ya sekunde 28 (wakati wa mafanikio).
3. Dirisha la Muktadha: Kwa alama ya kwanza, kizazi cha maudhui hupokea vipengele kutoka sekunde 10-20, pamoja na mazungumzo yote yaliyotangulia.
4. Uundaji wa Maudhui: Kulingana na muktadha, kinazalisha uhadithi: "Sam anapata hasira kwa sababu vipande havinaonekana kuendana." Kwa alama ya pili: "Baada ya kujaribu njia tofauti, Sam hatimaye anagundua jinsi vitalu vinavyounganishwa."
5. Matokeo: Sehemu mbili za uhadithi zenye alama zao za wakati na maandishi.

Mfumo huu unaonyesha mgawanyiko wa maamuzi ya kuamua wakati (kuhariri) na maudhui (kuandika hati).

6. Matumizi ya Baadaye & Mwelekeo wa Utafiti

Matokeo ya utafiti huu yanaenea zaidi ya viwango vya kitaaluma:

• Ufikiaji: Uundaji wa kiotomatiki wa uhadithi unaoelezea kwa wenye ulemavu wa kuona kwa aina pana zaidi ya maudhui ya video.
• Uundaji wa Maudhui & Ufafanuzi wa Kienyeji: Uzalishaji wa haraka wa nyimbo za mhadithi kwa video za kielimu, makala, au nyenzo za mafunzo ya kampuni, kwa uwezekano katika lugha nyingi.
• Vyombo vya Mawasiliano Vinavyoshirikiana & Mchezo wa Kompyuta: Uhadithi unaobadilika unaolingana na vitendo vya mchezaji au kiwango cha uelewa wa mtazamaji.
• Muhtasari wa Video: Kuunda muhtasari wa hadithi unaoangazia pointi za hadithi badala ya kuorodhesha vitendo tu.

Mwelekeo Muhimu wa Utafiti:

1. Kufunga Pengo la Mtindo: Kukuza mbinu za kuhamisha miundo kutoka kwa data ya katuni hadi aina mbalimbali za video za ulimwengu halisi.
2. Kujumuisha Sauti & Muziki: Dondoo iliyotolewa inalenga ishara za kuona na za maandishi. Kazi ya baadaye lazima ijumuishe vipengele vya sauti (athari za sauti, sauti ya muziki) kama ishara nzuri za wakati na maudhui ya hisia ya uhadithi.
3. Uhadithi Unaolingana na Mtu Binafsi: Kuunda uhadithi unaolingana na makundi tofauti ya umri, miktadha ya kitamaduni, au ujuzi uliopita.
4. Uundaji Unaoelezeka & Unaoweza Kudhibitiwa: Kuwaruhusu waundaji wa maudhui kuongoza mtindo wa uhadithi (k.m., wa kuchekesha, mkali, wa kutisha) au kubainisha pointi muhimu za kuangazia.

7. Marejeo

• Papasarantopoulos, N., & Cohen, S. B. (2021). Narration Generation for Cartoon Videos. arXiv preprint arXiv:2101.06803.
• Bernardi, R., et al. (2016). Automatic Description Generation from Images: A Survey of Models, Datasets, and Evaluation Measures. Journal of Artificial Intelligence Research.
• Gatt, A., & Krahmer, E. (2018). Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation. Journal of Artificial Intelligence Research.
• Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (CycleGAN - kwa dhana za kuhamisha mtindo zinazohusiana na kufunga pengo la katuni).
• OpenAI. (2018). Learning Dexterous In-Hand Manipulation. (Inajadili upangaji wa kikoa kwa kuhamisha kutoka kuiga hadi halisi).
• Meta AI. (2023). Innovations in LLM-based Evaluation for Dialogue and Summarization. (Kuhusu kutumia LLM kama wakaguzi).
• Mostafazadeh, N., et al. (2016). A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories. Proceedings of NAACL-HLT.