Wannan takarda ta gabatar da Samar da Labari, wani sabon aiki a cikin AI mai nau'i-nau'i wanda ya ƙunshi samar da rubutun labari mai mahimmanci ta atomatik don a saka shi a wurare takamaiman a cikin bidiyo. Ba kamar bayyana bidiyo ko kwatanta na gargajiya ba, wanda ke nufin kwatanta abubuwan da ake iya gani, labari yana ba da sharhi mai zurfi, wanda ke ci gaba da labarin, ya cika cikakkun bayanan da ba a gani ba, kuma yana jagorantar mai kallo. Aikin ya bambanta saboda rubutun da aka samar ya zama wani muhimmin sashi na kwarewar bidiyo, yana buƙatar tunani na lokaci da fahimtar labarin.
Marubutan sun sanya wannan aikin a matsayin magaji mai ƙalubale fiye da bayyana hoto da kwatanta bidiyo, yana buƙatar tsare-tsare waɗanda za su iya yin tunani game da mahallin lokaci da kuma fahimtar ci gaban labarin fiye da kawai tushen gani.
Don ba da damar bincike, marubutan sun ƙirƙiri sabon bayanan gwaji da aka samo daga jerin talabijin na zane-zane Peppa Pig. Wannan zaɓi na dabara ne: bidiyoyin zane-zane suna kawar da rikitattun abubuwan gani na duniya da tattaunawar manya, suna ba da damar ingantaccen kimantawa na ainihin ƙalubalen samar da rubutu da lokaci.
Tushe: Jerin zane-zane na Peppa Pig.
Abun Ciki: Guntun bidiyo tare da tattaunawar ƙaramin rubutu da layukan mai ba da labari da suka dace.
Siffa Mai Muhimmanci: Labarai ba kawai kwatance ba ne; suna ba da mahallin labari, fahimtar halaye, ko sharhi mai kama.
Bayanan gwaji sun haɗa da misalai inda labarin ya kwatanta fage kai tsaye (misali, "Mista Dinosaur yana cike da shi") da wasu inda yake ba da mahallin labari na waje (misali, "Peppa tana son kula da ɗan'uwanta, George"), yana nuna sarƙaƙƙiyar aikin.
Marubutan sun raba matsalar samar da labari zuwa manyan ayyuka guda biyu:
Ƙayyade lokacin da ya kamata a saka labari. Wannan ya ƙunshi nazarin kwararar lokaci na bidiyo, dakatarwar tattaunawa, da sauye-sauyen fage don gano madaidaicin wuraren dakatarwa don shigar da labari. Dole ne tsarin ya annabta farkon lokaci da ƙarshen lokaci na ɓangaren labari.
Samar da abin da labarin ya kamata ya faɗa. Idan aka ba da ɓangaren bidiyo da tattaunawar mahallinsa, dole ne tsarin ya samar da rubutu mai daidaituwa, wanda ya dace da mahallin, wanda ke ba da gudummawa ga labarin. Wannan yana buƙatar haɗa siffofin gani (daga firam ɗin bidiyo), siffofin rubutu (daga tattaunawar halaye), da mahallin lokaci.
Takarda ta gabatar da tarin tsare-tsare da ke magance ayyuka biyu. Tsarin gine-gine suna iya haɗawa da masu ɓoyayyen nau'i-nau'i (misali, CNN don firam ɗin bidiyo, RNN ko Transformer don ƙaramin rubutu) sannan kuma masu ɓoyayyen ayyuka na musamman.
Cikakkun Bayanai na Fasaha (Tsarin Lissafi): Babban ƙalubale shine daidaita jerin nau'i-nau'i. Bari $V = \{v_1, v_2, ..., v_T\}$ ya wakilci jerin siffofin gani (misali, daga CNN 3D kamar I3D) kuma $S = \{s_1, s_2, ..., s_M\}$ ya wakilci jerin haɗakar tattaunawar ƙaramin rubutu. Tsarin lokaci yana koyon aiki $f_{time}$ don annabta rarraba yuwuwar akan lokaci don shigar da labari: $P(t_{start}, t_{end} | V, S)$. Tsarin samar da abun ciki, wanda aka ƙaddara akan zaɓaɓɓen ɓangaren $(V_{[t_{start}:t_{end}]}, S_{context})$, yana koyon tsarin harshe $f_{text}$ don samar da jerin labarin $N = \{n_1, n_2, ..., n_L\}$, sau da yawa ana inganta shi ta hanyar asarar giciye: $\mathcal{L}_{gen} = -\sum_{i=1}^{L} \log P(n_i | n_{ Wannan tsari yayi daidai da ci gaban tsare-tsaren jerin-zuwa-jerin don bayyana bidiyo amma ya ƙara muhimmin mataki na tushen lokaci na nau'i-nau'i don lokaci.
Duk da yake ɓangaren PDF da aka bayar bai nuna takamaiman sakamakon lambobi ba, yana nuna kimantawa ta hanyar ma'auni na yau da kullun na NLP kamar BLEU, ROUGE, da METEOR don ingancin abun ciki, da daidaito/maimaitawa na lokutan da aka annabta akan gaskiyar gaskiya don daidaiton lokaci.
Ma'auni na Samar da Abun Ciki: BLEU-n, ROUGE-L, METEOR. Waɗannan suna auna jigon n-gram da kamancin ma'ana tsakanin labaran da aka samar da nassosin da mutum ya rubuta.
Ma'auni na Aikin Lokaci: IoU na Lokaci (Haɗin kai akan Haɗin kai), Daidaito/Maimaitawa a bakin kofa (misali, idan ɓangaren da aka annabta ya yi karo da gaskiyar gaskiya da >0.5).
Kimantawar Mutum: Wataƙila ya haɗa da ƙima don daidaituwa, dacewa, da gudummawar ba da labari, waɗanda ke da mahimmanci ga aiki mai ra'ayi kamar labari.
Babban binciken zai kasance cewa tsarin lokaci da abun ciki tare, ko amfani da bututun da farko ya gano lokaci sannan ya samar da abun ciki don wannan ɓangaren, ya fi dacewa fiye da hanyoyin da ba su da hankali waɗanda ke ɗaukar duka bidiyo a matsayin shigarwar rubutu guda ɗaya.
Tsarin don Kimanta Ingancin Labari:
Nazarin Lamari (Dangane da Hoto na 1):
Shigarwa: Guntun bidiyo na George yana zuwa barci, tattaunawa: "Barka da dare, George."
Fitowa Mai Rauni (Ƙaramin Rubutu Mai Kwatance): "Alade yana cikin gado tare da abin wasa."
Fitowa Mai Ƙarfi (Labari na Mahalli): "Lokacin da George ya tafi barci, Mista Dinosaur yana cike da shi."
Fitowa mai ƙarfi ta wuce tsarin: yana da daidaiton lokaci (bayan barka da dare), yana ƙara ƙimar labari (ya kafa tsari/ al'ada), kuma yana amfani da salo mai dacewa.
Babban Fahimta: Papasarantopoulos da Cohen ba kawai suna gabatar da wani aiki mai nau'i-nau'i ba; suna ƙoƙarin tsara hankalin labari don injina. Haɓaka gaske a nan shine bayyanannen rabuwar "lokaci" da "abun ciki"—wani fahimci cewa samar da rubutu mai dacewa da labari ba shi da ma'ana idan an isar da shi a madaidaicin bugun wasan kwaikwayo. Wannan ya wuce tsarin kwatancen firam-zuwa-firam na bayyana bidiyo na gargajiya (misali, MSR-VTT, ActivityNet Captions) zuwa cikin yanki na niyyar darakta. Ta hanyar zaɓar Peppa Pig, sun yi wani mugun yunƙuri, idan mai tsaron gida. Yana ware matsalar tsarin labari daga rikitattun fahimtar gani na duniya waɗanda har yanzu ba a warware su ba, kamar yadda binciken fassarar injina na farko ya yi amfani da rubutun labarai da aka tsara. Duk da haka, wannan kuma ya haifar da yuwuwar "rata zane-zane"—shin dabarun da suka koyi sauƙi da dabaru na wasan yara za su yi gama-gari zuwa shubuha na ɗabi'a na fim ɗin Scorsese?
Kwararar Hankali & Gudummawar Fasaha: Hankalin takarda yana da inganci: ayyana sabon aiki, ƙirƙiri bayanan gwaji masu tsabta, raba matsalar, kuma gabatar da tsare-tsaren tushe. Gudummawar fasaha ita ce da farko a cikin ma'anar aiki da ƙirƙirar bayanan gwaji. Tsarin gine-ginen da aka nuna—wataƙila masu ɓoyayyen nau'i-nau'i tare da hanyoyin kulawa akan lokaci—suna daidaitawa don lokacin 2021, suna zana ƙarfi daga al'adar bidiyo-da-harshe da aka kafa ta ayyuka kamar na Xu et al.'s (2017) S2VT. Haɓaka gaske shine firam. Tsarin lissafi na aikin lokaci a matsayin matsalar annabta ɓangare ($P(t_{start}, t_{end} | V, S)$) aikace-aikacen kai tsaye ne na dabarun daidaita aikin lokaci daga nazarin bidiyo zuwa matsalar da ke da harshe a tsakiya.
Ƙarfi & Kurakurai: Babban ƙarfin shine mai da hankali. Takarda ta zana wani keɓantacce, mai ƙima, da ingantaccen yanki. Bayanan gwaji, duk da yake kunkuntar, suna da inganci don manufarsa. Laifin shine a cikin abin da aka bari don gaba: giwa a cikin ɗaki shine kimantawa. Ma'auni kamar BLEU sun sanannen rashin ƙarfi wajen ɗaukar haɗin labari ko wayo. Takarda ta nuna alamar kimantawar ɗan adam, amma nasara na dogon lokaci ya dogara ne akan haɓaka ma'auni na atomatik waɗanda ke kimanta ingancin ba da labari, wataƙila an yi wahayi daga aikin kwanan nan akan daidaiton gaskiya ko daidaituwar magana a cikin NLP. Bugu da ƙari, bututun matakai biyu (lokaci sannan abun ciki) yana haɗarin yaduwar kuskure; tsarin ƙarshe-zuwa-ƙarshe wanda ke yin tunani tare game da "lokacin" da "abin" zai iya zama mai ƙarfi, kamar yadda aka gani a cikin tsarin gine-gine na haɗin kai na gaba kamar Flamingo na Google ko Kosmos-1 na Microsoft.
Fahimta Mai Aiki: Ga masu bincike, hanya kai tsaye ita ce a yi ma'auni na ci gaba da tsarin gine-gine (Vision-Language Transformers, tsare-tsaren watsawa don rubutu) akan wannan sabon bayanan gwaji na Peppa Pig. Ga masana'antu, aikace-aikacen na kusa ba a cikin Hollywood ba ne amma a cikin sake amfani da abun ciki mai girma. Ka yi tunanin dandamali wanda zai iya samar da "taƙaitaccen labari" ta atomatik don bidiyoyin ilimi ko ƙirƙirar labarai masu samun dama don abun ciki da mai amfani ya samar a girma. Matakin dabara shine a ɗauki wannan ba a matsayin cikakken darakta mai cin gashin kansa ba, amma a matsayin kayan aikin marubuci mai ƙarfi—"mataimakin labari" wanda ke ba da shawarar maki na labari da rubuta rubutu don editan ɗan adam ya inganta. Mataki na gaba ya kamata a haɗa tushen ilimi na waje (à la Google's REALM ko Facebook's RAG models) don ba da damar labarai su haɗa da gaskiyar da ta dace, yana sa fitarwa ya zama mai fahimta da gaske maimakon kawai daidaituwa.