Utafutaji wa Sauti Kupitia Maandishi ya Kawaida

Yaliyomo

1. Utangulizi

Ukuaji wa haraka wa data ya vyombo vya habari umeleta hitaji la dharura kwa mifumo bora ya utafutaji katika mbinu mbalimbali. Ingawa utafutaji wa maandishi, picha, na video umeendelea sana, utafutaji wa sauti kwa kutumia maswali ya lugha asilia bado haujachunguzwa kikamilifu. Utafiti huu unashughulikia pengo hili muhimu kwa kuanzisha mfumo mpya wa kutafuta maudhui ya sauti kwa kutumia maelezo ya bure ya lugha asilia.

Mbinu za kitamaduni za utafutaji wa sauti hutegemea vitambulisho vye metadata au maswali yanayotokana na sauti, ambayo hupunguza uwezo wa kuelezea na utumiaji. Mbinu yetu inawawezesha watumiaji kuelezea sauti kwa kutumia lugha asilia ya kina, kama vile "Mwanamume anazungumza wakati muziki unacheza ikifuatiwa na chura akivuma," na kuwezesha utafutaji sahihi zaidi na wa kueleweka wa maudhui ya sauti inayofanana na mlolongo wa matukio ya muda.

2. Mbinu

2.1 Hifadhidata za Kigezo

Tunaanzisha viwango viwili vikali kulingana na hifadhidata za AUDIO CAPS na Clotho. AUDIO CAPS ina vipande vya sauti vya sekunde 10 kutoka AudioSet vilivyo na maelezo yaliyoandikwa na binadamu, huku Clotho ikiwa na vipande vya sauti vya sekunde 15-30 kutoka Freesound vilivyo na maelezo ya kina. Hifadhidata hizi hutoa jozi nzuri za sauti-na-maandishi muhimu kwa kufundisha mifumo ya utafutaji kati ya mbinu.

2.2 Mfumo wa Utafutaji Kati ya Mbinu

Mfumo wetu unarekebisha miundo ya utafutaji wa video kwa ajili ya utafutaji wa sauti, ukichukua faida ya mitandao ya wataalamu wa sauti iliyofundishwa awali. Mfumo hujifunza ushirikiano wa pamoja ambapo uwakilishi sawa wa sauti na maandishi huwekwa karibu pamoja katika nafasi ya siri ya pamoja.

2.3 Mkakati wa Kabla ya Kufundisha

Tunaonyesha faida za kufundisha awali kwenye kazi mbalimbali za sauti, tukionyesha kuwa uhamishaji wa ujuzi kutoka kwa nyanja zinazohusiana huboresha utendaji wa utafutaji kwa kiasi kikubwa. Mchanganyiko wa wataalamu wa sauti hukamata vipengele vya ziada vya maudhui ya sauti.

3. Utekelezaji wa Kiufundi

3.1 Uchimbaji wa Sifa za Sauti

Tunatumia mitandao mingi ya sauti iliyofundishwa awali ili kuchimba uwakilishi tajiri wa sifa. Ushirikiano wa sauti $\mathbf{a}_i$ kwa kipande $i$ unahesabiwa kama:

$$\mathbf{a}_i = f_{\theta}(x_i)$$

ambapo $f_{\theta}$ inawakilisha kihisishi cha sauti na $x_i$ ni pembejeo ya sauti ghafi.

3.2 Usimbaji wa Maandishi

Maswali ya maandishi husimbwa kwa kutumia miundo ya msingi ya kubadilisha ili kukamata maana ya kimantiki. Ushirikiano wa maandishi $\mathbf{t}_j$ kwa swali $j$ ni:

$$\mathbf{t}_j = g_{\phi}(q_j)$$

ambapo $g_{\phi}$ ni kihisishi cha maandishi na $q_j$ ni swali la pembejeo.

3.3 Ulinganifu Kati ya Mbinu

Tunaboresha ufanano kati ya ushirikiano wa sauti na maandishi kwa kutumia kujifunza kwa kulinganisha. Alama ya ufanano $s_{ij}$ kati ya sauti $i$ na maandishi $j$ inahesabiwa kama:

$$s_{ij} = \frac{\mathbf{a}_i \cdot \mathbf{t}_j}{\|\mathbf{a}_i\| \|\mathbf{t}_j\|}$$

Mfumo unafundishwa kuongeza ufanano kwa jozi zinazolingana na kuupunguza kwa jozi zisizolingana.

4. Matokeo ya Majaribio

4.1 Utendaji wa Msingi

Majribio yetu yanaweka misingi imara ya utafutaji wa sauti unaotokana na maandishi. Miundo hufikia matokeo mazuri katika viwango vya AUDIO CAPS na Clotho, kwa usahihi wa utafutaji unaopimwa kwa kutumia viwango vya kawaida ikiwemo Recall@K na Wastani wa Usahihi wa Wastani.

4.2 Mbinu za Mchanganyiko

Tunaonyesha kuwa kuchanganya sifa kutoka kwa mitandao mingi ya sauti iliyofundishwa awali kupitia kujifunza kwa mchanganyiko huboresha uthabiti wa utafutaji. Mitandao tofauti hukamata vipengele vya ziada vya maudhui ya sauti, na kusababisha uwakilishi kamili zaidi.

4.3 Uchunguzi wa Uondoaji

Majribio ya uondoaji yanathibitisha umuhimu wa kila sehemu katika mfumo wetu. Uchunguzi unaonyesha kuwa uchaguzi wa kihisishi cha sauti na mkakati wa ulinganifu kati ya mbinu zote huathiri utendaji wa mwisho kwa kiasi kikubwa.

5. Mfumo wa Uchambuzi

Uelewa wa Msingi

Utafiti huu kimsingi unapinga hali ya sasa ya utafutaji wa sauti kwa kubadilisha kutoka kwa mifumo inayotegemea metadata hadi kufuatilia kwa lugha asilia kulingana na maudhui. Mbinu hii inawakilisha mabadiliko makubwa yanayolingana na yale CycleGAN (Zhu et al., 2017) iliyofanikiwa kufanya kwa ubadilishaji wa picha zisizo na jozi—kuvunja utegemezi wa data ya mafunzo iliyo na jozi madhubuti kupitia ulinganifu kati ya mbinu.

Mfuatano wa Mantiki

Mbinu hufuata mfumo wa hatua tatu uliochangamana: uchimbaji wa sifa kutoka kwa wataalamu tofauti wa sauti, usimbaji wa kimantiki wa maandishi ya bure, na ulinganifu wa ushirikiano kati ya mbinu. Muundo huu unafanana na mafanikio ya CLIP (Radford et al., 2021) katika nyanja za maono-na-lugha lakini unarekebisha hasa kwa sifa za muda na wimbi la sauti.

Nguvu na Udhaifu

Nguvu: Mbinu ya mchanganyiko inatumia kwa busara ujuzi uliopo wa sauti badala ya kufundisha kutoka mwanzo. Uundaji wa kigezo unashughulikia suala muhimu la uhaba wa data katika nyanja hii. Ufanisi wa kihesabu kwa matumizi ya utafutaji wa video unavutia sana.

Udhaifu: Mbinu hii inarithi mapungufu kutoka kwa mitandao yake ya sehemu—upendeleo unaowezekana katika data ya kabla ya kufundisha, uwezo mdogo wa kujumlisha kwa matukio ya sauti adimu, na usikivu kwa ubadilishaji wa maandishi. Ulinganifu wa muda kati ya maelezo ya maandishi na matukio ya sauti bado ni chango kwa mlolongo mrefu.

Uelewa Unaotumika

Kwa watendaji: Anza kwa kurekebisha mbinu ya mchanganyiko kwenye data maalum ya sauti. Kwa watafiti: Kulenga kuboresha uundaji wa muda na kushughulikia suala la uthabiti wa ubadilishaji. Mfumo unaonyesha utumiaji wa haraka kwa utafutaji wa kumbukumbu za sauti na uharakishaji wa utafutaji wa video.

Uchunguzi wa Kesi: Utafutaji wa Kumbukumbu za Sauti

Fikiria kumbukumbu ya sauti ya kihistoria iliyo na maelfu ya rekodi za mazingira zisizo na lebo. Utafutaji wa kitamaduni unaotegemea neno kuu hushindwa kwa sababu maudhui hayajawekwa lebo. Kwa kutumia mfumo wetu, wahifadhi wa kumbukumbu wanaweza kuuliza "mvua kubwa yenye radi ya mbali" na kupata vipande vinavyohusika kulingana na maudhui ya sauti badala ya metadata.

6. Matumizi ya Baadaye

Teknolojia hii inawezesha matumizi mengi ya vitendo ikiwemo:

• Kumbukumbu za Sauti Zenye Akili: Uwezo ulioboreshwa wa utafutaji kwa makusanyo ya sauti ya kihistoria kama Kumbukumbu ya Athari za Sauti za BBC
• Vifaa vya IoT vyenye Nguvu ya Chini: Mifumo ya ufuatiliaji inayotokana na sauti kwa ajili ya uhifadhi na utafiti wa kibayolojia
• Matumizi ya Kibunifu: Ulinganifu wa kiotomatiki wa athari za sauti kwa ajili sauti, vitabu vya sauti, na utayarishaji wa vyombo vya habari
• Vifaa vya Ufikiaji: Mfumo wa maelezo na utafutaji wa sauti kwa watumiaji wenye ulemavu wa kuona
• Uharakishaji wa Utafutaji wa Video: Kutumia sauti kama wakala wa maudhui ya video katika mifumo ya utafutaji wa kiwango kikubwa

Maelekezo ya utafiti ya baadaye ni pamoja na kupanua kwa maswali ya lugha nyingi, kuboresha uwezo wa kufikiri kuhusu muda, na kuunda mbinu bora zaidi za ulinganifu kati ya mbinu zinazofaa kwa matumizi ya wakati halisi.

7. Marejeo

1. Zhu, J. Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE ICCV.
2. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. ICML.
3. Gemmeke, J. F., et al. (2017). Audio Set: An ontology and human-labeled dataset for audio events. IEEE ICASSP.
4. Drossos, K., et al. (2020). Clotho: An Audio Captioning Dataset. IEEE ICASSP.
5. Oncescu, A. M., et al. (2021). Audio Retrieval with Natural Language Queries. INTERSPEECH.
6. Arandjelovic, R., & Zisserman, A. (2018). Objects that sound. ECCV.
7. Harvard Dataverse: Viwango vya Utafutaji wa Sauti