Audiobook-CC: Mfumo wa Kudhibiti Uzalishaji wa Vitabu vya Sauti vya Muda Mrefu na Wahusika Wengi

Yaliyomo

1. Utangulizi na Muhtasari

Uzalishaji wa vitabu vya sauti vya muda mrefu una changamoto za kipekee zaidi ya Tekstu-kwa-Sauti (TTS) ya sentensi moja. Mifumo iliyopo, iwe ya kitaaluma kama AudioStory au suluhisho za tasnia kama MoonCast, mara nyingi hukosa muundo wazi wa kati ya sentensi na udhibiti mzuri wa mtiririko wa simulizi na hisia za wahusika, na kusababisha utendakazi usiofuatana na usio na uhai. Karatasi ya utafiti "Audiobook-CC: Uzalishaji wa Hotuba ya Muda Mrefu ya Muktadha Unaodhibika kwa Kitabu cha Sauti cha Wahusika Wengi" kutoka Ximalaya Inc. inashughulikia moja kwa moja mapungufu haya. Inapendekeza mfumo mpya wenye uvumbuzi tatu msingi: utaratibu wa muktadha kwa ufuatano wa kati ya sentensi, mtindo wa kutenganisha ili kutofautisha mtindo na maagizo ya sauti, na mbinu ya kujidondosha ili kuimarisha ujielezi wa hisia na kufuata maagizo. Kazi hii inawakilisha hatua muhimu kuelekea uzalishaji wa vitabu vya sauti vya wahusika wengi vinavyozalishwa kiotomatiki, vya hali ya juu, na vinavyojieleza.

2. Mbinu na Usanifu

Mfumo wa Audiobook-CC umeundwa mahsusi kwa ajili ya asili ya muda mrefu na wahusika wengi ya vitabu vya sauti. Usanifu wake, kama inavyoonyeshwa kwenye Mchoro 1 wa karatasi, unaunganisha vipengele kadhaa vipya katika mfuatano mmoja.

2.1 Utaratibu wa Kujenga Muundo wa Muktadha

Ili kushughulikia "kutolingana kwa muktadha" kwa mbinu za awali, Audiobook-CC inaanzisha utaratibu wazi wa kujenga muundo wa muktadha. Tofauti na moduli za kumbukumbu ambazo zinaweza kuanzisha urudufu (kama ilivyobainishwa katika ukosoaji wa kazi za awali kama [13]), utaratibu huu umeundwa ili kukamata na kutumia habari muhimu ya simulizi iliyotangulia ili kuongoza usanisi wa sentensi ya sasa. Hii inahakikisha mwendelezo wa kisemantiki na kiprofaili katika sura, na kufanya hotuba inayozalishwa isikike kama hadithi inayofuatana badala ya mfululizo wa maneno yaliyotengwa. Modeli inaweza kutumia aina ya umakini au utaratibu wa kurudia juu ya dirisha la muktadha la maandishi ya awali na/au sifa za sauti.

2.2 Mtindo wa Mafunzo ya Kutenganisha Sifa

Uvumbuzi mkuu ni mtindo wa mafunzo ya kutenganisha sifa. Katika mifumo mingi ya TTS inayotumia maagizo, mtindo wa sauti (tani, sauti, ubora) wa hotuba inayozalishwa inaweza kuathiriwa kupita kiasi na sifa za maagizo mafupi ya sauti yanayotumika kwa kunakili, badala ya maudhui ya kisemantiki ya maandishi yanayopaswa kusemwa. Mtindo wa Audiobook-CC hutenganisha kwa nguvu udhibiti wa mtindo kutoka kwa maagizo ya sauti. Hii inamlazimisha modeli kujifunza uwakilishi wa mitindo ambayo inalingana zaidi na maana ya maandishi na kazi iliyokusudiwa ya simulizi (mfano, simulizi dhidi ya mazungumzo ya hasira), na kutoa udhibiti mkubwa na uthabiti zaidi kwa uigaji wa mhusika.

2.3 Kujidondosha kwa Ajili ya Utoaji wa Hisia

Nguzo ya tatu ni mbinu ya kujidondosha inayolenga kuimarisha ujielezi wa hisia na udhibiti wa kufuata maagizo. Karatasi inapendekeza kuwa mbinu hii inamsaidia modeli kujifunza nafasi tajiri zaidi na zenye undani zaidi za profaili za kihisia. Kwa kudondosha ujuzi kutoka kwa uwakilishi wake mwenyewe wenye ujielezi zaidi au awamu za mafunzo, modeli inaboresha uwezo wake wa kufuata maagizo mazuri kuhusu hisia na utoaji, na kuendelea zaidi ya lebo rahisi za kategoria (furaha/huzuni) hadi udhibiti mzuri zaidi.

3. Matokeo ya Majaribio na Tathmini

3.1 Usanidi wa Majaribio

Waandishi walifanya majaribio kamili yakilinganisha Audiobook-CC dhidi ya viwango kadhaa vya msingi, ikiwa ni pamoja na mifumo ya kisasa kama CosyVoice 2. Vipimo vya tathmini vinaweza kujumuisha hatua za lengo (mfano, Uharibifu wa Mel-Cepstral) na tathmini za kibinadamu za kihisia (Alama ya Maoni ya Wastani - MOS) kwa uasilia, ufaafu wa kihisia, na uthabiti wa muktadha.

3.2 Ufanisi katika Simulizi na Mazungumzo

Matokeo ya majaribio yalionyesha "utendakazi bora" katika kazi zote: simulizi, mazungumzo, na uzalishaji wa sura nzima. Audiobook-CC "ilifanya vizuri zaidi sana" kuliko viwango vya msingi vilivyopo, hasa katika kudumisha ufuatano wa muktadha na kutekeleza udhibiti mzuri wa kihisia. Hii inaonyesha kuwa vipengele vya mfumo vinashughulikia kikamilifu changamoto kuu za usanisi wa muda mrefu na wahusika wengi.

3.3 Uchunguzi wa Uondoaji wa Vipengele

Uchunguzi wa uondoaji wa vipengele ulifanywa ili kuthibitisha mchango wa kila kipengele kilichopendekezwa (utaratibu wa muktadha, kutenganisha, kujidondosha). Matokeo yalithibitisha ufanisi wa kila mbinu, na kuonyesha kupungua kwa utendakazi wakati kipengele chochote kimoja kiliondolewa. Uthibitishaji mkali huu unaimarisha madai ya karatasi kuhusu umuhimu wa mbinu yake iliyounganishwa.

4. Uchambuzi wa Kiufundi na Mfumo

Mtazamo wa Mchambuzi: Kuchambua Mkakati wa Audiobook-CC

4.1 Uelewa Msingi

Mafanikio ya msingi ya karatasi sio hila moja ya ki-algorithm, bali ni ufafanuzi upya wa kimkakati wa tatizo la TTS la kitabu cha sauti. Inatambua kwa usahihi kwamba ufuatano wa simulizi wa muda mrefu ni sifa ya kiwango cha mfumo ambayo haiwezi kufikiwa kwa kuunganisha tu matokeo ya hali ya juu ya TTS ya kiwango cha sentensi, udhaifu ulioenea katika mifuatano ya awali ya wakala wengi kama Dopamine Audiobook. Uelewa huu unafanana na masomo kutoka kwa uwanja wa uzalishaji wa video, ambapo uthabiti wa wakati ni muhimu zaidi. Kwa kuweka kipaumbele kwa muktadha kama raia wa daraja la kwanza pamoja na utambulisho wa msemaji na hisia, Audiobook-CC inahamisha uwanja kutoka usanisi wa sentensi hadi usanisi wa hadithi.

4.2 Mtiririko wa Kimantiki

Mantiki ya kiufundi inafuatana kwa ustadi. Kwanza, utaratibu wa muktadha unaanzisha "tukio" la simulizi, na kutoa msingi thabiti. Pili, mtindo wa kutenganisha unahakikisha kuwa "utendakazi" wa mhusika ndani ya tukio hilo unaongozwa na maana ya hati, sio maagizo ya sauti yanayoweza kuelekeza vibaya—wazo linalofanana na malengo ya kutenganisha sifa katika mifano ya kutafsiri picha-hadi-picha kama CycleGAN, ambayo hutenganisha maudhui na mtindo. Mwishowe, kujidondosha hufanya kazi kama "mguso wa mkurugenzi," kuboresha na kuimarisha utendakazi wa kihisia kulingana na maagizo. Mfuatano huu unaonyesha kwa kimantiki mchakato wa uzalishaji wa kitaaluma wa kitabu cha sauti.

4.3 Nguvu na Udhaifu

Nguvu: Mbinu iliyounganishwa ya mfumo ndiyo nguvu yake kubwa zaidi. Uchunguzi wa uondoaji wa vipengele unathibitisha kuwa vipengele vinashirikiana. Mwelekeo wa kutenganisha unashughulikia udhaifu muhimu, ambao mara nyingi hupuuzwa, katika TTS inayotumia maagizo. Kazi hii pia ni ya vitendo sana, ikitoka kwenye jukwaa kuu la sauti (Ximalaya) lenye matumizi wazi ya ulimwengu halisi.

Udhaifu Unaowezekana na Maswali: Karatasi haina maelezo ya kina kuhusu kiwango cha muktadha uliojengwa. Je, ni dirisha lililowekwa au linalobadilika? Je, inaepukaje "shimo la urudufu" walilokosoa katika [13]? Mbinu ya kujidondosha imeelezewa kwa kiwango cha juu; utaratibu wake halisi na gharama ya hesabu haijulikani wazi. Zaidi ya hayo, ingawa udhibiti wa hisia umeimarishwa, karatasi haichunguzi kwa kina mipaka ya udhibiti huu au uwezekano wa kuvuja kwa mtindo usiotakiwa kati ya wahusika katika mazungumzo mengi sana.

4.4 Ufahamu Unaoweza Kutekelezwa

Kwa watafiti: Mtindo wa kutenganisha ni eneo lililo tayari kwa uchunguzi. Kutumia mafunzo ya kupingana au kanuni za kwenye shimo la habari, kama inavyoonekana katika fasihi ya kujifunza kwa kina, kunaweza kusafisha zaidi uwakilishi wa mitindo. Kwa timu za bidhaa: Usanifu huu ni mfano wa kutumika kwa zana za kizazi kijacho za uumbaji wa maudhui. Matumizi ya haraka ni uzalishaji wa vitabu vya sauti vinavyoweza kuongezeka, lakini teknolojia ya msingi—TTS ya muda mrefu inayojua muktadha na inayodhibika kihisia—ina uwezo mkubwa katika simulizi ya kuingiliana, washirika wa AI, na mifumo ya mazungumzo ya michezo ya video inayobadilika. Kuwekeza katika usanifu kama huo sio tena la kubahatisha; ni hitaji la ushindani katika mashindano ya silaha za sauti za AI.

5. Matumizi ya Baadaye na Mwelekeo

Matokeo ya Audiobook-CC yanaenea zaidi ya vitabu vya sauti vinavyozalishwa kiotomatiki. Teknolojia hii inawezesha:

• Simulizi ya Kuingiliana na Inayobadilika: Michezo ya video na uzoefu wa kuzama ambapo mazungumzo huzalishwa kwa wakati halisi, na kukabiliana na chaguzi za mchezaji huku zikidumisha uthabiti wa mhusika na safu ya kihisia.
• Maudhui Yanayolenga Mtu Binafsi: Nyenzo za kielimu au makala za habari zinasomwa na msemaji anayependwa, na tani inayobadilika kulingana na mada (mfano, uzito kwa habari kubwa, msisimko kwa michezo).
• Washirika wa AI na Waganga wa Akili: Wawakilishi wa mazungumzo wenye asili zaidi, wenye ufahamu wa muktadha, na wenye kujibu kwa huruma ambao wanakumbuka mwingiliano wa awali na kurekebisha huruma yao ya sauti.
• Ubadilishaji wa Sauti na Ufafanuzi wa Kienyeji kwa Wakati Halisi: Kutoa sauti zilizolingana kihisia kwa filamu/TV katika lugha tofauti, na kuhifadhi nia ya utendakazi wa mwigizaji.

Utafiti wa baadaye unapaswa kulenga kupanua dirisha la muktadha hadi mfululizo mzima wa vitabu, kuunganisha muktadha wa kuona kwa sauti ya picha, na kufikia kasi za usanisi za wakati halisi kwa matumizi ya kuingiliana. Kuchunguza udhibiti wa kihisia wa sifuri-shot kwa mitindo isiyoonwa ni mipaka muhimu mingine.

6. Marejeo

1. MultiActor-Audiobook (Marejeo kutoka PDF).
2. AudioStory [2] (Marejeo kutoka PDF).
3. Dopamine Audiobook [3] (Marejeo kutoka PDF).
4. MM-StoryAgent [4] (Marejeo kutoka PDF).
5. Shaja et al. [5] (Marejeo kutoka PDF).
6. CosyVoice & CosyVoice 2 [6] (Marejeo kutoka PDF).
7. MoonCast [7] (Marejeo kutoka PDF).
8. MOSS-TTSD [8] (Marejeo kutoka PDF).
9. CoVoMix [9] (Marejeo kutoka PDF).
10. koel-TTS [10] (Marejeo kutoka PDF).
11. Kazi ya uchambuzi wa Profaili [11] (Marejeo kutoka PDF).
12. TACA-TTS [12] (Marejeo kutoka PDF).
13. Kazi ya moduli ya kumbukumbu [13] (Marejeo kutoka PDF).
14. Zhu, J., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (Marejeo ya nje kwa wazo la kutenganisha).
15. OpenAI. (2023). GPT-4 Technical Report. (Marejeo ya nje kwa uwezo wa LLM katika ufahamu wa muktadha).