1. ভূমিকা ও সারসংক্ষেপ
মাল্টিএক্টর-অডিওবুক একাধিক স্বতন্ত্র বক্তা সমৃদ্ধ অভিব্যক্তিপূর্ণ অডিওবুক তৈরির জন্য একটি জিরো-শট কাঠামো উপস্থাপন করে। এটি পূর্ববর্তী সিস্টেমগুলোর প্রধান সীমাবদ্ধতাগুলো সমাধান করে: ব্যাপক ভয়েস অ্যাক্টর ডেটাসেটের উচ্চ খরচ, প্রশিক্ষিত মডেলগুলোর ডোমেন নির্দিষ্টতা এবং ম্যানুয়াল প্রোসোডি অ্যানোটেশনের শ্রম-নিবিড় প্রকৃতি। এর মূল উদ্ভাবন হলো এর দুটি স্বয়ংক্রিয়, জিরো-শট প্রক্রিয়ায়: মাল্টিমোডাল স্পিকার পার্সোনা জেনারেশন (এমএসপি) এবং এলএলএম-ভিত্তিক স্ক্রিপ্ট নির্দেশনা জেনারেশন (এলএসআই)। জেনারেটেড ভিজ্যুয়াল পার্সোনা থেকে চরিত্র-নির্দিষ্ট কণ্ঠস্বর সংশ্লেষণ করে এবং টেক্সট প্রসঙ্গ থেকে গতিশীলভাবে আবেগময়/প্রোসোডিক সূত্র অনুমান করে, সিস্টেমটি কোনো টাস্ক-নির্দিষ্ট প্রশিক্ষণ ডেটা ছাড়াই সামঞ্জস্যপূর্ণ, উপযুক্ত এবং অভিব্যক্তিপূর্ণ বর্ণনা সহ অডিওবুক তৈরি করার লক্ষ্য রাখে।
2. মূল পদ্ধতিবিদ্যা
সিস্টেমের কার্যকারিতা দুটি নতুন, আন্তঃসংযুক্ত প্রক্রিয়ার উপর নির্ভর করে যা অডিওবুক প্রোডাকশনের সবচেয়ে চ্যালেঞ্জিং দিকগুলো স্বয়ংক্রিয় করে: চরিত্রের কণ্ঠস্বর সৃষ্টি এবং অভিব্যক্তিপূর্ণ পাঠ।
2.1 মাল্টিমোডাল স্পিকার পার্সোনা জেনারেশন (এমএসপি)
এই প্রক্রিয়াটি শুধুমাত্র পাঠ্য বিবরণ থেকে একটি গল্পের প্রতিটি চরিত্রের জন্য একটি অনন্য, সামঞ্জস্যপূর্ণ কণ্ঠস্বর তৈরি করে।
- সত্তা শনাক্তকরণ ও পাঠ্য পার্সোনা নিষ্কাশন: একটি এলএলএম (যেমন, জিপিটি-৪) উপন্যাসের স্ক্রিপ্ট বিশ্লেষণ করে সমস্ত কথা বলার সত্তা (চরিত্র, বর্ণনাকারী) শনাক্ত করে। প্রত্যেকটির জন্য, এটি বর্ণনামূলক টেক্সট থেকে বর্ণনামূলক বৈশিষ্ট্য (ব্যক্তিত্ব, বয়স, ভূমিকা, শারীরিক বৈশিষ্ট্য) নিষ্কাশন করে।
- ভিজ্যুয়াল পার্সোনা জেনারেশন: একটি টেক্সট-টু-ইমেজ মডেল (যেমন, স্টেবল ডিফিউশন) নিষ্কাশিত পাঠ্য বিবরণ ব্যবহার করে একটি মুখের ছবি তৈরি করে যা চরিত্রটিকে দৃশ্যত মূর্ত করে।
- ফেস-টু-ভয়েস সংশ্লেষণ: একটি প্রি-ট্রেইন্ড ফেস-টু-ভয়েস সিস্টেম ([১৪] এর মতো কাজের উল্লেখ সহ) জেনারেটেড মুখের ছবি এবং তার ক্যাপশন নিয়ে একটি সংক্ষিপ্ত ভয়েস স্যাম্পল সংশ্লেষণ করে। এই স্যাম্পলটি চরিত্রের স্বতন্ত্র প্রোসোডিক বৈশিষ্ট্যগুলো (টিম্ব্র, পিচ বেসলাইন, কথা বলার স্টাইল) ধারণ করে। এই কণ্ঠস্বরটি সেই চরিত্রের পরবর্তী সমস্ত সংলাপের জন্য অ্যাঙ্কর হয়ে ওঠে।
2.2 এলএলএম-ভিত্তিক স্ক্রিপ্ট নির্দেশনা জেনারেশন (এলএসআই)
একঘেয়ে পাঠ এড়াতে, এই প্রক্রিয়াটি গতিশীল, বাক্য-স্তরের প্রোসোডি নির্দেশনা তৈরি করে।
- প্রসঙ্গ-সচেতন বিশ্লেষণ: সংশ্লেষণ করার জন্য প্রতিটি বাক্যের জন্য, এলএলএমকে সরবরাহ করা হয়: টার্গেট বাক্য, পার্শ্ববর্তী প্রসঙ্গ (পূর্ববর্তী/পরবর্তী বাক্য), এবং বর্তমান বক্তার পার্সোনা তথ্য।
- নির্দেশনা জেনারেশন: এলএলএম একটি কাঠামোগত নির্দেশনা সেট আউটপুট করে যা আবেগময় অবস্থা (যেমন, "আনন্দিত," "গম্ভীর"), টোন (যেমন, "ব্যঙ্গাত্মক," "আধিপত্যপূর্ণ"), পিচ ভেরিয়েশন এবং কথা বলার গতি নির্দিষ্ট করে যা প্রসঙ্গ এবং চরিত্রের জন্য উপযুক্ত।
- টিটিএস-এর জন্য প্রম্পটিং: এই নির্দেশনাগুলো একটি প্রাকৃতিক ভাষার প্রম্পটে ফরম্যাট করা হয় (যেমন, "এটি একটি [আবেগ] টোনে [পিচ] ভেরিয়েশন সহ বলুন") যা একটি প্রি-ট্রেইন্ড, প্রম্পটযোগ্য টেক্সট-টু-স্পিচ (টিটিএস) মডেলকে চূড়ান্ত অডিও তৈরি করতে নির্দেশনা দেয়।
3. প্রযুক্তিগত স্থাপত্য ও বিস্তারিত বিবরণ
3.1 সিস্টেম পাইপলাইন
এন্ড-টু-এন্ড ওয়ার্কফ্লোটি একটি অনুক্রমিক পাইপলাইন হিসাবে কল্পনা করা যেতে পারে:
ইনপুট নভেল টেক্সট → এলএলএম (স্পিকার আইডি ও পার্সোনা নিষ্কাশন) → টেক্সট২ইমেজ (ফেস জেনারেশন) → ফেস২ভয়েস (ভয়েস স্যাম্পল) → [প্রতি চরিত্র]
প্রতিটি বাক্যের জন্য: [বাক্য + প্রসঙ্গ + পার্সোনা] → এলএলএম (এলএসআই) → প্রম্পট-টিটিএস (চরিত্রের কণ্ঠস্বর সহ) → আউটপুট অডিও সেগমেন্ট
চূড়ান্ত অডিওবুক হলো সমস্ত প্রক্রিয়াজাত বাক্যের সময়গতভাবে সংযুক্ত আউটপুট।
3.2 গাণিতিক সূত্রায়ন
চরিত্র $c$ দ্বারা বলা একটি বাক্য $s_i$ এর জন্য মূল জেনারেশন প্রক্রিয়াটি আনুষ্ঠানিক করা যেতে পারে। ধরা যাক $C$ হলো $s_i$ এর চারপাশের প্রসঙ্গ উইন্ডো, এবং $P_c$ হলো চরিত্র $c$ এর মাল্টিমোডাল পার্সোনা (যাতে পাঠ্য বিবরণ $D_c$, জেনারেটেড ফেস $F_c$, এবং ভয়েস স্যাম্পল $V_c$ রয়েছে)।
এলএসআই প্রক্রিয়াটি একটি নির্দেশনা ভেক্টর $I_i$ তৈরি করে: $$I_i = \text{LLM}_{\theta}(s_i, C, P_c)$$ যেখানে $\text{LLM}_{\theta}$ হলো প্যারামিটার $\theta$ সহ বৃহৎ ভাষা মডেল।
বাক্যের জন্য চূড়ান্ত অডিও $A_i$ একটি প্রম্পটযোগ্য টিটিএস মডেল $\text{TTS}_{\phi}$ দ্বারা সংশ্লেষিত হয়, যা চরিত্রের কণ্ঠস্বর $V_c$ এবং নির্দেশনা $I_i$ এর উপর শর্তযুক্ত: $$A_i = \text{TTS}_{\phi}(s_i | V_c, I_i)$$ সিস্টেমের জিরো-শট ক্ষমতা ফাইন-টিউনিং ছাড়াই প্রি-ট্রেইন্ড, ফ্রোজেন মডেল ($\text{LLM}_{\theta}$, টেক্সট২ইমেজ, ফেস২ভয়েস, $\text{TTS}_{\phi}$) ব্যবহার থেকে উদ্ভূত।
4. পরীক্ষামূলক ফলাফল ও মূল্যায়ন
কাগজটি বাণিজ্যিক অডিওবুক পণ্য এবং অপসারণ অধ্যয়নের বিরুদ্ধে তুলনামূলক মূল্যায়নের মাধ্যমে মাল্টিএক্টর-অডিওবুককে বৈধতা দেয়।
4.1 মানব মূল্যায়ন
মানব মূল্যায়নকারীরা জেনারেটেড অডিওবুক স্যাম্পলগুলিকে আবেগময় অভিব্যক্তিপূর্ণতা, বক্তা সামঞ্জস্য এবং সামগ্রিক স্বাভাবিকতা এর মতো মানদণ্ডে মূল্যায়ন করেছেন। মাল্টিএক্টর-অডিওবুক বাণিজ্যিক টিটিএস-ভিত্তিক অডিওবুক পরিষেবাগুলোর তুলনায় প্রতিযোগিতামূলক বা উচ্চতর রেটিং অর্জন করেছে। বিশেষভাবে লক্ষণীয়, এটি বেসলাইন সিস্টেমগুলোর চেয়ে ভালো করেছে যেগুলো একটি একক কণ্ঠস্বর বা সরল নিয়ম-ভিত্তিক প্রোসোডি ব্যবহার করেছিল, বিশেষ করে এমন সংলাপে যেখানে একাধিক স্বতন্ত্র পার্সোনা সহ চরিত্র জড়িত।
4.2 এমএলএলএম মূল্যায়ন
মানব মূল্যায়নের পরিপূরক হিসেবে, লেখকরা জিপিটি-৪ভি এর মতো মাল্টিমোডাল বৃহৎ ভাষা মডেল (এমএলএলএম) ব্যবহার করেছেন। এমএলএলএম-কে অডিও এবং দৃশ্য/চরিত্রের একটি বিবরণ উপস্থাপন করা হয়েছিল এবং জিজ্ঞাসা করা হয়েছিল যে কণ্ঠস্বরের ডেলিভারি প্রসঙ্গের সাথে মিলছে কিনা। এই উদ্দেশ্যমূলক মেট্রিকটি সিস্টেমের প্রসঙ্গ-উপযুক্ত প্রোসোডি তৈরি করার ক্ষমতাকে বাণিজ্যিক সিস্টেমগুলোর মতোই কার্যকরভাবে নিশ্চিত করেছে, যা এলএসআই মডিউলের কার্যকারিতাকে বৈধতা দেয়।
4.3 অপসারণ অধ্যয়ন
অপসারণ অধ্যয়নগুলি প্রতিটি মূল মডিউলের অবদান প্রদর্শন করেছে:
- এমএসপি ছাড়া (একটি জেনেরিক ভয়েস ব্যবহার করে): বক্তা সামঞ্জস্য এবং চরিত্র স্বাতন্ত্র্য উল্লেখযোগ্যভাবে হ্রাস পেয়েছে, যার ফলে বিভ্রান্তিকর সংলাপ হয়েছে।
- এলএসআই ছাড়া (নিউট্রাল টিটিএস ব্যবহার করে): অডিও একঘেয়ে এবং আবেগহীন হয়ে উঠেছে, অভিব্যক্তিপূর্ণতা মেট্রিক্সে খারাপ স্কোর করেছে।
- সম্পূর্ণ সিস্টেম (এমএসপি + এলএসআই): সমস্ত মূল্যায়ন মাত্রায় সর্বোচ্চ স্কোর অর্জন করেছে, যা উভয় উপাদানের সমন্বয়মূলক প্রয়োজনীয়তা প্রমাণ করে।
5. বিশ্লেষণ কাঠামো ও কেস স্টাডি
কাঠামোর প্রয়োগ: প্রোডাকশনের জন্য একটি উপন্যাস বিশ্লেষণ করতে, সিস্টেমটি একটি নির্ধারক কাঠামো অনুসরণ করে। কেস স্টাডি - একটি ফ্যান্টাসি নভেল উদ্ধৃতি:
- ইনপুট: "বৃদ্ধ জাদুকর, তার দাড়ি লম্বা ও ধূসর, একটি সতর্কবাণী ফিসফিস করে বলল। 'ছায়াদের সাবধান,' সে বলল, তার কণ্ঠস্বর পাথর ঘষার মতো।"
- এমএসপি এক্সিকিউশন: এলএলএম "বৃদ্ধ জাদুকর" কে একজন বক্তা হিসেবে শনাক্ত করে। পার্সোনা নিষ্কাশন করে: {বয়স: বৃদ্ধ, ভূমিকা: জাদুকর, বর্ণনাকারী: দাড়ি লম্বা ও ধূসর, কণ্ঠস্বরের গুণমান: পাথর ঘষার মতো}। টেক্সট২ইমেজ একটি বুড়ো মুখ তৈরি করে। ফেস২ভয়েস একটি গভীর, কর্কশ কণ্ঠস্বরের স্যাম্পল তৈরি করে।
- "ছায়াদের সাবধান" এর জন্য এলএসআই এক্সিকিউশন: এলএলএম বাক্যটি, প্রসঙ্গ (একটি সতর্কতা), এবং জাদুকরের পার্সোনা গ্রহণ করে। নির্দেশনা তৈরি করে: {আবেগ: গম্ভীর উদ্বেগ, টোন: অশুভ এবং নিচু, পিচ: নিচু এবং স্থির, গতি: ধীর}।
- আউটপুট: প্রম্পটযোগ্য টিটিএস কর্কশ জাদুকরের কণ্ঠস্বর ব্যবহার করে "ছায়াদের সাবধান" সংশ্লেষণ করে, একটি ধীর, অশুভ, নিচু-পিচের পদ্ধতিতে ডেলিভারি দেয়।
6. সমালোচনামূলক বিশ্লেষণ ও বিশেষজ্ঞ অন্তর্দৃষ্টি
মূল অন্তর্দৃষ্টি: মাল্টিএক্টর-অডিওবুক শুধু আরেকটি টিটিএস র্যাপার নয়; এটি ডেটা-কেন্দ্রিক থেকে প্রম্পট-কেন্দ্রিক জেনারেটিভ অডিওর একটি কৌশলগত পরিবর্তন। এর আসল অগ্রগতি হলো অডিওবুক সৃষ্টিকে একটি মাল্টিমোডাল প্রসঙ্গ-পুনরুদ্ধার এবং নির্দেশনা-অনুসরণ সমস্যা হিসেবে বিবেচনা করা, যা ঐতিহ্যগত ভয়েস ক্লোনিং এবং প্রোসোডি মডেলিংয়ের নিষিদ্ধ ব্যয় বক্ররেখা এড়িয়ে যায়। এটি বৃহত্তর শিল্প পরিবর্তনের সাথে সামঞ্জস্যপূর্ণ, যা ভিশনে ডাল-ই এবং স্টেবল ডিফিউশনের মতো মডেলগুলোর দ্বারা উদাহরণিত, যেখানে প্রি-ট্রেইন্ড অংশ থেকে রচনাশৈলী একক মডেল প্রশিক্ষণকে প্রতিস্থাপন করে।
যুক্তিগত প্রবাহ: যুক্তিটি মার্জিতভাবে রৈখিক কিন্তু ভঙ্গুর অনুমানের উপর নির্ভরশীল। এমএসপি ধরে নেয় যে একটি ফেস-টু-ভয়েস মডেল নির্ভরযোগ্যভাবে যেকোনো জেনারেটেড মুখকে একটি উপযুক্ত, সামঞ্জস্যপূর্ণ কণ্ঠস্বরে ম্যাপ করে—এটি একটি বিশ্বাসের লাফ, ক্রস-মোডাল রিপ্রেজেন্টেশন লার্নিংয়ে পরিচিত চ্যালেঞ্জগুলোর পরিপ্রেক্ষিতে (যেমন অডিওসিএলআইপি এর মতো কাজে আলোচিত ইমেজ এবং অডিও লেটেন্ট স্পেসের মধ্যে পার্থক্য দেখা যায়)। এলএসআই ধরে নেয় যে একটি এলএলএম-এর "গম্ভীর টোন" এর পাঠ্য বোঝাপড়া নিখুঁতভাবে একটি ডাউনস্ট্রিম টিটিএস-এ অ্যাকোস্টিক প্যারামিটারে অনুবাদ করে—একটি শব্দার্থিক-অ্যাকোস্টিক ফাঁক যা একটি মৌলিক চ্যালেঞ্জ হিসাবে রয়ে গেছে, যেমন স্পিচ প্রসেসিং সাহিত্যে উল্লেখ করা হয়েছে।
শক্তি ও ত্রুটি: এর শক্তি অনস্বীকার্য অর্থনৈতিক এবং কার্যকরী দক্ষতা: জিরো-শট, অভিনেতার কণ্ঠস্বরের জন্য লাইসেন্সিংয়ের ঝামেলা নেই, দ্রুত প্রোটোটাইপিং। ত্রুটিটি গুণমানের সিলিংয়ে। সিস্টেমটি তার দুর্বলতম অফ-দ্য-শেলফ উপাদান—ফেস২ভয়েস মডেল এবং প্রম্পটযোগ্য টিটিএস—এর মতোই ভালো। এটি সূক্ষ্মতা এবং দীর্ঘ-পরিসরের সামঞ্জস্য নিয়ে সংগ্রাম করবে। এটি কি একটি চরিত্রের কণ্ঠস্বর আবেগে ভেঙে পড়া, একটি সূক্ষ্মতা যা সাব-ফোনেমিক নিয়ন্ত্রণ প্রয়োজন, সামলাতে পারবে? সম্ভবত না। কণ্ঠস্বরের জন্য ভিজ্যুয়াল পার্সোনার উপর নির্ভরতা একটি সম্ভাব্য পক্ষপাত পরিবর্ধকও, যা জেনারেটিভ এআই নীতিশাস্ত্রে একটি সুপ্রতিষ্ঠিত সমস্যা।
কার্যকরী অন্তর্দৃষ্টি: বিনিয়োগকারী এবং পণ্য ব্যবস্থাপকদের জন্য, এটি বিশেষ বাজারের জন্য একটি আকর্ষণীয় এমভিপি: ইন্ডি গেম ডেভ, দ্রুত কন্টেন্ট লোকালাইজেশন, ব্যক্তিগতকৃত এডুটেইনমেন্ট। যাইহোক, মানব-প্রতিযোগিতামূলক গুণমান চাওয়া মূলধারার প্রকাশনার জন্য, এটি একটি পরিপূরক, প্রতিস্থাপন নয়। অবিলম্বে রোডম্যাপটি হাইব্রিড পদ্ধতির উপর ফোকাস করা উচিত: এই সিস্টেমটি ব্যবহার করে একটি সমৃদ্ধ "প্রথম খসড়া" অডিওবুক তৈরি করা যা একজন মানব পরিচালক তারপর দক্ষতার সাথে সম্পাদনা এবং পালিশ করতে পারেন, ১০০% স্বয়ংক্রিয়তার লক্ষ্য না রেখে প্রোডাকশন সময় ৭০-৮০% কমিয়ে দেয়। গবেষণার অগ্রাধিকার অবশ্যই ভালো যৌথ এমবেডিং স্পেসের মাধ্যমে শব্দার্থিক-অ্যাকোস্টিক ফাঁক বন্ধ করা, সম্ভবত ফ্লেমিঙ্গো বা সিএম৩ এর মতো মাল্টিমোডাল মডেলগুলিতে ব্যবহৃত অ্যালাইনমেন্ট কৌশল দ্বারা অনুপ্রাণিত হয়ে।
7. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা
মাল্টিএক্টর-অডিওবুক দ্বারা প্রবর্তিত প্যারাডাইম বেশ কয়েকটি পথ খোলে:
- ইন্টারেক্টিভ মিডিয়া ও গেমিং: খেলোয়াড়ের পছন্দ এবং বিকাশমান চরিত্রের অবস্থার উপর ভিত্তি করে গেম বা ইন্টারেক্টিভ গল্পে চরিত্রের সংলাপের গতিশীল, রিয়েল-টাইম জেনারেশন।
- অ্যাক্সেসিবিলিটি ও শিক্ষা: পাঠ্যপুস্তক, নথি বা ব্যক্তিগতকৃত শিশুদের গল্পকে আকর্ষণীয়, বহু-কণ্ঠস্বর বর্ণনায় তাত্ক্ষণিক রূপান্তর, দৃষ্টিপ্রতিবন্ধী ব্যবহারকারীদের জন্য অ্যাক্সেসিবিলিটি ব্যাপকভাবে বৃদ্ধি করা বা নিমগ্ন শিক্ষার উপকরণ তৈরি করা।
- কন্টেন্ট লোকালাইজেশন: লক্ষ্য ভাষায় সাংস্কৃতিক এবং চরিত্র-উপযুক্ত কণ্ঠস্বর তৈরি করে ভিডিও কন্টেন্টের জন্য দ্রুত ডাবিং এবং ভয়েস-ওভার, যদিও এর জন্য উন্নত বহুভাষিক টিটিএস ব্যাকএন্ড প্রয়োজন।
- ভবিষ্যতের গবেষণা দিকনির্দেশনা:
- উন্নত পার্সোনা মডেলিং: কণ্ঠস্বর এবং প্রোসোডি জানানোর জন্য শুধুমাত্র মুখ এবং পাঠ্য বিবরণের বাইরে আরও মোডালিটি (যেমন, চরিত্রের ক্রিয়া, বর্ণিত শব্দ) অন্তর্ভুক্ত করা।
- দীর্ঘ-প্রসঙ্গ সামঞ্জস্য: এলএসআই উন্নত করা যাতে একটি সম্পূর্ণ বই জুড়ে, শুধুমাত্র স্থানীয় বাক্য নয়, বিস্তৃত আখ্যান চাপ সামঞ্জস্য বজায় রাখা যায় (যেমন, একটি চরিত্রের ধীরে ধীরে আবেগময় পতন)।
- সরাসরি অ্যাকোস্টিক প্যারামিটার ভবিষ্যদ্বাণী: প্রাকৃতিক ভাষার নির্দেশনার বাইরে গিয়ে এলএলএমকে সরাসরি, ব্যাখ্যাযোগ্য অ্যাকোস্টিক বৈশিষ্ট্য লক্ষ্য (এফ০ কনট্যুর, শক্তি) আউটপুট দেওয়া, সূক্ষ্ম-দানাদার নিয়ন্ত্রণের জন্য, ভ্যাল-ই এর পদ্ধতির মতো কিন্তু একটি জিরো-শট সেটিংয়ে।
- নৈতিক কণ্ঠস্বর নকশা: ফেস২ভয়েস এবং পার্সোনা জেনারেশন উপাদানগুলিকে নিরীক্ষণ এবং পক্ষপাতমুক্ত করার জন্য কাঠামো তৈরি করা যাতে স্টেরিওটাইপিং প্রতিরোধ করা যায়।
8. তথ্যসূত্র
- Tan, X., et al. (2021). NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level Quality. arXiv preprint arXiv:2105.04421.
- Wang, C., et al. (2023). Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers. arXiv preprint arXiv:2301.02111.
- Zhang, Y., et al. (2022). META-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech. IEEE/ACM Transactions on Audio, Speech, and Language Processing.
- Radford, A., et al. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. Proceedings of ICML.
- Kim, J., et al. (2021). VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech. Proceedings of ICML.
- OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
- Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the CVPR.
- Alayrac, J., et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. Advances in Neural Information Processing Systems.
- Park, K., Joo, S., & Jung, K. (2024). MultiActor-Audiobook: Zero-Shot Audiobook Generation with Faces and Voices of Multiple Speakers. Manuscript submitted for publication.
- Guzhov, A., et al. (2022). AudioCLIP: Extending CLIP to Image, Text and Audio. Proceedings of the ICASSP.