অডিও বর্ণনার নির্দেশনায় দুর্বল-তত্ত্বাবধানে কর্ম সনাক্তকরণ

1. ভূমিকা

ভিডিও মেশিন লার্নিংয়ের জন্য একটি সমৃদ্ধ, বহুমুখী ডেটা উৎস হিসেবে কাজ করে, যেখানে স্থানিক (ভিজ্যুয়াল), সময়গত এবং প্রায়শই শ্রবণ সংক্রান্ত তথ্য অন্তর্ভুক্ত থাকে। তবে, অট্রিমড ভিডিওতে কর্ম সনাক্তকরণের জন্য সুনির্দিষ্ট, উদাহরণ-স্তরের টীকাভুক্তি (শুরুর সময়, শেষের সময়, কর্ম লেবেল) পাওয়ার অত্যন্ত উচ্চ খরচের কারণে এই সম্ভাবনার পূর্ণ ব্যবহার বাধাগ্রস্ত হয়। এই গবেষণাপত্রটি এই বাধাটি অতিক্রম করার জন্য একটি নতুন দুর্বল-তত্ত্বাবধানে পদ্ধতি প্রস্তাব করে যা সস্তা ও সহজলভ্য অডিও বর্ণনাকে প্রাথমিক তত্ত্বাবধায়ক সংকেত হিসেবে ব্যবহার করে। মূল অন্তর্দৃষ্টি হলো যে, বর্ণনাগুলো সময়গতভাবে সুনির্দিষ্ট না হলেও (যেমন EPIC Kitchens ডেটাসেটে শুধুমাত্র একটি মোটামুটি শুরুর সময় দেয়) মূল্যবান শব্দার্থিক সূচনা বহন করে যা একটি মডেলকে প্রাসঙ্গিক ভিডিও অংশের প্রতি মনোযোগ দিতে এবং কার্যকর কর্ম সনাক্তকারী শিখতে নির্দেশনা দিতে পারে, যার ফলে টীকাভুক্তির নির্ভরতা উল্লেখযোগ্যভাবে হ্রাস পায়।

2. সম্পর্কিত কাজ ও সমস্যা বিবৃতি

2.1 কর্ম সনাক্তকরণে তত্ত্বাবধানের প্যারাডাইম

সময়গত কর্ম সনাক্তকরণের ক্ষেত্রটি তিনটি প্রাথমিক তত্ত্বাবধানের প্যারাডাইমের অধীনে কাজ করে:

• সম্পূর্ণ-তত্ত্বাবধানে: ব্যয়বহুল উদাহরণ-স্তরের টীকাভুক্তি (সুনির্দিষ্ট সময়গত সীমানা) প্রয়োজন হয়। উচ্চ কার্যক্ষমতা দেয় কিন্তু স্কেলযোগ্য নয়।
• দুর্বল-তত্ত্বাবধানে (ভিডিও-স্তর): শুধুমাত্র ভিডিও-স্তরের শ্রেণি লেবেল ব্যবহার করে। প্রতিটি ভিডিওতে অল্প কিছু কর্ম থাকে বলে ধরে নেয় (যেমন, THUMOS14-এ ~১টি শ্রেণি/ভিডিও), যা EPIC Kitchens-এর মতো দীর্ঘ, জটিল ভিডিওগুলোর জন্য অবাস্তব (গড়ে ~৩৫টি শ্রেণি/ভিডিও)।
• দুর্বল-তত্ত্বাবধানে (বর্ণনা): প্রস্তাবিত প্যারাডাইম। অশুদ্ধ, একক-সময়সূচক অডিও বর্ণনা প্রতিলিপিকে দুর্বল লেবেল হিসেবে ব্যবহার করে। এটি ভিডিও-স্তরের লেবেলের চেয়ে বেশি তথ্যপূর্ণ কিন্তু সম্পূর্ণ উদাহরণ টীকাভুক্তির চেয়ে সস্তা।

2.2 দুর্বল তত্ত্বাবধানের চ্যালেঞ্জ

মূল চ্যালেঞ্জ হলো বর্ণনার সময়সূচক এবং প্রকৃত কর্ম উদাহরণের মধ্যে সময়গত অসামঞ্জস্যতা। অশুদ্ধ লেবেল থাকা সত্ত্বেও, মডেলটিকে অপ্রাসঙ্গিক ব্যাকগ্রাউন্ড ফ্রেমগুলোকে দমন করতে এবং বর্ণিত কর্মের সাথে সম্পর্কিত সঠিক সময়গত অংশের উপর ফোকাস করতে শিখতে হবে।

3. প্রস্তাবিত পদ্ধতি

3.1 মডেল আর্কিটেকচার সংক্ষিপ্ত বিবরণ

প্রস্তাবিত মডেলটি একটি বহুমুখী আর্কিটেকচার যা RGB ফ্রেম, অপটিক্যাল ফ্লো (গতি), এবং পারিপার্শ্বিক অডিও ট্র্যাক থেকে বৈশিষ্ট্য প্রক্রিয়া ও সংযোজন করার জন্য ডিজাইন করা হয়েছে। একটি মূল উপাদান হলো একটি সময়গত মনোযোগ প্রক্রিয়া যা প্রদত্ত অডিও বর্ণনা লেবেলের সাথে তাদের প্রাসঙ্গিকতার ভিত্তিতে বিভিন্ন ভিডিও ফ্রেমের গুরুত্ব ওজন করতে শেখে।

3.2 অশুদ্ধ বর্ণনা থেকে শিক্ষা

বর্ণনার সময়সূচককে একটি কঠোর লেবেল হিসেবে বিবেচনা না করে, মডেলটি এটিকে একটি দুর্বল সূচনা হিসেবে বিবেচনা করে। শিক্ষার উদ্দেশ্যটি সঠিক কর্ম শ্রেণির জন্য বর্ণনা বিন্দুর সময়গত নিকটবর্তী ফ্রেমগুলোর জন্য উচ্চ অ্যাক্টিভেশন স্কোরকে উৎসাহিত করে, যখন অন্যান্য সকল ফ্রেম ও শ্রেণির জন্য অ্যাক্টিভেশন ন্যূনতম করে। এটি এক ধরনের একাধিক উদাহরণ শিক্ষা (MIL)-এর অনুরূপ যেখানে ভিডিওটি ফ্রেমের একটি "ব্যাগ", এবং ধনাত্মক "উদাহরণ" (কর্মটি) বর্ণিত বিন্দুর আশেপাশে কোথাও অবস্থিত।

3.3 বহুমুখী বৈশিষ্ট্য সংযোজন

বিভিন্ন মোডালিটি থেকে বৈশিষ্ট্য (আবির্ভাবের জন্য RGB, গতির জন্য ফ্লো, পারিপার্শ্বিক শব্দের জন্য অডিও) পূর্ব-প্রশিক্ষিত নেটওয়ার্ক ব্যবহার করে নিষ্কাশন করা হয় (যেমন, RGB/Flow-এর জন্য I3D, অডিওর জন্য VGGish)। তারপর এই বৈশিষ্ট্যগুলো প্রাথমিক সংযোজন বা আরও পরিশীলিত ক্রস-মোডাল মনোযোগ মডিউলের মাধ্যমে সংযোজিত হয়ে কর্ম শ্রেণিবিন্যাস ও স্থানিকীকরণের জন্য একটি মজবুত যৌথ উপস্থাপনা গঠন করে।

4. পরীক্ষা ও ফলাফল

4.1 ডেটাসেট ও সেটআপ

প্রাথমিক মূল্যায়ন EPIC Kitchens 100 ডেটাসেটে পরিচালিত হয়, যা একটি বৃহৎ-স্কেল ইগোসেন্ট্রিক ভিডিও ডেটাসেট যেখানে ঘন কর্ম টীকাভুক্তি এবং সংশ্লিষ্ট অডিও বর্ণনা রয়েছে। মডেলটি শুধুমাত্র বর্ণনার শুরুর সময় এবং প্রতিলিপিকৃত ক্রিয়া-বিশেষ্য লেবেল ব্যবহার করে প্রশিক্ষিত হয়। কার্যক্ষমতা বিভিন্ন সময়গত ইন্টারসেকশন-ওভার-ইউনিয়ন (tIoU) থ্রেশহোল্ডে গড় গড় নির্ভুলতা (mAP)-এর মতো মানক সময়গত কর্ম সনাক্তকরণ মেট্রিক ব্যবহার করে পরিমাপ করা হয়।

4.2 পরিমাণগত ফলাফল

গবেষণাপত্রটি প্রদর্শন করে যে, শুধুমাত্র বর্ণনা তত্ত্বাবধান দিয়ে প্রশিক্ষিত প্রস্তাবিত মডেলটি, অধিক ব্যয়বহুল তত্ত্বাবধান দিয়ে প্রশিক্ষিত মডেলগুলোর সাথে তুলনামূলক কার্যক্ষমতা অর্জন করে। যদিও এটি স্বাভাবিকভাবেই সম্পূর্ণ-তত্ত্বাবধানে বেসলাইনগুলোর পিছনে থাকে, এটি ভিডিও-স্তরের দুর্বল-তত্ত্বাবধানে পদ্ধতিগুলোকে উল্লেখযোগ্যভাবে ছাড়িয়ে যায়, বিশেষ করে যেসব ডেটাসেটে প্রতি ভিডিওতে অনেক কর্ম থাকে সেখানে। এটি এই অনুমানকে যাচাই করে যে বর্ণনা একটি মূল্যবান "মধ্যম-পথ" তত্ত্বাবধায়ক সংকেত প্রদান করে।

4.3 বিচ্ছিন্নতা গবেষণা

বিচ্ছিন্নতা গবেষণা প্রতিটি উপাদানের গুরুত্ব নিশ্চিত করে:

• বহুমুখিতা: RGB+Flow+Audio বৈশিষ্ট্য ব্যবহার করা যেকোনো একক মোডালিটির চেয়ে ধারাবাহিকভাবে ভালো ফলাফল দেয়।
• সময়গত মনোযোগ: প্রস্তাবিত মনোযোগ প্রক্রিয়াটি অপ্রাসঙ্গিক ফ্রেমগুলোকে ফিল্টার আউট করতে এবং স্থানিকীকরণ নির্ভুলতা উন্নত করতে অত্যন্ত গুরুত্বপূর্ণ।
• বর্ণনা বনাম ভিডিও-স্তর: EPIC Kitchens-এ শুধুমাত্র ভিডিও-স্তরের লেবেল ব্যবহার করার চেয়ে বর্ণনা লেবেল দিয়ে প্রশিক্ষণ আরও ভালো সনাক্তকরণ ফলাফল দেয়, যা প্রমাণ করে যে প্রথমটির তথ্য উপাদান উচ্চতর।

5. প্রযুক্তিগত বিশ্লেষণ ও কাঠামো

5.1 গাণিতিক সূত্রায়ন

মূল শিক্ষার উদ্দেশ্যটিকে একটি শ্রেণিবিন্যাস ক্ষতি এবং দুর্বল বর্ণনা সংকেত দ্বারা পরিচালিত একটি সময়গত স্থানিকীকরণ ক্ষতির সংমিশ্রণ হিসেবে ফ্রেম করা যেতে পারে। ধরা যাক $V = \{f_t\}_{t=1}^T$ ভিডিও ফ্রেম বৈশিষ্ট্যের একটি ক্রম। একটি বর্ণনা লেবেল $y_n$ এবং সময়সূচক $\tau_n$-এর জন্য, মডেলটি ফ্রেম-স্তরের শ্রেণি স্কোর $s_t^c$ উৎপন্ন করে। প্রতিটি ফ্রেমের জন্য একটি সময়গত মনোযোগ ওজন $\alpha_t$ শেখা হয়। বর্ণিত কর্মের জন্য শ্রেণিবিন্যাস ক্ষতি একটি ওজনযুক্ত যোগফল: $$\mathcal{L}_{cls} = -\log\left(\frac{\exp(\sum_t \alpha_t s_t^{y_n})}{\sum_c \exp(\sum_t \alpha_t s_t^c)}\right)$$ একই সাথে, কর্ম উদাহরণের চারপাশে একটি চূড়া-বিশিষ্ট বন্টনকে উৎসাহিত করার জন্য $\alpha_t$-তে একটি সময়গত মসৃণতা বা স্পারসিটি ক্ষতি $\mathcal{L}_{temp}$ প্রয়োগ করা হয়। মোট ক্ষতি হলো $\mathcal{L} = \mathcal{L}_{cls} + \lambda \mathcal{L}_{temp}$।

5.2 বিশ্লেষণ কাঠামোর উদাহরণ

কেস স্টাডি: মডেলের ব্যর্থতার ধরন বিশ্লেষণ
মডেলের সীমাবদ্ধতা বোঝার জন্য, আমরা একটি বিশ্লেষণ কাঠামো তৈরি করতে পারি:

1. ডেটা পরিদর্শন: সেই ভিডিওগুলো চিহ্নিত করুন যেখানে মডেলের পূর্বাভাস (সময়গত অংশ) গ্রাউন্ড ট্রুথের সাথে কম IoU আছে। এই ভিডিওগুলো এবং তাদের বর্ণনা ম্যানুয়ালি পর্যালোচনা করুন।
2. শ্রেণিবিন্যাস: ব্যর্থতাগুলো শ্রেণিবদ্ধ করুন। সাধারণ শ্রেণিগুলোর মধ্যে রয়েছে:
   • বর্ণনার অস্পষ্টতা: বর্ণনাটি (যেমন, "আমি খাবার প্রস্তুত করছি") খুব উচ্চ-স্তরের এবং একটি একক, সংক্ষিপ্ত কর্ম উদাহরণের সাথে সামঞ্জস্যপূর্ণ নয়।
   • যৌগিক কর্ম: বর্ণিত কর্মটি (যেমন, "ছুরি নাও এবং সবজি কাট") একাধিক উপ-কর্ম নিয়ে গঠিত, যা মডেলকে বিভ্রান্ত করে।
   • ব্যাকগ্রাউন্ড আধিপত্য: কর্মের জন্য ভিজ্যুয়াল ব্যাকগ্রাউন্ড খুব বেশি জটিল বা অন্যান্য নন-অ্যাকশন ফ্রেমের সাথে সাদৃশ্যপূর্ণ।
3. মূল কারণ ও প্রশমন: "বর্ণনার অস্পষ্টতা"-র জন্য, সমাধান হতে পারে বর্ণনার সূক্ষ্মতা পার্স করার জন্য আরও পরিশীলিত ভাষা মডেল ব্যবহার করা বা অস্পষ্ট লেবেলের জন্য অত্যধিক দীর্ঘ সনাক্তকরণের জন্য শাস্তিমূলক একটি শিক্ষা সংকেত অন্তর্ভুক্ত করা।

এই কাঠামোবদ্ধ বিশ্লেষণ সরল মেট্রিক রিপোর্টিং থেকে এগিয়ে গিয়ে কার্যকরী মডেল ডায়াগনস্টিক্সের দিকে অগ্রসর হয়।

6. আলোচনা ও ভবিষ্যৎ দিকনির্দেশনা

মূল অন্তর্দৃষ্টি: এই কাজটি ডেটা টীকাভুক্তির বাধার চারপাশে একটি ব্যবহারিক হ্যাক। এটি সঠিকভাবে চিহ্নিত করে যে বাস্তব জগতে, অডিও বর্ণনা, ক্লোজড ক্যাপশন, বা ASR প্রতিলিপির মতো "ফ্রি" তত্ত্বাবধায়ক সংকেত প্রচুর। প্রকৃত অবদান একটি নতুন নিউরাল আর্কিটেকচার নয়, বরং একটি আকর্ষণীয় প্রুফ-অফ-কনসেপ্ট যে আমরা এই অশুদ্ধ, বাস্তব-বিশ্বের সংকেতগুলো হজম করার জন্য শিক্ষা ব্যবস্থা ডিজাইন করতে পারি—এবং করা উচিত—পুরোপুরি কিউরেটেড ডেটার জন্য অপেক্ষা না করে।

যুক্তিগত প্রবাহ: যুক্তিটি দৃঢ়: স্কেলের জন্য উদাহরণ-স্তরের টীকাভুক্তি টেকসই নয় → জটিল ভিডিওগুলোর জন্য ভিডিও-স্তরের লেবেল খুব দুর্বল → অডিও বর্ণনা একটি সস্তা, তথ্যপূর্ণ মধ্যম পথ → এখানে একটি মডেল আছে যা এটি ব্যবহার করতে পারে। ঘন কর্ম বন্টন সহ EPIC Kitchens-এর ব্যবহার ভিডিও-স্তরের তত্ত্বাবধানের ত্রুটি তুলে ধরার জন্য একটি মাস্টারস্ট্রোক।

শক্তি ও ত্রুটি: এর শক্তি হলো এর ব্যবহারিকতা এবং শিল্প অ্যাপ্লিকেশনের জন্য স্পষ্ট মূল্য প্রস্তাব (যেমন, কন্টেন্ট মডারেশন, ভিডিও অনুসন্ধান, সহায়ক জীবনযাপন) যেখানে খরচ গুরুত্বপূর্ণ। অনেক দুর্বল-তত্ত্বাবধানে পদ্ধতির মতো, এর ত্রুটি হলো কার্যক্ষমতার সিলিং। মডেলটি মৌলিকভাবে তার তত্ত্বাবধানের শোরগোল দ্বারা সীমাবদ্ধ। এটি একটি দুর্দান্ত প্রথম পদক্ষেপ, কিন্তু সুনির্দিষ্ট সময় নির্ধারণের প্রয়োজন এমন উচ্চ-ঝুঁকিপূর্ণ অ্যাপ্লিকেশনের জন্য চূড়ান্ত সমাধান নয়।

কার্যকরী অন্তর্দৃষ্টি: গবেষকদের জন্য: যেকোনো পাঠ্য লেবেলের উপর নির্ভরতা আরও কমাতে ক্রস-মোডাল স্ব-তত্ত্বাবধান অন্বেষণ করুন (যেমন, Radford et al.-এর Contrastive Language-Image Pre-training (CLIP) কাজটি ব্যবহার করা)। অনুশীলনকারীদের জন্য: উপলব্ধ প্রতিলিপি বা অডিও লগ সহ অভ্যন্তরীণ ভিডিও ডেটাসেটে অবিলম্বে এই প্যারাডাইমটি প্রয়োগ করুন। লগের সময়সূচকগুলোকে দুর্বল বর্ণনা বিন্দু হিসেবে বিবেচনা করে শুরু করুন।

ভবিষ্যৎ দিকনির্দেশনা:

• বৃহৎ ভিশন-ল্যাঙ্গুয়েজ মডেল (VLM) ব্যবহার: CLIP বা BLIP-2-এর মতো মডেলগুলি শক্তিশালী সংযুক্ত ভিজ্যুয়াল-টেক্সট উপস্থাপনা প্রদান করে। ভবিষ্যতের কাজ ভিডিও কন্টেন্টে বর্ণিত বাক্যাংশগুলিকে আরও ভালোভাবে গ্রাউন্ড করতে এগুলিকে শক্তিশালী প্রায়র হিসেবে ব্যবহার করতে পারে, সম্ভাব্যভাবে কিছু অস্পষ্টতা সমস্যা অতিক্রম করতে পারে।
• ক্রস-ডেটাসেট সাধারণীকরণ: বর্ণনাযুক্ত ইগোসেন্ট্রিক রান্নাঘরের ভিডিও (EPIC) দিয়ে প্রশিক্ষিত একটি মডেল কি তৃতীয়-ব্যক্তি ক্রীড়া ভিডিওতে কমেন্টেটর অডিও সহ কর্ম সনাক্ত করতে পারে? বর্ণনা-নির্দেশিত শিক্ষার স্থানান্তরযোগ্যতা অন্বেষণ করা মূল বিষয়।
• সনাক্তকরণ থেকে পূর্বাভাসে: বর্ণনা প্রায়শই একটি কর্ম ঘটার সময় বা ঠিক পরে বর্ণনা করে। এই সংকেতটি কর্ম পূর্বাভাস মডেল শিখতে ব্যবহার করা যেতে পারে, একটি কর্ম ঘটার ঠিক আগে এটি পূর্বাভাস দিতে পারে?
• সক্রিয় শিক্ষার সাথে একীকরণ: মডেলের অনিশ্চয়তা বা মনোযোগ ওজনগুলি শুধুমাত্র সবচেয়ে বিভ্রান্তিকর বর্ণনা-ভিডিও জোড়ার জন্য স্পষ্টীকরণের জন্য একজন মানব টীকাভুক্তিকারীকে প্রশ্ন করার জন্য ব্যবহার করা যেতে পারে, যার ফলে একটি অত্যন্ত দক্ষ হিউম্যান-ইন-দ্য-লুপ টীকাভুক্তি ব্যবস্থা তৈরি হয়।

7. তথ্যসূত্র

1. Ye, K., & Kovashka, A. (2021). Weakly-Supervised Action Detection Guided by Audio Narration. In Proceedings of the ... (PDF Source).
2. Damen, D., et al. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. European Conference on Computer Vision (ECCV).
3. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. International Conference on Machine Learning (ICML).
4. Carreira, J., & Zisserman, A. (2017). Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset. Conference on Computer Vision and Pattern Recognition (CVPR).
5. Wang, L., et al. (2016). Temporal Segment Networks: Towards Good Practices for Deep Action Recognition. European Conference on Computer Vision (ECCV).
6. Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. International Conference on Computer Vision (ICCV).