التضمين الصوتي والدلالي للكلمات المنطوقة مع تطبيقات في استرجاع المحتوى الصوتي

1. المقدمة

أحدثت تقنيات تضمين الكلمات مثل Word2Vec ثورة في معالجة اللغة الطبيعية من خلال التقاط العلاقات الدلالية بين كلمات النص بناءً على سياقها. وبالمثل، تم تطوير Audio Word2Vec لاستخراج الهياكل الصوتية من مقاطع الكلمات المنطوقة. ومع ذلك، يركز Audio Word2Vec التقليدي فقط على المعلومات الصوتية المستفادة من داخل الكلمات المنطوقة الفردية، متجاهلاً السياق الدلالي الذي ينشأ من تسلسل الكلمات في الجمل.

تقدم هذه الورقة البحثية إطار عمل جديداً من مرحلتين لسد هذه الفجوة. الهدف هو إنشاء تمثيلات متجهية للكلمات المنطوقة تجمع بين تركيبها الصوتي ومعناها الدلالي. هذه مهمة صعبة لأنه، كما ورد في الورقة، غالباً ما يكون التشابه الصوتي والترابط الدلالي متعامدين. على سبيل المثال، كلمتا "أخ" و"أخت" قريبتان دلالياً ولكنهما مختلفتان صوتياً، بينما كلمتا "أخ" و"يُزعج" متشابهتان صوتياً ولكن لا تربطهما علاقة دلالية. تهدف الطريقة المقترحة إلى فصل هذين الجانبين ونمذجتهما معاً، مما يتيح تطبيقات أكثر قوة مثل استرجاع المستندات الصوتية الدلالي، حيث يمكن العثور على المستندات المتعلقة بمفهوم الاستعلام، وليس فقط تلك التي تحتوي على مصطلح الاستعلام الدقيق.

2. المنهجية

التجديد الأساسي هو عملية تضمين تسلسلية من مرحلتين مصممة لعزل المعلومات الصوتية أولاً ثم إضافة الفهم الدلالي فوقها.

2.1 المرحلة الأولى: التضمين الصوتي مع فصل خصائص المتحدث

تتعامل المرحلة الأولى مع مقاطع الكلمات المنطوقة الخام. هدفها الأساسي هو تعلم تضمين صوتي قوي - متجه يمثل تسلسل الفونيمات في الكلمة - مع إزالة أو فصل العوامل المربطة مثل هوية المتحدث وبيئة التسجيل بشكل صريح. هذا أمر بالغ الأهمية لأن خصائص المتحدث يمكن أن تهيمن على الإشارة وتطمس المحتوى الصوتي الأساسي. قد تُستخدم هنا تقنيات مستوحاة من تكييف النطاق أو التدريب الخصومي (مشابهة في جوهرها لأساليب الفصل في CycleGAN) لإنشاء فضاء صوتي مستقل عن المتحدث.

2.2 المرحلة الثانية: التضمين الدلالي

تأخذ المرحلة الثانية التضمينات الصوتية المنفصلة عن المتحدث من المرحلة الأولى كمدخلات. ثم تتم معالجة هذه التضمينات مع الأخذ في الاعتبار سياق الكلمات المنطوقة داخل الجملة. من خلال تحليل تسلسلات هذه المتجهات الصوتية (على سبيل المثال، باستخدام شبكة عصبية متكررة أو بنية محول)، يتعلم النموذج استنتاج العلاقات الدلالية، مثل Word2Vec القائم على النص إلى حد كبير. ناتج هذه المرحلة هو التضمين النهائي "الصوتي والدلالي" لكل كلمة منطوقة.

2.3 إطار التقييم

لتقييم الطبيعة المزدوجة للتضمينات، يقترح المؤلفون استراتيجية تقييم متوازية. يتم تقييم الجودة الصوتية من خلال مهام مثل اكتشاف المصطلح المنطوق أو تجميع التشابه الصوتي. يتم تقييم الجودة الدلالية من خلال محاذاة تضمينات الصوت مع تضمينات كلمات النص المدربة مسبقاً (مثل تضمينات GloVe أو BERT) وقياس الارتباط في فضاءاتها المتجهية أو الأداء في المهام الدلالية.

3. التفاصيل التقنية

3.1 الصياغة الرياضية

من المرجح أن يجمع الهدف التعليمي بين وظائف خسارة متعددة. بالنسبة للمرحلة الأولى، تضمن دالة الخسارة لإعادة البناء أو التباين الحفاظ على المحتوى الصوتي، بينما تقلل دالة الخسارة الخصومية أو الارتباط من معلومات المتحدث. بالنسبة للمرحلة الثانية، يتم تطبيق دالة خسارة تنبؤية قائمة على السياق، مثل هدف skip-gram أو CBOW من Word2Vec. يمكن تصور هدف مشترك للنموذج الكامل على النحو التالي:

$L_{total} = \lambda_1 L_{phonetic} + \lambda_2 L_{speaker\_inv} + \lambda_3 L_{semantic}$

حيث تضمن $L_{phonetic}$ دقة الصوت، وتشجع $L_{speaker\_inv}$ على الفصل، وتلتقط $L_{semantic}$ علاقات الكلمات السياقية.

3.2 بنية النموذج

من المفترض أن تكون البنية عبارة عن خط أنابيب للشبكة العصبية العميقة. قد تستخدم المرحلة الأولى شبكة عصبية تلافيفية (CNN) أو مشفراً لمعالجة مخططات الطيف، تليها طبقة عنق زجاجة تنتج المتجه الصوتي المنفصل عن المتحدث. من المرجح أن تستخدم المرحلة الثانية نموذج تسلسل (RNN/LSTM/Transformer) يأخذ تسلسلاً من متجهات المرحلة الأولى ويخرج تضمينات واعية بالسياق. يتم تدريب النموذج من البداية إلى النهاية على مجموعة من الجمل المنطوقة.

4. النتائج التجريبية

4.1 مجموعة البيانات والإعداد

أُجريت التجارب على مجموعة مستندات منطوقة، من المحتمل أن تكون مشتقة من مصادر مثل LibriSpeech أو أخبار البث. تضمن الإعداد تدريب النموذج ذي المرحلتين ومقارنته مع خطوط الأساس مثل Audio Word2Vec القياسي (الصوتي فقط) وتضمينات النص.

4.2 مقاييس الأداء

تشمل المقاييس الرئيسية:

• دقة/استدعاء الاسترجاع الصوتي: للعثور على مطابقات دقيقة للمصطلح المنطوق.
• متوسط الدقة المتوسط (MAP) للاسترجاع الدلالي: لاسترجاع المستندات المرتبطة دلالياً باستعلام.
• ارتباط التضمين: تشابه جيب التمام بين تضمينات الصوت وتضمينات كلمات النص المقابلة لها.

4.3 تحليل النتائج

تذكر الورقة نتائج أولية واعدة. تفوقت التضمينات ذات المرحلتين المقترحة على Audio Word2Vec الصوتي فقط في مهام الاسترجاع الدلالي، حيث استرجعت بنجاح مستندات ذات صلة موضوعياً ولكنها لا تحتوي على مصطلح الاستعلام. في الوقت نفسه، حافظت على أداء قوي في مهام الاسترجاع الصوتي، مما يوضح الاحتفاظ بالمعلومات الصوتية. أظهر التقييم المتوازي ارتباطاً أعلى بين تضمينات الصوت المقترحة وتضمينات النص مقارنة بطرق خط الأساس.

5. مثال على إطار التحليل

حالة: تقييم نظام استرجاع المحاضرات المنطوقة

السيناريو: يستعلم مستخدم عن قاعدة بيانات للمحاضرات المنطوقة بعبارة "تحسين الشبكة العصبية".

التحليل باستخدام التضمينات المقترحة:

1. المطابقة الصوتية: يسترجع النظام المحاضرات التي تُنطق فيها العبارة الدقيقة "تحسين الشبكة العصبية" (تشابه صوتي عالٍ).
2. المطابقة الدلالية: يسترجع النظام أيضاً محاضرات تناقش "النزول التدرجي"، أو "الانتشار العكسي"، أو "محسن آدم"، لأن تضمينات هذه المصطلحات قريبة في الفضاء الجزئي الدلالي للاستعلام.

التقييم: يتم حساب الدقة للمطابقات الصوتية. بالنسبة للمطابقات الدلالية، يحكم المعلِّمون البشريون على الصلة، ويتم حساب متوسط الدقة المتوسط (MAP). تُظهر قدرة النظام على موازنة كلا النوعين من النتائج قيمة التضمين المشترك.

6. آفاق التطبيق والاتجاهات المستقبلية

التطبيقات:

• المساعدات الصوتية الذكية: فهم نية المستخدم بما يتجاوز مطابقة الأوامر الحرفية.
• بحث أرشيف الوسائط المتعددة: بحث دلالي عبر البودكاست والاجتماعات والتسجيلات الصوتية التاريخية.
• أدوات الوصول: تعزيز التنقل في المحتوى لضعاف البصر في الوسائط القائمة على الصوت.
• الاسترجاع المنطوق عبر اللغات: العثور على محتوى بلغة واحدة بناءً على استعلام بلغة أخرى، باستخدام الدلالات كجسر.

اتجاهات البحث المستقبلية:

• استكشاف تقنيات فصل أكثر تطوراً (مثل تلك القائمة على Beta-VAE أو FactorVAE) للحصول على ميزات صوتية أنظف.
• التكامل مع نماذج الكلام المدربة مسبقاً واسعة النطاق (مثل Wav2Vec 2.0، HuBERT) كواجهة أمامية أكثر قوة.
• توسيع الإطار لنمذجة الخطاب طويل المدى ودلالات المستوى الوثائقي.
• التحقيق في التعلم القليل العينة أو التعلم من دون عينات للكلمات النادرة.

7. المراجع

1. Mikolov, T., et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
2. Chung, Y.-A., & Glass, J. (2018). Speech2Vec: A Sequence-to-Sequence Framework for Learning Word Embeddings from Speech. Interspeech.
3. Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV (CycleGAN).
4. Baevski, A., et al. (2020). wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. NeurIPS.
5. Lee, H.-y., & Lee, L.-s. (2018). Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder. IEEE/ACM TASLP.
6. Chen, Y.-C., et al. (2019). Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval. arXiv:1807.08089v4.

8. التحليل الخبير