تحليل الإيقاع الصوتي للكتب الصوتية: نماذج معالجة اللغة الطبيعية لتحسين تحويل النص إلى كلام

جدول المحتويات

1. المقدمة والنظرة العامة

يتناول هذا البحث العلمي بعنوان "تحليل الإيقاع الصوتي للكتب الصوتية" فجوة حرجة في أنظمة تحويل النص إلى كلام الحديثة: عدم القدرة على محاكاة التعبيرات الصوتية المعبرة والدرامية المميزة للكتب الصوتية التي يرويها البشر. بينما حققت أنظمة تحويل النص إلى كلام التجارية درجة عالية من الطبيعية في الكلام العام، فإنها تتعثر مع النصوص السردية الغنية بالحوار والعاطفة والوصف. الفرضية الأساسية هي أنه يمكن الاستفادة من تحليل معالجة اللغة الطبيعية عالي المستوى - الذي يستهدف تحديد الشخصيات والحوار والبنية السردية على وجه التحديد - للتنبؤ بخصائص الإيقاع الصوتي (النبرة، الصوت، سرعة الكلام) وتعزيز جودة الكتب الصوتية الاصطناعية بشكل كبير.

يقدم العمل مجموعة بيانات جديدة مكونة من 93 زوجًا محاذاةً من الكتب والكتب الصوتية، ويوضح أن النماذج المدربة على هذه البيانات تتفوق على خط أساس تجاري حديث لأنظمة تحويل النص إلى كلام (Google Cloud TTS) في الارتباط بأنماط الإيقاع الصوتي البشري.

2. المنهجية ومجموعة البيانات

2.1 بناء مجموعة البيانات

أساس هذا البحث هو مجموعة بيانات مُعدة بعناية تتكون من 93 رواية والكتب الصوتية المقروءة بشريًا المقابلة لها. تتضمن مجموعة البيانات 1806 فصلًا مع محاذاة على مستوى الجملة بين النص والصوت، مما يتيح تحليلًا دقيقًا. وقد تم توفير هذه المجموعة للجمهور، مما يوفر موردًا قيمًا لمجتمعات معالجة الكلام ومعالجة اللغة الطبيعية. عملية المحاذاة حاسمة لاستخراج تسميات الإيقاع الصوتي الدقيقة (النبرة، الصوت، السرعة) لكل جملة في النص.

2.2 استخراج خصائص الإيقاع الصوتي

من الكتب الصوتية المحاذاة، يتم استخراج ثلاث خصائص أساسية للإيقاع الصوتي على مستوى الجملة:

• النبرة (التردد الأساسي F0): معدل اهتزاز الأحبال الصوتية. يُقاس بالهرتز (Hz).
• الصوت (الشدة/الطاقة): سعة أو علو إشارة الكلام. يُقاس بالديسيبل (dB).
• السرعة (معدل الكلام): سرعة الإلقاء، غالبًا ما تُقاس بعدد المقاطع في الثانية.

تعمل هذه الخصائص كمتغيرات هدفية للنماذج التنبؤية.

2.3 هيكلية النموذج

النموذج الأساسي هو شبكة ذاكرة طويلة المدى قصيرة المدى (LSTM) مبنية على تمثيلات جمل MPNet (التدريب المسبق المقنع والمُبدل لفهم اللغة). يوفر MPNet تمثيلات سياقية غنية للنص المدخل. ثم تقوم طبقة LSTM بنمذجة التبعيات التسلسلية في السرد للتنبؤ بالقيم المستمرة للنبرة والصوت والسرعة. تم اختيار هذه الهيكلية لقدرتها على التقاط الإشارات السياقية طويلة المدى الضرورية لفهم السرد.

3. النتائج الرئيسية والتحليل

3.1 أنماط الإيقاع الصوتي على مستوى الشخصيات

من النتائج التجريبية المهمة أن الرواة البشريين يعدلون الإيقاع الصوتي بشكل منهجي بناءً على سمات الشخصية والسياق السردي. يكشف التحليل:

• في 21 من أصل 31 كتابًا حيث اختلفت الشخصيتان الرئيسيتان في الجنس، استخدم الرواة نبرة أقل وصوتًا أعلى لتصوير الشخصية الذكورية.
• يستخدم الرواة باستمرار نبرة أقل في المناطق السردية مقارنة بالحوار، بغض النظر عن جنس الشخصية.

هذا يكمم قاعدة أداء ضمنية يستخدمها الرواة المحترفون، مما يوفر إشارة واضحة للنماذج للتعلم منها.

3.2 أداء النموذج مقابل أنظمة تحويل النص إلى كلام التجارية

تظهر الخصائص الإيقاعية التي يتنبأ بها النموذج المقترح ارتباطًا أعلى بكثير مع القراءات البشرية مقارنة بالمخرجات الافتراضية لخدمة Google Cloud Text-to-Speech.

• النبرة: كانت تنبؤات النموذج أكثر ارتباطًا بالقراءة البشرية في 22 من أصل 24 كتابًا في مجموعة الاختبار.
• الصوت: كانت تنبؤات النموذج أكثر ارتباطًا في 23 من أصل 24 كتابًا.

يوضح هذا فعالية النموذج في التقاط الأنماط الإيقاعية البشرية الدقيقة التي تفوتها أنظمة تحويل النص إلى كلام العامة.

4. التنفيذ التقني

4.1 الصياغة الرياضية

يُصاغ مهمة التنبؤ بالإيقاع الصوتي كمشكلة انحدار. بالنظر إلى جملة مدخلة $S$ ممثلة بتمثيلها MPNet $\mathbf{e}_S$، فإن النموذج $f_\theta$ المُعَلم بـ $\theta$ يتنبأ بمتجه إيقاع صوتي $\mathbf{p}$: $$\mathbf{p} = [\hat{pitch}, \hat{volume}, \hat{rate}]^T = f_\theta(\mathbf{e}_S)$$ يتم تدريب النموذج لتقليل دالة الخسارة لمتوسط مربعات الخطأ (MSE) بين تنبؤاته $\hat{\mathbf{p}}$ وقيم الإيقاع الصوتي الحقيقية $\mathbf{p}_{gt}$ المستخرجة من الصوت البشري: $$\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \| \hat{\mathbf{p}}_i - \mathbf{p}_{gt,i} \|^2_2$$

4.2 تفاصيل هيكلية LSTM

نموذج التسلسل الأساسي هو خلية LSTM قياسية. في كل خطوة $t$ (تتوافق مع جملة)، تقوم بتحديث حالتها المخفية $\mathbf{h}_t$ وحالة الخلية $\mathbf{c}_t$ بناءً على المدخل $\mathbf{x}_t$ (تمثيل MPNet) والحالات السابقة: $$\mathbf{i}_t = \sigma(\mathbf{W}_{xi}\mathbf{x}_t + \mathbf{W}_{hi}\mathbf{h}_{t-1} + \mathbf{b}_i)$$ $$\mathbf{f}_t = \sigma(\mathbf{W}_{xf}\mathbf{x}_t + \mathbf{W}_{hf}\mathbf{h}_{t-1} + \mathbf{b}_f)$$ $$\mathbf{o}_t = \sigma(\mathbf{W}_{xo}\mathbf{x}_t + \mathbf{W}_{ho}\mathbf{h}_{t-1} + \mathbf{b}_o)$$ $$\tilde{\mathbf{c}}_t = \tanh(\mathbf{W}_{xc}\mathbf{x}_t + \mathbf{W}_{hc}\mathbf{h}_{t-1} + \mathbf{b}_c)$$ $$\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$$ $$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{c}_t)$$ حيث $\sigma$ هي دالة السيجمويد، $\odot$ تشير إلى الضرب العنصر، و $\mathbf{W}$ و $\mathbf{b}$ هما معلمات قابلة للتعلم. يتم تمرير الحالة المخفية النهائية $\mathbf{h}_t$ عبر طبقة متصلة بالكامل لإنتاج تنبؤ الإيقاع الصوتي ثلاثي الأبعاد.

5. النتائج التجريبية

5.1 مقاييس الارتباط والشكل 1

مقياس التقييم الأساسي هو معامل الارتباط (مثل بيرسون r) بين منحنى الإيقاع الصوتي المتوقع ومنحنى الإيقاع الصوتي المقروء بشريًا عبر فصل. يقدم الشكل 1 في البحث مخطط نقطي يقارن الارتباط بين الإنسان ونظام تحويل النص إلى كلام للنظام المقترح و Google Cloud TTS عبر 24 كتابًا للاختبار.

• وصف الرسم البياني (الشكل 1أ - النبرة): يمثل المحور السيني كتبًا مختلفة. لكل كتاب نقطتان: واحدة لارتباط نبرة النموذج المقترح مع القراءة البشرية، وأخرى لارتباط Google TTS. يظهر الرسم البياني بصريًا أن نقطة النموذج (بلون مميز على الأرجح) أعلى من نقطة Google للغالبية العظمى من الكتب، مما يدعم كميًا ادعاء 22/24.
• وصف الرسم البياني (الشكل 1ب - الصوت): مخطط نقطي مشابه لارتباط الصوت، يظهر أداءً أكثر هيمنة للنموذج المقترح، يتوافق مع نتيجة 23/24.

توفر هذه الرسوم البيانية دليلاً مرئيًا قويًا على قدرة النموذج الفائقة في محاكاة الإيقاع الصوتي السردي البشري.

5.2 دراسة التقييم البشري

بعد مقاييس الارتباط، أُجريت دراسة تقييم بشرية. تم استخدام تنبؤات الإيقاع الصوتي للنموذج لتوليد وسوم SSML (لغة ترميز تركيب الكلام) للتحكم في محرك تحويل النص إلى كلام. عُرض على المستمعين نسختان: الصوت الافتراضي لـ Google TTS والصوت المعزز بـ SSML باستخدام تنبؤات النموذج. كانت النتائج دقيقة: فضلت أغلبية صغيرة (12 من أصل 22 مشاركًا) القراءات المعززة بـ SSML، لكن التفضيل لم يكن ساحقًا. يسلط هذا الضوء على تعقيد تقييم جودة الصوت الذاتي ويشير إلى أنه بينما يلتقط النموذج الأنماط الإيقاعية الموضوعية جيدًا، فإن دمجها بسلاسة في المخرجات الصوتية النهائية يظل تحديًا.

6. إطار التحليل ودراسة الحالة

إطار عمل لتحليل الإيقاع الصوتي السردي:

1. تجزئة النص والتعليق التوضيحي: تقسيم الرواية إلى جمل. تشغيل مسارات معالجة اللغة الطبيعية من أجل:
   • التعرف على الكيانات المسماة (NER) لتحديد الشخصيات.
   • نسب الاقتباسات لربط الحوار بالشخصيات.
   • تصنيف النص لوضع علامات على الجمل كـ "سردية"، "حوار"، أو "وصف".
2. هندسة الخصائص السياقية: لكل جملة، إنشاء خصائص:
   • علامات ثنائية: `is_dialogue`, `is_narrative`.
   • معرف الشخصية للمتحدث (إذا كان في حوار).
   • بيانات وصفية: جنس الشخصية (من قاعدة معرفة خارجية).
   • تمثيل الجملة (MPNet) الذي يلتقط المحتوى الدلالي.
3. استخراج تسميات الإيقاع الصوتي: من الصوت المحاذي زمنيًا، استخراج النبرة (F0)، والصوت (طاقة RMS)، ومعدل الكلام (المقاطع/المدة) لكل جملة.
4. تدريب النموذج والاستدلال: تدريب نموذج LSTM (القسم 4.2) على أزواج {الخصائص → تسميات الإيقاع الصوتي}. للنص الجديد، تطبيق النموذج المدرب للتنبؤ بخصائص الإيقاع الصوتي.
5. توليد SSML والتركيب: تحويل النبرة المتوقعة (كمضاعف نسبي، مثل `+20%`)، والصوت (مثل `+3dB`)، والسرعة (مثل `slow`) إلى وسوم SSML. إدخال النص الموسوم إلى محرك تحويل نص إلى كلام عصبي عالي الجودة (مثل Google، Amazon Polly) لتقديم الصوت النهائي.

دراسة الحالة - تطبيق الإطار: خذ بعين الاعتبار الجملة "'لن أعود أبدًا،' قال بتحدٍ." سيقوم الإطار بـ: 1) التعرف عليها كحوار قالته شخصية ذكرية ("قال"). 2) قد يتنبأ النموذج، بعد أن تعلم أن الحوار الذكوري غالبًا ما يكون له نبرة أقل وصوت أعلى من السرد: `pitch_shift = -10%`, `volume_boost = +2dB`. 3) سيتم تقديم هذه كـ SSML: `لن أعود أبدًا، قال بتحدٍ.`. سيكون الكلام الاصطناعي الناتج حاملاً للتوكيد الدرامي المقصود.

7. التطبيقات المستقبلية والاتجاهات

• سرد الكتب الصوتية المخصص: يمكن للمستخدمين اختيار "أسلوب الراوي" (مثل "هادئ"، "درامي"، "ساخر") عن طريق ضبط نموذج التنبؤ بالإيقاع الصوتي على الكتب الصوتية التي يقرأها رواة بهذا الأسلوب.
• سرد القصص التفاعلي في الوقت الفعلي: التكامل مع محركات الألعاب أو منصات القصص التفاعلية، حيث يتم تعديل الإيقاع الصوتي ديناميكيًا بناءً على التوتر السردي وعلاقات الشخصيات وخيارات اللاعب.
• إمكانية الوصول وتعلم اللغة: تحويل نص إلى كلام معزز لمستخدمي ضعاف البصر، مما يوفر وصولًا أكثر جاذبية ووضوحًا للأدب. يمكن أن يساعد أيضًا متعلمي اللغة من خلال توفير نماذج نطق أكثر تعبيرًا ووعيًا بالسياق.
• أدوات إبداعية متعددة الوسائط: للمؤلفين ومنتجي الصوت، أدوات تقترح علامات الإيقاع الصوتي في المخطوطة أو تولد تلقائيًا مسودات صوتية معبرة للمراجعة.
• اتجاه البحث - العاطفة والمشاعر: توسيع النموذج للتنبؤ بإيقاع صوتي عاطفي أكثر دقة (مثل الفرح، الحزن، الغضب) من خلال دمج تحليل المشاعر والكشف عن العاطفة من النص، على غرار الجهود في تحويل النص إلى كلام العاطفي كما يظهر في أبحاث معاهد مثل معهد تكنولوجيا اللغات بجامعة كارنيجي ميلون.
• اتجاه البحث - أنظمة شاملة من البداية للنهاية: التحرك إلى ما وراء التحكم اللاحق بـ SSML لتدريب نظام تحويل نص إلى كلام عصبي شامل من البداية للنهاية (مثل Tacotron 2 أو FastSpeech 2) حيث يكون التنبؤ بالإيقاع الصوتي جزءًا متكاملاً ومشروطًا في النموذج الصوتي، مما قد ينتج مخرجات أكثر طبيعية وتماسكًا.

8. المراجع

1. Pethe, C., Pham, B., Childress, F. D., Yin, Y., & Skiena, S. (2025). Prosody Analysis of Audiobooks. arXiv preprint arXiv:2310.06930v3.
2. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
3. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
4. Song, K., et al. (2020). MPNet: Masked and Permuted Pre-training for Language Understanding. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
5. Google Cloud. (n.d.). Text-to-Speech. Retrieved from https://cloud.google.com/text-to-speech
6. World Wide Web Consortium (W3C). (2010). Speech Synthesis Markup Language (SSML) Version 1.1. W3C Recommendation.
7. Zen, H., et al. (2019). LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech. Interspeech 2019.

وجهة نظر المحلل: تفكيك نقدي

الفكرة الأساسية: هذا البحث ليس فقط عن جعل الروبوتات تبدو أكثر إنسانية؛ إنه استغلال ذكي لمجموعة بيانات ضخمة وغير مستغلة - عروض الكتب الصوتية البشرية - لهندسة القواعد الضمنية لتقديم السرد بشكل عكسي. يحدد المؤلفون بشكل صحيح أن صناعة الكتب الصوتية بمليارات الدولارات هي، في الواقع، مجموعة تعليقات توضيحية ضخمة موجودة مسبقًا للكلام المعبر. رؤيتهم الرئيسية هي معاملة الراوي كجهاز استشعار عالي الدقة للتأثير النصي، وهو مفهوم له أوجه تشابه مع كيفية استخدام CycleGAN (Zhu et al., 2017) لمجموعات الصور غير المزدوجة لتعلم ترجمة الأسلوب - هنا، "الأسلوب" هو الأداء الإيقاعي.

التدفق المنطقي: المنطق مقنع: 1) محاذاة النص والصوت لإنشاء مجموعة بيانات خاضعة للإشراف. 2) استخدام معالجة اللغة الطبيعية القوية (MPNet) لفهم النص. 3) استخدام نموذج تسلسلي (LSTM) لرسم خريطة السياق إلى الإيقاع الصوتي. 4) التغلب على عملاق تجاري (Google) في لعبته الخاصة في مقاييس الارتباط. التدفق من إنشاء البيانات إلى تفوق النموذج نظيف ومدعوم جيدًا بمعدلات فوزه 22/24 و 23/24. ومع ذلك، تضعف السلسلة عند الرابط الحاسم الأخير: تفضيل المستمع الذاتي. نتيجة 12/22 هشة إحصائيًا وتكشف عن مشكلة "المقاييس الجيدة، التجربة المتوسطة" الدائمة في الصوت الذكي.

نقاط القوة والضعف: القوة لا يمكن إنكارها في مجموعة البيانات والتفوق الواضح القابل للقياس الكمي على خط الأساس لأنظمة تحويل النص إلى كلام في التقاط الملامح الإيقاعية الموضوعية. تحليل مستوى الشخصية (ذكر مقابل أنثى، سرد مقابل حوار) هو جوهرة من الملاحظة التجريبية التي توفر كلًا من التحقق من صحة النموذج ورؤية رائعة في الأداء البشري. العيب الرئيسي هو الاعتماد على التعديل اللاحق بـ SSML. كما سيخبرك أي مهندس صوت، تطبيق عناصر التحكم في الإيقاع الصوتي بعد الحدث على صوت تحويل نص إلى كلام عام غالبًا ما يبدو اصطناعيًا ومنفصلاً - مثل استخدام معادل رسومي على تسجيل رديء. نتائج التقييم البشري تصرخ بهذا القيد. يتنبأ النموذج بالنغمات الصحيحة، لكن محرك التركيب لا يستطيع عزفها بتناغم. النهج الأكثر طموحًا والشامل من البداية للنهاية، كما ابتكره نماذج مثل FastSpeech 2، هو الخطوة التالية الضرورية ولكن الأكثر صعوبة.

رؤى قابلة للتنفيذ: بالنسبة لفرق المنتجات، الاستفادة الفورية هي ترخيص أو البناء على مجموعة البيانات والنموذج هذه لإضافة وضع "راوي القصص" أو "معبر" إلى عروض تحويل النص إلى كلام الحالية - وهي ميزة قابلة للتطبيق على المدى القريب. بالنسبة للباحثين، المسار ذو شقين: أولاً، دمج هذا التنبؤ بالإيقاع الصوتي مباشرة في النموذج الصوتي لنظام تحويل نص إلى كلام عصبي، والتحرك إلى ما وراء SSML. ثانيًا، توسيع التحليل إلى ما وراء الخصائص الأساسية الثلاثة ليشمل جودة الصوت (النفسية، الخشونة) والحالات العاطفية الأكثر دقة، ربما بالاستفادة من موارد مثل مجموعة بيانات MSP-Podcast لتحليل الكلام العاطفي. ينجح البحث في فتح عرق غني من البحث؛ الآن تبدأ المهمة الصعبة لتنقية الخام.