تصنيف الرواة غير الموثوقين باستخدام نماذج اللغة الكبيرة

جدول المحتويات

• 1 المقدمة
• 2 المنهجية
  • 2.1 مجموعة بيانات TUN A
  • 2.2 إطار تصنيف عدم الموثوقية
  • 2.3 الإعداد التجريبي
• 3 التنفيذ التقني
  • 3.1 الإطار الرياضي
  • 3.2 بنى النماذج
• 4 النتائج والتحليل
  • 4.1 مقاييس الأداء
  • 4.2 التحليل المقارن
• 5 إطار دراسة الحالة
• 6 التطبيقات المستقبلية
• 7 التحليل النقدي
• 8 المراجع

1 المقدمة

يمثل الرواة غير الموثوقين تحديًا كبيرًا في اللسانيات الحاسوبية، خاصة مع انتشار الروايات من منظور الشخص الأول عبر المنصات الرقمية. يربط هذا البحث بين النظرية الأدبية من علم السرد وتقنيات معالجة اللغة الطبيعية الحديثة لتطوير أنظمة تصنيف آلية لموثوقية الراوي. يعالج العمل فجوات حرجة في تقييم الثقة للروايات الشخصية عبر مجالات تشمل وسائل التواصل الاجتماعي، والتقييمات، والاتصالات المهنية.

2 المنهجية

2.1 مجموعة بيانات TUN A

تتضمن مجموعة بيانات TUN A (تصنيف شرح الرواة غير الموثوقين) روايات موضحة من قبل خبراء من مجالات متعددة: منشورات المدونات، ومناقشات المنتديات الفرعية على ريديت، وتقييمات الفنادق، والأعمال الأدبية. تحتوي مجموعة البيانات على 1200 حالة موضحة مع تسميات موثوقية متعددة الأبعاد.

2.2 إطار تصنيف عدم الموثوقية

تم تعريف ثلاثة أنواع متميزة لعدم الموثوقية: داخل السرد (التناقضات الداخلية والعادات اللفظية)، بين السرد (التناقضات بين الرواة الأساسيين والثانويين)، وبين النصوص (التعارض مع المعرفة الواقعية الخارجية).

2.3 الإعداد التجريبي

استخدمت التجارب كلاً من نماذج اللغة الكبيرة مفتوحة الوزن (Llama-2, Mistral) والمملوكة (GPT-4, Claude-2) في تكوينات التعلم القليل العدد، والضبط الدقيق، والتعلم المنهجي. قام نهج التعلم المنهجي بتعريض النماذج تدريجيًا لأنماط موثوقية متزايدة التعقيد.

3 التنفيذ التقني

3.1 الإطار الرياضي

تمت صياغة مشكلة تصنيف الموثوقية على النحو التالي: $P(R|T) = \frac{P(T|R)P(R)}{P(T)}$ حيث تمثل $R$ تسميات الموثوقية وتمثل $T$ السمات النصية. يستخدم استخراج السمات آليات الانتباه في المحولات: $Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$

3.2 بنى النماذج

تقوم بنى الترميز المزدوج بمعالجة محتوى السرد والإشارات السياقية بشكل منفصل قبل طبقات الدمج. تتضمن النماذج أهداف التعلم متعدد المهام لتحسين الأنواع الثلاثة لعدم الموثوقية بشكل مشترك.

4 النتائج والتحليل

4.1 مقاييس الأداء

حققت أفضل نتائج أداء درجات F1 قدرها 0.68 للتصنيف داخل السرد، و0.59 للتصنيف بين السرد، و0.52 للتصنيف بين النصوص. تظهر النتائج الصعوبة التدريجية عبر أنواع عدم الموثوقية، حيث أثبت التصنيف بين النصوص أنه الأكثر تحديًا بسبب الحاجة إلى المعرفة الخارجية.

4.2 التحليل المقارن

تفوقت النماذج مفتوحة الوزن المُعدلة بدقة على النماذج المملوكة ذات العدد القليل في مهام داخل السرد، بينما حافظت النماذج المملوكة على المزايا في التصنيف بين النصوص الذي يتطلب معرفة عالمية أوسع.

5 إطار دراسة الحالة

السيناريو: تحليل تقييم الفندق
النص: "الغرفة كانت مثالية تمامًا، على الرغم من أنني أعتقد أن السرير could have been more comfortable والمنظر لم يكن بالضبط ما توقعت. كان الموظفون مفيدين، على ما أعتقد."
التحليل: يُظهر هذا عدم موثوقية داخل السرد من خلال العبارات التحوطية ("أعتقد"، "على ما أعتقد") والتقييمات المتناقضة، مما يقلل من مصداقية الراوي على الرغم من النبرة الإيجابية العامة.

6 التطبيقات المستقبلية

تشمل التطبيقات المحتملة التقييم الآلي للمصداقية لتعديل المحتوى عبر الإنترنت، وأدوات تعليمية لتحسين الكتابة، واللسانيات الجنائية لتحليل الشهادة القانونية، وأنظمة الذكاء الاصطناعي المحادثة المعززة القادرة على اكتشاف عدم اليقين أو الخداع لدى المستخدم.

7 التحليل النقدي

الفكرة الأساسية: يمثل هذا البحث محاولة جريجة لكنها معيبة أساسيًا لتكميم النظرية الأدبية من خلال الأساليب الحسابية. طموح المؤلفين للربط بين علم السرد ومعالجة اللغة الطبيعية جدير بالإشادة، لكن منهجهم يعاني من التبسيط المفرط للظواهر النفسية المعقدة.

التسلسل المنطقي: تتبع الورقة هيكل بحث التعلم الآلي التقليدي—تعريف المشكلة، إنشاء مجموعة البيانات، التجريب، النتائج. ومع ذلك، فإن القفزة المنطقية من النظرية الأدبية إلى التسميات الحسابية تفتقر إلى التحقق الصارم. مثل المحاولات المبكرة لتحليل المشاعر التي اختزلت المشاعر المعقدة إلى ثنائيات إيجابية/سلبية، فإن هذا العمل يخاطر بخلق سرير بروكروستس حيث يتم إجبار الأجهزة السردية الدقيقة على فئات جامدة.

نقاط القوة والعيوب: مجموعة بيانات TUN A هي جوهرة الورقة البحثية—موضحة من قبل خبراء، ومتعددة المجالات، ومتاحة للجمهور. يعالج هذا فجوة حرجة في موارد التحليل السردي. ومع ذلك، فإن أداء التصنيف (درجات F1 0.52-0.68) يكشف عن قيود أساسية. تتعثر النماذج خاصة مع عدم الموثوقية بين النصوص، مما يعكس التحديات التي لوحظت في ورقة CycleGAN حيث يعمل تكييف المجال بشكل أفضل للسمات السطحية من السمات الدلالية. يظهر نهج التعلم المنهجي promise لكنه يبدو غير مكتمل التطور مقارنة بتقنيات التدريب التدريجي المستخدمة في نماذج الرؤية واللغة مثل CLIP.

رؤى قابلة للتنفيذ: يجب أن يتضمن العمل المستقبلي سمات سيكولغوية تتجاوز الأنماط النصية—إشارات نبرية للروايات المنطوقة، وتحليل إيقاع الكتابة، والتقاليد السردية cross-cultural. يجب أن يتطلع المجال إلى أطر علم النفس المعرفي مثل نظرية العقل لنمذجة قصديّة الراوي. الأهم من ذلك، يجب على الباحثين معالجة الآثار الأخلاقية: يمكن أن يصبح التقييم الآلي للموثوقية أداة خطيرة لتشويه مصداقية الأصوات المهمشة إذا لم يتم تطويره مع مراعاة دقيقة للعوامل الثقافية والسياقية.

8 المراجع

1. Booth, W.C. (1961). The Rhetoric of Fiction.
2. Nünning, A. (2015). Handbook of Narratology.
3. Hansen, P.K. (2007). Reconsidering the Unreliable Narrator.
4. Zhu et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks.
5. Radford et al. (2021). Learning Transferable Visual Models From Natural Language Supervision.