شارك باحثون من جامعة محمد بن زايد للذكاء الاصطناعي في مؤتمر الأساليب التجريبية في معالجة اللغة الطبيعية، الذي عُقد مؤخراً في ميامي، حيث عرضوا أدوات جديدة لتحسين دقة إجابات النماذج اللغوية الكبيرة، من بينها تطبيق يتيح للمستخدمين التحقق من صحة هذه الإجابات، وتقييم أداء هذه النماذج وفقاً لمعايير متعددة، وتقييم أداء أدوات التحقق الآلي.
تقدم النماذج اللغوية الكبيرة المشهورة اليوم، مثل GPT من شركة «أوبن أيه آي» وLLaMA من شركة «ميتا»، فوائد عظيمة للمستخدمين، بيد أن الباحثين وجدوا أن حوالي 10% من المعلومات التي تقدمها هذه النماذج كاذبة، ولكن يصعب على المستخدمين كشف ذلك لأن النماذج تقدمها باعتبارها معلومات مؤكدة وتقرنها مع معلومات صحيحة.
منذ إطلاق «تشات جي بي تي» في نهاية عام 2022، صمم المطورون مجموعة متنوعة من الأدوات للتحقق من صحة المعلومات التي يقدمها. ولكن هذه الأدوات ليست دقيقة دائماً، كما توضح يوكسيا وانغ، وهي باحثة ما بعد الدكتوراه في جامعة محمد بن زايد للذكاء الاصطناعي وشاركت في إعداد الدراسات البحثية التي قُدِّمت في مؤتمر الأساليب التجريبية في معالجة اللغة الطبيعية، حيث خلصت وانغ وزملاؤها في إحدى تلك الدراسات إلى أن بعضاً من أفضل أدوات التحقق الآلي الموجودة اليوم لا تكشف عن حوالي 40% من المعلومات الكاذبة التي تقدمها النماذج اللغوية الكبيرة.
تحديات التحقق
التحقق من صحة المعلومات ليست مهمة سهلة، حيث تتكون هذه العملية من عدة خطوات، ومن المهم معرفة الخطوة التي قد يخطئ فيها النموذج، وتوضح يوكسيا وانغ أنه بينما يُقاس أداء أدوات التحقق في كثير من الأحيان وفقاً لمخرجاتها النهائية، فإن هذه الطريقة ذات فائدة محدودة لأنها لا تبين بالتفصيل موضع حدوث الخطأ، وتواصل كلامها قائلة: «هذا دفعنا إلى إنشاء معيار دقيق لتحليل كل خطوة حتى يتمكن المطورون من تقييم أنظمتهم وتحديد الخطوات الضعيفة والقوية وتحسين النموذج».
تصف يوكسيا وانغ وزملاؤها في دراستهم سلسلة من ثماني مهام تنفذها أدوات التحقق الآلي لتحديد المعلومات الكاذبة وتصحيحها، أولى هذه المهام هي تحليل الإجابة، حيث يقوم النظام بتفكيك الإجابة التي يقدمها النموذج اللغوي الكبير إلى «عبارات صغيرة خالية من أي سياق وتحتوي كل منها معلومة واحدة فقط».
لنأخذ مثلاً الإجابة التالية: «اشترى إيلون ماسك موقع تويتر في عام 2020 وغيّر اسمه إلى X»، فهذه الإجابة تُقسّم إلى ثلاث عبارات منفصلة وهي: «اشترى ماسك تويتر»، «اشتراه في عام 2020»، «غيّر اسمه إلى X»، ثم يتم إخراجها من سياقها والتحقق من صحة كل منها لوحدها، حيث يجري التحقق من أن إيلون ماسك اشترى تويتر، وأن ذلك حدث في عام 2020، وأنه غيّر اسمه إلى X. أما الخطوات الأخرى في عملية التحقق من صحة المعلومات فهي: تقييم الجدارة بالتحقق، واسترجاع الأدلة وجمعها، وتقييم الوضع، واتخاذ القرار بشأن التصحيح، وتصحيح المعلومات، ومراجعة الإجابة النهائية. إلى جانب الإطار المذكور أعلاه، وضعت يوكسيا وانغ وفريقها معياراً للتحقق من صحة المعلومات اسمه Factcheck-Bench بغرض تقييم أداء أدوات التحقق الآلي.
وشكل المعيار أساساً لتطوير برنامج آخر اسمه OpenFactCheck يقيّم كلاً من النماذج اللغوية الكبيرة وأدوات التحقق الآلي. ويصف الباحثون هذا البرنامج بأنه برنامج موحد يتكون من ثلاث أدوات.
الأداة الأولى هي أداة تحقق آلي اسمها ResponseEvaluator، وهي مُدمجة فـــي تطبيق على الإنترنت ويمكن للمستخدمين تخصيصها للتحقق من صحة المعلومات التي تقدمها النماذج اللغوية الكبيرة.
الأداة الثانية، هي LLMEvaluator، وهي تقيّم دقة المعلومات التي تقدمها النماذج اللغوية الكبيرة عبر مقارنتها بمجموعات بيانات معيارية بهدف تحديد نقاط قوة النموذج، ويمكن للمطورين استخدام تطبيق OpenFactCheck على شبكة الإنترنت لاختبار نماذجهم على مجموعات البيانات هذه واستلام تقارير عن أداء تلك النماذج.
أما الأداة الثالثة فهي CheckerEvaluator، وهي تقيّم أداء أدوات التحقق وترتبها في قائمة تبعاً لمستوى الأداء بهدف التشجيع على تطوير أدوات جديدة.