التدريب أم التقييم: أيهما المسؤول عن تدني النتائج؟

تواجه نماذج اللغة الكبيرة مشكلة الهلوسة، وهي ظاهرة توليد معلومات تبدو مقنعة لكنها خاطئة، وهذه المشكلة تعود في جوهرها إلى طريقة تقييم هذه النماذج بدلاً من تحسين عملية التدريب باهظة التكلفة. تشير أبحاث أوبن إيه آي إلى ضرورة إعادة التفكير في أساليب الاختبار لتقليل أخطاء هذه النماذج التي تبدو واثقة رغم عدم دقتها.

تفسير ظاهرة هلوسة نماذج اللغة الكبيرة وأسبابها

تعرف نماذج اللغة الكبيرة بأنها أنظمة تعتمد على توقع الكلمات التالية، حيث تتعلم نمط الجمل والتراكيب اللغوية دون التركيز على دقة الحقائق، وبالتالي فإنها تفتقر إلى القدرة على التحقق من صحة المعلومات التي تنتجها؛ ما يؤدي إلى توليد محتوى خاطئ لكن بأسلوب لغوي متقن ومحفز على الثقة. تكمن المشكلة في أن هذه النماذج تركز على الشكل اللغوي فقط، وليس على المضمون الواقعي، مما يفسر الأخطاء الواثقة التي قد ترتكبها، كما حدث مع روبوت المحادثة الذي أعطى إجابات خاطئة بثقة حول عنوان أطروحة دكتوراه لأحد الباحثين.

أهمية إعادة تصميم أنظمة تقييم نماذج اللغة لتقليل الهلوسة

تُشبه الورقة البحثية آليات التقييم الحالية بأنظمة الامتحانات التي لا تعاقب على الإجابات الخاطئة، مما يشجع النماذج على التخمين بدلاً من التوقف عند عدم اليقين. في هذه الحالة، تؤدي المكافآت على الدقة فقط إلى تحفيز النماذج على إنتاج معلومات خاطئة بثقة، دون محاولة الاعتراف بجهلها. لذلك، تدعو OpenAI إلى تعديل أنظمة التقييم لتشبه اختبارات SAT التي تعاقب التخمينات غير المدروسة وتكافئ النزاهة والاعتراف بعدم المعرفة، مما يسهل تقليل الهلوسة ويحفز نماذج اللغة على التعامل بشكل أكثر دقة ومسؤولية مع المعلومات.

كيفية تطبيق نظام تقييم يعاقب التخمين على نماذج اللغة الكبيرة

يقترح الحل أن تُمنح النماذج نقاطًا جزئية عند التعبير بطريقة مناسبة عن عدم معرفتها، بينما يُعاقب التخمين المؤكد الذي يؤدي إلى أخطاء. وتتضمن هذه الاستراتيجية عدة خطوات رئيسية:

• تصميم معايير تقييم تركز على تعرّف النموذج على الحدود المعرفية وعدم غموضه.
• تطوير اختبارات تميز بين الإجابات الدقيقة والتخمينات الخاطئة المقنعة.
• إدخال آلية لمكافأة الصراحة وعدم اليقين السليم بدلاً من التشجيع على التخمين العشوائي.
• تحديث نماذج التدريب لتعزيز هذه القواعد الجديدة ضمن عمليات تقييم الأداء.

توضح الورقة البحثية أن استمرار المكافأة على التخمينات المحظوظة سيبقي النماذج تتعلم أساليب التخمين بدلاً من التنبه لأخطائها، مما يؤكد ضرورة اعتماد أنظمة تقييم متطورة تعزز من جودة المخرجات وتقليل الهلوسة.

يظهر بوضوح أن مجال تقييم نماذج اللغة يحتاج إلى تعديل جذري يعكس حقيقة طبيعة المعرفة التي يجب على هذه النماذج التعامل معها، فتغير طريقة التقييم يمثل خطوة محورية نحو بناء أنظمة أكثر موثوقية وأقل عرضة للوقوع في فخ الهلوسة؛ وهو تحد جديد في عالم الذكاء الاصطناعي يتطلب تطوير أدوات وطرق تقيّم وتدير المعلومات بشكل دقيق ومبتكر.