OpenAI تتراجع عن دعم SWE-Bench Pro بعد اكتشاف مشاكل بالاختبار
نشرت OpenAI بحثاً جديداً يكشف وجود مشكلات كبيرة في معيار اختبار البرمجة SWE-Bench Pro، حيث وجدت أن نحو 30% من المهام تحتوي على أخطاء تؤثر على دقة تقييم قدرات نماذج الذكاء الاصطناعي.
تفاصيل الخبر
أعلنت OpenAI عن نتائج مراجعة شاملة لمعيار SWE-Bench Pro، أحد أشهر اختبارات قياس أداء نماذج الذكاء الاصطناعي في تطوير البرمجيات، موضحة أنها تراجعت عن توصيتها السابقة باستخدامه بعد اكتشاف عدد كبير من المهام غير الصالحة للتقييم.
وكانت OpenAI قد اقترحت سابقاً الانتقال إلى SWE-Bench Pro بعد ظهور مشكلات في معيار SWE-Bench Verified، باعتباره اختباراً أكثر واقعية يركز على مهام برمجية طويلة ومعقدة. إلا أن التدقيق الجديد أظهر أن المعيار نفسه يحتوي على عيوب قد تؤدي إلى نتائج غير دقيقة حول قدرات النماذج.
ومن أبرز نتائج البحث:
- وجدت OpenAI أن حوالي 30% من مهام SWE-Bench Pro قد تكون غير صالحة للتقييم.
- قامت الشركة بمراجعة 731 مهمة ضمن النسخة العامة من الاختبار.
- كشفت المراجعة عن وجود:
- 200 مهمة (27.4%) تحتوي على مشكلات وفق نظام التحليل الآلي والمراجعة المدعومة بالذكاء الاصطناعي.
- 249 مهمة (34.1%) اعتبرها المهندسون البشريون تحتوي على أخطاء.
- شارك في عملية المراجعة مهندسون برمجيات ذوو خبرة، حيث تمت مراجعة كل مهمة من قبل خمسة مهندسين مستقلين.
وحددت OpenAI عدة أنواع رئيسية من المشكلات التي أثرت على جودة الاختبار:
- اختبارات صارمة بشكل مبالغ فيه:
بعض الاختبارات كانت تفرض طريقة تنفيذ محددة غير مذكورة في التعليمات، مما يجعل الحلول الصحيحة وظيفياً تفشل. - تعليمات غير مكتملة:
بعض المهام لم توضح جميع المتطلبات، بينما كانت الاختبارات المخفية تعتمد على شروط لم يكن من الممكن استنتاجها بشكل منطقي. - اختبارات ضعيفة التغطية:
بعض الاختبارات لم تتحقق بشكل كامل من الحل، مما سمح بمرور إصلاحات غير مكتملة. - تعليمات مضللة:
بعض أوصاف المهام وجهت النماذج نحو سلوك معين، بينما كانت الاختبارات تتطلب نتيجة مختلفة.
واعتمدت OpenAI في المراجعة على نظام يجمع بين التحليل الآلي والمراجعة البشرية، حيث قامت أدوات الذكاء الاصطناعي بفحص محاولات النماذج البرمجية، والتعليمات، ونتائج الاختبارات، ثم تمت مراجعة الحالات المشكوك فيها من قبل خبراء بشريين.
وترى الشركة أن المشكلة الأساسية تكمن في صعوبة إنشاء اختبارات برمجية تكون في الوقت نفسه صعبة وعادلة. فالكثير من مهام الاختبارات الأصلية جاءت من مشاريع مفتوحة المصدر، والتي صممت أساساً للتعاون بين البشر، وليس لقياس أداء نماذج الذكاء الاصطناعي.
وأكدت OpenAI أن تطور قدرات الذكاء الاصطناعي ساعد في اكتشاف هذه المشكلات بشكل أسرع، حيث يمكن استخدام النماذج الحديثة لفحص التعليمات والاختبارات البرمجية وتحليل نقاط الضعف على نطاق واسع.
الأهداف المستقبلية
تسعى OpenAI والمجتمع البحثي إلى تحسين طرق تقييم نماذج الذكاء الاصطناعي البرمجية من خلال:
- تطوير معايير اختبار جديدة مصممة خصيصاً لقياس قدرات النماذج.
- الاعتماد على اختبارات أكثر دقة وعدالة وأقل عرضة للأخطاء.
- تعزيز دور المهندسين والخبراء في تصميم وتقييم معايير البرمجة.
- استخدام الذكاء الاصطناعي للمساعدة في اكتشاف مشاكل الاختبارات قبل استخدامها.
- إنشاء مقاييس تعكس القدرات الحقيقية للنماذج بدلاً من النتائج المضللة.
كما أوضحت OpenAI أنها ستتراجع عن توصيتها السابقة باستخدام SWE-Bench Pro، داعية مجتمع أبحاث الذكاء الاصطناعي إلى تطوير اختبارات أكثر موثوقية يمكن الاعتماد عليها عند مقارنة النماذج واتخاذ قرارات تتعلق بالنشر والسلامة.
يكشف تدقيق OpenAI لـ SWE-Bench Pro أن تقييم الذكاء الاصطناعي لا يعتمد فقط على قوة النموذج، بل أيضاً على جودة الاختبارات المستخدمة لقياسه. ومع تطور النماذج البرمجية، ستصبح الحاجة إلى معايير أكثر دقة وشفافية أمراً أساسياً لتحديد قدراتها الحقيقية.
