Microsoft: الذكاء الاصطناعي يواجه صعوبة بتصحيح أخطاء البرامج
كشفت دراسة حديثة من Microsoft Research أن نماذج الذكاء الاصطناعي المتقدمة لا تزال تواجه صعوبات كبيرة في أداء مهام تصحيح الأخطاء البرمجية التي يُتقنها البشر.
تفاصيل الدراسة التقنية من Microsoft Research
نشرت Microsoft Research دراسة جديدة تسلط الضوء على التحديات التي تواجهها نماذج الذكاء الاصطناعي في مجال تصحيح الأخطاء البرمجية (debugging)، وهو أحد أعقد المهام في البرمجة.
أهم ما جاء في الدراسة:
- استخدمت الدراسة تسعة نماذج لغوية كبيرة (LLMs)، من ضمنها Claude 3.7 Sonnet.
- تم اختبار النماذج على 300 مشكلة برمجية من مجموعة بيانات SWE-bench Lite.
- النماذج واجهت صعوبة في إتمام نصف المهام، حتى عند استخدام أقوى النماذج المتوفرة.
- الأفضل أداءً كان Claude 3.7 Sonnet بنسبة نجاح بلغت 48.4%.
- حلّ OpenAI o1 و o3-mini خلفه بنسبة 30.2% و 22.1% على التوالي.
- يُعزى ضعف الأداء إلى غياب بيانات تتبع خطوات التصحيح البشري (debugging traces) عن بيانات تدريب النماذج.
الأهداف المستقبلية والرسائل المستخلصة
تسلط الدراسة الضوء على الحاجة إلى تطوير الذكاء الاصطناعي بشكل أكثر واقعية ودقة في مجالات البرمجة العملية:
- دمج بيانات تتبع تصحيح الأخطاء البشرية ضمن عمليات تدريب النماذج المستقبلية.
- تطوير نماذج تفكر بطريقة تسلسلية، وليس فقط توليد الكود بشكل مباشر.
- إعادة تقييم توقعات السوق حول قدرة الذكاء الاصطناعي على استبدال المطورين.
- التأكيد على أن أدوات الذكاء الاصطناعي لا تزال بحاجة لمزيد من الوقت والنضج قبل الاعتماد عليها في المهام المعقدة مثل التصحيح البرمجي.
رغم التطور السريع في نماذج الذكاء الاصطناعي، تؤكد دراسة مايكروسوفت أن الطريق ما زال طويلًا أمام هذه النماذج لتتفوق في المهارات الدقيقة والحيوية مثل تصحيح الأخطاء البرمجية.
