DashBench من DoorDash يختبر أداء الذكاء في مراجعة الأكواد
كشفت DoorDash عن أداة داخلية جديدة باسم DashBench لتقييم قدرة نماذج الذكاء الاصطناعي على مراجعة الأكواد البرمجية واكتشاف الأخطاء، بهدف تحسين جودة البرمجيات وتقليل المشكلات التي قد تفشل الأنظمة الذكية في رصدها.
تفاصيل الخبر
أعلنت شركة DoorDash عن تطوير معيار داخلي جديد يحمل اسم DashBench، وهو نظام اختبار يهدف إلى قياس مدى فعالية أدوات الذكاء الاصطناعي المستخدمة في مراجعة الأكواد البرمجية. وجاء تطوير الأداة بعد أن أدركت الشركة أن طرق التقييم التقليدية كانت تقيس فقط الأخطاء التي يكتشفها الذكاء الاصطناعي، دون معرفة حجم المشكلات التي يفشل في اكتشافها.
ويعتمد DashBench على اختبار نماذج الذكاء الاصطناعي باستخدام 105 تغييرات برمجية سابقة من مشاريع الشركة، بهدف معرفة عدد الأخطاء والمشكلات التي تستطيع النماذج تحديدها مقارنة بالنتائج الحقيقية.
ومن أبرز نتائج الاختبارات:
- أظهرت النماذج التي تعمل بشكل منفرد في مراجعة الأكواد قدرة على اكتشاف ما بين 20% و30% فقط من المشكلات الموجودة.
- تمكن دمج نموذجين من Claude داخل نظام مراجعة واحد من اكتشاف أكثر من نصف الأخطاء.
- حقق الجمع بين نموذج Kimi K2.6 المجاني للتنزيل ونموذج Claude Fable 5 أفضل النتائج في اختبارات DoorDash.
- استطاع هذا الدمج اكتشاف حوالي ثلثي المشكلات البرمجية، إضافة إلى العثور على 8 من أصل 10 أخطاء حرجة.
- بلغت تكلفة المراجعة الواحدة باستخدام هذا النظام حوالي 3.81 دولار، ما يجعله خياراً اقتصادياً مقارنة ببعض البدائل.
- أكد آندي فانغ (Andy Fang)، المؤسس المشارك لـ DoorDash، أن DashBench يمنح الشركة ثقة أكبر في إدخال نماذج مفتوحة المصدر ضمن عمليات تطوير البرمجيات.
ويعكس مشروع DashBench تحولاً مهماً في طريقة تعامل الشركات مع الذكاء الاصطناعي في بيئات العمل، إذ لم تعد المؤسسات تكتفي باستخدام النماذج الجاهزة، بل بدأت بتطوير أدوات داخلية لقياس أدائها وتحسينها وفق احتياجاتها الخاصة.
كما يوضح نجاح نموذج Kimi K2.6 أهمية النماذج مفتوحة المصدر في سوق الذكاء الاصطناعي، حيث أصبحت قادرة على تقديم أداء منافس بتكلفة أقل، مما يمنح الشركات خيارات إضافية بعيداً عن الاعتماد الكامل على النماذج المغلقة.
وتشير تجربة DoorDash إلى أن تقييم الذكاء الاصطناعي أصبح عنصراً أساسياً قبل دمجه في عمليات حساسة مثل مراجعة الأكواد، لأن معرفة ما يفوته النموذج لا تقل أهمية عن معرفة ما ينجح في اكتشافه.
الأهداف المستقبلية
تسعى DoorDash من خلال DashBench إلى تطوير عمليات البرمجة المعتمدة على الذكاء الاصطناعي، وتشمل أهدافها المستقبلية:
- تحسين دقة أدوات مراجعة الأكواد المدعومة بالذكاء الاصطناعي.
- تطوير معايير داخلية أكثر تقدماً لتقييم أداء النماذج.
- دمج نماذج مفتوحة المصدر عند تحقيقها جودة مناسبة بتكلفة أقل.
- تقليل الأخطاء البرمجية قبل وصولها إلى المستخدمين.
- زيادة اعتماد الذكاء الاصطناعي في دورة تطوير البرمجيات.
- مشاركة الدروس المستفادة لتحسين استخدام الذكاء الاصطناعي داخل قطاع التقنية.
تثبت تجربة DoorDash أن مستقبل استخدام الذكاء الاصطناعي في تطوير البرمجيات لا يعتمد فقط على قوة النموذج، بل على القدرة على قياس أدائه وتحسينه باستمرار. وقد تصبح أدوات مثل DashBench معياراً مهماً للشركات التي ترغب في استخدام الذكاء الاصطناعي بشكل أكثر موثوقية وكفاءة.
