OpenAI تطور GPT-Red لتعزيز أمان نماذج الذكاء الاصطناعي
أعلنت OpenAI عن نظام أمني جديد باسم GPT-Red، وهو نموذج ذكاء اصطناعي داخلي مصمم لاختبار نقاط ضعف النماذج عبر هجمات محاكاة متقدمة. استخدمت الشركة هذا النظام لتدريب GPT-5.6 على مقاومة هجمات حقن الأوامر وتحسين مستوى الأمان.
تفاصيل الخبر
كشفت OpenAI عن أبحاث جديدة حول GPT-Red، وهو نموذج مخصص لفريق الأمان يعمل كـ”مختبر اختراق آلي” (Automated Red Teamer)، بهدف اكتشاف ثغرات الذكاء الاصطناعي قبل إطلاق النماذج للمستخدمين.
ويأتي تطوير GPT-Red استجابة لتحدٍ متزايد في مجال الذكاء الاصطناعي، حيث أصبحت النماذج الحديثة أكثر قدرة على استخدام المتصفحات، والملفات، والتطبيقات المتصلة، والأدوات الخارجية، مما يفتح المجال أمام هجمات مثل حقن الأوامر (Prompt Injection) التي تحاول خداع النموذج لتنفيذ تعليمات ضارة.
ومن أبرز ما كشفته OpenAI حول النظام:
- تم تدريب GPT-Red ليبحث تلقائيًا عن نقاط ضعف النماذج من خلال إنشاء هجمات واختبار ردود الذكاء الاصطناعي وتحسين استراتيجياته باستمرار.
- يعتمد النظام على تقنية التعلم الذاتي بالمنافسة (Self-play Reinforcement Learning)، حيث يعمل مهاجم ذكي ومدافع ذكي ضد بعضهما البعض.
- يحصل GPT-Red على مكافآت عندما ينجح في إنشاء هجوم فعّال، بينما تحصل النماذج المدافعة على مكافآت عند مقاومة الهجمات وتنفيذ المهمة الأصلية.
- استخدمت OpenAI هذا النظام مباشرة في تدريب GPT-5.6 بهدف تحسين مقاومته لهجمات حقن الأوامر.
- أصبح GPT-5.6 أكثر صلابة، حيث حقق انخفاضًا بمقدار 6 أضعاف في حالات الفشل مقارنة بأفضل نموذج إنتاج سابق للشركة قبل أربعة أشهر.
- احتفظت OpenAI بـGPT-Red كنظام داخلي منفصل، بهدف منع انتشار قدراته الهجومية الخاصة إلى جهات خارجية.
وأظهرت الاختبارات أن GPT-Red لا يقتصر على اكتشاف ثغرات معروفة فقط، بل يستطيع ابتكار طرق جديدة للهجوم. ففي اختبار يعتمد على سيناريوهات غير مستخدمة أثناء التدريب، تمكن النظام من تحقيق نجاح في 84% من الحالات مقارنة بـ 13% لفِرق الاختبار البشرية.
كما اختبرت OpenAI قدرات GPT-Red في بيئات واقعية، منها:
- مهاجمة نظام وكيل ذكاء اصطناعي يدير آلة بيع ذكية داخل بيئة مشابهة للاستخدام الحقيقي.
- تمكن النظام من اكتشاف طرق لتغيير أسعار منتجات مرتفعة إلى أسعار منخفضة جدًا.
- استطاع تنفيذ أوامر ضارة مثل إلغاء طلبات مستخدمين آخرين ضمن بيئة الاختبار.
- تم استخدامه لاختبار وكلاء برمجيين في سيناريوهات تهدف إلى استخراج بيانات حساسة.
وأكدت OpenAI أن الهدف الأساسي من GPT-Red ليس إنشاء أدوات هجومية، بل استخدام قدرات النماذج الحالية لبناء نماذج مستقبلية أكثر أمانًا، من خلال اكتشاف الأخطاء قبل وصولها إلى المستخدمين.
الأهداف المستقبلية
يمثل GPT-Red خطوة جديدة نحو جعل أنظمة الذكاء الاصطناعي قادرة على المساعدة في تحسين مستوى أمانها بشكل مستمر، وهو اتجاه قد يصبح عنصرًا أساسيًا مع تطور الوكلاء الذكيين.
ومن أبرز أهداف OpenAI المستقبلية:
- توسيع نطاق الاختبارات الأمنية الآلية لتغطية مزيد من أنواع الهجمات.
- تطوير نسخ أقوى من GPT-Red باستخدام المزيد من البيانات والقدرات الحاسوبية.
- تحسين قدرة النماذج على مقاومة الهجمات دون التأثير على أدائها الطبيعي.
- دمج تقنيات الاختبار الآلي مع مراجعات الباحثين البشر والجهات الخارجية.
- بناء أنظمة ذكاء اصطناعي أكثر موثوقية عند التعامل مع الأدوات والبيانات الحساسة.
وترى OpenAI أن التحسين الذاتي في مجال الأمان قد يصبح مسارًا مهمًا لمواكبة التطور السريع لقدرات الذكاء الاصطناعي، بحيث تتطور وسائل الحماية بالتوازي مع تطور النماذج نفسها.
يمثل GPT-Red تحولًا مهمًا في طريقة اختبار أمان نماذج الذكاء الاصطناعي، إذ يسمح للنظام باكتشاف طرق جديدة للهجوم والمساعدة في تطوير دفاعات أقوى. ومع استمرار تطور الوكلاء الذكيين، قد تصبح أنظمة الاختبار الآلية عنصرًا رئيسيًا لضمان استخدام أكثر أمانًا وموثوقية للذكاء الاصطناعي.
