كلود يخترق 3 أنظمة حقيقية خلال اختبارات الأمن السيبراني
كشفت شركة أنثروبيك أن نماذج كلود للذكاء الاصطناعي تمكنت من الوصول إلى أنظمة حقيقية لثلاث مؤسسات خلال اختبارات أمنية، بسبب خطأ في إعداد بيئة الاختبار، مما أثار نقاشاً جديداً حول سلامة وكلاء الذكاء الاصطناعي.
تفاصيل حادثة اختراق كلود للأنظمة
أعلنت Anthropic عن مراجعة واسعة لاختبارات الأمن السيبراني الخاصة بها، حيث اكتشفت ثلاث حالات تمكنت فيها نماذج كلود من الوصول إلى الإنترنت ثم التفاعل مع أنظمة حقيقية لم تكن ضمن نطاق الاختبار.
جاءت هذه المراجعة بعد حادثة مشابهة أعلنت عنها OpenAI، مما دفع أنثروبيك إلى تحليل أكثر من 141 ألف عملية اختبار بحثاً عن أي وصول غير مقصود إلى الشبكة.
أبرز تفاصيل الحوادث:
- حدثت الاختراقات أثناء اختبارات Capture The Flag التي تهدف إلى قياس قدرات النماذج في مجال الأمن السيبراني.
- كانت بيئة الاختبار مصممة على أنها محاكاة مغلقة بدون اتصال بالإنترنت، لكن خطأ في الإعداد سمح بالوصول إلى الشبكة.
- تعاملت النماذج مع الأنظمة الحقيقية على أنها جزء من التحدي، لأنها كانت تعتقد أن كل ما تصل إليه ضمن بيئة الاختبار.
- تمكن أحد نماذج كلود من استغلال كلمات مرور ضعيفة ونقاط وصول غير محمية للوصول إلى بيانات إنتاج حقيقية.
- قام نموذج آخر بإنشاء حزمة برمجية ضارة على منصة PyPI، حيث تم تنزيلها وتشغيلها على 15 نظاماً حقيقياً قبل إزالتها.
- أوضحت أنثروبيك أن النماذج لم تحاول الهروب من بيئة الاختبار أو تطوير أهداف خاصة بها، بل نفذت المهمة المطلوبة بناءً على فهم خاطئ للبيئة.
وشملت الحوادث ثلاثة نماذج مختلفة، من بينها Claude Opus 4.7 وClaude Mythos 5، حيث اختلف سلوك كل نموذج عند اكتشاف احتمالية التعامل مع أنظمة حقيقية.
أهداف أنثروبيك المستقبلية لتحسين أمان الذكاء الاصطناعي
أكدت أنثروبيك أنها ستعمل على تطوير إجراءات جديدة لمنع تكرار هذه الحوادث، مع التركيز على جعل بيئات الاختبار أكثر أماناً ومراقبة.
تشمل الخطوات المستقبلية:
- تعزيز حماية بيئات اختبار الذكاء الاصطناعي والتأكد من عدم وجود أي اتصال غير مقصود بالإنترنت.
- تطبيق مراقبة مستمرة لسجلات الاختبارات لاكتشاف السلوكيات غير المتوقعة بشكل أسرع.
- تحسين التعاون مع شركات تقييم الأمن السيبراني الخارجية لضمان تطبيق معايير حماية أعلى.
- إجراء مراجعات مستقلة لسلوك النماذج وقدراتها في التعامل مع المواقف الواقعية.
- تطوير تدريب النماذج على التمييز بين البيئات الحقيقية والمحاكاة قبل تنفيذ أي إجراءات حساسة.
- زيادة الاعتماد على أنظمة حماية متعددة الطبقات عند اختبار وكلاء الذكاء الاصطناعي المتقدمين.
وترى الشركة أن هذه الحوادث لا تشير بالضرورة إلى مشكلة في توافق أهداف الذكاء الاصطناعي، بل كانت نتيجة خلل في إعداد بيئة الاختبار، لكنها تؤكد الحاجة إلى تطوير معايير أكثر صرامة مع تطور قدرات النماذج.
تسلط حادثة اختراق نماذج كلود لثلاثة أنظمة حقيقية الضوء على التحديات الجديدة التي تواجه صناعة الذكاء الاصطناعي. ومع تزايد قدرات الوكلاء الذكيين، أصبحت حماية بيئات الاختبار ومراقبة سلوك النماذج خطوة أساسية لضمان استخدام أكثر أماناً ومسؤولية.
