Anthropic تختبر باحثين آليين لتحسين أمان نماذج الذكاء الاصطناعي
أعلنت Anthropic عن بحث جديد يختبر قدرة وكلاء Claude على إجراء أبحاث أمان الذكاء الاصطناعي بصورة شبه مستقلة، مع نتائج تجاوزت أداء الخبراء البشريين في عدد من اختبارات السلوكيات الخطرة.
تفاصيل بحث Anthropic حول أمان الذكاء الاصطناعي
اعتمدت التجربة على مجموعة من وكلاء Claude الذين تولوا مهام بحثية متكاملة بهدف اكتشاف بعض السلوكيات غير المرغوبة في نماذج الذكاء الاصطناعي ثم تدريب النماذج على الحد منها.
- عمل Claude على 10 أنواع من مشكلات سلوك الذكاء الاصطناعي، من بينها التملق للمستخدم، والخداع، ومحاولات تجاوز أنظمة الحماية.
- اتبع الوكلاء دورة متكررة شملت البحث في الأدبيات العلمية، واقتراح أساليب التدريب، ثم تقييم النتائج.
- تراوحت التحسينات بين 26% في الحد من التملق ووصلت إلى 96% في تحسين مشكلة التلاعب بالمكافآت.
- لم تؤدِ عمليات تحسين الأمان إلى انخفاض عام في قدرات النموذج، وفق نتائج Anthropic.
- حقق باحثو الأمان البشريون الستة تحسنًا بلغ نحو 20% في معالجة الخداع ضمن الظروف نفسها.
- في أكثر من 150 محاولة، حقق Claude متوسط تحسن بلغ 85% عبر مهام الأمان التي اختبرها الفريق.
- استخدم نموذج Claude Sonnet 5 لمدة 60 ساعة لتدريب إصدار ما قبل الإطلاق من Opus 4.8 على مهام متعلقة بالأمان.
- احتاجت العملية الآلية إلى بيانات أقل بنحو 15 ألف مرة مقارنة بالعملية التي استخدمتها Anthropic في تدريبها الداخلي.
وتشير هذه النتائج إلى إمكانية استخدام نماذج الذكاء الاصطناعي ليس فقط كمساعدين للباحثين، بل كأدوات قادرة على تنفيذ أجزاء متزايدة من دورة أبحاث السلامة، بدءًا من البحث وتحليل المشكلات وصولًا إلى التدريب والتقييم.
الأهداف المستقبلية لأبحاث أمان الذكاء الاصطناعي
تفتح تجربة Anthropic الباب أمام اتجاه بحثي يعتمد على أتمتة جزء من عمليات اختبار وتحسين سلامة النماذج. ومع زيادة قدرات النماذج، يمكن أن تصبح هذه الأنظمة قادرة على التعامل مع مشكلات أكثر تعقيدًا وبسرعة أكبر.
ومن أبرز الأهداف المستقبلية:
- تطوير وكلاء قادرين على اكتشاف مشكلات أمان جديدة بصورة مستقلة.
- توسيع نطاق اختبارات السلوكيات الخطرة قبل إطلاق النماذج.
- تقليل كمية البيانات والموارد المطلوبة لأبحاث السلامة.
- تسريع دورة اكتشاف المشكلة ثم تدريب النموذج على معالجتها.
- استخدام نماذج الذكاء الاصطناعي لمراقبة وتقييم نماذج أخرى أكثر تقدمًا.
- تحسين قدرة الباحثين على التعامل مع المخاطر التي قد تظهر مع تطور النماذج المستقبلية.
ومع ذلك، تطرح أتمتة أبحاث السلامة سؤالًا مهمًا حول مقدار الثقة الذي يمكن منحه للأنظمة التي يجري اختبارها أو تطويرها بواسطة أنظمة ذكاء اصطناعي أخرى. لذلك ستظل الرقابة البشرية والتحقق المستقل عنصرين مهمين إلى جانب الأتمتة.
تقدم تجربة Anthropic مؤشرًا مبكرًا على إمكانية انتقال جزء من أبحاث أمان الذكاء الاصطناعي إلى وكلاء آليين. وإذا أثبت هذا النهج قدرته على العمل بصورة موثوقة على نطاق أوسع، فقد يسرّع تطوير وسائل أكثر فعالية لاكتشاف مخاطر النماذج ومعالجتها قبل وصولها إلى المستخدمين.
