ثغرة Icaro الشعرية تكشف هشاشة أنظمة حماية الذكاء الاصطناعي

أظهرت دراسة جديدة من مختبر Icaro الإيطالي أن تحويل الطلبات الخطرة إلى نصوص شعرية قادر على خداع أبرز نماذج الذكاء الاصطناعي، مما يسلّط الضوء على تحديات غير متوقعة في مجال أمان النماذج.

تفاصيل الخبر

تكشف دراسة Icaro مرحلة جديدة من الهجمات الإبداعية التي تهدد أنظمة الحماية في النماذج اللغوية المتقدمة.

• تم اختبار 25 نموذجاً من شركات كبرى مثل OpenAI وGoogle وAnthropic.
• استطاع أسلوب “الطلب الشعري” تحقيق نسبة نجاح بلغت 62%.
• نموذج Gemini 2.5 Pro كان الأكثر عرضة للهجوم بنسبة اختراق وصلت إلى 100%.
• نموذج GPT-5 nano من OpenAI صمد أمام جميع المحاولات.
• التقنية سمحت بإخراج محتوى خطير يشمل أساليب التسلّح والاختراق والخداع النفسي.
• الباحثون امتنعوا عن نشر هذه القصائد لأنها “شديدة الخطورة” رغم بساطتها.

الأهداف المستقبلية

يسعى الباحثون والمطورون الآن لإعادة تقييم آليات الحماية والنظر في وسائل أكثر متانة لمواجهة الهجمات الإبداعية.

• تطوير آليات فحص تستوعب الأساليب اللغوية الإبداعية مثل الشعر.
• تعزيز قدرات النماذج على تحليل النوايا خلف النصوص وليس بنيتها فقط.
• توسيع قواعد بيانات التدريب لتشمل أنماط الالتفاف الحديثة.
• بناء أنظمة مراقبة قادرة على التعلم من الهجمات بدلاً من الاكتفاء بالترقيع.
• التعاون بين المختبرات العالمية لصياغة معايير جديدة لأمان النماذج.

تؤكد دراسة Icaro أن التقدم في الذكاء الاصطناعي لا يكفي وحده؛ فالإبداع البشري ما زال قادراً على إيجاد ثغرات غير متوقعة، مما يجعل أمن النماذج سباقاً لا نهاية له.