Zoom تقدم Chain of Draft لتقليص تكلفة تفكير النماذج
في إنجاز لافت، أعلن فريق بحثي من Zoom Communications عن استراتيجية توجيه جديدة لنماذج الذكاء الاصطناعي تُدعى Chain of Draft (CoD)، تتيح تقليص عدد التوكنات المستخدمة في حل مسائل التفكير متعدد الخطوات إلى نحو 7.6% مقارنةً بأسلوب Chain-of-Thought (CoT) التقليدي، دون التأثير على الدقة.
ما هي Chain of Draft؟
Chain of Draft هو نمط توجيهي موجّه لنماذج اللغات الكبيرة (LLMs)، يهدف إلى تقليص الثرثرة النصية وتحفيز النموذج على إنتاج خطوات تفكير مختصرة لا تتعدى عادةً خمس كلمات لكل خطوة، مع التركيز فقط على النقاط الحاسمة.
آلية العمل
إليك آلية عمل Chain of Draft:
- يُفرض حد أقصى للكلمات في كل خطوة، مما يقلل بشكل كبير من طول النص الناتج.
- يقلّص عدد التوكنات المستخدمة إلى أقل من 8% مقارنة بـCoT.
- لا يتطلب إعادة تدريب النموذج أو أي تعديل معماري، ما يجعل دمجه سهلًا وفعالًا.
الأداء والمقارنة
أداء Chain of Draft ومقارنتة مع الأنماط الاخرى:
- حقق CoD دقة مساوية أو أفضل من CoT في مهام تتعلق بالحساب والمنطق.
- عند استخدام نموذج Claude 3.5 Sonnet، أدى CoD إلى توفير بنسبة 92% من التوكنات مقارنةً بإجابات CoT المباشرة.
- الفعالية تأتي من التركيز على الخطوات الجوهرية فقط دون سرد مطوّل.
الفوائد والتطبيقات
فوائد Chain of Draft:
- خفض كبير لتكلفة الاستدلال وزمن الاستجابة.
- مناسب للأجهزة ذات الموارد المحدودة مثل إنترنت الأشياء وتطبيقات المحمول.
- يدعم الاستدلال طويل الأمد في مجالات مثل التعليم، والبرمجة، والبحث العلمي.
- لا يغيّر من هيكل النموذج الحالي، ما يُسهل اعتماده على نطاق واسع.
التحديات والآفاق
التحديات المتوقع أن تواجة CoD:
- أحد التحديات هو إدارة توزيع الانتباه في سياقات ضخمة قد تشمل آلاف التوكنات.
- يتطلب بنية تحتية متقدمة لتحقيق الأداء القابل للتوسع.
- يتوقع الباحثون أن يُسهم CoD في تمكين وكلاء ذكاء اصطناعي خارقي القدرة قادرين على فهم الشيفرات الكاملة والمستندات الكبرى دفعة واحدة.
في ظل الحاجة المتزايدة لنماذج أكثر كفاءة وأقل تكلفة، تبرز تقنية CoD كأحد الحلول الواعدة في تطوير الذكاء الاصطناعي العملي. ومن المتوقع أن تُسهم في تسريع الانتقال من النماذج النصية المطولة إلى استدلالات دقيقة ومباشرة.
