أندريه كارباثي يطلق NanoChat: لتدريب نسخة مصغّرة من ChatGPT
مؤسس OpenAI أندريه كارباثي أعلن عن إطلاق مشروع NanoChat، وهو إطار مفتوح المصدر لتدريب وتشغيل نسخة صغيرة من ChatGPT بميزانية منخفضة وبنية برمجية بسيطة ومفتوحة للتطوير.
تفاصيل الخبر
كشف أندريه كارباثي، أحد مؤسسي OpenAI، عن مشروع جديد تحت اسم nanochat، وهو إطار عمل متكامل لتدريب وتخصيص نماذج محادثة شبيهة بـChatGPT من البداية وحتى النشر، ضمن مستودع واحد بسيط الكود والخطوات.
يتيح المشروع للمطورين إنشاء نموذج محادثة خاص بهم خلال ساعات قليلة فقط باستخدام بطاقة GPU سحابية، بتكلفة لا تتجاوز 100 دولار.
- المشروع يُبنى على نجاح كارباثي السابق nanoGPT، لكنه أكثر تكاملاً وواقعية.
- يتضمن أدوات لتدريب tokenizer، ومرحلة pretraining على بيانات FineWeb، وmidtraining على محادثات SmolTalk.
- يشمل مراحل التقييم على اختبارات الذكاء الاصطناعي مثل MMLU وGSM8K وHumanEval.
- يمكن للمستخدمين التفاعل مع النموذج عبر واجهة ويب شبيهة بـChatGPT أو من خلال سطر الأوامر.
- بحسب كارباثي، يمكن خلال 12 ساعة من التدريب الوصول إلى أداء يتجاوز نموذج GPT-2 في مؤشرات CORE.
- المشروع مفتوح المصدر بالكامل ويهدف إلى أن يكون منصة تعليمية وبحثية ضمن مساقه القادم LLM101n.
الأهداف المستقبلية
يهدف كارباثي من خلال NanoChat إلى جعل تطوير النماذج اللغوية الكبيرة أكثر شفافية وقابلية للتعلم والتعديل من قبل المطورين والباحثين.
- تمكين المبرمجين من إنشاء نماذج محادثة بتكلفة منخفضة وبكود بسيط.
- دعم التعليم المفتوح عبر توفير تجربة عملية لتدريب LLMs.
- بناء مجتمع بحثي يطوّر أدوات مفتوحة المصدر منافسة للنماذج التجارية.
- تحويل NanoChat إلى منصة اختبار قياسية (benchmark) شبيهة بـnanoGPT.
مشروع NanoChat يمثل خطوة ثورية نحو ديمقراطية الذكاء الاصطناعي، إذ يتيح لأي مطور بناء وتخصيص نموذج محادثة بقدرات مدهشة وبتكلفة بسيطة، مما يمهد لعصر جديد من الابتكار المفتوح في مجال الذكاء الاصطناعي.
