Inception Labs تطلق Mercury 2.5 بسرعة تتجاوز 1100 توكن
أطلقت Inception Labs نموذج Mercury 2.5 الجديد، وهو نموذج لغوي يعتمد على تقنية الانتشار لتوليد النص بشكل متوازٍ، بسرعة تصل إلى أكثر من 1100 توكن في الثانية مع تحسينات كبيرة في الأداء.
تفاصيل الخبر
تقدم Inception Labs نموذج Mercury 2.5 باعتباره أكثر نماذجها قدرة حتى الآن، مع الجمع بين جودة الاستجابة وسرعة التوليد وانخفاض تكلفة التشغيل، ما يجعله مناسبًا للتطبيقات التي تتطلب استجابات سريعة.
- حقق Mercury 2.5 زيادة في مستوى الذكاء بنسبة 40% مقارنة بنموذج Mercury 2.
- تصل سرعة النموذج إلى 1,107 توكنات في الثانية عند تشغيله على وحدات معالجة الرسوميات NVIDIA المتاحة على نطاق واسع.
- يدعم نافذة سياق تصل إلى 260 ألف توكن.
- يبلغ سعره الأساسي 0.20 دولار لكل مليون توكن إدخال و0.75 دولار لكل مليون توكن إخراج.
- أطلقت Inception Labs النموذج بخصم مؤقت بنسبة 80%، ليصبح السعر 0.04 دولار للإدخال و0.15 دولار للإخراج لكل مليون توكن.
- يدعم النموذج الاستدلال القابل للضبط، واستدعاء الأدوات بالتوازي، وإنشاء JSON متوافق مع المخططات.
- يعتمد Mercury على نماذج الانتشار اللغوية التي تستطيع إنشاء أجزاء النص بصورة متوازية بدل إنتاجها كلمة تلو الأخرى.
- يستخدم النموذج في تطبيقات البحث ووكلاء البحث وأنظمة RAG التي تحتاج إلى تنفيذ عدد كبير من استدعاءات النماذج بسرعة.
- يستخدم كذلك في وكلاء الصوت والتطبيقات التفاعلية، حيث يمكن أن تؤثر سرعة الاستجابة بشكل مباشر في تجربة المستخدم.
- في أحد تطبيقات وكلاء البرمجة، ساعد استخدام Mercury في تقليل زمن ضغط السياق بنسبة 82%، من نحو 150 ثانية إلى 27 ثانية، مع خفض التكلفة بنسبة 90% وفقًا للشركة.
وأعلنت Inception Labs بالتزامن عن معاينة Mercury Voice، المصمم لوكلاء الصوت بزمن وصول لأول توكن أقل من 170 مللي ثانية، وMercury Router الذي يستطيع تحليل الطلبات وتوجيهها إلى النماذج المناسبة وفق التوازن بين الجودة والسرعة والتكلفة.
الأهداف المستقبلية
لا تتوقف خطط Inception Labs عند Mercury 2.5، إذ أعلنت الشركة أنها بدأت بالفعل تدريب نموذج جديد سيكون الأكبر لديها، وتستهدف إطلاقه خلال الأشهر المقبلة.
ومن أبرز أهدافها المستقبلية:
- تطوير نموذج أكبر وأكثر قدرة مع الحفاظ على سرعة نماذج الانتشار.
- تحسين كفاءة استخدام التوكنات أثناء الاستدلال.
- رفع جودة النماذج دون التضحية بزمن الاستجابة المنخفض.
- تطوير حلول متخصصة لوكلاء الصوت والبرمجة والبحث.
- تحسين البنية التحتية اللازمة لتشغيل نماذج الانتشار على نطاق واسع.
- مواصلة تطوير Mercury Voice وMercury Router.
- توسيع استخدام نماذج Mercury في التطبيقات التي تعتمد على الاستجابة الفورية.
- توفير نماذج تجمع بين الأداء القوي والتكلفة المنخفضة للمطورين والشركات.
يمثل Mercury 2.5 تطورًا لافتًا في نماذج اللغة القائمة على تقنية الانتشار، خصوصًا مع الجمع بين سرعة تتجاوز 1100 توكن في الثانية وقدرات محسنة وتكلفة تشغيل منخفضة. ومع استعداد Inception Labs لإطلاق نموذج أكبر، قد تصبح هذه التقنية منافسًا مهمًا في تطبيقات الذكاء الاصطناعي التي تتطلب سرعة عالية.
