Liquid AI تطلق Pipette لقياس أداء الذكاء الصناعي على الأجهزة

أطلقت Liquid AI منصة Pipette المفتوحة المصدر لقياس أداء نماذج الذكاء الاصطناعي مباشرة على الهواتف والحواسيب، مع نتائج موثقة ومنهجية مستقلة راجعتها Artificial Analysis لضمان دقة المقارنات.

تفاصيل إطلاق منصة Pipette

كشفت Liquid AI عن Pipette، وهي مجموعة مفتوحة المصدر تهدف إلى تقديم طريقة أكثر واقعية لتقييم نماذج الذكاء الاصطناعي عند تشغيلها مباشرة على الأجهزة، بدلاً من الاعتماد فقط على نتائج الاختبارات التي تُجرى على خوادم قوية. وتأتي المنصة بالتعاون مع Artificial Analysis للتحقق من منهجية القياس وقابلية إعادة إنتاج النتائج.

وتعتمد Pipette على مجموعة من العوامل التي تؤثر في الأداء الفعلي للنموذج، وتشمل:

قياس سرعة الاستجابة ومعدل توليد الرموز والذاكرة المستخدمة أثناء التشغيل.
اختبار النماذج وفق إعدادات مختلفة تشمل النموذج، ونوع الضغط، وبيئة التشغيل، والجهاز.
توفير نتائج لأكثر من 30 نموذجاً ضمن أكثر من 1000 إعداد يجمع بين النموذج والضغط وبيئة التشغيل والجهاز وطول السياق.
دعم أطوال سياق تتراوح من 256 إلى 8192 رمزاً.
توفير نتائج أولية لأجهزة مثل MacBook Pro بمعالج M5 Max وiPhone 17 Pro وGalaxy S26 Ultra.
إتاحة عملاء مفتوحة المصدر لأنظمة macOS وWindows وiOS وAndroid، إلى جانب تطبيقات أصلية للهواتف.
توفير لوحة تحكم تفاعلية تسمح بمقارنة الأداء والذاكرة وزمن الاستجابة وجودة النماذج.
استخدام اختبارات مثل IFBench وGPQA Diamond وMATH-500 لتقييم جودة النماذج بعد الضغط.
نشر البنية التحتية الخاصة بالمنصة بترخيص Apache 2.0، بما يتيح للمطورين فحص آلية الاختبارات والمساهمة في تطويرها.

وتبرز أهمية Pipette في أنها لا تتعامل مع النموذج باعتباره وحدة منفصلة، بل تقيس أداؤه ضمن بيئة التشغيل الفعلية. فعلى سبيل المثال، أظهرت الاختبارات اختلافاً كبيراً في كيفية تعامل نماذج متقاربة الحجم مع زيادة طول السياق، كما كشفت عن مفاضلات بين سرعة النموذج وجودة نتائجه واستهلاكه للذاكرة.

كما تعتمد المنصة على اختبارات قابلة لإعادة الإنتاج، تتضمن عمليات إحماء قبل القياس، وخمس مرات تكرار للقياسات، وفحوصاً للتأكد من جاهزية الجهاز من حيث الحرارة والحمل قبل تسجيل النتائج. وقد تمت مراجعة منهجية Pipette والتحقق منها بواسطة Artificial Analysis.

الأهداف المستقبلية لمنصة Pipette

تخطط Liquid AI إلى توسيع نطاق Pipette تدريجياً لتشمل المزيد من الأجهزة والنماذج وبيئات التشغيل، مع فتح المجال أمام مساهمات المجتمع ومطوري العتاد والبرمجيات. ومن أبرز الاتجاهات المستقبلية:

توسيع دعم وحدات NPU لتوفير اختبارات أكثر شمولاً لتسريع الذكاء الاصطناعي على الأجهزة.
زيادة تغطية وحدات معالجة الرسومات على أجهزة Android.
إضافة المزيد من الأجهزة والمعالجات إلى قاعدة البيانات.
السماح بمشاركة نتائج الاختبارات التي يجريها المجتمع بعد تطوير نظام الإرسال والنشر.
توسيع الاختبارات لتشمل قدرات إضافية مثل المهام متعددة الوسائط والوكلاء الذكيين والمهام المعتمدة على المعرفة.
إضافة المزيد من النماذج وإعدادات الضغط وبيئات التشغيل إلى لوحة المقارنة.

وتوضح Liquid AI أن المقارنات بين الأجهزة المختلفة لا تزال محدودة في المرحلة الحالية، بسبب اختلاف بيئات التشغيل واستخدام المعالجات وتسريع العتاد بين Android وiOS. لذلك تركز النتائج الحالية بصورة أكبر على مقارنة الإعدادات المختلفة داخل الجهاز نفسه.

تمثل Pipette خطوة مهمة نحو جعل تقييم الذكاء الاصطناعي على الهواتف والحواسيب أكثر واقعية وشفافية، لأنها تجمع بين جودة النموذج وسرعته واستهلاكه للذاكرة وظروف تشغيله الفعلية. ومع توسع قاعدة البيانات ودعم المزيد من الأجهزة، قد تصبح المنصة أداة مهمة للمطورين لاختيار النماذج الأنسب للتشغيل المحلي.