Seaweed APT2 من ByteDance: ثورة في بث الفيديو التفاعلي
كشفت ByteDance عن نموذج Seaweed APT2، الذي يتيح توليد فيديوهات تفاعلية بجودة 24 إطار/ثانية ولمدة تصل إلى 5 دقائق، في زمن حقيقي وباستخدام ذكاء اصطناعي متقدم.
تفاصيل النموذج Seaweed APT2
في نقلة نوعية بمجال توليد الفيديوهات، قدّمت شركة ByteDance نموذج Seaweed APT2، وهو نموذج ذكاء اصطناعي مصمم خصيصًا للتوليد التفاعلي المباشر للفيديوهات:
- السرعة في الزمن الحقيقي: يولّد النموذج فيديو بدقة 736×416 بمعدل 24 إطارًا في الثانية على وحدة GPU واحدة من نوع H100.
- دقة عالية ممكنة: يدعم التوليد بدقة 1280×720 باستخدام 8 وحدات H100، مما يتيح إنتاج فيديوهات بجودة HD خلال البث المباشر.
- زمن استجابة منخفض: يولد كل إطار كامن باستخدام عملية حسابية واحدة فقط (1NFE)، مما يقلل التأخير ويضمن تجربة تفاعلية سلسة.
- تحكم المستخدم المباشر: يدعم التفاعل الفوري مع المستخدم من خلال مدخلات حركية للكاميرا أو أوضاع الجسد في تطبيقات البشر الافتراضيين.
- آلية التوليد الجديدة: يعتمد على تدريبات خصامية (GAN) مع بنية مشابهة لنماذج اللغة LLM، مما يجمع بين الكفاءة الحسابية والواقعية البصرية.
- إعادة استخدام النتائج السابقة: يعيد استخدام نتائج الإطارات السابقة كمدخلات لتوليد الإطارات اللاحقة، مما يُحسّن من التماسك الزمني للمشاهد.
الأهداف المستقبلية للنموذج
تسعى ByteDance من خلال Seaweed APT2 إلى إعادة تشكيل مستقبل الفيديو التفاعلي، وذلك عبر:
- تطوير مولدات فيديو لا نهائية الطول يمكنها الاستمرار لأكثر من 5 دقائق دون انقطاع.
- تحسين استجابة النموذج للحركات السريعة والمشاهد المعقدة التي تمثل تحديًا للنسخة الحالية.
- دعم التوليد الموجه بتفضيلات المستخدم، كما هو الحال في نماذج الـ Diffusion الحديثة.
- تقليل استهلاك الذاكرة مع الحفاظ على جودة الفيديو عبر تحسين آليات الذاكرة المؤقتة والانتباه الزمني.
- دمج Seaweed APT2 في منصات الفيديو والتطبيقات التفاعلية مثل Doubao وJimeng، لتعزيز التجارب الترفيهية الحية.
يمثل Seaweed APT2 خطوة ثورية نحو توليد فيديوهات تفاعلية فورية بجودة عالية، فاتحًا آفاقًا جديدة في مجالات الترفيه، الألعاب، والتجارب الافتراضية المدعومة بالذكاء الاصطناعي. ونحن على أعتاب مستقبل يُبثّ لحظيًا، تتحول الخوارزميات فيه إلى مخرجين سينمائيين مباشرِين.
