OmniHuman-1

OmniHuman-1: عندما يندمج الجسد الكامل والوسائط المتعددة والتحكم الصوتي، ByteDance تعيد تعريف الجيل القادم من توليد الفيديو البشري

في ظل التقدم المتسارع للذكاء الاصطناعي التوليدي، ظل مجال توليد الفيديو يواجه تحديًا صعبًا: كيف نجعل الشخصيات الافتراضية تمتلك ديناميكيات جسد كامل واقعية وتتابع بدقة الإيقاع الصوتي، مع الحفاظ في الوقت نفسه على مرونة المدخلات متعددة الوسائط؟ النموذج الشامل مفتوح المصدر OmniHuman-1 الذي أصدرته ByteDance مؤخرًا هو الجواب على هذا التحدي. إنه ليس مجرد ترقية لنموذج، بل أشبه بـ "نظام إخراج للإنسان الرقمي" كامل يدمج لغة الجسد الكامل، وتعبيرات الوجه، وإيماءات اليدين، وحتى تفاعل المشهد في إطار توليدي موحد، ويكون مدفوعًا بالكامل بالصوت أو النص أو الصور المرجعية. بعد عدة أسابيع من التجربة والاختبار المتعمق، نحاول فحص القوة الحقيقية لهذه الأداة مفتوحة المصدر من الهيكل الأساسي إلى كل جانب من جوانب الإنتاج الفعلي.

المزايا الأساسية: كسر عزلة التوليد الموضعي والوسائط المنفصلة

الميزة الأكثر بروزًا في OmniHuman-1 هي قدرته الشاملة على توليد فيديو الجسد الكامل. غالبًا ما تركز النماذج التقليدية المدفوعة بالصوت على منطقة الوجه فقط، والمعروفة باسم "الرأس المتكلم"، بينما تكون حركات الجذع واليدين إما متصلبة أو تحتاج إلى خطوات إضافية لالتقاط الحركة. لكن هذا النموذج يعتبر الجسد بأكمله كلًا لا يتجزأ منذ بداية التدريب، حيث يتم توليد الهيكل العظمي والعضلات وتجاعيد الملابس وتغييرات الوضع دفعة واحدة بواسطة محول الانتشار الموحد. هذا يعني أن الشخصية ستنتج إيماءات طبيعية، وتمايلًا جسديًا وتغييرًا في مركز الثقل أثناء التحدث، وحتى حركات الأصابع يمكنها الحفاظ على تزامن عالٍ مع إيقاع الصوت. في اختباراتنا، أدى مقطع صوتي لخطاب سريع الإيقاع إلى حركات أكثر اتساعًا وتماسكًا في الجزء العلوي من جسم العارض، وهذا التأثير لم يكن مركبًا لاحقًا، بل نشأ بالكامل أثناء عملية استنتاج النموذج.

إنجاز آخر يكمن في التحكم متعدد الوسائط. يسمح OmniHuman-1 بإدخالات مختلطة: يمكنك استخدام مقطع صوتي للتحكم في حركة الشفاه وعواطف الجسد، وفي الوقت نفسه استخدام تعليمات نصية لوصف المشهد ونمط الملابس، وكذلك تقديم صورة مرجعية واحدة أو متعددة الزوايا لتثبيت مظهر الشخصية. الوسائط الثلاثة ليست مجرد دمج بسيط، بل تحقق تكاملًا عميقًا من خلال الفضاء الكامن المشترك. على سبيل المثال، في الاختبار، قمنا بتحميل صورة شخصية ترتدي زيًا قديمًا، وأعطيناها التلميح النصي "تجلس في غابة خيزران وتعزف على آلة القانون القديمة"، مع مقطع صوتي لموسيقى القانون، والشخصية الناتجة لم تكن فقط حركات أصابعها وحركة جسدها متطابقة تمامًا مع الموسيقى، بل حتى سعة تأرجح الأكمام تغيرت مع شدة اللحن. هذا التناسق عبر الوسائط هو تأثير كان يتطلب في الماضي معالجة متعددة الخطوات وتركيبًا لاحقًا لتحقيقه بصعوبة.

بالإضافة إلى ذلك، يتفوق النموذج في التماسك الزمني واستقرار الفيديو الطويل. معظم نماذج توليد الفيديو تعاني من مشاكل مثل وميض الصورة وانحراف الهوية بعد أكثر من عشر ثوانٍ، بينما حافظ OmniHuman-1 على تناسق مظهر الشخصية وتفاصيل الملابس والإضاءة أثناء توليد فيديو يصل إلى دقيقة كاملة. يعود ذلك إلى آلية الانتباه الزمني المبتكرة والنمذجة الضمنية للنقاط الرئيسية للجسم بالكامل، مما يجعل النموذج يفهم "الحركة المستمرة لنفس الشخص" بدلاً من الرسم إطارًا بإطار بشكل مستقل.

تجربة الاستخدام: انخفاض كبير في العوائق التقنية، لكن التحكم الدقيق لا يزال بحاجة إلى تحسين

كنموذج مفتوح المصدر، يؤثر نشر OmniHuman-1 وتجربة استخدامه الأولية بشكل مباشر على تقييم المستخدمين. يوفر المسؤول أوزانًا مدربة مسبقًا ونصوص استدلال مبنية على أطر تعلم عميق شائعة، ويمكن تشغيلها على بطاقات رسوم احترافية أو استهلاكية بذاكرة لا تقل عن 24 جيجابايت. أجرينا الاختبار على محطة عمل مزودة ببطاقة رسوميات NVIDIA RTX 4090، واستغرق توليد فيديو بدقة 720p ومدته 30 ثانية حوالي 6 دقائق، وهي سرعة مقبولة.

عملية التشغيل الفعلية بديهية للغاية: ما عليك سوى تحضير الصورة المرجعية والملف الصوتي والتلميحات النصية الاختيارية، وضبط المعاملات من خلال ملف تكوين بسيط لبدء التوليد. التفصيل المثير للإعجاب هو أن النموذج لا يتطلب جودة عالية جدًا للصورة المرجعية. حتى الصورة الملتقطة في إضاءة عادية ومن زاوية غير أمامية، يستطيع النموذج أن يستنتج بشكل معقول أبعاد الجسد وظهر الملابس وحتى الهيكل ثلاثي الأبعاد لتصفيفة الشعر، ونادرًا ما تحدث تشوهات أو انهيارات كبيرة أثناء التوليد. يشير هذا إلى أن المعرفة الداخلية للعالم والنماذج الأولية للبشر تم ترميزها بفعالية في معاملات النموذج.

ومع ذلك، لم يتحقق التشغيل بدون أي كود بعد، وبالنسبة للمبدعين بدون خلفية تقنية، يشكل الاعتماد على سطر الأوامر عقبة معينة. أيضًا، لا تزال هناك بعض التحديات على مستوى التحكم الدقيق: على الرغم من أن الحركة العامة تبدو معقولة، إلا أن بعض تفاصيل الأصابع قد تظهر تشوهًا طفيفًا في بعض الأحيان أثناء الحركة السريعة؛ كما أن قوة التلميح النصي في تقييد المشهد قد تطغى عليها ديناميكيات الصوت أحيانًا، مما يؤدي إلى عدم توافق البيئة والتفاعل البشري تمامًا مع الوصف. نتطلع إلى أن يساهم المجتمع لاحقًا بواجهات رسومية أكثر سهولة ووحدات تحكم شرطي أكثر دقة.

الجمهور المستهدف: نطاق واسع من صناعة المحتوى إلى التفاعل بين الإنسان والآلة

سيناريوهات تطبيق OmniHuman-1 أوسع بكثير مما نتصور. الفئة الأولى من المستخدمين الأساسيين هي صناع المحتوى القصير والمحتوى الافتراضي. سواء كان الأمر يتعلق بإنشاء متحدث افتراضي، أو مغني ذكاء اصطناعي، أو مذيع رقمي، أو إنتاج أفلام قصصية قصيرة تتضمن أداءً جسديًا عاطفيًا، يمكن للنموذج تقليص دورة الإنتاج من أيام إلى دقائق. خاصة دعمه الأصلي للملفات الصوتية الصينية وملامح الوجه الشرق آسيوية، مما يوفر على المبدعين المحليين الكثير من أعمال الضبط الدقيق.

الفئة الثانية هي مطورو المحتوى في قطاعي التعليم والتدريب. من خلال إدخال صوت المحاضرة وصورة المعلم، يمكن توليد فيديو لمعلم افتراضي بإيماءات طبيعية وحركات توضيحية بسرعة، لاستخدامه في الدورات التدريبية عبر الإنترنت أو التدريب المؤسسي. نظرًا لارتفاع درجة طبيعية حركات الجسم بالكامل، لا يشعر الطلاب بالتعب بسهولة أثناء المشاهدة، وهو أمر يصعب على الحلول التقليدية القائمة على صوت الشرائح تحقيقه.

الفئة الثالثة هي شركات الألعاب والترفيه التفاعلي. قدرات النموذج متعددة الوسائط تجعله مناسبًا لتوليد الرسوم المتحركة في الوقت الفعلي للشخصيات غير القابلة للعب (NPCs)، حيث يمكن للمطورين تحويل الحوار النصي والصوت لأحداث اللعبة مباشرة إلى أداء جسدي كامل للشخصيات، مما يقلل بشكل كبير من عبء عمل تسجيل مكتبة الحركة والمزج اللاحق. بالإضافة إلى ذلك، يمكن للباحثين أيضًا استخدامه كمنصة محاكاة لفهم السلوك البشري، لاستكشاف علاقات الربط بين اللغة والعاطفة والتعبير الجسدي.

من المهم التأكيد على أن هذا نموذج مفتوح المصدر، ويمكن للمستخدمين من الشركات إجراء الضبط الدقيق والتطوير الثانوي وفقًا لاحتياجاتهم الخاصة، مع تحكم ذاتي كامل في خصوصية البيانات، مما يوفر ميزة امتثال أساسية مقارنة بالواجهات التجارية المغلقة.

الخلاصة: معلم جديد في النظام البيئي مفتوح المصدر

OmniHuman-1 ليس مجرد "أداة تغيير وجوه" أو "مزامن شفاه" معزولة، إنه يعيد تعريف الحدود التقنية لتوليد فيديو الجسد الكامل المدفوع بالصوت. الإطار الشامل، والتكامل العميق متعدد الوسائط، واستراتيجية المصدر المفتوح جعلته بسرعة محط اهتمام مجتمع المطورين. على الرغم من أنه لا يزال هناك مجال لتحسين التحكم الدقيق وسهولة الاستخدام، إلا أن جودة التوليد الأساسية تمتلك بالفعل قيمة للتطبيق العملي. بالنسبة لكل من يأمل في استكشاف الشكل المستقبلي للإنسان الرقمي والمحتوى الافتراضي والتفاعل بين الإنسان والآلة، فإن هذا النموذج يوفر بلا شك ميدانًا تجريبيًا متينًا ومليئًا بالإمكانيات.

سنواصل متابعة تحديثات إصداراته وتطور نظامه البيئي المجتمعي، ونتطلع أيضًا إلى أن تواصل ByteDance إصدار المزيد من الأدوات الداعمة مفتوحة المصدر، لدفع تقنية توليد الفيديو البشري نحو التطور بشكل أكثر انفتاحًا وشمولية.