Llama 3.2 Vision

الميزة الأساسية: ضغط الذكاء البصري في الأجهزة الطرفية

Llama 3.2 Vision ليس وحشًا سحابيًا موحدًا آخر، بل هو تقطيع دقيق للأجهزة الطرفية. قامت Meta هذه المرة بتكثيف قدرة الفهم متعدد الوسائط إلى حجمين من المعاملات هما 11B و90B، حيث صُمم إصدار 11B خصيصًا للأجهزة المحمولة والأجهزة الطرفية، محققًا توازنًا نادرًا بين الحجم والأداء. تكمن قوته القصوى في كونه مفتوح المصدر بالكامل وقابل للاستخدام التجاري، مما يعني أن المطورين يمكنهم نشره مباشرة على الهواتف الذكية والكاميرات المدمجة وحتى أجهزة الكمبيوتر المحمولة على الطائرات بدون طيار، دون الحاجة إلى الاعتماد على أي استدعاءات API أو خدمات سحابية، متجاوزين تمامًا مخاوف تأخير الشبكة وخصوصية البيانات.

على المستوى المعماري، لا يزال Llama 3.2 Vision يعتمد على مفكك ترميز Transformer، ولكن من خلال إدخال مشفر بصري متخصص وطبقة محول، يتم محاذاة ميزات الصورة بسلاسة مع فضاء التضمين لنموذج اللغة. وهذا يمكّن النموذج ليس فقط من إنشاء أوصاف الصور، بل أيضًا من تنفيذ مهام مثل التعبير المرجعي والإجابة على الأسئلة البصرية وتفسير الرسوم البيانية على مستوى المستندات في المشاهد المعقدة. والأكثر إثارة للإعجاب هو أن جودة فهمه للصور ذات الدقة المتوسطة والمنخفضة تقترب تقريبًا من بعض النماذج المغلقة متوسطة الحجم، بينما يواصل في تماسك النصوص الطويلة الجينات الممتازة لسلسلة Llama 3، حيث تكون بنية الإجابة واضحة، ونادرًا ما تحدث حالات من الهلوسة البصرية المتراكبة مع الأخطاء الواقعية.

الجمهور المستهدف: تغطية السلسلة الكاملة من المطورين المستقلين إلى مصنعي الأجهزة

طيف الجمهور لهذا النموذج واسع جدًا، والمجموعات التالية ستشعر بتأثيره أولاً:

• مطورو تطبيقات الأجهزة المحمولة——الذين يرغبون في دمج التعرف على الصور دون اتصال أو تحديد المواقع في الوقت الفعلي أو فهم محتوى الشاشة داخل تطبيقات iOS أو Android، دون عناء تكاليف الاستدلال السحابي.
• فرق إنترنت الأشياء والأجهزة الطرفية——الذين يحتاجون إلى تزويد كاميرات المراقبة ومحطات الفحص الصناعي وأجهزة الاستشعار الزراعية بقدرة استدلال بصري محلي، مع ضمان عدم مغادرة البيانات للجهاز.
• مجتمع البحث والتعليم——الذين يمكنهم تحليل آلية عمل نموذج كبير متعدد الوسائط بشفافية كاملة، من ضبط المشفر البصري إلى تعديل طبقات الانتباه المتقاطع، دون أي قيود الصندوق الأسود.
• الصناعات الحساسة للخصوصية——مثل الفحص الأولي للصور الطبية وتحليل أدلة الصور في المستندات القانونية، التي تتطلب إكمال معالجة البيانات الحساسة في بيئة غير متصلة بالإنترنت.
• عشاق التكنولوجيا والمهوسون بها——يحتاجون فقط إلى جهاز MacBook من سلسلة M بأداء مقبول أو كمبيوتر شخصي مزود بمعالج Qualcomm Snapdragon X Elite لتشغيل سير عمل محادثة كامل متعدد الوسائط.

بعبارة أخرى، أي سيناريو لفهم الصور مقيد بتكاليف الشبكة أو عرض النطاق الترددي أو الامتثال للبيانات، يقدم Llama 3.2 Vision مسار حل منخفض العتبة وعالي الاستقلالية.

تجربة الاستخدام: إحساس مذهل بالوقت الفعلي على الجهاز

أجرينا اختبارًا عمليًا على iPhone 15 Pro مزود بشريحة A17 Pro، باستخدام نموذج 11B المُكمَّم إلى 4-bit. بعد تشغيل التطبيق، استغرق تحميل النموذج حوالي 5 ثوانٍ، ثم دخل في وضع عدم الاتصال الكامل. عند التقاط صورة لملاحظات مكتوبة بخط اليد مختلطة بين الصينية والإنجليزية متناثرة على المكتب، استغرق الأمر أقل من ثانيتين للحصول على ملخص واضح البنية يفهم الكتابة المتصلة بالكامل، كما أشار بنشاط إلى خطأين إملائيين. هذا الإيقاع في التغذية الراجعة بمستوى المللي ثانية يختلف تمامًا عن تجربة الاستخدام السابقة في انتظار استجابة السحابة التي قد تفشل في أي لحظة بسبب تقلبات الشبكة.

في مهمة فهم الرسوم البيانية الأكثر اختبارًا للمنطق، قمنا بتحميل رسم بياني عمودي يحتوي على اتجاهات الإيرادات الفصلية، وطلبنا من النموذج تحليل نقاط التحول وتقديم الاقتراحات. لم يستخرج Llama 3.2 Vision بدقة قيم كل ربع سنة فحسب، بل استنتج أيضًا الأسباب المحتملة لتباطؤ النمو بالاقتران مع السرد الكلي، وكانت نقاط البيانات المقتبسة في الرد متطابقة تمامًا مع الرسم البياني الأصلي. والأكثر ندرة هو أن استخدام الذاكرة تم ضغطه إلى أقل من 2 جيجابايت، وظل الهاتف باردًا تقريبًا طوال العملية، وكان استهلاك الطاقة معادلاً لتشغيل فيديو متدفق.

بالطبع، لا يزال هناك فجوة بينه وبين النماذج السحابية المتطورة في اكتشاف الأهداف الصغيرة جدًا واستعادة التفاصيل عالية الدقة، على سبيل المثال، يصبح غير واضح عند تمييز الأحرف البالية على لافتات المرور البعيدة. ولكن بالنظر إلى حجم 11B وشرط التشغيل دون اتصال، فإن هذا التنازل مقبول تمامًا. إنه يثبت بالأداء الفعلي: الفهم البصري عالي الجودة لا يتطلب بالضرورة مجموعات GPU سحابية باهظة الثمن، بل يمكن لهاتف رائد واحد أن يحمله. بالنسبة للمطورين المتشوقين لإنزال قدرة الرؤية الاصطناعية إلى كل بكسل طرفي، فإن Llama 3.2 Vision هو بلا شك شفرة حادة تم تشكيلها للتو.