مخطط عتادي لنظام لينكس لتشغيل حلقات MiniMax 2.7 متعددة الوكلاء

ما يكشفه بناء LocalLLaMA

وصف منشور مفصل على منتدى r/LocalLLaMA إعدادًا محليًا يعمل يشغل MiniMax 2.7 بسرعة 47 رمزًا في الثانية للتوليد و 1200 رمزًا في الثانية لمعالجة المطالبات داخل حلقة تنسيق متعددة الوكلاء. استخدم المنشئ تكميم REAP Q4 للنموذج على جهاز بذاكرة VRAM إجمالية 96 جيجابايت وذاكرة نظام DDR5 بسعة 192 جيجابايت، مقترنة بمعالج AMD Ryzen 9 9900X على لوحة أم MSI B840. كل شيء كان يعمل داخل نظام أوبونتو لينكس، ويزوده مزود طاقة بقدرة 1250 واط مع تحديد استهلاك الطاقة لجميع وحدات GPU.

الجزء المثير للاهتمام هو كيفية تشغيل النموذج. عمل MiniMax 2.7 كنموذج الوكيل المركزي بفضل قدرته القوية على اتباع التعليمات واستدعاء الأدوات. تم تضمينه في حلقة تناوبية دائرية مع ثلاثة وكلاء "تسلسل" خفيفة الوزن تعمل على وحدة المعالجة المركزية – كل وكيل محمل بـ 20 ألف إلى 40 ألف رمز من السياق القانوني في مطالبات النظام الخاصة به. استخدمت وكلاء التسلسل نماذج خليط الخبراء (MoE) لتحقيق سرعة عالية في الإنجاز (توليد 15-20 رمزًا/ثانية، معالجة مطالبات ~300 رمزًا/ثانية). كان هناك نموذج كثيف منفصل بمعامل 12 مليارًا يراقب الحلقة بأكملها بشكل غير متزامن، ومهمته الإبلاغ عن خطأ واحد حدث. تم إكمال كل حلقة كاملة في غضون 4 إلى 10 دقائق.

أهمية الإعداد المحلي متعدد الوكلاء في الوقت الحالي

إن تشغيل نماذج وكلاء على عتادك الخاص يعيد السيطرة إلى المنشئ. أنت تهرب من حدود معدل واجهة برمجة التطبيقات، وفواتير الرسوم غير المتوقعة لكل رمز، وتعرض بيانات الطرف الثالث. مع التكميم والتنسيق المناسبين، يمكن لمحطة عمل واحدة استضافة حلقة مراجعة مستقلة حيث يتصرف نموذج، وينتقد آخر، ويتحقق ثالث – كل ذلك دون مغادرة الشبكة المحلية.

هذا النوع من الإعدادات مهم بشكل خاص مع توفر نماذج وكلاء مفتوحة الوزن مثل MiniMax 2.7. تشير أرقام الأداء المثبتة من المجتمع (توليد 47 رمزًا/ثانية على ذاكرة VRAM بسعة 96 جيجابايت) إلى أن منصات GPU المتعددة من فئة المستهلكين يمكن أن تكون أساسًا عمليًا لنمذجة أولية جادة للوكلاء. يشير البناء متعدد النماذج أيضًا إلى نمط: استخدام نماذج MoE رخيصة وسريعة على وحدة المعالجة المركزية للتخطيط أو التسلسل مع تخصيص النموذج الثقيل على GPU لخطوات الاستدلال الأساسية.

من ينبغي أن يهتم بهذا البناء

• مؤسسو الذكاء الاصطناعي وبناؤو المنتجات الذين يحتاجون إلى حلقات وكلاء حتمية ومنخفضة التأخير للأدوات الداخلية أو التطبيقات الحساسة للبيانات.
• المطورون ومهندسو التعلم الآلي الذين يستكشفون التكميم الفعال وتنسيق النماذج المتعددة على جهاز لينكس واحد.
• المشغلون الذين يديرون سير عمل ذاتي التشغيل حيث يمكن لحلقة التغذية الراجعة (تصرف ← راجع ← أبلغ) اكتشاف الهلوسة أو أخطاء استدعاء الأدوات دون تدخل بشري.
• فرق التسويق والمحتوى الراغبون في وضع نماذج أولية لخطوط أنابيب الوكلاء التي تجمع بين البحث والتوليد والتحقق من الحقائق في بيئة محكومة.

اختيارات العتاد والمنطق الكامن وراءها

لم تكن قائمة المكونات التي نشرها المستخدم على Reddit عشوائية. كل قطعة عالجت عنق زجاجة محدد لتشغيل حلقة وكيل متعددة النماذج على لينكس:

• ذاكرة VRAM بسعة 96 جيجابايت (وحدات GPU متعددة محدودة الطاقة) – مساحة كافية لاستيعاب أوزان MiniMax 2.7 الكاملة بتكميم REAP Q4 بالإضافة إلى ذاكرات التخزين المؤقت لمطالبات النظام وعمليات الاستدلال الدفعي العلوية، بينما تحافظ حدود الطاقة على الحرارة واستهلاك الكهرباء تحت السيطرة داخل هيكل واحد.
• ذاكرة DDR5 UDIMM بسعة 192 جيجابايت – تطلب الوكلاء على جانب وحدة المعالجة المركزية والنموذج المراقب الكثيف 12B سياقات مطالبات كبيرة. توفر 192 جيجابايت مساحة واسعة للعديد من مطالبات النظام التي تتراوح بين 20 ألف و40 ألف رمز وذاكرات التخزين المؤقت KV لنماذج تسلسل MoE، مما يتجنب استخدام الذاكرة الافتراضية ويحافظ على زمن انتقال منخفض.
• اللوحة الأم MSI B840 + معالج Ryzen 9 9900X – من المرجح أن تخطيط مسارات PCIe في اللوحة يستوعب وحدات GPU متعددة، بينما يشغل معالج Zen 5 ذو 12 نواة بشكل مريح ثلاثة نماذج منفصلة تعتمد على CPU بالإضافة إلى المراقب في وقت واحد دون تجويع وكلاء التسلسل.
• مزود طاقة بقدرة 1250 واط – يشغل نظامًا متعدد وحدات GPU مع هامش أمان لارتفاعات الطاقة العابرة، حتى عندما تكون البطاقات محددة الاستهلاك. الاستقرار مهم عندما يمكن أن تعمل الحلقات لساعات.
• نظام أوبونتو لينكس – نظام التشغيل المفضل لسلاسل أدوات LLM المحلية (vLLM، llama.cpp، text-generation-webui) واستقرار التعريفات مع أحمال عمل GPU المختلطة.

حالات الاستخدام العملي لتنسيق الوكلاء بالتناوب الدائري

الهندسة الموصوفة – وكيل رئيسي واحد، وثلاثة وكلاء تسلسل، وناقد غير متزامن – تتوافق مباشرة مع العديد من سير العمل الذاتية عالية القيمة:

• التوليف البحثي المستقل: يقرأ الوكيل الرئيسي المستندات ويستخرج المزاعم. تقوم وكلاء التسلسل بالتحقق المتقاطع مع قواعد المعرفة القانونية، ويقوم المراقب بوضع علامة على التناقضات.
• توليد الكود مع مراجعة حية: يكتب النموذج الأساسي الكود؛ يتحقق وكيل تسلسل من مواصفات التصميم، ويجري آخر تحليلًا ثابتًا لكود زائف، ويقيم الثالث أنماط الأمان. يلتقط المراقب الكثيف خطأً منطقيًا واحدًا.
• إنشاء المحتوى والامتثال: يصوغ وكيل نسخة تسويقية، ويتحقق وكلاء التسلسل من إرشادات العلامة التجارية والمتطلبات القانونية (المحملة كمطالبات نظام)، ويبرز المراقب الانتهاك الأكثر خطورة.
• خطوط أنابيب استدعاء الأدوات: يقرر MiniMax 2.7 أي الأدوات سيتم استدعاؤها، ويتحقق وكلاء التسلسل من صحة معلمات الأداة وفقًا للمخططات المسموح بها، وينبه المراقب إلى المكالمات غير الآمنة – كل ذلك قبل الوصول إلى واجهة برمجة التطبيقات.

القيود والمخاطر التي يجب الانتباه إليها

• تكلفة العتاد واستهلاك الطاقة: حتى مع تحديد الطاقة، فإن نظام GPU متعدد يستهلك مئات الواط باستمرار مما يزيد التكلفة. هذا البناء هو استثمار رأسمالي وليس شراءً اندفاعيًا.
• مقايضات التكميم: يحافظ تكميم REAP Q4 على قابلية استخدام النموذج، ولكن من الممكن حدوث بعض فقدان الدقة في مخططات الأدوات المعقدة أو الرموز النادرة. قم بتقييم جودة المخرجات مقارنة بمرجع سحابي في وقت مبكر.
• تعقيد التنسيق: يتطلب تنسيق ثلاثة نماذج متسلسلة على وحدة المعالجة المركزية ومراقب غير متزامن اتصالاً دقيقًا بين العمليات. حالات التسابق أو الجمود هي مخاطر حقيقية إذا لم تكن وحدة التحكم في الحلقة قوية.
• نقطة فشل واحدة: يمكن أن يخطئ النموذج المراقب في اكتشاف الأخطاء. إذا بدأ النظام في التكرار الحلقي على مخرجات مهلوسة، فقد لا يكون تصميم المراقب القائم على إشارة واحدة كافيًا لحالات الفشل سريعة التطور.
• مجموعة تبعيات البرامج: غالبًا ما يعني الاستدلال متعدد النماذج CPU+GPU على أوبونتو معالجة إصدارات التعريفات وبيئات CUDA المتزامنة ونصوص التشغيل المخصصة. توقع وقت تكامل كبير.

كيفية تقييم منهجك الخاص متعدد الوكلاء

قبل استنساخ بناء عتادي، فكر في أين يقع سير عمل وكيلك على طيف التحكم مقابل الراحة. إذا كانت حالة الاستخدام الخاصة بك تتطلب حصرية كاملة للبيانات وزمن انتقال يمكن التنبؤ به، فقد يكون الطريق المحلي مبررًا. ابدأ بقياس معدل النقل الذي تحتاجه فعليًا: 47 رمزًا/ثانية على MiniMax 2.7 سريع بما يكفي للعديد من الحلقات شبه التفاعلية، ولكن إذا كنت بحاجة إلى استدعاءات أدوات أقل من ثانية، فقد تضطر إلى التحسين أكثر.

إذا بدا الالتزام بالعتاد شاقًا للغاية، فتحقق من صحة خط أنابيب الوكيل الخاص بك على المنصات المدارة أولاً. تتيح لك كل من أداة بناء وكلاء OpenAI و أداة بناء وكلاء Vertex AI تصميم سير عمل وكلاء متعدد الخطوات دون لمس خادم، مما يمنحك خط أساس للأداء والمنطق. يمكن للفرق التي تفضل نهجًا مرئيًا بدون كود لربط النماذج والأدوات أن تضع نموذجًا أوليًا لحلقتها في AgentHub قبل ترحيل سير العمل المُثبت إلى مجموعة محلية. بمجرد إثبات المنطق، يصبح المخطط العتادي أعلاه هدف ترحيل ملموس.

الأسئلة الشائعة

ما هو MiniMax 2.7 بالضبط؟

استنادًا إلى منشور Reddit وملاحظات المجتمع، فإن MiniMax 2.7 هو نموذج لغة كبير من فئة الوكلاء من شركة MiniMax. يؤكد المنشئ على قدرته الممتازة على اتباع التعليمات واستدعاء الأدوات، وهي بالضبط ما تحتاجه في وكيل منسق. إنه متاح بتنسيقات مكممة مثل REAP Q4 للاستدلال المحلي.

هل يمكنني تكرار هذا البناء باستخدام وحدة GPU واحدة بسعة 24 جيجابايت؟

على الأرجح لا يمكن تشغيل حلقة MiniMax 2.7 الكاملة كما هو موصوف. استخدم الإعداد 96 جيجابايت من إجمالي VRAM لتشغيل النموذج الرئيسي وذاكرات التخزين المؤقتة للمطالبات. يمكنك تجربة تكميمات أصغر أو إلغاء التحميل، لكن توقع انخفاضًا حادًا في سرعة التوليد ونافذة سياق آمنة أصغر بكثير. لا يزال بإمكان وكلاء تسلسل MoE والمراقب على جانب وحدة المعالجة المركزية العمل على عتاد متواضع إذا قمت بتحديد حجم السياق.

كيف يعمل النموذج المراقب غير المتزامن؟

وفقًا للبناء، يعمل نموذج كثيف بمعامل 12 مليارًا بالتوازي مع الحلقة التناوبية الدائرية، ويراقب التفاعل بأكمله ومهمته الوحيدة هي "الإبلاغ عن خطأ واحد". إنه لا يعطل الحلقة – تستمر – لكن المراقب يقدم إشارة يمكن لمنسق الحلقة استخدامها لإيقاف الدورة أو وضع علامة عليها للمراجعة البشرية.

لماذا استخدام نماذج CPU منفصلة للتسلسل بدلاً من تشغيل كل شيء على GPU؟

يشير منطق المنشئ إلى السرعة وفصل الموارد. نماذج MoE متناثرة بطبيعتها، لذا فهي تعمل بكفاءة على نوى وحدة المعالجة المركزية بينما تظل وحدة GPU مخصصة لنموذج MiniMax 2.7 الرئيسي. هذا يتجنب التنافس على VRAM ويسمح بمعالجة سريعة ومتوازية للمطالبات بسرعة ~300 رمز/ثانية لوكلاء التسلسل، مما يحافظ على إجمالي وقت الحلقة منخفضًا إلى بضع دقائق.