تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر تدريب النموذج هي المرحلة الأكثر استهلاكًا للموارد وأعلى عائق تقني، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستنتاج، يتطلب عملية التدريب استثمارًا مستمرًا كبيرًا في القدرة الحاسوبية، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكلة، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.
تعتبر التدريب المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل بشكل أكثر كفاءة، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية وقابلية التحكم في الموارد، ولكنها في الوقت نفسه تواجه مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة لتدريب النماذج الكبيرة الحالية، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على العديد من الآلات للتنفيذ التعاوني، وذلك لتجاوز قيود حساب وتخزين الآلة الواحدة. على الرغم من أن لديها ميزات "اللامركزية" فيزيائياً، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية تقوم بالتحكم في الجدولة والتزامن، وغالباً ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للربط السريع، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة تشارك، تحتاج إلى مطابقة أوزان النموذج
التوازي في النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
الأنابيب المتوازية: تنفيذ متسلسل على مراحل، مما يزيد من معدل الإنتاج.
التوازي في المصفوفات: تقسيم دقيق لحساب المصفوفات، تحسين دقة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مشابه لمدير واحد يقوم بالتحكم عن بُعد في عدة "مكاتب" حيث يتعاون الموظفون لإنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
تمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل الميزات الأساسية في: تعاون عدة عقد غير موثوقة في إتمام مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز التشفيرية في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة التوافق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة التنسيق بين الأجهزة المتنوعة، وانخفاض كفاءة تقسيم المهام
عنق الزجاجة في كفاءة الاتصال: عدم استقرار الاتصال الشبكي، وظهور واضح لعنق الزجاجة في مزامنة التدرجات
غياب التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب.
نقص التنسيق الموحد: لا يوجد جهاز تنسيق مركزي، توزيع المهام، وآلية التراجع عن الأخطاء معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن هيكل النظام وبروتوكولات الاتصال وأمان التشفير والآليات الاقتصادية والتحقق من النموذج في عدة جوانب، لكن ما إذا كان يمكن تحقيق "التعاون الفعال + التحفيز على الأمانة + صحة النتائج" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
يتكون التعلم الفيدرالي كشكل انتقالي بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية. يمتلك التعلم الفيدرالي هيكلًا هندسيًا للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة موثوقة للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المنضبطة" في سياقات الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب والهياكل الثقة وآليات الاتصال، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي
من حيث نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، واحتياجات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لإنجازها بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ المهام التي تتطلب خصوصية البيانات وقيود السيادة مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي لا توجد لديها حوافز تعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام ذات الهيكل الخفيف، سهلة التوازي، القابلة للتحفيز. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، مهام التدريب والتعليق عبر حشد البيانات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، المحسّنات الموزعة وغيرها.
اللامركزية تدريب الكلاسيكيات تحليل المشاريع
تتضمن المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي حاليًا، مشاريع بلوكتشين تمثلها Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف المزيد من الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI غير مركزية لا تحتاج إلى الثقة، حيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهمته في الحساب. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والمزود بآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
أ. هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية
ثانياً، شرح آلية تدريب Prime Intellect الرئيسية
PRIME-RL: بنية مهام التعلم المعزز غير المتزامن المفككة
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من قبل Prime Intellect، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، حيث يقوم بفصل هيكلي بين عمليات التدريب، والاستدلال، ورفع الأوزان، مما يتيح لكل عقدة تدريب إكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم تحت الإشراف التقليدية، يعد PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية التحقق من سلوك التدريب الخفيف الوزن
TOPLOC هو آلية جوهرية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل المسارات المحلية بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية" لإكمال التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك أثناء عملية التدريب إلى كائنات يمكن التحقق منها، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجمع الوزن صممه Prime Intellect، وهو مصمم خصيصًا لبيئات الشبكة الحقيقية التي تعاني من عدم التزامن، وقيود النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. بالمقارنة مع الطرق المركزية أو المتزامنة AllReduce، فإن SHARDCAST يعزز بشكل ملحوظ من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، ويعتبر الأساس الرئيسي لبناء توافق وزن ثابت وتدريب مستمر متكرر.
OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي ووجود أجهزة متباينة وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصال العالية الناتجة عن التزامن العالمي، ويعتمد فقط على جيران محليين لإكمال التدريب التعاوني للنموذج. بالجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط الانقطاع، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية تستطيع المشاركة في مهام التدريب بشكل مستقر، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية على الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل ملحوظ من قدرة شبكة التدريب على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وبدون ثقة من خلال توفير "آخر كيلومتر" من الأساس الاتصالي.
ثالثًا، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بنى Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، تتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعتمد تشغيل البروتوكول على ثلاثة أنواع من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
الرابع، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق من اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون مع أكثر من 100 عقدة GPU متباينة موزعة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، ومدة التدريب تجاوزت 400 ساعة، مما يُظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط اختراقًا في الأداء، ولكن أيضًا هو أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يُشير إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة عملية تدريب مفتوحة، والتحقق، ودائرة الحوافز الاقتصادية.
فيما يتعلق بالأداء، يعتمد INTELLECT-2 على QwQ-32B وقد أجرى تدريب RL مخصص في البرمجة والرياضيات، وهو في طليعة النماذج المفتوحة المصدر لتعديل RL الحالية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 11
أعجبني
11
6
مشاركة
تعليق
0/400
NotSatoshi
· 07-20 22:41
تسجيل الدخول هو الحاجة الأساسية
شاهد النسخة الأصليةرد0
CryptoHistoryClass
· 07-20 22:40
*sigh* تمامًا مثل ضجيج اللامركزية في دوت كوم في عام '99... نحن لا نتعلم أليس كذلك
شاهد النسخة الأصليةرد0
BridgeTrustFund
· 07-20 22:37
حتى لا يكفي المال لإطعام الدجاج، فأنت تقوم بالتدريب.
شاهد النسخة الأصليةرد0
MonkeySeeMonkeyDo
· 07-20 22:37
ادخلوا يا ملوك اللفائف لتروا هذا
شاهد النسخة الأصليةرد0
AirdropHuntress
· 07-20 22:37
أليس من الواضح أن هناك مشكلة في توزيع الأموال في إدارة المخاطر؟
اللامركزية AI التدريب革新: Prime Intellect يقود نموذج التعاون المفتوح الجديد
تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر تدريب النموذج هي المرحلة الأكثر استهلاكًا للموارد وأعلى عائق تقني، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستنتاج، يتطلب عملية التدريب استثمارًا مستمرًا كبيرًا في القدرة الحاسوبية، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكلة، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.
تعتبر التدريب المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل بشكل أكثر كفاءة، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية وقابلية التحكم في الموارد، ولكنها في الوقت نفسه تواجه مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة لتدريب النماذج الكبيرة الحالية، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على العديد من الآلات للتنفيذ التعاوني، وذلك لتجاوز قيود حساب وتخزين الآلة الواحدة. على الرغم من أن لديها ميزات "اللامركزية" فيزيائياً، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية تقوم بالتحكم في الجدولة والتزامن، وغالباً ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للربط السريع، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مشابه لمدير واحد يقوم بالتحكم عن بُعد في عدة "مكاتب" حيث يتعاون الموظفون لإنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
تمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل الميزات الأساسية في: تعاون عدة عقد غير موثوقة في إتمام مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز التشفيرية في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن هيكل النظام وبروتوكولات الاتصال وأمان التشفير والآليات الاقتصادية والتحقق من النموذج في عدة جوانب، لكن ما إذا كان يمكن تحقيق "التعاون الفعال + التحفيز على الأمانة + صحة النتائج" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
يتكون التعلم الفيدرالي كشكل انتقالي بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية. يمتلك التعلم الفيدرالي هيكلًا هندسيًا للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة موثوقة للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المنضبطة" في سياقات الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب والهياكل الثقة وآليات الاتصال، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي
من حيث نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، واحتياجات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لإنجازها بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ المهام التي تتطلب خصوصية البيانات وقيود السيادة مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي لا توجد لديها حوافز تعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام ذات الهيكل الخفيف، سهلة التوازي، القابلة للتحفيز. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، مهام التدريب والتعليق عبر حشد البيانات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، المحسّنات الموزعة وغيرها.
اللامركزية تدريب الكلاسيكيات تحليل المشاريع
تتضمن المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي حاليًا، مشاريع بلوكتشين تمثلها Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف المزيد من الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI غير مركزية لا تحتاج إلى الثقة، حيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهمته في الحساب. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والمزود بآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
أ. هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية
ثانياً، شرح آلية تدريب Prime Intellect الرئيسية
PRIME-RL: بنية مهام التعلم المعزز غير المتزامن المفككة
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من قبل Prime Intellect، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، حيث يقوم بفصل هيكلي بين عمليات التدريب، والاستدلال، ورفع الأوزان، مما يتيح لكل عقدة تدريب إكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم تحت الإشراف التقليدية، يعد PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية التحقق من سلوك التدريب الخفيف الوزن
TOPLOC هو آلية جوهرية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل المسارات المحلية بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية" لإكمال التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك أثناء عملية التدريب إلى كائنات يمكن التحقق منها، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجمع الوزن صممه Prime Intellect، وهو مصمم خصيصًا لبيئات الشبكة الحقيقية التي تعاني من عدم التزامن، وقيود النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. بالمقارنة مع الطرق المركزية أو المتزامنة AllReduce، فإن SHARDCAST يعزز بشكل ملحوظ من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، ويعتبر الأساس الرئيسي لبناء توافق وزن ثابت وتدريب مستمر متكرر.
OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي ووجود أجهزة متباينة وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصال العالية الناتجة عن التزامن العالمي، ويعتمد فقط على جيران محليين لإكمال التدريب التعاوني للنموذج. بالجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط الانقطاع، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية تستطيع المشاركة في مهام التدريب بشكل مستقر، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية على الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل ملحوظ من قدرة شبكة التدريب على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وبدون ثقة من خلال توفير "آخر كيلومتر" من الأساس الاتصالي.
ثالثًا، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بنى Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، تتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعتمد تشغيل البروتوكول على ثلاثة أنواع من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
الرابع، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق من اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون مع أكثر من 100 عقدة GPU متباينة موزعة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، ومدة التدريب تجاوزت 400 ساعة، مما يُظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط اختراقًا في الأداء، ولكن أيضًا هو أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يُشير إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة عملية تدريب مفتوحة، والتحقق، ودائرة الحوافز الاقتصادية.
فيما يتعلق بالأداء، يعتمد INTELLECT-2 على QwQ-32B وقد أجرى تدريب RL مخصص في البرمجة والرياضيات، وهو في طليعة النماذج المفتوحة المصدر لتعديل RL الحالية.