تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث عتبة التكنولوجيا، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.
تُعتبر التدريبات المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية المعمارية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء لتحقيق أقصى كفاءة، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، والسيطرة على الموارد، لكنها في الوقت نفسه تواجه مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهمة تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ المتزامن، من أجل تجاوز قيود الحساب والتخزين في جهاز واحد. على الرغم من أن لديها ميزات "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والمزامنة، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
التوازي في البيانات: يقوم كل عقدة بتدريب معلمات بيانات مختلفة مع مشاركة المعلمات، ويجب مطابقة أوزان النموذج.
التوازي بين النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية؛
تنفيذ متسلسل على مراحل: يزيد من معدل الإرسال;
توزيع التنسور: تقسيم دقيق لحساب المصفوفة، وزيادة حجم التوازي.
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير عن بعد للموظفين في عدة "مكاتب" للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة السائدة تقريبًا بهذه الطريقة.
اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. تتمثل السمات الأساسية في: عدة نقاط غير موثوقة تتعاون لإنجاز مهام التدريب دون وجود منسق مركزي، عادةً من خلال بروتوكولات لتوزيع المهام والتعاون، وبمساعدة آليات تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة تنسيق الأجهزة المتنوعة وتقسيم المهام: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة تقسيم المهام منخفضة؛
عنق الزجاجة في كفاءة الاتصال: الاتصال الشبكي غير مستقر، وعملية مزامنة التدرج تعاني من عنق الزجاجة بشكل واضح؛
نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب؛
نقص التنسيق الموحد: لا يوجد جهاز مركزي للتوجيه، توزيع المهام وآلية التراجع عن الأخطاء معقدة.
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، ويشمل هيكل النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان من الممكن "التعاون بفعالية + تحفيز الصدق + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المنضبطة" في سياقات الامتثال للخصوصية، حيث يكون في مهام التدريب، وهياكل الثقة، وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي
من منظور نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهام، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بشكل طبيعي لا يناسب إنجاز المهام بكفاءة بين العقد المتنوعة وغير الموثوق بها. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة وصول عشوائي عالية، وزمن استجابة منخفض، ونطاق ترددي عالي السرعة، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة تكون مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أساس تحفيز التعاون إلى دوافع المشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن تدريب اللامركزية هو قضية زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، سهلة التوازي، والمحفزة، يظهر تدريب اللامركزية آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: التعديل الدقيق لـ LoRA، مهام التدريب اللاحق المتعلقة بمحاذاة السلوك مثل RLHF، DPO(، تدريب البيانات الجماعي ومهام التسمية، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك مشاهد التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكولات Swarm، والمُحسنات الموزعة.
) اللامركزية تدريب الكلاسيكيات تحليل المشاريع
في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، وتمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، وتناقش المزيد عن اختلافاتها وعلاقاتها التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكة التعاونية للتعلم المعزز القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى ثقة، تسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماتهم الحاسوبية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، والمفتوح، والمجهز بآلية تحفيز من خلال ثلاثة وحدات رئيسية: PRIME-RL و TOPLOC و SHARDCAST.
أولاً، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![ثورة تقنية: من السيطرة المركزية إلى التعاون اللامركزي في نماذج تدريب الذكاء الاصطناعي]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp(
ثانياً، شرح آليات التدريب الرئيسية لـ Prime Intellect
PRIME-RL: هيكل مهام التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، حيث يفصل بنية التدريب والاستدلال وتحميل الأوزان بشكل هيكلي، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات تحقق وتجميع. مقارنة بعمليات التعلم الخاضع للإشراف التقليدية، يُعتبر PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيفة
TOPLOC هو آلية أساسية للتحقق من القابلية للتدريب التي اقترحها Prime Intellect ، تُستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML ، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل ، بل يكمل تحقق الهيكل الخفيف من خلال تحليل المسارات المحلية المتسقة بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنه يحول لأول مرة مسارات السلوك أثناء عملية التدريب إلى كائنات يمكن التحقق منها ، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة ، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول انتشار وتجمع الوزن المصمم بواسطة Prime Intellect، وهو مُحسن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية، وقيود في عرض النطاق الترددي، وحالة متغيرة للعُقد. يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عُقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتدريب المستمر.
OpenDiLoCo: إطار الاتصال المتناثر غير المتزامن
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره بشكل مستقل ومفتوح المصدر بواسطة فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. تعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصالات الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل متعاون. بالجمع بين التحديثات غير المتزامنة وآلية الاسترداد من النقاط العالقة، يجعل OpenDiLoCo GPU الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف الذي تواجهه مكتبات الاتصالات التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL البنية الهرمية النادرة، ضغط التدرجات، التزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. وقد زاد بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة من خلال تحسين "آخر كيلومتر" من البنية التحتية للاتصالات.
ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بنت Prime Intellect شبكة تدريبية قابلة للتحقق، لا تتطلب إذن، وتتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST( وتوزيع المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".
![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة تقنية التعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(
أربعة، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزي
تم إصدار INTELLECT-2 من قبل Prime Intellect في مايو 2025، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية متزامنة وغير موثوقة، حيث بلغ حجم المعلمات 32 مليار. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى اللامركزية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 12
أعجبني
12
4
مشاركة
تعليق
0/400
MemeTokenGenius
· منذ 18 س
هذه الدورة من تدريب الذكاء الاصطناعي اللامركزية حقًا رائعة
شاهد النسخة الأصليةرد0
BlockchainArchaeologist
· منذ 18 س
صعوبات نماذج التدريب التي يفهمها فقط مختصو البنية التحتية
شاهد النسخة الأصليةرد0
GhostAddressHunter
· منذ 18 س
مرة أخرى يرسمون البيتكوين، هل هناك بيتكوين للأكل؟
شاهد النسخة الأصليةرد0
NftMetaversePainter
· منذ 18 س
في الواقع... التحول الحقيقي في النموذج ليس عن التدريب على الإطلاق. إنه يتعلق بالسيادة الخوارزمية في عالم الحوسبة ما بعد الفيزيائي *يأخذ رشفة من الشاي*
نموذج جديد لتدريب الذكاء الاصطناعي: من السيطرة المركزية إلى التحول التكنولوجي للتعاون اللامركزي
تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث عتبة التكنولوجيا، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.
تُعتبر التدريبات المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية المعمارية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء لتحقيق أقصى كفاءة، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، والسيطرة على الموارد، لكنها في الوقت نفسه تواجه مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهمة تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ المتزامن، من أجل تجاوز قيود الحساب والتخزين في جهاز واحد. على الرغم من أن لديها ميزات "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والمزامنة، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير عن بعد للموظفين في عدة "مكاتب" للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة السائدة تقريبًا بهذه الطريقة.
اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. تتمثل السمات الأساسية في: عدة نقاط غير موثوقة تتعاون لإنجاز مهام التدريب دون وجود منسق مركزي، عادةً من خلال بروتوكولات لتوزيع المهام والتعاون، وبمساعدة آليات تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، ويشمل هيكل النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان من الممكن "التعاون بفعالية + تحفيز الصدق + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المنضبطة" في سياقات الامتثال للخصوصية، حيث يكون في مهام التدريب، وهياكل الثقة، وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي
من منظور نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهام، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بشكل طبيعي لا يناسب إنجاز المهام بكفاءة بين العقد المتنوعة وغير الموثوق بها. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة وصول عشوائي عالية، وزمن استجابة منخفض، ونطاق ترددي عالي السرعة، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة تكون مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أساس تحفيز التعاون إلى دوافع المشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن تدريب اللامركزية هو قضية زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، سهلة التوازي، والمحفزة، يظهر تدريب اللامركزية آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: التعديل الدقيق لـ LoRA، مهام التدريب اللاحق المتعلقة بمحاذاة السلوك مثل RLHF، DPO(، تدريب البيانات الجماعي ومهام التسمية، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك مشاهد التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكولات Swarm، والمُحسنات الموزعة.
) اللامركزية تدريب الكلاسيكيات تحليل المشاريع
في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، وتمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، وتناقش المزيد عن اختلافاتها وعلاقاتها التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكة التعاونية للتعلم المعزز القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى ثقة، تسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماتهم الحاسوبية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، والمفتوح، والمجهز بآلية تحفيز من خلال ثلاثة وحدات رئيسية: PRIME-RL و TOPLOC و SHARDCAST.
أولاً، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![ثورة تقنية: من السيطرة المركزية إلى التعاون اللامركزي في نماذج تدريب الذكاء الاصطناعي]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp(
ثانياً، شرح آليات التدريب الرئيسية لـ Prime Intellect
PRIME-RL: هيكل مهام التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، حيث يفصل بنية التدريب والاستدلال وتحميل الأوزان بشكل هيكلي، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات تحقق وتجميع. مقارنة بعمليات التعلم الخاضع للإشراف التقليدية، يُعتبر PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيفة
TOPLOC هو آلية أساسية للتحقق من القابلية للتدريب التي اقترحها Prime Intellect ، تُستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML ، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل ، بل يكمل تحقق الهيكل الخفيف من خلال تحليل المسارات المحلية المتسقة بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنه يحول لأول مرة مسارات السلوك أثناء عملية التدريب إلى كائنات يمكن التحقق منها ، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة ، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول انتشار وتجمع الوزن المصمم بواسطة Prime Intellect، وهو مُحسن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية، وقيود في عرض النطاق الترددي، وحالة متغيرة للعُقد. يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عُقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتدريب المستمر.
OpenDiLoCo: إطار الاتصال المتناثر غير المتزامن
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره بشكل مستقل ومفتوح المصدر بواسطة فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. تعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصالات الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل متعاون. بالجمع بين التحديثات غير المتزامنة وآلية الاسترداد من النقاط العالقة، يجعل OpenDiLoCo GPU الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف الذي تواجهه مكتبات الاتصالات التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL البنية الهرمية النادرة، ضغط التدرجات، التزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. وقد زاد بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة من خلال تحسين "آخر كيلومتر" من البنية التحتية للاتصالات.
ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بنت Prime Intellect شبكة تدريبية قابلة للتحقق، لا تتطلب إذن، وتتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST( وتوزيع المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".
![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة تقنية التعاون اللامركزي])https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp(
أربعة، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزي
تم إصدار INTELLECT-2 من قبل Prime Intellect في مايو 2025، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية متزامنة وغير موثوقة، حيث بلغ حجم المعلمات 32 مليار. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى اللامركزية.