Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої кооперації
У повній ціннісній ланцюгу AI модельне навчання є найбільш ресурсомістким етапом з найвищими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні з легковаговими викликами на етапі висновку, процес навчання вимагає постійних масштабних обчислювальних витрат, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" у побудові AI-систем. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Концентроване навчання є найпоширенішим традиційним способом, що виконується єдиним органом в локальному високопродуктивному кластері, який завершує всі етапи навчання, від апаратного забезпечення, базового програмного забезпечення, системи планування кластерів до всіх компонентів навчальної рамки, які координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополізації даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання однієї машини. Незважаючи на те, що фізично має "Децентралізація" характеристики, загалом все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, за допомогою технології високошвидкісної магістралі NVLink, головний вузол координує всі підзадачі. Основні методи включають:
Дані паралельно: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості;
Паралельні канали: поетапне послідовне виконання, підвищення пропускної спроможності;
Тензорне паралельне виконання: тонка сегментація матричних обчислень, підвищення паралельної гранулярності.
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками з кількох "офісів" для виконання завдання. На сьогоднішній день практично всі основні великі моделі тренуються саме таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів співпрацюють у виконанні завдань тренування без центрального координатора, зазвичай за допомогою протоколів для розподілу завдань і співпраці, а також за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та складнощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань;
Вузьке місце в ефективності зв'язку: мережевий зв'язок нестабільний, помітне вузьке місце синхронізації градієнтів;
Відсутність надійного виконання: брак надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях;
Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, механізм відкату помилок складний.
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносить обчислювальну потужність для спільного навчання моделі, але "справжнє масштабне дійсне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та багато інших аспектів, але чи можливо "спільно ефективно + заохочувати чесність + отримати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між розподіленістю та Децентралізацією підкреслює локальне збереження даних, централізовану агрегацію параметрів моделі, підходить для сценаріїв, що зосереджуються на відповідності приватності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, водночас має переваги розподілених даних у Децентралізації, але все ще залежить від надійних координаторів, і не має повністю відкритих та антиконтрольних характеристик. Це можна вважати "контрольованим децентралізованим" рішенням у сценаріях, що вимагають відповідності приватності, де навчальні завдання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним як перехідну архітектуру для промисловості.
Порівняльна таблиця парадигм навчання ШІ
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, високі вимоги до ресурсів або великі труднощі у співпраці, воно природним чином не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей часто залежить від великої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний розподіл та синхронізацію в відкритій мережі; завдання, обмежені правовими вимогами та етичними нормами через сильні обмеження на конфіденційність даних та суверенітет, не можуть бути відкритими для обміну; а завдання, які не мають підстав для співпраці, не мають зовнішніх стимулів для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним висновком. Насправді, у структурах з невеликою вагою, легких для паралелізації та заохочувальних типах завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: мікронастройка LoRA, завдання після навчання з поведінковим вирівнюванням (, такі як RLHF, DPO ), завдання з краудсорсингу даних та анотування, навчання малих базових моделей з контролем ресурсів, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
Наразі в галузі децентралізованого навчання та федеративного навчання серед представницьких блокчейн-проектів можна виділити Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно чіткими, і вже можна побачити початковий прогрес у інженерії. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури п'яти проектів, а також додатково розглянуто їх відмінності та взаємодоповнюючі відносини в контексті децентралізованої системи навчання штучного інтелекту.
Prime Intellect: Тренувальна траєкторія, що підлягає перевірці, посилена навчанням, кооперативна мережа піонерів
Prime Intellect прагне побудувати мережу навчання ШІ, яка не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з верифікацією, відкритістю та повноцінними механізмами стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
Один. Структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання завдань та виконання, спеціально розробленим Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує посилене навчання як пріоритетний об'єкт адаптації, структуруючи розділення процесів навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу автономно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового планування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки навчання
TOPLOC є механізмом основи перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторних обчислень усієї моделі, а здійснює легку верифікацію структури шляхом аналізу локальної узгодженості між "послідовністю спостережень ↔ оновленнями стратегій". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації довіреного розподілу винагород за навчання, та забезпечує можливий шлях для створення аудиторної, стимулюючої децентралізованої кооперативної навчальної мережі.
SHARDCAST: асинхронний протокол агрегації та розповсюдження ваг
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених по пропускній здатності та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах різних станів синхронізації, забезпечуючи поступову конвергенцію ваг та еволюцію з багатьма версіями. На відміну від централізованих або синхронних методів AllReduce, SHARDCAST значно покращує масштабованість та стійкість до збоїв децентралізованого навчання, є основою для побудови стабільного консенсусу з ваг та безперервної ітерації навчання.
OpenDiLoCo – це незалежна реалізація та відкрите програмне забезпечення фреймворку оптимізації зв'язку, створене командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких проблем, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологій, таких як кільце, розширювач та малий світ, що дозволяє уникнути високих витрат на зв'язок, пов'язаних із глобальною синхронізацією, і виконувати спільне навчання моделі, покладаючись лише на сусідні вузли. Поєднуючи асинхронне оновлення з механізмом відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що значно підвищує можливість участі у глобальному спільному навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої мережі навчання.
PCCL:Бібліотека співпраці з комунікаціями
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення проблем адаптації традиційних комунікаційних бібліотек в умовах гетерогенних пристроїв та мереж з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення після збоїв, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність мережі до пропускної здатності та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, бездокументної мережі співпраці.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренувань без дозволів, що підлягає перевірці та має економічні механізми стимулювання, що дозволяє кожному брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів перевірки
Навчальний вузол: виконання локального навчання, подання оновлень ваг та спостережуваних траєкторій
Вузли верифікації: використовують механізм TOPLOC для перевірки справжності навчальної поведінки та беруть участь у розрахунку винагород і агрегації стратегій
Ядро процесу угоди включає публікацію завдань, тренування вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, що складає стимулююче замкнене коло навколо "реальної тренувальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований навчальний модель
Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель зміцнення, навчена за допомогою асинхронних, без довіри децентралізованих вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, що демонструє доцільність і стабільність асинхронної кооперативної мережі. Ця модель не тільки є проривом у продуктивності, але й є першим системним втіленням парадигми "тренування - це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує децентралізацію.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
17 лайків
Нагородити
17
4
Поділіться
Прокоментувати
0/400
MemeTokenGenius
· 07-22 07:04
Ця хвиля AI тренування Децентралізація справді зробила це красиво
Переглянути оригіналвідповісти на0
BlockchainArchaeologist
· 07-22 07:04
Труднощі моделювання, які зрозуміють тільки спеціалісти з інфраструктури
Переглянути оригіналвідповісти на0
GhostAddressHunter
· 07-22 07:03
Знову малюєш BTC? Є що їсти?
Переглянути оригіналвідповісти на0
NftMetaversePainter
· 07-22 07:00
насправді... істинний парадигмальний зсув не стосується навчання взагалі. йдеться про алгоритмічний суверенітет у постфізичній обчислювальній сфері *п'є чай*
AI тренування нової парадигми: від централізованого контролю до Децентралізація співпраці технологічна зміна
Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої кооперації
У повній ціннісній ланцюгу AI модельне навчання є найбільш ресурсомістким етапом з найвищими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні з легковаговими викликами на етапі висновку, процес навчання вимагає постійних масштабних обчислювальних витрат, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" у побудові AI-систем. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Концентроване навчання є найпоширенішим традиційним способом, що виконується єдиним органом в локальному високопродуктивному кластері, який завершує всі етапи навчання, від апаратного забезпечення, базового програмного забезпечення, системи планування кластерів до всіх компонентів навчальної рамки, які координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополізації даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання однієї машини. Незважаючи на те, що фізично має "Децентралізація" характеристики, загалом все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, за допомогою технології високошвидкісної магістралі NVLink, головний вузол координує всі підзадачі. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками з кількох "офісів" для виконання завдання. На сьогоднішній день практично всі основні великі моделі тренуються саме таким чином.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів співпрацюють у виконанні завдань тренування без центрального координатора, зазвичай за допомогою протоколів для розподілу завдань і співпраці, а також за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносить обчислювальну потужність для спільного навчання моделі, але "справжнє масштабне дійсне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та багато інших аспектів, але чи можливо "спільно ефективно + заохочувати чесність + отримати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між розподіленістю та Децентралізацією підкреслює локальне збереження даних, централізовану агрегацію параметрів моделі, підходить для сценаріїв, що зосереджуються на відповідності приватності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, водночас має переваги розподілених даних у Децентралізації, але все ще залежить від надійних координаторів, і не має повністю відкритих та антиконтрольних характеристик. Це можна вважати "контрольованим децентралізованим" рішенням у сценаріях, що вимагають відповідності приватності, де навчальні завдання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним як перехідну архітектуру для промисловості.
Порівняльна таблиця парадигм навчання ШІ
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, високі вимоги до ресурсів або великі труднощі у співпраці, воно природним чином не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей часто залежить від великої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний розподіл та синхронізацію в відкритій мережі; завдання, обмежені правовими вимогами та етичними нормами через сильні обмеження на конфіденційність даних та суверенітет, не можуть бути відкритими для обміну; а завдання, які не мають підстав для співпраці, не мають зовнішніх стимулів для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним висновком. Насправді, у структурах з невеликою вагою, легких для паралелізації та заохочувальних типах завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: мікронастройка LoRA, завдання після навчання з поведінковим вирівнюванням (, такі як RLHF, DPO ), завдання з краудсорсингу даних та анотування, навчання малих базових моделей з контролем ресурсів, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
Наразі в галузі децентралізованого навчання та федеративного навчання серед представницьких блокчейн-проектів можна виділити Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно чіткими, і вже можна побачити початковий прогрес у інженерії. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури п'яти проектів, а також додатково розглянуто їх відмінності та взаємодоповнюючі відносини в контексті децентралізованої системи навчання штучного інтелекту.
Prime Intellect: Тренувальна траєкторія, що підлягає перевірці, посилена навчанням, кооперативна мережа піонерів
Prime Intellect прагне побудувати мережу навчання ШІ, яка не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з верифікацією, відкритістю та повноцінними механізмами стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
Один. Структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання завдань та виконання, спеціально розробленим Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує посилене навчання як пріоритетний об'єкт адаптації, структуруючи розділення процесів навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу автономно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового планування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки навчання
TOPLOC є механізмом основи перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторних обчислень усієї моделі, а здійснює легку верифікацію структури шляхом аналізу локальної узгодженості між "послідовністю спостережень ↔ оновленнями стратегій". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації довіреного розподілу винагород за навчання, та забезпечує можливий шлях для створення аудиторної, стимулюючої децентралізованої кооперативної навчальної мережі.
SHARDCAST: асинхронний протокол агрегації та розповсюдження ваг
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених по пропускній здатності та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах різних станів синхронізації, забезпечуючи поступову конвергенцію ваг та еволюцію з багатьма версіями. На відміну від централізованих або синхронних методів AllReduce, SHARDCAST значно покращує масштабованість та стійкість до збоїв децентралізованого навчання, є основою для побудови стабільного консенсусу з ваг та безперервної ітерації навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний каркас
OpenDiLoCo – це незалежна реалізація та відкрите програмне забезпечення фреймворку оптимізації зв'язку, створене командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких проблем, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологій, таких як кільце, розширювач та малий світ, що дозволяє уникнути високих витрат на зв'язок, пов'язаних із глобальною синхронізацією, і виконувати спільне навчання моделі, покладаючись лише на сусідні вузли. Поєднуючи асинхронне оновлення з механізмом відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що значно підвищує можливість участі у глобальному спільному навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої мережі навчання.
PCCL:Бібліотека співпраці з комунікаціями
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення проблем адаптації традиційних комунікаційних бібліотек в умовах гетерогенних пристроїв та мереж з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення після збоїв, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність мережі до пропускної здатності та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, бездокументної мережі співпраці.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренувань без дозволів, що підлягає перевірці та має економічні механізми стимулювання, що дозволяє кожному брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, тренування вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, що складає стимулююче замкнене коло навколо "реальної тренувальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований навчальний модель
Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель зміцнення, навчена за допомогою асинхронних, без довіри децентралізованих вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, що демонструє доцільність і стабільність асинхронної кооперативної мережі. Ця модель не тільки є проривом у продуктивності, але й є першим системним втіленням парадигми "тренування - це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує децентралізацію.