Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация совместной технологической революции
В полной цепочке создания стоимости искусственного интеллекта обучение моделей является этапом с наибольшими затратами ресурсов и самыми высокими технологическими барьерами, который напрямую определяет предельные возможности модели и эффективность ее практического применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение — это наиболее распространенный традиционный метод, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающем весь процесс обучения, от аппаратного обеспечения и программного обеспечения низкого уровня до системы управления кластером и всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубокая координация архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения моделей большого масштаба, таких как GPT, Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но одновременно существуют проблемы монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения крупных моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении её на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на физическую "распределённость", в целом за процессом по-прежнему контролирует централизованная организация, которая управляет координацией и синхронизацией, часто работающая в среде высокоскоростных локальных сетей, используя технологию высокоскоростной межсоединительной шины NVLink для единой координации подзадач основным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо соответствие весам модели
Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение параллельной гранулярности
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудниками нескольких "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные модели больших данных обучаются этим способом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре траекторию будущего. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью механизмов криптоощущений для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Проблемы с гетерогенными устройствами и разделением задач: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Боттleneck в эффективности связи: нестабильная сетевая связь, явно выраженный боттleneck в синхронизации градиентов
Отсутствие доверенного выполнения: нехватка доверенной среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизмы отката при сбоях
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему осуществимая массовая децентрализация тренировки" все еще представляет собой системную инженерную задачу, затрагивающую такие аспекты, как системная архитектура, коммуникационные протоколы, безопасность криптографии, экономические механизмы, проверка моделей и т.д., но вопрос о том, может ли это быть "совместно эффективно + стимулирование честности + правильность результатов" все еще находится на стадии ранних прототипов.
Федеративное обучение как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенной тренировки и локальной кооперативной способностью, одновременно имея преимущества распределенных данных для Децентрализация, но все же зависит от доверенного координирующего лица и не обладает полностью открытыми и антикоррупционными свойствами. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, в которых задачи тренировки, структура доверия и механизмы связи относительно мягкие, что более подходит в качестве переходной архитектуры развертывания в промышленности.
Сравнительная таблица парадигм обучения ИИ
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, требующие сильной конфиденциальности данных и суверенитета, ограничены юридическими и этическими ограничениями, что затрудняет открытое сотрудничество; а задачи, которые лишены базовой мотивации для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализованного обучения.
Но это не значит, что Децентрализация обучение является ложной концепцией. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью мотивации, Децентрализация обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: настройка LoRA, задачи обучения после выравнивания поведения, задачи краудсорсинга данных для обучения и разметки, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способностью к толерантности к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в архитектуре систем и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; тогда как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначенные инженерные достижения. В данной статье последовательно анализируются ключевые технологии и инженерные архитектуры этих пяти проектов, а также обсуждаются их различия и взаимодополняющие отношения в децентрализованной системе AI обучения.
Prime Intellect: Пионер сети совместного обучения с подтверждаемыми траекториями обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с возможностью верификации, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Один. Структура протокола Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Децентрализованная асинхронная архитектура задач обучения с подкреплением
PRIME-RL — это фреймворк моделирования задач и выполнения, разработанный Prime Intellect для Децентрализация тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, снижая сложность системы и создавая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: легковесный механизм проверки тренировочного поведения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, которая используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения наград за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация сотрудничества в обучении.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол передачи веса и агрегирования, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной передачей, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать подавать частичные обновления в условиях несинхронизированного состояния, достигая прогрессивной сходимости веса и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются при Децентрализация обучения. Ее архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL - это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает устойчивость к пропускной способности сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал тренировочную сеть без разрешений, которая может быть проверена и обладает экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию награды и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности поведения обучения и участия в расчете вознаграждений и агрегации стратегий
Ядро процесса протокола включает публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, образуя замкнутый цикл стимулов, сосредоточенный на "реальном обучении".
Четыре, INTELLECT-2: Первый выпущенный проверяемый децентрализованный обучающий модель
Компания Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, не требующего доверия Децентрализация узлов, работающих совместно. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение равно консенсус" от Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, верификации и замкнутого экономического стимула в процессе обучения в рамках децентрализованной обучающей сети.
В плане производительности INTELLECT-2 основан на QwQ-32B и прошёл специализированное обучение RL в области кода и математики, находясь на переднем крае современных открытых RL моделей для дообучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
11 Лайков
Награда
11
6
Поделиться
комментарий
0/400
NotSatoshi
· 07-20 22:41
Завести аккаунт — это необходимость.
Посмотреть ОригиналОтветить0
CryptoHistoryClass
· 07-20 22:40
*вздох* как и хайп по децентрализации в эпоху доткомов в '99... мы никогда не учимся, правда?
Посмотреть ОригиналОтветить0
BridgeTrustFund
· 07-20 22:37
Даже денег на еду не хватает, а еще тренировки проводят.
Посмотреть ОригиналОтветить0
MonkeySeeMonkeyDo
· 07-20 22:37
Короли свитков, заходите посмотреть это
Посмотреть ОригиналОтветить0
AirdropHuntress
· 07-20 22:37
Эм, в этом разделении явно существуют проблемы с распределением средств и управлением рисками.
Децентрализация AI тренировки революция: Prime Intellect ведет новый парадигму открытого сотрудничества
Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация совместной технологической революции
В полной цепочке создания стоимости искусственного интеллекта обучение моделей является этапом с наибольшими затратами ресурсов и самыми высокими технологическими барьерами, который напрямую определяет предельные возможности модели и эффективность ее практического применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение — это наиболее распространенный традиционный метод, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающем весь процесс обучения, от аппаратного обеспечения и программного обеспечения низкого уровня до системы управления кластером и всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубокая координация архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения моделей большого масштаба, таких как GPT, Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но одновременно существуют проблемы монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения крупных моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении её на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на физическую "распределённость", в целом за процессом по-прежнему контролирует централизованная организация, которая управляет координацией и синхронизацией, часто работающая в среде высокоскоростных локальных сетей, используя технологию высокоскоростной межсоединительной шины NVLink для единой координации подзадач основным узлом. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудниками нескольких "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные модели больших данных обучаются этим способом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре траекторию будущего. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью механизмов криптоощущений для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему осуществимая массовая децентрализация тренировки" все еще представляет собой системную инженерную задачу, затрагивающую такие аспекты, как системная архитектура, коммуникационные протоколы, безопасность криптографии, экономические механизмы, проверка моделей и т.д., но вопрос о том, может ли это быть "совместно эффективно + стимулирование честности + правильность результатов" все еще находится на стадии ранних прототипов.
Федеративное обучение как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенной тренировки и локальной кооперативной способностью, одновременно имея преимущества распределенных данных для Децентрализация, но все же зависит от доверенного координирующего лица и не обладает полностью открытыми и антикоррупционными свойствами. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, в которых задачи тренировки, структура доверия и механизмы связи относительно мягкие, что более подходит в качестве переходной архитектуры развертывания в промышленности.
Сравнительная таблица парадигм обучения ИИ
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, требующие сильной конфиденциальности данных и суверенитета, ограничены юридическими и этическими ограничениями, что затрудняет открытое сотрудничество; а задачи, которые лишены базовой мотивации для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализованного обучения.
Но это не значит, что Децентрализация обучение является ложной концепцией. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью мотивации, Децентрализация обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: настройка LoRA, задачи обучения после выравнивания поведения, задачи краудсорсинга данных для обучения и разметки, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способностью к толерантности к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировка классических проектов解析
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в архитектуре систем и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; тогда как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначенные инженерные достижения. В данной статье последовательно анализируются ключевые технологии и инженерные архитектуры этих пяти проектов, а также обсуждаются их различия и взаимодополняющие отношения в децентрализованной системе AI обучения.
Prime Intellect: Пионер сети совместного обучения с подтверждаемыми траекториями обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с возможностью верификации, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Один. Структура протокола Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Децентрализованная асинхронная архитектура задач обучения с подкреплением
PRIME-RL — это фреймворк моделирования задач и выполнения, разработанный Prime Intellect для Децентрализация тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, снижая сложность системы и создавая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: легковесный механизм проверки тренировочного поведения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, которая используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения наград за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация сотрудничества в обучении.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол передачи веса и агрегирования, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной передачей, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать подавать частичные обновления в условиях несинхронизированного состояния, достигая прогрессивной сходимости веса и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются при Децентрализация обучения. Ее архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL - это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает устойчивость к пропускной способности сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал тренировочную сеть без разрешений, которая может быть проверена и обладает экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса протокола включает публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, образуя замкнутый цикл стимулов, сосредоточенный на "реальном обучении".
Четыре, INTELLECT-2: Первый выпущенный проверяемый децентрализованный обучающий модель
Компания Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, не требующего доверия Децентрализация узлов, работающих совместно. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение равно консенсус" от Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, верификации и замкнутого экономического стимула в процессе обучения в рамках децентрализованной обучающей сети.
В плане производительности INTELLECT-2 основан на QwQ-32B и прошёл специализированное обучение RL в области кода и математики, находясь на переднем крае современных открытых RL моделей для дообучения.