Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация и кооперации в технологической революции
В полной ценностной цепочке ИИ этап обучения моделей является наиболее ресурсоемким и с наивысшим технологическим порогом, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и, в частности, децентрализованное обучение, которое обсуждается в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, где все процессы обучения выполняются единым учреждением на локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером до всех компонентов учебной структуры, которые координируются единой системой управления. Эта глубоко согласованная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но также имеет проблемы, такие как монополия на данные, барьеры к ресурсам, энергопотребление и риски единой точки.
Распределённое обучение — это основной способ обучения крупных моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он имеет "распределённые" характеристики, в целом он по-прежнему контролируется и координируется централизованными организациями, часто работает в среде высокоскоростных локальных сетей, используя технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. К основным методам относятся:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо соответствовать весам модели
Модельное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности;
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение параллельной гранулярности.
Распределённое обучение является комбинацией "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими сотрудниками "офисов", которые совместно выполняют задачи. В настоящее время почти все основные модели создаются именно таким образом.
Децентрализация обучения подразумевает более открытую и устойчивую к цензуре будущую траекторию. Его ключевые характеристики заключаются в следующем: множество недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптографического стимулирования, обеспечивающих честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Отсутствие надежного исполнения: отсутствие надежной среды исполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях;
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката при сбоях.
Децентрализация тренировки можно понять как: группа глобальных добровольцев, каждый из которых вносит свои вычислительные мощности для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но возможность "совместной эффективности + стимул честности + правильность результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и способности локальной кооперации, а также преимущества распределенных данных от Децентрализация обучения, но все еще зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, в задачах обучения, структурах доверия и коммуникационных механизмах он относительно умерен, более подходит в качестве переходной архитектуры развертывания в промышленности.
Обзор парадигм обучения AI
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены правовыми нормами и этическими ограничениями, что делает невозможным открытое共享; а задачи, которым не хватает стимулов для сотрудничества, испытывают недостаток внешней мотивации. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что децентрализация обучения является ложной гипотезой. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью стимуляции децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, связанные с выравниванием поведения (, такие как RLHF, DPO ), задачи по обучению и маркировке данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для кооперативного обучения через P2P-сети, протокол Swarm, распределенные оптимизаторы и т.д.
Децентрализация тренировки классических проектов анализа
В настоящее время в передовых областях децентрализованного обучения и федеративного обучения,代表的 блокчейн проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмного дизайна, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальные инженерные достижения. В данной статье последовательно анализируются ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно исследуются их различия и взаимодополняющие отношения в децентрализованной AI-тренировочной системе.
Prime Intellect: тренируемая траектория проверяемой强化学习协同网络先行者
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
I. Структура протокола Prime Intellect и ценность ключевых модулей
Два, Подробное объяснение ключевых механизмов обучения Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL является задачей моделирования и выполнения, разработанной Prime Intellect для Децентрализация учебных сцен, специально предназначенной для гетерогенных сетей и асинхронного участия. Она использует алгоритмы обучения с подкреплением в качестве приоритетного объекта, структурно декомпозируя процесс обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения многозадачности и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения обучения
TOPLOC - это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а использует анализ локальных согласованных траекторий между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Он впервые преобразует траектории поведения в процессе обучения в верифицируемые объекты, что является ключевым инновационным решением для достижения распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计,可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменчивым состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам непрерывно отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает прогрессивную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в Децентрализация тренировках. Его архитектура основана на параллельной обработке данных, с использованием разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на локальные соседние узлы для совместной тренировки модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в тренировочных задачах, значительно улучшая участие в глобальных кооперативных тренировках и становясь одной из ключевых коммуникационных инфраструктур для построения Децентрализация тренировочной сети.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, направленная на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникации протокола OpenDiLoCo. Она значительно увеличивает допустимость пропускной способности сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал разрешённую, проверяемую и обладающую экономическими стимулами сеть для обучения, позволяя любому участвовать в задачах и получать награды на основе реальных вкладов. Протокол работает на основе трёх основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: Использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждений и агрегации стратегий
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронной, не требующей доверия Децентрализация сетей узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и представляет собой первое системное воплощение парадигмы "обучение равно консенсус" , предложенной Prime Intellect. INTELLECT-2 включает в себя ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
12 Лайков
Награда
12
4
Поделиться
комментарий
0/400
MemeTokenGenius
· 18ч назад
Эта волна тренировки AI Децентрализация действительно сделала это прекрасно.
Посмотреть ОригиналОтветить0
BlockchainArchaeologist
· 18ч назад
Трудности модели обучения, которые понимают только строители
Посмотреть ОригиналОтветить0
GhostAddressHunter
· 18ч назад
Снова рисуют BTC. Есть ли пирог?
Посмотреть ОригиналОтветить0
NftMetaversePainter
· 18ч назад
на самом деле... настоящая парадигмальная смена не связана с обучением. это о алгоритмическом суверенитете в пост-физическом вычислительном пространстве *пьет чай*
Новая парадигма обучения ИИ: технологическая трансформация от централизованного контроля к децентрализованной кооперации
Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация и кооперации в технологической революции
В полной ценностной цепочке ИИ этап обучения моделей является наиболее ресурсоемким и с наивысшим технологическим порогом, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и, в частности, децентрализованное обучение, которое обсуждается в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, где все процессы обучения выполняются единым учреждением на локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером до всех компонентов учебной структуры, которые координируются единой системой управления. Эта глубоко согласованная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но также имеет проблемы, такие как монополия на данные, барьеры к ресурсам, энергопотребление и риски единой точки.
Распределённое обучение — это основной способ обучения крупных моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он имеет "распределённые" характеристики, в целом он по-прежнему контролируется и координируется централизованными организациями, часто работает в среде высокоскоростных локальных сетей, используя технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. К основным методам относятся:
Распределённое обучение является комбинацией "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими сотрудниками "офисов", которые совместно выполняют задачи. В настоящее время почти все основные модели создаются именно таким образом.
Децентрализация обучения подразумевает более открытую и устойчивую к цензуре будущую траекторию. Его ключевые характеристики заключаются в следующем: множество недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптографического стимулирования, обеспечивающих честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных добровольцев, каждый из которых вносит свои вычислительные мощности для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но возможность "совместной эффективности + стимул честности + правильность результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и способности локальной кооперации, а также преимущества распределенных данных от Децентрализация обучения, но все еще зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, в задачах обучения, структурах доверия и коммуникационных механизмах он относительно умерен, более подходит в качестве переходной архитектуры развертывания в промышленности.
Обзор парадигм обучения AI
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены правовыми нормами и этическими ограничениями, что делает невозможным открытое共享; а задачи, которым не хватает стимулов для сотрудничества, испытывают недостаток внешней мотивации. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что децентрализация обучения является ложной гипотезой. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью стимуляции децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, связанные с выравниванием поведения (, такие как RLHF, DPO ), задачи по обучению и маркировке данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для кооперативного обучения через P2P-сети, протокол Swarm, распределенные оптимизаторы и т.д.
Децентрализация тренировки классических проектов анализа
В настоящее время в передовых областях децентрализованного обучения и федеративного обучения,代表的 блокчейн проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмного дизайна, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальные инженерные достижения. В данной статье последовательно анализируются ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно исследуются их различия и взаимодополняющие отношения в децентрализованной AI-тренировочной системе.
Prime Intellect: тренируемая траектория проверяемой强化学习协同网络先行者
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
I. Структура протокола Prime Intellect и ценность ключевых модулей
Два, Подробное объяснение ключевых механизмов обучения Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL является задачей моделирования и выполнения, разработанной Prime Intellect для Децентрализация учебных сцен, специально предназначенной для гетерогенных сетей и асинхронного участия. Она использует алгоритмы обучения с подкреплением в качестве приоритетного объекта, структурно декомпозируя процесс обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения многозадачности и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения обучения
TOPLOC - это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а использует анализ локальных согласованных траекторий между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Он впервые преобразует траектории поведения в процессе обучения в верифицируемые объекты, что является ключевым инновационным решением для достижения распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计,可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменчивым состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам непрерывно отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает прогрессивную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в Децентрализация тренировках. Его архитектура основана на параллельной обработке данных, с использованием разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на локальные соседние узлы для совместной тренировки модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в тренировочных задачах, значительно улучшая участие в глобальных кооперативных тренировках и становясь одной из ключевых коммуникационных инфраструктур для построения Децентрализация тренировочной сети.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, направленная на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникации протокола OpenDiLoCo. Она значительно увеличивает допустимость пропускной способности сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал разрешённую, проверяемую и обладающую экономическими стимулами сеть для обучения, позволяя любому участвовать в задачах и получать награды на основе реальных вкладов. Протокол работает на основе трёх основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронной, не требующей доверия Децентрализация сетей узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и представляет собой первое системное воплощение парадигмы "обучение равно консенсус" , предложенной Prime Intellect. INTELLECT-2 включает в себя ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация.