Эволюция парадигмы обучения ИИ: от централизованного управления к технической революции децентрализации и сотрудничества
В полной цепочке создания стоимости ИИ, обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что является настоящей «тяжёлой промышленностью» в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является самым распространенным традиционным способом, осуществляемым одним учреждением в локальном высокопроизводительном кластере, где весь процесс обучения, включая аппаратное обеспечение, программное обеспечение нижнего уровня, систему управления кластерами и все компоненты обучающего фреймворка, координируется единой управляющей системой. Эта глубокая координация архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает его очень подходящим для обучения крупных моделей, таких как GPT и Gemini, имея преимущества в высокой эффективности и контролируемых ресурсах, но одновременно сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбивке задачи обучения модели на части и распределении их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что в физическом плане он имеет характеристики «распределённости», в целом он всё равно контролируется и координируется централизованным органом, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink для единой координации подзадач основным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо сопоставить веса модели
Модельное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельное выполнение: поэтапное последовательное выполнение, повышение пропускной способности;
Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение степени параллелизма.
Распределенное обучение — это комбинация «централизованного управления + распределенного выполнения», аналогично тому, как один и тот же начальник дистанционно управляет несколькими сотрудниками «офиса», чтобы совместно выполнять задачи. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация тренировок представляет собой более открытую и устойчивую к цензуре будущую траекторию. Его ключевые характеристики заключаются в следующем: несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, и с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Недостаток доверяемого исполнения: отсутствие надежной среды исполнения, затрудняющее проверку того, действительно ли узлы участвуют в вычислениях;
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката при сбоях сложны.
Децентрализация тренировки можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но «действительно осуществимая массовая децентрализованная тренировка» все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию моделей и другие уровни. Однако вопрос о том, может ли это быть «совместным эффективным + стимулирующим честность + правильным результатом», все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной координации, одновременно имея преимущества распределенных данных в Децентрализация, но оно все еще зависит от надежной координационной стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как «контролируемую Децентрализация» в контексте соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве транзитной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых случаях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, доверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями конфиденциальности данных и суверенитета ограничены юридическими и этическими нормами, что делает невозможным их открытое совместное использование; а задачи, не имеющие основы для совместного стимулирования, лишены внешних мотиваций для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является ложной проблемой. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи послеобучения, такие как выравнивание поведения, задачи обучения и аннотирования с краудсорсингом данных, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализ
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в системной архитектуре и проектировании алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как Gensyn и Flock.io имеют относительно четкие пути реализации и уже демонстрируют первые инженерные достижения. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно исследовано их различие и взаимодополнение в децентрализованной системе обучения ИИ.
Prime Intellect: Тренировочные траектории с возможностью верификации для усиленного обучения в кооперативных сетях.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяющую каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным стимулом через три основных модуля: PRIME-RL, TOPLOC и SHARDCAST.
I. Структура и ключевая ценность модуля протокола Prime Intellect
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: декомпозиционная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является рамкой моделирования и выполнения задач, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально предназначенной для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центральной оркестрации, что снижает сложность системы и закладывает основу для поддержки параллельных многозадачных процессов и эволюции стратегий.
TOPLOC:легкий механизм проверки поведения тренировки
TOPLOC является основным механизмом верификации обучения, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между «последовательностью наблюдений ↔ обновлением стратегии». Он впервые преобразует поведенческие траектории во время процесса обучения в объекты, подлежащие верификации, что является ключевым инновационным решением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация совместных обучающих сетей.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения и является основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура, созданная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально разработанная для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе Децентрализации обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. Сочетая асинхронное обновление и механизм устойчивости к сбоям, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды тренировки ИИ, призванная решить проблемы адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, открывая «последнюю милю» коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, что позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определить учебную среду, начальную модель, функцию вознаграждения и критерии валидации
Узел для обучения: выполняет локальное обучение, отправляет обновления весов и наблюдательные траектории
Узлы проверки: использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг «реального обучающего поведения».
Четыре, INTELLECT-2: Первый выпущенный проверяемый децентрализованный обучающий модель
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире модель глубокого обучения, обученная с использованием асинхронных, ненадежных Децентрализация узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, длительность обучения составила более 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной сетевой кооперации. Эта модель не только является прорывом в производительности, но и представляет собой первое системное воплощение парадигмы «обучение как консенсус», предложенной Prime Intellect. INTELLECT-2 интегрирует модули основных протоколов, таких как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация обучения.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
7 Лайков
Награда
7
6
Поделиться
комментарий
0/400
StrawberryIce
· 17ч назад
Вычислительная мощность разве не является самой большой проблемой~
Посмотреть ОригиналОтветить0
BearMarketBuilder
· 17ч назад
Заработок зависит от ИИ, ха!
Посмотреть ОригиналОтветить0
GhostInTheChain
· 17ч назад
Сжигаем деньги до Луны.
Посмотреть ОригиналОтветить0
DeFiAlchemist
· 17ч назад
*регулирует технические инструменты* децентрализованное обучение ИИ... окончательная Протокол эффективность трансмутация
Посмотреть ОригиналОтветить0
NftCollectors
· 17ч назад
Посмотрев, мозг начал работать... Децентрализация обучения — это не подход к обучению активов в web3 в блокчейне? С художественной точки зрения можно увидеть насыщенную хаотичную эстетику.
Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация совместной технической революции
Эволюция парадигмы обучения ИИ: от централизованного управления к технической революции децентрализации и сотрудничества
В полной цепочке создания стоимости ИИ, обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что является настоящей «тяжёлой промышленностью» в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является самым распространенным традиционным способом, осуществляемым одним учреждением в локальном высокопроизводительном кластере, где весь процесс обучения, включая аппаратное обеспечение, программное обеспечение нижнего уровня, систему управления кластерами и все компоненты обучающего фреймворка, координируется единой управляющей системой. Эта глубокая координация архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает его очень подходящим для обучения крупных моделей, таких как GPT и Gemini, имея преимущества в высокой эффективности и контролируемых ресурсах, но одновременно сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбивке задачи обучения модели на части и распределении их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что в физическом плане он имеет характеристики «распределённости», в целом он всё равно контролируется и координируется централизованным органом, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink для единой координации подзадач основным узлом. Основные методы включают:
Распределенное обучение — это комбинация «централизованного управления + распределенного выполнения», аналогично тому, как один и тот же начальник дистанционно управляет несколькими сотрудниками «офиса», чтобы совместно выполнять задачи. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация тренировок представляет собой более открытую и устойчивую к цензуре будущую траекторию. Его ключевые характеристики заключаются в следующем: несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, и с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но «действительно осуществимая массовая децентрализованная тренировка» все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию моделей и другие уровни. Однако вопрос о том, может ли это быть «совместным эффективным + стимулирующим честность + правильным результатом», все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной координации, одновременно имея преимущества распределенных данных в Децентрализация, но оно все еще зависит от надежной координационной стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как «контролируемую Децентрализация» в контексте соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве транзитной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых случаях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, доверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями конфиденциальности данных и суверенитета ограничены юридическими и этическими нормами, что делает невозможным их открытое совместное использование; а задачи, не имеющие основы для совместного стимулирования, лишены внешних мотиваций для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является ложной проблемой. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи послеобучения, такие как выравнивание поведения, задачи обучения и аннотирования с краудсорсингом данных, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализ
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в системной архитектуре и проектировании алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как Gensyn и Flock.io имеют относительно четкие пути реализации и уже демонстрируют первые инженерные достижения. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно исследовано их различие и взаимодополнение в децентрализованной системе обучения ИИ.
Prime Intellect: Тренировочные траектории с возможностью верификации для усиленного обучения в кооперативных сетях.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяющую каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным стимулом через три основных модуля: PRIME-RL, TOPLOC и SHARDCAST.
I. Структура и ключевая ценность модуля протокола Prime Intellect
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: декомпозиционная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является рамкой моделирования и выполнения задач, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально предназначенной для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центральной оркестрации, что снижает сложность системы и закладывает основу для поддержки параллельных многозадачных процессов и эволюции стратегий.
TOPLOC:легкий механизм проверки поведения тренировки
TOPLOC является основным механизмом верификации обучения, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между «последовательностью наблюдений ↔ обновлением стратегии». Он впервые преобразует поведенческие траектории во время процесса обучения в объекты, подлежащие верификации, что является ключевым инновационным решением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация совместных обучающих сетей.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения и является основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура, созданная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально разработанная для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе Децентрализации обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. Сочетая асинхронное обновление и механизм устойчивости к сбоям, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды тренировки ИИ, призванная решить проблемы адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, открывая «последнюю милю» коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, что позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг «реального обучающего поведения».
Четыре, INTELLECT-2: Первый выпущенный проверяемый децентрализованный обучающий модель
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире модель глубокого обучения, обученная с использованием асинхронных, ненадежных Децентрализация узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, длительность обучения составила более 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной сетевой кооперации. Эта модель не только является прорывом в производительности, но и представляет собой первое системное воплощение парадигмы «обучение как консенсус», предложенной Prime Intellect. INTELLECT-2 интегрирует модули основных протоколов, таких как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация обучения.