Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація кооперативної технологічної революції
У всій ціннісній ланцюгу AI модельне навчання є етапом з найбільшими витратами ресурсів та найбільшими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. На відміну від легковагих викликів на етапі інференції, процес навчання потребує постійного масштабного обчислювального ресурсу, складних процесів обробки даних і підтримки високоефективних алгоритмів оптимізації, що є справжньою «важкою промисловістю» побудови AI-систем. З точки зору архітектурної парадигми методи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, основного програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що дуже підходить для навчання масштабних моделей, таких як GPT, Gemini, із перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислення та зберігання на одиничному комп’ютері. Хоча фізично є «розподіленими», система все ще контролюється централізованою установою, яка відповідає за планування та синхронізацію, зазвичай працює в середовищі швидкої локальної мережі, використовуючи технологію високошвидкісної міжмашинної зв’язку NVLink, з головним вузлом, що координує підзавдання. Основні методи включають:
Дані паралельні: кожен вузол тренує різні дані, параметри діляться, потрібно узгодити ваги моделі
Модельна паралельність: розгорнення різних частин моделі на різних вузлах для досягнення сильної масштабованості;
Паралельні трубопроводи: поетапне послідовне виконання, підвищення пропускної спроможності;
Тензорне паралелізування: детальне розподіл матричних обчислень, підвищення паралельної гранулярності.
Розподілене навчання – це комбінація «централізованого контролю + розподіленого виконання», аналогічно тому, як один і той же бос віддалено керує співробітниками кількох «офісів», які співпрацюють для виконання завдання. Наразі практично всі основні великі моделі навчаються саме цим способом.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основними характеристиками є: кілька взаємно недовірливих вузлів, які спільно виконують навчальні завдання без центрального координатора, зазвичай через протоколи, що керують розподілом завдань та співпрацею, а також за допомогою криптографічних механізмів стимулювання, що забезпечують чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Проблеми з гетерогенністю пристроїв та їх поділом: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань;
Проблема ефективності зв'язку: нестабільний мережевий зв'язок, очевидні проблеми з синхронізацією градієнтів;
Відсутність довіреного виконання: брак довіреного середовища виконання, важко перевірити, чи дійсно вузол бере участь у обчисленнях;
Брак єдиної координації: відсутній центральний диспетчер, складні механізми розподілу завдань та відкату помилок.
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але «справді здійсненне велике децентралізоване тренування» все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптозахист, економічні механізми, верифікацію моделей та інші аспекти, але можливість «спільної ефективності + заохочення чесності + правильність результатів» все ще перебуває на початковій стадії прототипування.
Федеративне навчання як перехідна форма між розподіленим і Децентралізація, підкреслює збереження даних на місці та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують на відповідності вимогам щодо конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні координаційні можливості, одночасно володіючи перевагами розподілених даних у Децентралізація навчанні, але все ж залежить від надійних координаторів і не має повністю відкритих і антицензурних характеристик. Його можна розглядати як «контрольовану Децентралізація» в сценаріях, що вимагають відповідності конфіденційності, з відносно м'якими вимогами до навчальних завдань, структури довіри та комунікаційних механізмів, що робить його більш підходящим для перехідних архітектур у промисловості.
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору парадигми навчання, децентралізоване навчання підходить не для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або складну співпрацю, він, природно, не підходить для ефективного виконання серед гетерогенних і безнадійних вузлів. Наприклад, навчання великих моделей часто покладається на великий обсяг відеопам'яті, низьку затримку та високу пропускну здатність, що ускладнює ефективне шардинг і синхронізацію у відкритих мережах. Завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені дотриманням законодавства та етичними обмеженнями, і ними не можуть ділитися відкрито. Завданням, в яких відсутня спільна мотиваційна база, відсутня зовнішня мотивація. Разом ці межі складають реалістичні межі нинішнього децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у структурах з легким навантаженням, які легко паралелізуються і можуть бути стимульованими, децентралізоване навчання демонструє чіткі перспективи застосування. Серед них, але не обмежуючись: LoRA доопрацювання, завдання після навчання з вирівнюванням поведінки, задачі навчання та маркування даних з краудсорсингом, навчання малих базових моделей з контрольованими ресурсами, а також сценарії спільного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та ін.
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічних інновацій та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень в системній архітектурі та алгоритмічному дизайні, представляючи передові напрями сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно чіткими, що дозволяє спостерігати початковий прогрес в інженерії. У цій статті буде поетапно розглянуто основні технології та інженерні архітектури п'яти проектів, а також обговорено їх відмінності та взаємодоповнюючі відносини в системі децентралізованого навчання ШІ.
Prime Intellect: тренувальні траєкторії можуть бути перевірені в посиленому навчанні кооперативних мереж.
Prime Intellect прагне створити AI-мережу навчання без довіри, що дозволяє кожному брати участь у навчанні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається за допомогою трьох основних модулів PRIME-RL + TOPLOC + SHARDCAST створити AI-систему децентралізованого навчання з верифікацією, відкритістю та повноцінним механізмом стимулювання.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два. Детальний аналіз ключових механізмів тренування Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріпленого навчання з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально призначеною для гетерогенних мереж і асинхронних учасників. Вона використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання з наглядом, PRIME-RL краще підходить для реалізації гнучкого навчання в середовищі без централізованого управління, що знижує складність системи і закладає основу для підтримки багатозадачності та еволюції стратегій.
TOPLOC: легкий механізм верифікації навчальної поведінки
TOPLOC є механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а виконує верифікацію легковагової структури шляхом аналізу локальної узгодженості між «послідовністю спостережень ↔ оновленням стратегії». Вперше він перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без довіри, забезпечуючи здійсненний шлях для створення аудиторських, стимулюючих децентралізованих мереж співпраці в навчанні.
SHARDCAST: асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом важливості поширення та агрегації, розробленим Prime Intellect, який оптимізовано для справжнього мережевого середовища з асинхронним, обмеженим пропускним здатністю та змінним станом вузлів. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах різної синхронізації, реалізуючи поступову конвергенцію ваги та еволюцію багатьох версій. Порівняно з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу ваги та безперервної ітерації навчання.
OpenDiLoCo є незалежно реалізованою та відкритою платформою оптимізації зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення типових викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів у децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації, покладаючись лише на сусідні вузли для здійснення спільного навчання моделей. Поєднуючи асинхронне оновлення та механізм відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливості участі в глобальному співпраці в навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
PCCL:Бібліотека кооперативного зв'язку
PCCL — це легка бібліотека зв’язку, створена Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв’язку в гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення після збоїв, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікацію протоколу OpenDiLoCo. Він значно підвищує пропускну здатність тренувальних мереж і сумісність пристроїв, прокладаючи «останню милю» комунікаційної інфраструктури для створення справді відкритих, без довіри співпрацівників навчальних мереж.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Навчальні вузли: виконання локального навчання, подання оновлень ваги та спостереження за траєкторією
Вузли верифікації: використовують механізм TOPLOC для перевірки справжності навчальної поведінки та беруть участь у розрахунку винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторії, агрегацію ваг та виплату винагород, формуючи стимулювальний замкнутий цикл навколо «реальних навчальних дій».
Чотири, INTELLECT-2: перше публікація перевіреної децентралізованої тренувальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель підкріпленого навчання, створена за допомогою асинхронного, не довірливого децентралізованого співробітництва вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, що демонструє доцільність і стабільність асинхронних мереж співпраці. Ця модель не лише є проривом у продуктивності, а й першим системним втіленням парадигми «навчання як консенсус», запропонованої Prime Intellect. INTELLECT-2 інтегрує такі основні модулі протоколів, як PRIME-RL, TOPLOC і SHARDCAST, що знаменує децентралізоване навчання.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
7 лайків
Нагородити
7
6
Поділіться
Прокоментувати
0/400
StrawberryIce
· 17год тому
Обчислювальна потужність хіба не найбільша проблема~
Переглянути оригіналвідповісти на0
BearMarketBuilder
· 17год тому
Заробляти потрібно дивитися на ШІ, га
Переглянути оригіналвідповісти на0
GhostInTheChain
· 17год тому
Витрачати гроші до місяця
Переглянути оригіналвідповісти на0
DeFiAlchemist
· 17год тому
*налаштовує технічні прилади* децентралізоване навчання штучного інтелекту... остаточна ефективність протоколу трансмутації
Переглянути оригіналвідповісти на0
NftCollectors
· 17год тому
Після перегляду мозок почав працювати... Децентралізоване навчання не є іншим, як підхід до навчання активів у web3 у блокчейні? З художньої точки зору можна побачити яскраву хаотичну естетику.
Еволюція парадигм навчання ШІ: від централізованого контролю до децентралізованої кооперації технічної революції
Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація кооперативної технологічної революції
У всій ціннісній ланцюгу AI модельне навчання є етапом з найбільшими витратами ресурсів та найбільшими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. На відміну від легковагих викликів на етапі інференції, процес навчання потребує постійного масштабного обчислювального ресурсу, складних процесів обробки даних і підтримки високоефективних алгоритмів оптимізації, що є справжньою «важкою промисловістю» побудови AI-систем. З точки зору архітектурної парадигми методи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, основного програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що дуже підходить для навчання масштабних моделей, таких як GPT, Gemini, із перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислення та зберігання на одиничному комп’ютері. Хоча фізично є «розподіленими», система все ще контролюється централізованою установою, яка відповідає за планування та синхронізацію, зазвичай працює в середовищі швидкої локальної мережі, використовуючи технологію високошвидкісної міжмашинної зв’язку NVLink, з головним вузлом, що координує підзавдання. Основні методи включають:
Розподілене навчання – це комбінація «централізованого контролю + розподіленого виконання», аналогічно тому, як один і той же бос віддалено керує співробітниками кількох «офісів», які співпрацюють для виконання завдання. Наразі практично всі основні великі моделі навчаються саме цим способом.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основними характеристиками є: кілька взаємно недовірливих вузлів, які спільно виконують навчальні завдання без центрального координатора, зазвичай через протоколи, що керують розподілом завдань та співпрацею, а також за допомогою криптографічних механізмів стимулювання, що забезпечують чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але «справді здійсненне велике децентралізоване тренування» все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптозахист, економічні механізми, верифікацію моделей та інші аспекти, але можливість «спільної ефективності + заохочення чесності + правильність результатів» все ще перебуває на початковій стадії прототипування.
Федеративне навчання як перехідна форма між розподіленим і Децентралізація, підкреслює збереження даних на місці та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують на відповідності вимогам щодо конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні координаційні можливості, одночасно володіючи перевагами розподілених даних у Децентралізація навчанні, але все ж залежить від надійних координаторів і не має повністю відкритих і антицензурних характеристик. Його можна розглядати як «контрольовану Децентралізація» в сценаріях, що вимагають відповідності конфіденційності, з відносно м'якими вимогами до навчальних завдань, структури довіри та комунікаційних механізмів, що робить його більш підходящим для перехідних архітектур у промисловості.
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору парадигми навчання, децентралізоване навчання підходить не для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або складну співпрацю, він, природно, не підходить для ефективного виконання серед гетерогенних і безнадійних вузлів. Наприклад, навчання великих моделей часто покладається на великий обсяг відеопам'яті, низьку затримку та високу пропускну здатність, що ускладнює ефективне шардинг і синхронізацію у відкритих мережах. Завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені дотриманням законодавства та етичними обмеженнями, і ними не можуть ділитися відкрито. Завданням, в яких відсутня спільна мотиваційна база, відсутня зовнішня мотивація. Разом ці межі складають реалістичні межі нинішнього децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у структурах з легким навантаженням, які легко паралелізуються і можуть бути стимульованими, децентралізоване навчання демонструє чіткі перспективи застосування. Серед них, але не обмежуючись: LoRA доопрацювання, завдання після навчання з вирівнюванням поведінки, задачі навчання та маркування даних з краудсорсингом, навчання малих базових моделей з контрольованими ресурсами, а також сценарії спільного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та ін.
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічних інновацій та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень в системній архітектурі та алгоритмічному дизайні, представляючи передові напрями сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно чіткими, що дозволяє спостерігати початковий прогрес в інженерії. У цій статті буде поетапно розглянуто основні технології та інженерні архітектури п'яти проектів, а також обговорено їх відмінності та взаємодоповнюючі відносини в системі децентралізованого навчання ШІ.
Prime Intellect: тренувальні траєкторії можуть бути перевірені в посиленому навчанні кооперативних мереж.
Prime Intellect прагне створити AI-мережу навчання без довіри, що дозволяє кожному брати участь у навчанні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається за допомогою трьох основних модулів PRIME-RL + TOPLOC + SHARDCAST створити AI-систему децентралізованого навчання з верифікацією, відкритістю та повноцінним механізмом стимулювання.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два. Детальний аналіз ключових механізмів тренування Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріпленого навчання з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально призначеною для гетерогенних мереж і асинхронних учасників. Вона використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання з наглядом, PRIME-RL краще підходить для реалізації гнучкого навчання в середовищі без централізованого управління, що знижує складність системи і закладає основу для підтримки багатозадачності та еволюції стратегій.
TOPLOC: легкий механізм верифікації навчальної поведінки
TOPLOC є механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а виконує верифікацію легковагової структури шляхом аналізу локальної узгодженості між «послідовністю спостережень ↔ оновленням стратегії». Вперше він перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без довіри, забезпечуючи здійсненний шлях для створення аудиторських, стимулюючих децентралізованих мереж співпраці в навчанні.
SHARDCAST: асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом важливості поширення та агрегації, розробленим Prime Intellect, який оптимізовано для справжнього мережевого середовища з асинхронним, обмеженим пропускним здатністю та змінним станом вузлів. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах різної синхронізації, реалізуючи поступову конвергенцію ваги та еволюцію багатьох версій. Порівняно з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу ваги та безперервної ітерації навчання.
OpenDiLoCo:розріджена асинхронна комунікаційна рамка
OpenDiLoCo є незалежно реалізованою та відкритою платформою оптимізації зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення типових викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів у децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації, покладаючись лише на сусідні вузли для здійснення спільного навчання моделей. Поєднуючи асинхронне оновлення та механізм відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливості участі в глобальному співпраці в навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
PCCL:Бібліотека кооперативного зв'язку
PCCL — це легка бібліотека зв’язку, створена Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв’язку в гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення після збоїв, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікацію протоколу OpenDiLoCo. Він значно підвищує пропускну здатність тренувальних мереж і сумісність пристроїв, прокладаючи «останню милю» комунікаційної інфраструктури для створення справді відкритих, без довіри співпрацівників навчальних мереж.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторії, агрегацію ваг та виплату винагород, формуючи стимулювальний замкнутий цикл навколо «реальних навчальних дій».
Чотири, INTELLECT-2: перше публікація перевіреної децентралізованої тренувальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель підкріпленого навчання, створена за допомогою асинхронного, не довірливого децентралізованого співробітництва вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, що демонструє доцільність і стабільність асинхронних мереж співпраці. Ця модель не лише є проривом у продуктивності, а й першим системним втіленням парадигми «навчання як консенсус», запропонованої Prime Intellect. INTELLECT-2 інтегрує такі основні модулі протоколів, як PRIME-RL, TOPLOC і SHARDCAST, що знаменує децентралізоване навчання.