Децентралізація тренування: новий парадигмальний пошук у сфері AI
У повній ціннісній ланцюгу штучного інтелекту навчання моделей є найбільш ресурсомістким і з найвищим технічним порогом етапом, який безпосередньо визначає верхній межі здібностей моделі та фактичні результати застосування. На відміну від легковагового виклику на етапі висновку, процес навчання вимагає безперервних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, який здійснюється єдиною організацією в локальному високопродуктивному кластері, що виконує весь процес навчання: від апаратного забезпечення, базового програмного забезпечення, системи розподілу кластеру до всіх компонентів навчальної рамки, які координуються єдиною системою управління. Ця архітектура глибокої співпраці дозволяє досягти оптимальної ефективності спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Незважаючи на те, що фізично є "дистрибутивною" характеристикою, загалом все ще контролюється централізованими організаціями для управління та синхронізації, часто працює в середовищі високошвидкісних локальних мереж, через технологію NVLink високошвидкісної інтеграції, головний вузол координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно відповідати вагам моделі
Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельне з'єднання: поетапне послідовне виконання, підвищення пропускної здатності
Тензорне паралелювання: уточнене розподіл матричних обчислень, підвищення паралельної грануляції
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник дистанційно керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі (GPT-4, Gemini, LLaMA та інші ) навчаються саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основними характеристиками є: кілька недовірливих вузлів (, які можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), що спільно виконують завдання тренування без централізованого координатора, зазвичай через протоколи, що керують розподілом завдань і співпрацею, та за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв і труднощі розподілу: висока складність узгодження гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільна мережева комунікація, очевидне вузьке місце в синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, складний розподіл завдань та механізм відкату помилок
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне великомасштабне децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + стимулювати чесність + правильний результат" все ще перебуває на ранньому етапі дослідження прототипів.
Федеративне навчання як перехідна форма між розподіленістю та Децентралізація, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, підходить для сцен, що акцентують увагу на конфіденційності, таких як медицина, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно маючи переваги розподілених даних у Децентралізація, але все ще покладається на надійного координатора і не має повністю відкритих та антикорупційних характеристик. Його можна вважати "контрольованою Децентралізація" у сценах, що акцентують увагу на конфіденційності, де задачі навчання, структура довіри та комунікаційні механізми є відносно м’якими, що робить його більш підходящим як перехідну архітектуру для промисловості.
Децентралізація тренінгів: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високу потребу в ресурсах або великі труднощі в співпраці, воно природним чином не підходить для ефективного виконання між гетерогенними, довірчими вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний розподіл та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ), такі як медицина, фінанси, конфіденційні дані (, обмежені правовими нормами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, не мають зовнішніх стимулів для участі. Ці межі спільно формують реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє чітку перспективу застосування. Сюди входять, але не обмежуються: LoRA доопрацювання, завдання після навчання з поведінковою відповідністю ), такі як RLHF, DPO (, навчання та розмітка даних з краудсорсингом, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання за участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори та ін.
![Святий грааль Crypto AI: Децентралізація навчання на передньому краї])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренування класичних проектів аналіз
Наразі в передових областях децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмах, що представляє сучасні теоретичні дослідження на передовій; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна спостерігати початковий інженерний прогрес. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури за цими п'ятьма проектами, а також далі розглянуто їх відмінності та взаємодоповнюючі зв'язки в системі децентралізованого AI-навчання.
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
) Prime Intellect: перевірені траєкторії навчання в мережах посилення співпраці
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійні винагороди за свій обчислювальний внесок. Prime Intellect сподівається побудувати децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повноцінними механізмами стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура та ключові модулі цінності протоколу Prime Intellect
![Святий Грааль Crypto AI: Децентралізація навчання на передовій]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02, Детальне пояснення ключових механізмів навчання Prime Intellect
#PRIME-RL:декуплінгова асинхронна архітектура завдань посилення навчання
PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж і асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно роз'єднуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового планування, що знижує складність системи та закладає основу для підтримки паралельних мультизадач і еволюції стратегій.
#TOPLOC:Легкий механізм верифікації навчальної поведінки
TOPLOC###Достовірне спостереження та перевірка локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всієї моделі, а завершує верифікацію легковажної структури, аналізуючи локальні послідовності узгодженості між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагород за навчання без довіри, і надає практичний шлях для побудови аудитованої, стимульованої децентралізованої мережі співпраці в навчанні.
#SHARDCAST:Асиметрична вага агрегування та протокол розповсюдження
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих умов. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізації, досягаючи поступової конвергенції ваги та еволюції декількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для створення стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo - це оптимізаційна структура зв'язку, незалежно реалізована та відкрита командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спроектована спеціально для вирішення проблем, що виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралельній обробці даних, використовуючи побудову рідкісних топологій, таких як Кільце, Розширювач, Малосвітова мережа, що дозволяє уникнути високих витрат на зв'язок, пов'язаних із глобальною синхронізацією, і завершувати спільне навчання моделі, покладаючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та периферійним пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
#PCCL:Бібліотека спільного зв'язку
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого навчального середовища AI, що має на меті вирішення адаптаційних вузьких місць традиційних бібліотек зв'язку), таких як NCCL, Gloo(, в гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення після зупинки, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він помітно підвищує толерантність до пропускної здатності навчальних мереж та сумісність пристроїв, прокладаючи "остання милю" комунікаційної основи для створення справді відкритих, бездостовірних мереж спільного навчання.
)# 03、Prime Intellect стимулююча мережа та рольова спеціалізація
Prime Intellect побудував мережу навчання без дозволів, що перевіряється та має економічні стимули, що дозволяє кожному брати участь у завданнях та отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Навчальні вузли: виконання локального навчання, подання оновлень ваг та спостережуваних траєкторій
Вузли перевірки: використовують механізм TOPLOC для перевірки справжності навчальної поведінки та беруть участь у розрахунку винагороди та агрегації стратегій
Основний процес угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та розподіл винагород, що створює замкнуте коло стимулювання навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2:перше перевірене видання децентралізованої навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель глибинного навчання, яка була навчена за допомогою асинхронних, бездостовірних Децентралізація вузлів, з масштабом параметрів 32B. Модель INTELLECT-2 була навчена за допомогою кооперативного навчання більш ніж 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Децентралізація AI тренування: технології та виклики наступного покоління відкритої кооперативної мережі
Децентралізація тренування: новий парадигмальний пошук у сфері AI
У повній ціннісній ланцюгу штучного інтелекту навчання моделей є найбільш ресурсомістким і з найвищим технічним порогом етапом, який безпосередньо визначає верхній межі здібностей моделі та фактичні результати застосування. На відміну від легковагового виклику на етапі висновку, процес навчання вимагає безперервних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, який здійснюється єдиною організацією в локальному високопродуктивному кластері, що виконує весь процес навчання: від апаратного забезпечення, базового програмного забезпечення, системи розподілу кластеру до всіх компонентів навчальної рамки, які координуються єдиною системою управління. Ця архітектура глибокої співпраці дозволяє досягти оптимальної ефективності спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Незважаючи на те, що фізично є "дистрибутивною" характеристикою, загалом все ще контролюється централізованими організаціями для управління та синхронізації, часто працює в середовищі високошвидкісних локальних мереж, через технологію NVLink високошвидкісної інтеграції, головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник дистанційно керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі (GPT-4, Gemini, LLaMA та інші ) навчаються саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основними характеристиками є: кілька недовірливих вузлів (, які можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), що спільно виконують завдання тренування без централізованого координатора, зазвичай через протоколи, що керують розподілом завдань і співпрацею, та за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійсненне великомасштабне децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + стимулювати чесність + правильний результат" все ще перебуває на ранньому етапі дослідження прототипів.
Федеративне навчання як перехідна форма між розподіленістю та Децентралізація, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, підходить для сцен, що акцентують увагу на конфіденційності, таких як медицина, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно маючи переваги розподілених даних у Децентралізація, але все ще покладається на надійного координатора і не має повністю відкритих та антикорупційних характеристик. Його можна вважати "контрольованою Децентралізація" у сценах, що акцентують увагу на конфіденційності, де задачі навчання, структура довіри та комунікаційні механізми є відносно м’якими, що робить його більш підходящим як перехідну архітектуру для промисловості.
Децентралізація тренінгів: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високу потребу в ресурсах або великі труднощі в співпраці, воно природним чином не підходить для ефективного виконання між гетерогенними, довірчими вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний розподіл та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ), такі як медицина, фінанси, конфіденційні дані (, обмежені правовими нормами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, не мають зовнішніх стимулів для участі. Ці межі спільно формують реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє чітку перспективу застосування. Сюди входять, але не обмежуються: LoRA доопрацювання, завдання після навчання з поведінковою відповідністю ), такі як RLHF, DPO (, навчання та розмітка даних з краудсорсингом, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання за участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори та ін.
![Святий грааль Crypto AI: Децентралізація навчання на передньому краї])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренування класичних проектів аналіз
Наразі в передових областях децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмах, що представляє сучасні теоретичні дослідження на передовій; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна спостерігати початковий інженерний прогрес. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури за цими п'ятьма проектами, а також далі розглянуто їх відмінності та взаємодоповнюючі зв'язки в системі децентралізованого AI-навчання.
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
) Prime Intellect: перевірені траєкторії навчання в мережах посилення співпраці
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійні винагороди за свій обчислювальний внесок. Prime Intellect сподівається побудувати децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повноцінними механізмами стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура та ключові модулі цінності протоколу Prime Intellect
![Святий Грааль Crypto AI: Децентралізація навчання на передовій]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02, Детальне пояснення ключових механізмів навчання Prime Intellect
#PRIME-RL:декуплінгова асинхронна архітектура завдань посилення навчання
PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж і асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно роз'єднуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового планування, що знижує складність системи та закладає основу для підтримки паралельних мультизадач і еволюції стратегій.
#TOPLOC:Легкий механізм верифікації навчальної поведінки
TOPLOC###Достовірне спостереження та перевірка локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всієї моделі, а завершує верифікацію легковажної структури, аналізуючи локальні послідовності узгодженості між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагород за навчання без довіри, і надає практичний шлях для побудови аудитованої, стимульованої децентралізованої мережі співпраці в навчанні.
#SHARDCAST:Асиметрична вага агрегування та протокол розповсюдження
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих умов. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізації, досягаючи поступової конвергенції ваги та еволюції декількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для створення стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo - це оптимізаційна структура зв'язку, незалежно реалізована та відкрита командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спроектована спеціально для вирішення проблем, що виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралельній обробці даних, використовуючи побудову рідкісних топологій, таких як Кільце, Розширювач, Малосвітова мережа, що дозволяє уникнути високих витрат на зв'язок, пов'язаних із глобальною синхронізацією, і завершувати спільне навчання моделі, покладаючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та периферійним пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
#PCCL:Бібліотека спільного зв'язку
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого навчального середовища AI, що має на меті вирішення адаптаційних вузьких місць традиційних бібліотек зв'язку), таких як NCCL, Gloo(, в гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення після зупинки, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він помітно підвищує толерантність до пропускної здатності навчальних мереж та сумісність пристроїв, прокладаючи "остання милю" комунікаційної основи для створення справді відкритих, бездостовірних мереж спільного навчання.
)# 03、Prime Intellect стимулююча мережа та рольова спеціалізація
Prime Intellect побудував мережу навчання без дозволів, що перевіряється та має економічні стимули, що дозволяє кожному брати участь у завданнях та отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Основний процес угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та розподіл винагород, що створює замкнуте коло стимулювання навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація тренувань на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2:перше перевірене видання децентралізованої навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель глибинного навчання, яка була навчена за допомогою асинхронних, бездостовірних Децентралізація вузлів, з масштабом параметрів 32B. Модель INTELLECT-2 була навчена за допомогою кооперативного навчання більш ніж 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи