Святе число Crypto AI: Децентралізація навчання на передовій
У повній ціннісній ланцюгу AI, навчання моделей є етапом, що споживає найбільше ресурсів і має найвищий технологічний бар'єр, що безпосередньо визначає межу можливостей моделі та фактичні результати застосування. На відміну від легковагового виклику на етапі інференції, процес навчання вимагає постійних масштабних витрат обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, що здійснюється єдиною установою в локальному високопродуктивному кластері, яка завершує весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи розподілу кластерів до всіх компонентів навчальної рамки, які координуються єдиною системою контролю. Така архітектура глибокої співпраці забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT і Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми, пов'язані з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиками одноточкових відмов.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично має "розподілені" характеристики, проте в цілому все ще контролюється централізованою установою, яка координує та синхронізує, зазвичай працює в середовищі високошвидкісної локальної мережі, використовуючи технологію високошвидкісної міжмашинної комунікації NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри діляться, потрібно узгодити ваги моделі
Паралельне моделювання: розміщення різних частин моделі на різних вузлах для досягнення сильної розширюваності
Паралельні канали: поетапне послідовне виконання, підвищення пропускної спроможності
Тензорна паралельність: детальне розділення матричних обчислень, підвищення паралельної гранулярності
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів" для спільного виконання завдань. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізоване навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайовими пристроями ), які спільно виконують завдання навчання без центрального координатора, зазвичай через протокол, що керує розподілом завдань і співпрацею, і за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Висока складність узгодження гетерогенних пристроїв та низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільний мережевий зв'язок, очевидне вузьке місце в синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання, важко перевірити, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань та механізм відкату помилок складний
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справжнє можливе масштабне децентралізоване тренування" все ще є системною інженерною задачею, що охоплює такі аспекти, як системна архітектура, комунікаційні протоколи, криптографічна безпека, економічні механізми, верифікація моделі та інші, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі. Воно підходить для сценаріїв, які акцентують увагу на конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні коопераційні можливості, одночасно надаючи переваги розподілених даних у децентралізованому навчанні, але все ж покладається на надійних координаторів і не має повністю відкритих та антицензурних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення в сценаріях, що вимагають конфіденційності, де завдання навчання, структура довіри та комунікаційні механізми є відносно помірними, що робить його більш підходящим для промислової перехідної архітектури.
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективну сегментацію та синхронізацію в відкритій мережі; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ), такі як медичні, фінансові, пов'язані з конфіденційними даними (, обмежені юридичними вимогами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, позбавлені зовнішніх стимулів для участі. Ці межі спільно формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у випадках легких за структурою, простих для паралелізації та таких, що можуть бути спонукальними для виконання завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Серед них: доопрацювання LoRA, завдання після навчання з вирівнювання поведінки ), такі як RLHF, DPO (, тренування та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та здатність терпіти гетерогенну обчислювальну потужність, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори тощо.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій дослідженні])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
В даний час у децентралізації навчання та федеративного навчання на передовій, представницькі проекти блокчейн включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували більш оригінальні дослідження в системній архітектурі та дизайні алгоритмів, представляючи передові напрямки теоретичних досліджень; тоді як шляхи реалізації Gensyn та Flock.io відносно чіткі, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно проаналізовано ключові технології та інженерні архітектури цих п'яти проектів, а також далі обговорено їх відмінності та комплементарні стосунки в децентралізованій системі навчання ШІ.
) Prime Intellect: тренувальна траєкторія, що підлягає перевірці, посилена навчанням, кооперативна мережа піонерів
Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, дозволяючи будь-кому брати участь у тренуванні та отримувати надійні винагороди за свій обчислювальний внесок. Prime Intellect сподівається створити децентралізовану систему тренування ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Детальний опис основних технологічних механізмів
PRIME-RL: Архітектура завдання асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамкою для моделювання та виконання завдань, розробленою Prime Intellect для Децентралізації навчальних сценаріїв, спеціально спроектованою для гетерогенних мереж і асинхронної участі. Вона використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу самостійно виконувати цикли завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання з наглядом, PRIME-RL краще підходить для реалізації еластичного навчання в середовищах без централізованого керування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних операцій і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки тренувальної верифікації, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а здійснює перевірку легкоструктурованої верифікації шляхом аналізу локально узгоджених траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для досягнення розподілу винагороди за навчання без довіри, та забезпечує реальний шлях для створення аудитованої, заохочувальної децентралізованої мережі спільного навчання.
SHARDCAST: асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за пропускною спроможністю та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах різних станів синхронізації, реалізуючи поступову конвергенцію ваг та еволюцію кількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально створений для вирішення проблем, пов'язаних із обмеженою пропускною здатністю, гетерогенністю пристроїв та нестабільністю вузлів, які часто виникають під час децентралізованого навчання. Архітектура базується на паралельній обробці даних, будує рідкісні топологічні структури, такі як кільця, розширювачі, малі світи, що дозволяє уникнути високих витрат на зв'язок при глобальній синхронізації, і для координації навчання моделей достатньо лише сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному співпраці в навчанні, є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
PCCL:Бібліотека спільної комунікації
PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішення проблем адаптації традиційних бібліотек зв'язку в гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "останній кілометр" зв'язку для створення справжньої відкритої, без довіри, мережі спільного навчання.
Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренувань, яка не потребує дозволів, є перевірною і має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та стандарти валідації
Навчальний вузол: виконання локального навчання, подача оновлень ваг та спостережувальних траєкторій
Вузли перевірки: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участь у розрахунку винагород і агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг ###SHARDCAST( та виплату винагород, формуючи стимулююче замкнуте коло навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# INTELLECT-2: Перший верифікований децентралізований тренувальний модель.
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посилення навчання, що була навчена за допомогою асинхронних, без довіри децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів з трьох континентів, використовуючи повністю асинхронну архітектуру, тривалість навчання перевищує 400 годин, демонструючи життєздатність і стабільність асинхронної коопераційної мережі. Ця модель не лише є проривом у продуктивності, але й першою системною реалізацією парадигми "навчання є консенсусом", запропонованою Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIMе-RL### асинхронна структура навчання(, TOPLOC) верифікація навчальної поведінки( та SHARDCAST) асинхронна агрегація ваг(, що знаменує собою перше досягнення відкритості в процесі навчання децентралізованої мережі.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
8 лайків
Нагородити
8
6
Поділіться
Прокоментувати
0/400
pumpamentalist
· 16год тому
Знову спекуляції, але мені це подобається.
Переглянути оригіналвідповісти на0
FloorSweeper
· 16год тому
smh... ще один слабкий сигнал від паперових рук, що намагаються централізувати навчання ШІ
Переглянути оригіналвідповісти на0
ParallelChainMaxi
· 16год тому
Знову стара пастка децентралізації.
Переглянути оригіналвідповісти на0
rekt_but_resilient
· 16год тому
Що ти хочеш робити? Як можна досягти децентралізації?
Переглянути оригіналвідповісти на0
PumpAnalyst
· 16год тому
Знову малюють пиріжки, невдахи, пам'ятаєте минуломісячний бум aicg?
Переглянути оригіналвідповісти на0
WenMoon42
· 16год тому
Вартість обчислювальної потужності важкої промисловості дуже висока.
Децентралізація тренування: нова парадигма та виклики співпраці моделей ШІ
Святе число Crypto AI: Децентралізація навчання на передовій
У повній ціннісній ланцюгу AI, навчання моделей є етапом, що споживає найбільше ресурсів і має найвищий технологічний бар'єр, що безпосередньо визначає межу можливостей моделі та фактичні результати застосування. На відміну від легковагового виклику на етапі інференції, процес навчання вимагає постійних масштабних витрат обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, що здійснюється єдиною установою в локальному високопродуктивному кластері, яка завершує весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи розподілу кластерів до всіх компонентів навчальної рамки, які координуються єдиною системою контролю. Така архітектура глибокої співпраці забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT і Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми, пов'язані з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиками одноточкових відмов.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично має "розподілені" характеристики, проте в цілому все ще контролюється централізованою установою, яка координує та синхронізує, зазвичай працює в середовищі високошвидкісної локальної мережі, використовуючи технологію високошвидкісної міжмашинної комунікації NVLink, де головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів" для спільного виконання завдань. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізоване навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайовими пристроями ), які спільно виконують завдання навчання без центрального координатора, зазвичай через протокол, що керує розподілом завдань і співпрацею, і за допомогою механізму криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справжнє можливе масштабне децентралізоване тренування" все ще є системною інженерною задачею, що охоплює такі аспекти, як системна архітектура, комунікаційні протоколи, криптографічна безпека, економічні механізми, верифікація моделі та інші, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі. Воно підходить для сценаріїв, які акцентують увагу на конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні коопераційні можливості, одночасно надаючи переваги розподілених даних у децентралізованому навчанні, але все ж покладається на надійних координаторів і не має повністю відкритих та антицензурних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення в сценаріях, що вимагають конфіденційності, де завдання навчання, структура довіри та комунікаційні механізми є відносно помірними, що робить його більш підходящим для промислової перехідної архітектури.
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективну сегментацію та синхронізацію в відкритій мережі; завдання з сильною конфіденційністю даних та обмеженнями суверенітету ), такі як медичні, фінансові, пов'язані з конфіденційними даними (, обмежені юридичними вимогами та етичними обмеженнями, не можуть бути відкрито поділені; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, позбавлені зовнішніх стимулів для участі. Ці межі спільно формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у випадках легких за структурою, простих для паралелізації та таких, що можуть бути спонукальними для виконання завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Серед них: доопрацювання LoRA, завдання після навчання з вирівнювання поведінки ), такі як RLHF, DPO (, тренування та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та здатність терпіти гетерогенну обчислювальну потужність, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори тощо.
![Святий Грааль Crypto AI: Децентралізація тренування на передовій дослідженні])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
В даний час у децентралізації навчання та федеративного навчання на передовій, представницькі проекти блокчейн включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували більш оригінальні дослідження в системній архітектурі та дизайні алгоритмів, представляючи передові напрямки теоретичних досліджень; тоді як шляхи реалізації Gensyn та Flock.io відносно чіткі, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно проаналізовано ключові технології та інженерні архітектури цих п'яти проектів, а також далі обговорено їх відмінності та комплементарні стосунки в децентралізованій системі навчання ШІ.
) Prime Intellect: тренувальна траєкторія, що підлягає перевірці, посилена навчанням, кооперативна мережа піонерів
Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, дозволяючи будь-кому брати участь у тренуванні та отримувати надійні винагороди за свій обчислювальний внесок. Prime Intellect сподівається створити децентралізовану систему тренування ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Детальний опис основних технологічних механізмів
PRIME-RL: Архітектура завдання асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамкою для моделювання та виконання завдань, розробленою Prime Intellect для Децентралізації навчальних сценаріїв, спеціально спроектованою для гетерогенних мереж і асинхронної участі. Вона використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу самостійно виконувати цикли завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання з наглядом, PRIME-RL краще підходить для реалізації еластичного навчання в середовищах без централізованого керування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних операцій і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки тренувальної верифікації, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а здійснює перевірку легкоструктурованої верифікації шляхом аналізу локально узгоджених траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для досягнення розподілу винагороди за навчання без довіри, та забезпечує реальний шлях для створення аудитованої, заохочувальної децентралізованої мережі спільного навчання.
SHARDCAST: асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за пропускною спроможністю та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах різних станів синхронізації, реалізуючи поступову конвергенцію ваг та еволюцію кількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально створений для вирішення проблем, пов'язаних із обмеженою пропускною здатністю, гетерогенністю пристроїв та нестабільністю вузлів, які часто виникають під час децентралізованого навчання. Архітектура базується на паралельній обробці даних, будує рідкісні топологічні структури, такі як кільця, розширювачі, малі світи, що дозволяє уникнути високих витрат на зв'язок при глобальній синхронізації, і для координації навчання моделей достатньо лише сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному співпраці в навчанні, є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.
PCCL:Бібліотека спільної комунікації
PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішення проблем адаптації традиційних бібліотек зв'язку в гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "останній кілометр" зв'язку для створення справжньої відкритої, без довіри, мережі спільного навчання.
Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренувань, яка не потребує дозволів, є перевірною і має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг ###SHARDCAST( та виплату винагород, формуючи стимулююче замкнуте коло навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# INTELLECT-2: Перший верифікований децентралізований тренувальний модель.
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посилення навчання, що була навчена за допомогою асинхронних, без довіри децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів з трьох континентів, використовуючи повністю асинхронну архітектуру, тривалість навчання перевищує 400 годин, демонструючи життєздатність і стабільність асинхронної коопераційної мережі. Ця модель не лише є проривом у продуктивності, але й першою системною реалізацією парадигми "навчання є консенсусом", запропонованою Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIMе-RL### асинхронна структура навчання(, TOPLOC) верифікація навчальної поведінки( та SHARDCAST) асинхронна агрегація ваг(, що знаменує собою перше досягнення відкритості в процесі навчання децентралізованої мережі.