Священный Грааль Crypto AI: Передовые исследования децентрализованного обучения

В полной цепочке создания стоимости ИИ обучение моделей является этапом, требующим наибольших ресурсов и имеющим наивысшие технологические барьеры, что напрямую определяет предельную способность модели и ее фактическую эффективность в приложении. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данного документа.

Централизованное обучение — это самый распространенный традиционный способ, при котором единый институт выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, базового программного обеспечения, систем планирования кластера до всех компонентов обучающей платформы, которые координируются единым контролирующим системой. Эта глубокая координация архитектуры позволяет достичь максимальной эффективности в разделении памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает его очень подходящим для обучения крупных моделей, таких как GPT, Gemini, обеспечивая высокую эффективность и контролируемые ресурсы, но одновременно существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риск единой точки отказа.

Распределённое обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "распределёнными" характеристиками, в целом всё ещё контролируется централизованными организациями для управления и синхронизации, часто работает в средах с высокой скоростью локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подсистем. Основные методы включают:

• Параллельная обработка данных: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
• Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
• Тензорное параллельное вычисление: детализированное разделение матричных вычислений, повышение уровня параллелизма

Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими "офисными" сотрудниками, чтобы совместно выполнить задачу. В настоящее время почти все основные большие модели обучаются именно таким образом.

Децентрализация тренировки означает более открытую и устойчивую к цензуре будущую траекторию. Ее ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи по обучению без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптостимулов, обеспечивающих честность вклада. Основные вызовы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Бутылочное горлышко эффективности связи: нестабильная сетевая связь, заметное бутылочное горлышко синхронизации градиентов
• Отсутствие доверенного выполнения: недостаток доверенной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
• Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизмы отката ошибок сложные

Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, охватывающей системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, проверку моделей и другие аспекты, но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты" все еще находится на ранней стадии прототипирования.

Федеративное обучение как переходная форма между распределенной и Децентрализация подчеркивает локальное хранение данных и централизованное агрегирование параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как здравоохранение и финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальной кооперативной способностью, одновременно имея преимущества распределенных данных в Децентрализация, но все же зависит от доверенной стороны, не обладая полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структуры доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленности.

![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или значительных трудностей в сотрудничестве, она по своей природе не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ), такие как медицинские, финансовые и связанные с конфиденциальными данными (, ограничены правовыми и этическими нормами и не могут быть открыто поделены; а задачи ), в которых отсутствуют стимулы для сотрудничества, такие как закрытые модели компаний или внутреннее обучение прототипов (, испытывают нехватку внешнего участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.

Но это не означает, что Децентрализация обучения является ложной задачей. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и могут быть мотивированы, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи обучения с поведением, такие как RLHF, DPO), задачи по обучению и разметке данных с краудсорсингом, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.

Децентрализация тренировки классических проектов

В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги к инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно обсуждается их различия и взаимодополняющие отношения в рамках децентрализованной системы обучения ИИ.

( Prime Intellect: Подготовленные траектории могут быть проверены в рамках усиленного обучения совместных сетей-пионеров

Prime Intellect стремится создать сеть обучения ИИ без необходимости доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полностью развитой системой стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.

)# Подробное объяснение основных технических механизмов

PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией

PRIME-RL является рамочной системой моделирования и выполнения задач, разработанной Prime Intellect для децентрализованных учебных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать цикл задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами верификации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного планирования, что снижает сложность системы и создает основы для поддержки параллельных задач и эволюции стратегий.

TOPLOC: Легковесный механизм проверки поведения в обучении

TOPLOC является основной механизмом проверки обучаемости, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а вместо этого анализирует локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии", чтобы завершить верификацию легковесной структуры. Он впервые превращает траектории поведения в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализованной сети совместного обучения.

SHARDCAST: Асинхронная агрегация и распространение весов

SHARDCAST - это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, обеспечивая постепенное сходимость весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

OpenDiLoCo: Разреженная асинхронная коммуникационная рамка

OpenDiLoCo — это оптимизированный коммуникационный фреймворк, независимо реализованный и открытый, основанный на концепции DiLoCo, предложенной командой Prime Intellect на базе DeepMind, специально разработанный для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, часто встречающиеся в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, с помощью построения разреженных топологий, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь лишь на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в учебных заданиях, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной обучающей сети.

PCCL: Библиотека совместной связи

PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем совместимости традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоя, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно увеличивает терпимость к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.

Сеть стимулирования Prime Intellect и распределение ролей

Prime Intellect построил учебную сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, что позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол функционирует на основе трех основных ролей:

• Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и критериев валидации
• Узел обучения: выполнение локального обучения, отправка обновлений весов и отслеживание траекторий
• Узлы проверки: использовать механизм TOPLOC для проверки подлинности обучающего поведения и участвовать в расчете вознаграждений и агрегации стратегий.

Ядро процедуры соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов###SHARDCAST### и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реальных тренировочных действий".

(# INTELLECT-2: Публикация первой проверяемой Децентрализованной модели обучения

Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронного, не требующего доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время тренировки составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первым системным воплощением предложенной Prime Intellect парадигмы "обучение равно консенсус". INTELLECT-2 интегрирует основные протоколы, такие как PRIMERL) асинхронная структура обучения###, TOPLOC( валидация поведения обучения) и SHARDCAST( асинхронная агрегация весов), что знаменует собой первое достижение открытости процесса обучения в Децентрализация сети.