اللامركزية التدريب: استكشاف نمط جديد في مجال الذكاء الاصطناعي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر عملية تدريب النماذج هي الأكثر استهلاكًا للموارد، وأعلى من حيث عتبة التكنولوجيا، حيث تحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة على نطاق واسع، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، و التدريب اللامركزي الذي يتم مناقشته في هذا المقال.
إن التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تعزز كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء، مما يجعلها مثالية لتدريب نماذج ضخمة مثل GPT و Gemini، وتتمتع بمزايا الكفاءة العالية والتحكم في الموارد، لكنها في الوقت نفسه تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، من أجل تجاوز قيود الحوسبة والتخزين على الآلة الواحدة. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة وإدارة مركزية، وغالبًا ما يعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للنقل العالي السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:
التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة تتشارك في الوزن النموذجي، تحتاج إلى مطابقة أوزان النموذج
التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة，实现强扩展性
تنفيذ متسلسل على مراحل: زيادة معدل الإرسال
التوازي باستخدام المصفوفات: تقسيم دقيق لحساب المصفوفات، وزيادة حجم التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مشابه لتوجيه نفس المدير عن بُعد لمجموعة من الموظفين في "مكاتب" متعددة لإنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا مثل (GPT-4، Gemin، LLaMA وغيرها ) بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: عدة نقاط غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو وحدات معالجة الرسومات السحابية، أو أجهزة حافة ) تعمل معًا لإكمال مهام التدريب دون وجود منسق مركزي، وعادة ما يتم دفع توزيع المهام والتعاون من خلال البروتوكول، مع الاستفادة من آلية تحفيز مشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
صعوبة التوافق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة التنسيق بين الأجهزة المتنوعة وكفاءة تقسيم المهام منخفضة
اختناق كفاءة الاتصال: الاتصالات الشبكية غير مستقرة، واختناق مزامنة التدرج واضح
نقص التنفيذ الموثوق: نقص بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق من ما إذا كانت العقدة تشارك فعلاً في الحساب
نقص التنسيق الموحد: لا يوجد جهاز توجيه مركزي، توزيع المهام وآلية التراجع عن الأخطاء معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي واسع النطاق الذي يمكن أن يكون قابلاً للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، وبروتوكولات الاتصال، وأمان التشفير، وآليات الاقتصاد، والتحقق من النموذج، وغيرها من المستويات، ولكن ما إذا كان يمكن "التعاون بفعالية + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
تعتبر التعلم الفيدرالي كحالة انتقالية بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع مركزي لمعايير النموذج، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية، والمالية ). يمتلك التعلم الفيدرالي بنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بميزة توزيع البيانات في التدريب غير المركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره بمثابة "لامركزية خاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية وبنية الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
حدود التدريب اللامركزي، الفرص والمسارات الواقعية
من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو الاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الإنجاز بكفاءة بين العقد غير المتجانسة والمستقلة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة رسومية عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة القوية (، مثل الرعاية الصحية والتمويل، مقيدة بالقوانين والامتثال الأخلاقي، ولا يمكن مشاركتها بشكل مفتوح؛ بينما المهام التي تفتقر إلى حوافز التعاون )، مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية (، تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
ولكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، تُظهر أنواع المهام الخفيفة الهيكل، سهلة التوازي، والمحفزة، آفاق تطبيق واضحة للتدريب اللامركزي. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المرتبطة بمحاذاة السلوك مثل RLHF، DPO)، تدريب وتسمية البيانات الجماعية، تدريب نماذج أساسية صغيرة يمكن التحكم فيها، بالإضافة إلى مشاهد التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام بشكل عام بخصائص التوازي العالي، والترابط المنخفض، والتحمل للقدرات الحوسبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.
تحليل مشاريع تدريب اللامركزية الكلاسيكية
في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزمية، مما يمثل الاتجاهات الرائجة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لكل من Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، وتناقش المزيد عن الاختلافات والعلاقات التكميلية في نظام التدريب اللامركزي للذكاء الاصطناعي.
( Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، بناء نظام تدريب AI اللامركزي مع قابلية التحقق، والانفتاح، وآلية تحفيزية شاملة.
)# 01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام المعدل من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف أولوي، حيث يفصل هيكليًا بين عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون مع آليات التحقق والتجميع من خلال واجهات قياسية. بالمقارنة مع عمليات التعلم المراقبة التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويوفر أساسًا لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC)الملاحظة الموثوقة & تحقق السياسة المحلية### هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة ما قد أكملت فعلاً تعلم سياسة فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل المسارات المحلية للاتساق بين "سلسلة الملاحظات ↔ تحديث السياسة" لإكمال التحقق الهيكلي الخفيف. هذه هي المرة الأولى التي يتم فيها تحويل المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
#SHARDCAST: بروتوكول تجميع الأوزان غير المتزامنة ونشرها
SHARDCAST هو بروتوكول انتشار وتجمع الوزن مصمم بواسطة Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، وحدود النطاق، وتغير حالات العقد. يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطور متعدد النسخ. بالمقارنة مع الطرق المركزية أو المتزامنة AllReduce، يعزز SHARDCAST بشكل كبير من قابلية التوسع وقدرة التحمل للتدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريب مستمر.
#OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات مستقل ومفتوح المصدر تم تطويره بواسطة فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، تنوع الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على التوازي البيانات، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring وExpander وSmall-World، مما يجنب التكلفة العالية للتواصل الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النماذج بشكل تعاوني. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل الأعطال، يجعل OpenDiLoCo أجهزة GPU الاستهلاكية والأجهزة الطرفية قادرة على المشاركة في مهام التدريب بشكل مستقر، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا لبيئة تدريب الذكاء الاصطناعي اللامركزية من قبل Prime Intellect، وتهدف إلى معالجة اختناقات التكيف في المكتبات التقليدية مثل NCCL، Gloo( في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات من فئة المستهلك والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. وقد عزز بشكل ملحوظ قدرة تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.
)# 03، Prime Intellect شبكة التحفيز وتقسيم الأدوار
بنى Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحكيم: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان (SHARDCAST) وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
![كأس مقدس للذكاء الاصطناعي في العملات الرقمية: استكشاف الحدود للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04، INTELLECT-2: أول إصدار لنموذج تدريب قابل للتحقق اللامركزي
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة عبر ثلاث قارات.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
اللامركزية AI التدريب: الجيل التالي من التحديات والتقنيات لشبكة التعاون المفتوحة
اللامركزية التدريب: استكشاف نمط جديد في مجال الذكاء الاصطناعي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر عملية تدريب النماذج هي الأكثر استهلاكًا للموارد، وأعلى من حيث عتبة التكنولوجيا، حيث تحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة على نطاق واسع، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، و التدريب اللامركزي الذي يتم مناقشته في هذا المقال.
إن التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تعزز كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء، مما يجعلها مثالية لتدريب نماذج ضخمة مثل GPT و Gemini، وتتمتع بمزايا الكفاءة العالية والتحكم في الموارد، لكنها في الوقت نفسه تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، من أجل تجاوز قيود الحوسبة والتخزين على الآلة الواحدة. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة وإدارة مركزية، وغالبًا ما يعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للنقل العالي السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مشابه لتوجيه نفس المدير عن بُعد لمجموعة من الموظفين في "مكاتب" متعددة لإنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا مثل (GPT-4، Gemin، LLaMA وغيرها ) بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: عدة نقاط غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو وحدات معالجة الرسومات السحابية، أو أجهزة حافة ) تعمل معًا لإكمال مهام التدريب دون وجود منسق مركزي، وعادة ما يتم دفع توزيع المهام والتعاون من خلال البروتوكول، مع الاستفادة من آلية تحفيز مشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي واسع النطاق الذي يمكن أن يكون قابلاً للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، وبروتوكولات الاتصال، وأمان التشفير، وآليات الاقتصاد، والتحقق من النموذج، وغيرها من المستويات، ولكن ما إذا كان يمكن "التعاون بفعالية + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
تعتبر التعلم الفيدرالي كحالة انتقالية بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع مركزي لمعايير النموذج، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية، والمالية ). يمتلك التعلم الفيدرالي بنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بميزة توزيع البيانات في التدريب غير المركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره بمثابة "لامركزية خاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية وبنية الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
حدود التدريب اللامركزي، الفرص والمسارات الواقعية
من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو الاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الإنجاز بكفاءة بين العقد غير المتجانسة والمستقلة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة رسومية عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة القوية (، مثل الرعاية الصحية والتمويل، مقيدة بالقوانين والامتثال الأخلاقي، ولا يمكن مشاركتها بشكل مفتوح؛ بينما المهام التي تفتقر إلى حوافز التعاون )، مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية (، تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
ولكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، تُظهر أنواع المهام الخفيفة الهيكل، سهلة التوازي، والمحفزة، آفاق تطبيق واضحة للتدريب اللامركزي. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المرتبطة بمحاذاة السلوك مثل RLHF، DPO)، تدريب وتسمية البيانات الجماعية، تدريب نماذج أساسية صغيرة يمكن التحكم فيها، بالإضافة إلى مشاهد التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام بشكل عام بخصائص التوازي العالي، والترابط المنخفض، والتحمل للقدرات الحوسبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.
تحليل مشاريع تدريب اللامركزية الكلاسيكية
في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزمية، مما يمثل الاتجاهات الرائجة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لكل من Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، وتناقش المزيد عن الاختلافات والعلاقات التكميلية في نظام التدريب اللامركزي للذكاء الاصطناعي.
( Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، بناء نظام تدريب AI اللامركزي مع قابلية التحقق، والانفتاح، وآلية تحفيزية شاملة.
)# 01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
![كأس القدر للعملات الرقمية: استكشاف متقدم للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
(# 02، شرح آلية تدريب Prime Intellect الرئيسية
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام المعدل من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف أولوي، حيث يفصل هيكليًا بين عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون مع آليات التحقق والتجميع من خلال واجهات قياسية. بالمقارنة مع عمليات التعلم المراقبة التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويوفر أساسًا لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC)الملاحظة الموثوقة & تحقق السياسة المحلية### هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة ما قد أكملت فعلاً تعلم سياسة فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل المسارات المحلية للاتساق بين "سلسلة الملاحظات ↔ تحديث السياسة" لإكمال التحقق الهيكلي الخفيف. هذه هي المرة الأولى التي يتم فيها تحويل المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
#SHARDCAST: بروتوكول تجميع الأوزان غير المتزامنة ونشرها
SHARDCAST هو بروتوكول انتشار وتجمع الوزن مصمم بواسطة Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، وحدود النطاق، وتغير حالات العقد. يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطور متعدد النسخ. بالمقارنة مع الطرق المركزية أو المتزامنة AllReduce، يعزز SHARDCAST بشكل كبير من قابلية التوسع وقدرة التحمل للتدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريب مستمر.
#OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات مستقل ومفتوح المصدر تم تطويره بواسطة فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، تنوع الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على التوازي البيانات، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring وExpander وSmall-World، مما يجنب التكلفة العالية للتواصل الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النماذج بشكل تعاوني. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل الأعطال، يجعل OpenDiLoCo أجهزة GPU الاستهلاكية والأجهزة الطرفية قادرة على المشاركة في مهام التدريب بشكل مستقر، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا لبيئة تدريب الذكاء الاصطناعي اللامركزية من قبل Prime Intellect، وتهدف إلى معالجة اختناقات التكيف في المكتبات التقليدية مثل NCCL، Gloo( في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات من فئة المستهلك والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. وقد عزز بشكل ملحوظ قدرة تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.
)# 03، Prime Intellect شبكة التحفيز وتقسيم الأدوار
بنى Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات من الأدوار الأساسية:
تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان (SHARDCAST) وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
![كأس مقدس للذكاء الاصطناعي في العملات الرقمية: استكشاف الحدود للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04، INTELLECT-2: أول إصدار لنموذج تدريب قابل للتحقق اللامركزي
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة عبر ثلاث قارات.