كأس القدر للذكاء الاصطناعي في العملات الرقمية: استكشاف الحدود الجديدة للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في عتبة التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع استدعاءات المرحلة الاستدلالية الخفيفة، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل رئيسي في هذه المقالة.
تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع مراحل التدريب بواسطة مؤسسة واحدة في مجموعة أداء عالية محليًا، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، والتي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتكاملة من مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل الفعالية تصل إلى ذروتها، مما يجعلها مناسبة تمامًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، والموارد القابلة للتحكم، لكنها في الوقت نفسه تواجه مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث تكمن جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أنها لا تزال تخضع لجدولة ومزامنة تتحكم بها مؤسسات مركزية، وغالبًا ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink لنقل البيانات عالية السرعة، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة ما يلي:
التوازي في البيانات: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة المعلمات، تحتاج إلى مطابقة أوزان النموذج
التوازي بين النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة، لتحقيق قابلية توسيع قوية
المواسير المتوازية: تنفيذ تسلسلي على مراحل، مما يزيد من معدل الإخراج
توازي التنسور: تقسيم دقيق لحساب المصفوفات، وزيادة حجم التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مما يشبه كيف يقوم نفس المدير بتوجيه موظفين متعددين في "مكاتب" مختلفة للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تمثل التدريبات اللامركزية مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل السمات الأساسية في: يمكن أن تكون العقدة المتعددة التي لا تثق ببعضها البعض ( أجهزة كمبيوتر منزلية أو وحدات معالجة الرسوميات السحابية أو أجهزة حافة ) تتعاون في إكمال مهام التدريب بدون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة التوزيع والتجزئة بين الأجهزة المختلفة: صعوبة التنسيق بين الأجهزة اللامركزية، وانخفاض كفاءة تقسيم المهام
قيود كفاءة الاتصال: الاتصال الشبكي غير مستقر، وقيود تزامن التدرج واضحة
نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقد تشارك حقًا في الحساب
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، وآلية التراجع عن الأخطاء معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة حسابية لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن "التعاون بفعالية + تحفيز النزاهة + صحة النتائج" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
التعلم الفيدرالي كنموذج انتقالي بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية مثل الرعاية الصحية، والمالية (. يتميز التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، بينما يحمل أيضًا مزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب، وبنية الثقة، وآلية التواصل أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
![كأس القدر للعملات المشفرة: استكشاف الحدود الأمامية للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
اللامركزية تدريب الحدود، الفرص وطرق الواقع
من منظور نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب هيكل المهمة المعقد، متطلبات الموارد العالية جدًا أو صعوبة التعاون، فإنه لا يناسب بطبيعته الإنجاز بفعالية بين العقد غير المتجانسة واللامركزية. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، زمن وصول منخفض وعرض نطاق عالي السرعة، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة الشديدة مثل الرعاية الصحية، المالية، والبيانات السرية ) مقيدة بالقوانين والامتثال والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما المهام التي تفتقر إلى أساس الحوافز التعاونية ( مثل نماذج الشركات ذات المصدر المغلق أو تدريب النماذج الأولية الداخلية ) تفتقر إلى دوافع المشاركة الخارجية. هذه الحدود تشكل معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، تظهر التطبيقات اللامركزية للتدريب آفاقاً واضحة في أنواع المهام الهيكلية الخفيفة، السهلة التوازي، والقابلة للتحفيز. بما في ذلك، ولكن لا تقتصر على: تعديل LoRA، مهام ما بعد التدريب مثل توافق السلوك ( مثل RLHF، DPO)، تدريب البيانات الجماعي ومهام التوسيم، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية تحمل القدرة الحاسوبية المتنوعة، مما يجعلها مناسبة جداً للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، والمُحسنات الموزعة.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
تتضمن المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي في الوقت الحالي، مشاريع البلوكشين الممثلة مثل Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai الكثير من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الأمامية للبحث النظري الحالي؛ بينما فإن مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف المزيد من الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
( Prime Intellect: رائد الشبكات التعاونية المعززة القابلة للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية التحفيز المكتملة.
)# شرح آلية التكنولوجيا الأساسية
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام الذي تم تخصيصه بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، ويفكك هيكليًا عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم المراقب التقليدية، يعد PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور السياسات.
TOPLOC: آلية التحقق من سلوك التدريب الخفيف الوزن
TOPLOC هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل حقًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج الكامل، بل يُكمل التحقق الهيكلي الخفيف من خلال تحليل "سلسلة المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة. إنها تحول لأول مرة المسارات السلوكية في عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنقل وتجميع الوزن صممه Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، وحدود النطاق، وتغير حالة العقد. يجمع بين آلية نقل gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن والتطور متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يحسن SHARDCAST بشكل ملحوظ من قابلية توسيع التدريب اللامركزي وقدرته على تحمل الأخطاء، وهو الأساس الرئيسي لبناء توافق مستقر في الوزن وتكرار التدريب المستمر.
OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، عدم تجانس الأجهزة وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring و Expander و Small-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديث غير المتزامن وآلية تحمل نقاط الانقطاع، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل مشكلات التوافق في المكتبات التقليدية على الأجهزة المتنوعة وشبكات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرجات، المزامنة ذات الدقة المنخفضة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، ويفتح "آخر كيلومتر" من الأساسيات الاتصالية لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.
شبكة Prime Intellect والتحفيز وتوزيع الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن وذات آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:
مُطلق المهمة: تحديد بيئة التدريب، النموذج الأولي، وظيفة المكافأة ومعايير التحقق
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ###SHARDCAST### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الواقعي".
(# INTELLECT-2:أول إصدار لنموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بالتعاون بين نقاط لامركزية غير موثوقة وغير متزامنة، حيث يصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 نقطة GPU متوزعة على ثلاث قارات، باستخدام هيكل غير متزامن بالكامل، واستغرقت مدة التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط اختراقاً في الأداء، بل هو أيضاً التطبيق النظامي الأول لنموذج "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 هيكل التدريب غير المتزامن PRIME-RL)، والتحقق من سلوك التدريب TOPLOC###، وتجميع الأوزان غير المتزامن SHARDCAST(، مما يرمز إلى أن الشبكة التدريبية اللامركزية قد حققت لأول مرة انفتاحاً في عملية التدريب والتحقق.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
تسجيلات الإعجاب 7
أعجبني
7
6
مشاركة
تعليق
0/400
pumpamentalist
· منذ 4 س
مرة أخرى إنها ضجة لكنني أحب ذلك
شاهد النسخة الأصليةرد0
FloorSweeper
· منذ 4 س
smh... إشارة ضعيفة أخرى من أيادٍ ضعيفة تحاول مركزية تدريب الذكاء الاصطناعي
شاهد النسخة الأصليةرد0
ParallelChainMaxi
· منذ 4 س
مرة أخرى هي اللامركزية القديمة المعتادة
شاهد النسخة الأصليةرد0
rekt_but_resilient
· منذ 4 س
ما الذي ترغب في القيام به، كيف يمكن أن يكون هناك اللامركزية
شاهد النسخة الأصليةرد0
PumpAnalyst
· منذ 4 س
مرة أخرى نرسم الأمل، الحمقى تذكروا الضجة الهائلة حول aigc الشهر الماضي؟
اللامركزية التدريب: نموذج التعاون للذكاء الاصطناعي والتحديات الجديدة
كأس القدر للذكاء الاصطناعي في العملات الرقمية: استكشاف الحدود الجديدة للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في عتبة التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع استدعاءات المرحلة الاستدلالية الخفيفة، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل رئيسي في هذه المقالة.
تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع مراحل التدريب بواسطة مؤسسة واحدة في مجموعة أداء عالية محليًا، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، والتي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتكاملة من مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل الفعالية تصل إلى ذروتها، مما يجعلها مناسبة تمامًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، والموارد القابلة للتحكم، لكنها في الوقت نفسه تواجه مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث تكمن جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أنها لا تزال تخضع لجدولة ومزامنة تتحكم بها مؤسسات مركزية، وغالبًا ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink لنقل البيانات عالية السرعة، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مما يشبه كيف يقوم نفس المدير بتوجيه موظفين متعددين في "مكاتب" مختلفة للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تمثل التدريبات اللامركزية مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل السمات الأساسية في: يمكن أن تكون العقدة المتعددة التي لا تثق ببعضها البعض ( أجهزة كمبيوتر منزلية أو وحدات معالجة الرسوميات السحابية أو أجهزة حافة ) تتعاون في إكمال مهام التدريب بدون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة حسابية لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن "التعاون بفعالية + تحفيز النزاهة + صحة النتائج" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
التعلم الفيدرالي كنموذج انتقالي بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية مثل الرعاية الصحية، والمالية (. يتميز التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، بينما يحمل أيضًا مزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب، وبنية الثقة، وآلية التواصل أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
![كأس القدر للعملات المشفرة: استكشاف الحدود الأمامية للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
اللامركزية تدريب الحدود، الفرص وطرق الواقع
من منظور نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب هيكل المهمة المعقد، متطلبات الموارد العالية جدًا أو صعوبة التعاون، فإنه لا يناسب بطبيعته الإنجاز بفعالية بين العقد غير المتجانسة واللامركزية. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، زمن وصول منخفض وعرض نطاق عالي السرعة، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة الشديدة مثل الرعاية الصحية، المالية، والبيانات السرية ) مقيدة بالقوانين والامتثال والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما المهام التي تفتقر إلى أساس الحوافز التعاونية ( مثل نماذج الشركات ذات المصدر المغلق أو تدريب النماذج الأولية الداخلية ) تفتقر إلى دوافع المشاركة الخارجية. هذه الحدود تشكل معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، تظهر التطبيقات اللامركزية للتدريب آفاقاً واضحة في أنواع المهام الهيكلية الخفيفة، السهلة التوازي، والقابلة للتحفيز. بما في ذلك، ولكن لا تقتصر على: تعديل LoRA، مهام ما بعد التدريب مثل توافق السلوك ( مثل RLHF، DPO)، تدريب البيانات الجماعي ومهام التوسيم، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية تحمل القدرة الحاسوبية المتنوعة، مما يجعلها مناسبة جداً للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، والمُحسنات الموزعة.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
تتضمن المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي في الوقت الحالي، مشاريع البلوكشين الممثلة مثل Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai الكثير من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الأمامية للبحث النظري الحالي؛ بينما فإن مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف المزيد من الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
( Prime Intellect: رائد الشبكات التعاونية المعززة القابلة للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية التحفيز المكتملة.
)# شرح آلية التكنولوجيا الأساسية
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام الذي تم تخصيصه بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، ويفكك هيكليًا عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم المراقب التقليدية، يعد PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور السياسات.
TOPLOC: آلية التحقق من سلوك التدريب الخفيف الوزن
TOPLOC هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل حقًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج الكامل، بل يُكمل التحقق الهيكلي الخفيف من خلال تحليل "سلسلة المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة. إنها تحول لأول مرة المسارات السلوكية في عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنقل وتجميع الوزن صممه Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، وحدود النطاق، وتغير حالة العقد. يجمع بين آلية نقل gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن والتطور متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يحسن SHARDCAST بشكل ملحوظ من قابلية توسيع التدريب اللامركزي وقدرته على تحمل الأخطاء، وهو الأساس الرئيسي لبناء توافق مستقر في الوزن وتكرار التدريب المستمر.
OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، عدم تجانس الأجهزة وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring و Expander و Small-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديث غير المتزامن وآلية تحمل نقاط الانقطاع، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل مشكلات التوافق في المكتبات التقليدية على الأجهزة المتنوعة وشبكات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرجات، المزامنة ذات الدقة المنخفضة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، ويفتح "آخر كيلومتر" من الأساسيات الاتصالية لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.
شبكة Prime Intellect والتحفيز وتوزيع الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن وذات آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ###SHARDCAST### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الواقعي".
(# INTELLECT-2:أول إصدار لنموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بالتعاون بين نقاط لامركزية غير موثوقة وغير متزامنة، حيث يصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 نقطة GPU متوزعة على ثلاث قارات، باستخدام هيكل غير متزامن بالكامل، واستغرقت مدة التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط اختراقاً في الأداء، بل هو أيضاً التطبيق النظامي الأول لنموذج "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 هيكل التدريب غير المتزامن PRIME-RL)، والتحقق من سلوك التدريب TOPLOC###، وتجميع الأوزان غير المتزامن SHARDCAST(، مما يرمز إلى أن الشبكة التدريبية اللامركزية قد حققت لأول مرة انفتاحاً في عملية التدريب والتحقق.