ليس بعد يومين من إصدار Llama 2 ، قامت Unicorn Stability AI بضبط نموذج FreeWilly بسرعة ، والذي يُقال إنه يمكن مقارنته في الأداء مع ChatGPT.
بمجرد إطلاق Meta Llama 2 ، فجر مجتمع المصادر المفتوحة بالكامل.
كما قال عالم OpenAI Karpathy ، فإن هذا يوم مهم للغاية بالنسبة لمجال نماذج اللغات الكبيرة بأكمله. من بين جميع الموديلات ذات الأوزان المفتوحة ، يعتبر Llama 2 هو الأقوى.
من الآن فصاعدًا ، سيتم تضييق الفجوة بين النماذج الكبيرة مفتوحة المصدر والنماذج الكبيرة ذات المصدر المغلق ، وستكون فرصة بناء نماذج كبيرة مساوية لجميع المطورين.
الآن فقط ، أصدرت Stability AI و CarperAI Labs معًا نموذجًا دقيقًا يعتمد على نموذج LLaMA 2 70B - FreeWilly2.
وبناءً على الضبط الدقيق للطراز الأصلي لـ LLaMA 65B - FreeWilly1.
تجدر الإشارة إلى أن النموذج تم تدريبه على مجموعة بيانات تركيبية جديدة بناءً على تنسيق Alpaca القياسي وخضع لضبط دقيق تحت الإشراف (SFT).
في العديد من الاختبارات المعيارية ، أثبتت FreeWilly2 قدرات تفكير ممتازة ، بل وتجاوزت GPT-3.5 في بعض المهام.
عنوان النموذج:
عنوان النموذج:
كلا النموذجين عبارة عن تجارب بحثية وتم إصدارهما بموجب ترخيص غير تجاري.
** توليد البيانات وجمعها **
قالت منظمة Stability AI أن تدريب نموذج FreeWilly مستوحى بشكل مباشر من ورقة Microsoft "Orca: التعلم التقدمي من آثار الشرح المعقدة لـ GPT-4".
ومع ذلك ، في حين أن عملية توليد البيانات متشابهة ، فإن المصادر مختلفة.
رابط الورق:
يحتوي متغير مجموعة البيانات لـ FreeWilly على 600000 نقطة بيانات (حوالي 10٪ من حجم مجموعة البيانات المستخدمة في ورق Orca الأصلي) ، ويتم تمهيد النموذج باستخدام مجموعة بيانات إرشادية عالية الجودة تم إنشاؤها بواسطة Enrico Shippole:
COT Submix Original
NIV2 Submix Original
FLAN 2021 Submix Original
T0 Submix الأصلي
باستخدام هذا النهج ، أنتج Stability AI 500000 مثال باستخدام نموذج LLM أبسط ، و 100000 مثال إضافي باستخدام نموذج LLM أكثر تعقيدًا.
للحصول على مقارنة عادلة ، قام Stability AI بفحص مجموعات البيانات هذه بعناية وإزالة الأمثلة المستمدة من معيار التقييم.
على الرغم من أن حجم عينة التدريب لا يتجاوز عُشر ورقة Orca الأصلية ، إلا أن نموذج FreeWilly الناتج لا يؤدي أداءً جيدًا فقط في الاختبارات المعيارية المختلفة ، ولكنه يتحقق أيضًا من جدوى طريقة إنشاء مجموعات البيانات الاصطناعية.
** تقييم أداء النموذج **
فيما يتعلق بتقييم الأداء ، اعتمد باحثو الذكاء الاصطناعي في الثبات على استخدام نظام إلوثرى lm وإضافة الذكاء الاصطناعي العام.
انطلاقا من النتائج ، تتفوق FreeWilly في العديد من المجالات ، بما في ذلك التفكير المعقد ، وفهم التفاصيل الدقيقة للغة ، والإجابة على الأسئلة المعقدة المتعلقة بالمجالات المهنية (مثل حل المشكلات القانونية والرياضية).
في الأساس ، حققت FreeWilly 2 مستوى مشابهًا لـ ChatGPT ، بل وتجاوزته في بعض التقييمات.
معيار GPT4ALL (0 لقطة):
تقييم AGI (0 لقطة):
بالإضافة إلى ذلك ، قام فريق Hugging Face أيضًا بإعادة إنتاج التجربة بشكل مستقل في 21 يوليو.
يمكن ملاحظة أنه في لوحة المتصدرين Open LLM ، تحتل FreeWilly 2 المرتبة الأولى مع تقدم مطلق ، ومتوسط النقاط أعلى بـ 4 نقاط مئوية من الإصدار الأصلي من Llama 2.
** لمستقبل مفتوح **
يمكن القول أن FreeWilly1 و FreeWilly2 وضعوا معيارًا جديدًا لنماذج اللغات الكبيرة مفتوحة المصدر.
لم يؤدي تقديم هذين النموذجين إلى تقدم كبير في البحث في المجالات ذات الصلة فحسب ، بل عزز القدرة على فهم اللغة الطبيعية ، ولكنه دعم أيضًا إكمال المهام المعقدة.
قالت منظمة Stability AI أن الفريق متحمس جدًا للإمكانيات اللانهائية التي يمكن أن توفرها هذه النماذج لمجتمع الذكاء الاصطناعي ، ويتطلع إلى التطبيقات الجديدة التي ستلهمها.
بالإضافة إلى ذلك ، أتقدم بالشكر الجزيل إلى الفريق الشغوف من الباحثين والمهندسين والشركاء الذين مكنت جهودهم غير العادية وتفانيهم من تحقيق الاستقرار AI للوصول إلى هذا الإنجاز الهام.
وقت حساس
بمجرد إصدار النموذج ، استخدم مستخدم الإنترنت "Phil Howes" إطار Tuhin Srivastava's Llama v2 لإكمال تنفيذ FreeWilly 2 في أقل من دقيقة.
بعد تحميل وزن يبلغ 275 جيجابايت ، يعمل النموذج بسرعة 23 رمزًا / ثانية خارج الصندوق.
بالإضافة إلى ذلك ، صرخ بعض مستخدمي الإنترنت: يمكن تسمية النموذج الذي تم إطلاقه بالاشتراك مع Stability AI و CarperAI بأنه مغير قواعد اللعبة!
تتمتع FreeWilly1 و FreeWilly2 بأهمية ابتكارية كبيرة من حيث المصدر المفتوح والأداء ، ودائرة الذكاء الاصطناعي تستهل لحظة مثيرة.
مراجع:
شاهد النسخة الأصلية
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
أطلقت منظمة العفو الدولية الاستقرار بسرعة نموذج ضبط Llama 2 FreeWilly ، الذي يمكن مقارنته بأداء ChatGPT! صرخ مستخدمو الإنترنت أن قواعد اللعبة قد تغيرت
المصدر: Xinzhiyuan
بمجرد إطلاق Meta Llama 2 ، فجر مجتمع المصادر المفتوحة بالكامل.
كما قال عالم OpenAI Karpathy ، فإن هذا يوم مهم للغاية بالنسبة لمجال نماذج اللغات الكبيرة بأكمله. من بين جميع الموديلات ذات الأوزان المفتوحة ، يعتبر Llama 2 هو الأقوى.
من الآن فصاعدًا ، سيتم تضييق الفجوة بين النماذج الكبيرة مفتوحة المصدر والنماذج الكبيرة ذات المصدر المغلق ، وستكون فرصة بناء نماذج كبيرة مساوية لجميع المطورين.
الآن فقط ، أصدرت Stability AI و CarperAI Labs معًا نموذجًا دقيقًا يعتمد على نموذج LLaMA 2 70B - FreeWilly2.
وبناءً على الضبط الدقيق للطراز الأصلي لـ LLaMA 65B - FreeWilly1.
في العديد من الاختبارات المعيارية ، أثبتت FreeWilly2 قدرات تفكير ممتازة ، بل وتجاوزت GPT-3.5 في بعض المهام.
كلا النموذجين عبارة عن تجارب بحثية وتم إصدارهما بموجب ترخيص غير تجاري.
** توليد البيانات وجمعها **
قالت منظمة Stability AI أن تدريب نموذج FreeWilly مستوحى بشكل مباشر من ورقة Microsoft "Orca: التعلم التقدمي من آثار الشرح المعقدة لـ GPT-4".
ومع ذلك ، في حين أن عملية توليد البيانات متشابهة ، فإن المصادر مختلفة.
يحتوي متغير مجموعة البيانات لـ FreeWilly على 600000 نقطة بيانات (حوالي 10٪ من حجم مجموعة البيانات المستخدمة في ورق Orca الأصلي) ، ويتم تمهيد النموذج باستخدام مجموعة بيانات إرشادية عالية الجودة تم إنشاؤها بواسطة Enrico Shippole:
COT Submix Original
NIV2 Submix Original
FLAN 2021 Submix Original
T0 Submix الأصلي
باستخدام هذا النهج ، أنتج Stability AI 500000 مثال باستخدام نموذج LLM أبسط ، و 100000 مثال إضافي باستخدام نموذج LLM أكثر تعقيدًا.
على الرغم من أن حجم عينة التدريب لا يتجاوز عُشر ورقة Orca الأصلية ، إلا أن نموذج FreeWilly الناتج لا يؤدي أداءً جيدًا فقط في الاختبارات المعيارية المختلفة ، ولكنه يتحقق أيضًا من جدوى طريقة إنشاء مجموعات البيانات الاصطناعية.
** تقييم أداء النموذج **
فيما يتعلق بتقييم الأداء ، اعتمد باحثو الذكاء الاصطناعي في الثبات على استخدام نظام إلوثرى lm وإضافة الذكاء الاصطناعي العام.
انطلاقا من النتائج ، تتفوق FreeWilly في العديد من المجالات ، بما في ذلك التفكير المعقد ، وفهم التفاصيل الدقيقة للغة ، والإجابة على الأسئلة المعقدة المتعلقة بالمجالات المهنية (مثل حل المشكلات القانونية والرياضية).
في الأساس ، حققت FreeWilly 2 مستوى مشابهًا لـ ChatGPT ، بل وتجاوزته في بعض التقييمات.
يمكن ملاحظة أنه في لوحة المتصدرين Open LLM ، تحتل FreeWilly 2 المرتبة الأولى مع تقدم مطلق ، ومتوسط النقاط أعلى بـ 4 نقاط مئوية من الإصدار الأصلي من Llama 2.
** لمستقبل مفتوح **
يمكن القول أن FreeWilly1 و FreeWilly2 وضعوا معيارًا جديدًا لنماذج اللغات الكبيرة مفتوحة المصدر.
لم يؤدي تقديم هذين النموذجين إلى تقدم كبير في البحث في المجالات ذات الصلة فحسب ، بل عزز القدرة على فهم اللغة الطبيعية ، ولكنه دعم أيضًا إكمال المهام المعقدة.
قالت منظمة Stability AI أن الفريق متحمس جدًا للإمكانيات اللانهائية التي يمكن أن توفرها هذه النماذج لمجتمع الذكاء الاصطناعي ، ويتطلع إلى التطبيقات الجديدة التي ستلهمها.
بالإضافة إلى ذلك ، أتقدم بالشكر الجزيل إلى الفريق الشغوف من الباحثين والمهندسين والشركاء الذين مكنت جهودهم غير العادية وتفانيهم من تحقيق الاستقرار AI للوصول إلى هذا الإنجاز الهام.
وقت حساس
بمجرد إصدار النموذج ، استخدم مستخدم الإنترنت "Phil Howes" إطار Tuhin Srivastava's Llama v2 لإكمال تنفيذ FreeWilly 2 في أقل من دقيقة.
بعد تحميل وزن يبلغ 275 جيجابايت ، يعمل النموذج بسرعة 23 رمزًا / ثانية خارج الصندوق.