في عبر قناته ضمن يوتيوب، أعاد باحث الذكاء الاصطناعي أندريه كارباثي إنتاج GPT-2 في ما يزيد قليلًا على أربع ساعات.
وأمضى المؤسس المشارك لشركة OpenAI، الذي غادر في وقت سابق من هذا العام، ساعات عديدة في إنشاء مقاطع فيديو تعليمية لمشاهديه، ويشمل ذلك مقاطع فيديو إرشادية بخصوص نماذج وحدات فك التشفير.
وفي محاضرته الأخيرة، أعاد كارباثي إنشاء أصغر نسخة من GPT-2 التي تحتوي مقدار 124 مليون معلمة.
وحلل كارباثي العملية كلها في الفيديو الذي مدته أربع ساعات، وبدأ من الصفر.
وقال كارباثي: “نبني أولًا شبكة GPT-2 ومن ثم نحسن تدريبها لتكون سريعة للغاية، ونجهز طريقة تشغيل التدريب بالاعتماد على ورقة GPT-2 و GPT-3 والمعلمات الفائقة، ومن ثم نشغل طريقة التدريب، ونعود لاحقًا لرؤية النتائج”.
ومع إعادة إنشاء GPT-2، يعتقد كارباثي أنه كان قريبًا جدًا من نموذج GPT-3 المكون من 124 مليون معلمة.
وكان كارباثي منذ مدة طويلة مؤيدًا لنشر المعرفة في مجال الذكاء الاصطناعي، وتحديدًا العلوم التي تكمن وراء النماذج اللغوية الكبيرة.
وترك كارباثي الشركة للمرة الثانية في شهر فبراير من هذا العام، وكان مسؤولًا عن التعلم العميق والرؤية الحاسوبية في OpenAI، مع أن شارك بنشاط في مجتمع الذكاء الاصطناعي، إذ أنشأ برامج تعليمية ومقاطع فيديو تفصيلية لنماذج مختلفة، وخاصة بعد ترك الشركة.
وأصدر سابقًا مشروعًا بعنوان llm.c، إذ يمكن للمستخدمين تدريب النماذج اللغوية الكبيرة باستخدام لغة C فقط دون الحاجة إلى الاعتماد على PyTorch و cPython.
وكان قد أصدر قبل ذلك محاضرة مدتها ساعة يشرح فيها تعقيدات النماذج اللغوية الكبيرة وكيفية عملها.
وبعد مدة وجيزة من مغادرته OpenAI، أصدر أيضًا برنامجًا تعليميًا بخصوص فهم الرمز المميز، كما اغتنم الفرصة لتحليل الرمز المميز Gemma من جوجل بعد إطلاقه.
نسخ الرابط تم نسخ الرابط
