نشر مجموعة من الباحثين في جامعة ستانفورد وجامعة كاليفورنيا في بيركلي، أوراقا بحثية الثلاثاء الماضي للعام الجاري 2023، تسلط الضوء على تغير سلوك ChatGPT بمرور الوقت، وخلال رحلة الاستكشاف تبين أن نموذج ChatGPT أصبح أكثر غباءً، الأمر الذي بدوره سيؤثر بشكل أو بآخر على OpenAI.
ChatGPT أصبح أكثر غباءً
وفقا لما نشر في الورقة البحثية فقد وجد الباحثون أن أداء نموذجي GPT-3.5 و GPT-4 AI الأساسيين في chatbot، يختلف اختلافًا كبيرًا في منحنى سلبي، حيث اتضح أن نموذج GPT-4 وهو النموذج الأكثر تطورا، ويتميز بقدرته على فهم الصور والنصوص، لم يعد قادرا على مجاراة الاختبارات التي تقيم استجابته مع مرور الوقت، حيث تم تبني مهام متنوعة للتأكد من أداء النموذج وتقييم قدراته، واعتمد الاختبار على المعادلات الرياضية، الاستجابة على الأسئلة، إنشاء الكود، التفكير المرئي.
الغريب في الأمر أن أداء نموذج GPT-4 ظهر محبطا للغاية حسب وصف الباحثين، فبعدما كان النموذج قادرا على تحديد الأعداد الأولية بدقة وصلت لـ97.6% في مارس الماضي، جاءت النتيجة صادمة في يونيو بنسبة 2.4%، كما تبين أن هناك أخطاء في إنشاء الكود الشهر الماضي، كما لم يوفق النموذج ليجيب على الأسئلة المعقدة.
The paper doesn’t get at why the degradation in abilities is happening. We don’t even know if OpenAI knows this is occuring.
— Ethan Mollick (@emollick) July 19, 2023
تدهور أداء GPT-4
وفقا لما ذكر في موقع businessinside، فإن نتائج الورقة البحثية الصادمة جعلت العديد من الخبراء يتطرقون لمعرفة أسباب تدهور GPT-4، بدوره غرد إيثان مولليك، أستاذ الابتكار في وارتن، عبر حسابه الرسمي على منصة التواصل الاجتماعي تويتر، مشيرا إلى أن الورقة البحثية لم تلقي الضوء على أسباب تدهورنموذج تشات جي بي تي، قائلا "لماذا لم تتطرق الورقة لأسباب تدهور أداء تشات جي بي تي، وهل تعلم شركة OpenAI بدورها عما يحدث".
وبالعودة لوقت سابق من العام تحديدا في مايو، أشار بيتر يانغ، رئيس منتج Roblox، إلى أن إجابات GPT-4 يتم إنشاؤها بشكل أسرع مما كانت عليه سابقًا لكن بجودة أقل، مبررا هذا الأمر أن الشركة الأم تحاول خفض التكاليف، الغريب في الأمر أن Peter Welinder، نائب رئيس المنتج في OpenAI، غرد عبر حسابه الرسمي على تويتر الأسبوع الماضي مبررا "لا، لم نجعل GPT-4 غبيًا. بل على العكس تمامًا نجعل كل إصدار جديد أكثر ذكاءً من الإصدار السابق"، ولكن بعد نشر هذه الورقة البحثية يبدو أن شركة OpenAI أصبحت مطالبة برد سريع وواضح.
It’s really hard to tell why this is happening. It could definitely be that RLHF and fine tuning are hitting a wall, but might also be bugs. Definitely seems tricky to manage quality.
— Matei Zaharia (@matei_zaharia) July 19, 2023
استعرض ماتي زهاريا، كبير مسؤولي التكنولوجيا في Databricks وأستاذ مشارك في علوم الكمبيوتر في جامعة كاليفورنيا في بيركلي، وهو واحد من المشاركين في الورقة البحثية، جزءا من الورقة البحثية حول تدهور أداء GPT4، مؤكدا عبر تغريدة له على حسابه الرسمي أن مسألة الكشف عن أسباب تدهور تشات جي بي تي، من الصعب التعرف عليها، ولكن هناك بالفعل أخطاء تمت ملاحظتها متعلقة بالجودة.
اقرأ أيضا عن "أوبن أي آي" تستعد لإطلاق نموذج للغة مفتوح المصدر
يمكنكم متابعة آخر الأخبار عبر حساب سيدتي على تويتر
