يأخذ ChattyG اختبار برمجة Uni C/C++ للسنة الأولى

تم اختبار ChatGPT من خلال سلسلة من المهام الرتيبة لبرمجة C/C++ للطلاب الجدد وتم اجتيازه - ولكن ليس بمرتبة الشرف.

وفقا لفريق بحث كرواتي، بينما يمكن لطلاب السنة الأولى أن يواجهوا صعوبة في أداء بعض الواجبات، النتائج أظهر [PDF] أن ChatGPT حقق أهداف الكفاءة التي تراوحت بين المتوسط ​​وأهداف المبرمجين ذوي الخبرة. وبطبيعة الحال، كما هو الحال مع جميع امتحانات الكليات، يمكن تحديد النتائج من خلال كيفية صياغة الأسئلة.

صمم طاقم جامعة نورث مجموعة من تحديات البرمجة على مستوى الطلاب الجدد في الكلية، تمت كتابتها أولاً باللغة الإنجليزية ثم لاحقًا، لمعرفة ما إذا كانت الفروق الدقيقة بين اللغات ستؤثر على النتائج، باللغة الكرواتية. لقد أرادوا ليس فقط معرفة كيفية تشفير ChatGPT، ولكن أيضًا ما إذا كان بإمكانه التكيف مع لغات مختلفة.

ركز الاختبار الأول على مهمة برمجة أساسية: حساب القاسم المشترك الأكبر (GCD) لعددين. في البداية، أظهر الروبوت بعض القيود في كيفية اتخاذ القرار لمعالجة المشكلة، حيث قال الباحثون إنه يفتقر إلى الجودة المتوقعة من مبرمج متمرس. ولكن مثل أي طالب، فإنه يتعلم ومن خلال المحاولات اللاحقة، خاصة في النسخة الكرواتية، أظهر بعض التحسينات، وأظهر قدرة ملحوظة على التكيف.

على سبيل المثال، في إحدى المهام المحددة، تم تحدي برمجة وظيفة إحصائية أساسية بلغة C++. في البداية، قامت بعملية مراقبة باستخدام دالة لم تنتج الانحراف المعياري "المصحح" كما هو مطلوب. ولكن عندما تم تقديم نفس المهمة باللغة الكرواتية، لم يتعرف برنامج الدردشة الآلي على خطأه السابق فحسب، بل توصل إلى حل محسّن.

لاحظ الباحثون أن هذه القدرة على التكيف تعكس رحلة الطلاب الجدد: البدء بالأخطاء ولكن إظهار القدرة على التعلم وتعزيز مهاراتهم من خلال الممارسة المتكررة والتغذية الراجعة. أووه.

تضمنت مهمة أخرى مشكلة أكثر دقة: تحديد الأرقام ضمن نطاق بناءً على قواعد محددة للقسمة. كان هذا هو المكان الذي أصبح فيه كعب أخيل في ChatGPT واضحًا. بغض النظر عن اللغة - الإنجليزية أو الكرواتية - عانى موقع ChattyG من الأرقام السالبة. أدت كل محاولة قام بها ChatGPT إلى نتائج مماثلة، مما يشير إلى وجود مشكلة ثابتة في منطق البرمجة الخاص به لهذه المهمة.

سؤال إضافي يتطلب الدقة. كان ChatGPT مطلوبًا لإنشاء مرشح إدخال، خصيصًا لنطاق محدد من الأرقام العشرية. كان الحل الأولي للذكاء الاصطناعي، عند تقديمه باللغة الإنجليزية، في محله، لكن المحاولات التالية، خاصة عندما تم إعطاء المهمة باللغة الكرواتية، كشفت عن بعض التناقضات، وفي بعض الحالات، استخدم ChatGPT بنيات برمجة غير ضرورية. في حين أن هذه لم تعيق وظائف البرنامج، إلا أنها تشير إلى عدم وجود التحسين. كان الأمر كما لو أن ChatGPT يسلك أحيانًا الطريق الأطول إلى الوجهة، حتى عندما يكون الاختصار متاحًا.

أصبحت الأمور أكثر تعقيدًا مع المهام المتعلقة بالمصفوفات. هنا، طُلب من ChatGPT تخزين الأرقام ثم حساب إحصائيات معينة مثل القيمة المتوسطة والانحراف المعياري وتحديد القيم الدنيا والقصوى. كان أداء ChattyG في هذا التحدي مثيرًا للاهتمام بشكل خاص. ومن خلال اختبارات مختلفة، عرضت استراتيجيات مختلفة. وفي بعض الأحيان، كان يحل المشكلة بشكل رائع، ويقدم حلولاً مباشرة. وفي محاولات أخرى، اتجه نحو أساليب أكثر تعقيدًا، حتى أنه قام بتجميع عمليات متعددة في وظيفة واحدة.

كل هذا يثير سؤالا مهما: هل يختار ChatGPT دائما أفضل استراتيجية، أم أنه يلجأ في بعض الأحيان إلى الأساليب المستفادة ولكن غير الفعالة؟

كانت العقبة الأخيرة أمام ChatGPT تتضمن معالجة النصوص الأساسية. تم تكليفه بإزالة المسافات الإضافية من إدخال المستخدم. في اختبار اللغة الإنجليزية الأولي، كان حل ChatGPT دقيقًا. ومع ذلك، ألقى الاختبار الكرواتي كرة منحنى. بدلاً من الالتزام بحل المدخلات الفردية الفعال، اختار الذكاء الاصطناعي، لسبب ما، نهجًا أكثر تعقيدًا، يتطلب مدخلات متعددة. ومع ذلك، عندما أعاد الباحثون النظر في هذا التحدي باللغة الإنجليزية، بدا أن ChatGPT قد تعلم من خطأه السابق، حيث عاد إلى الطريقة الأبسط.

بشكل عام، وجد الباحثون أن إجابات طلاب البرمجة الجدد لديها الكثير من القواسم المشتركة. غالبًا ما كانت حلولها تعكس استراتيجيات المبرمجين ذوي الخبرة، ولكن مثل أي طالب، لم يكن ChatGPT معصومًا من الخطأ. كانت هناك لحظات من التألق، ولكن أيضًا حالات بدا فيها أنها أخطأت الهدف تمامًا.

إن الوجبات الجاهزة الحقيقية هنا هي قدرتها على التكيف الشبيهة بالبشر الجدد: لم يكن الأمر يتعلق فقط بالحصول على الحل الصحيح؛ كان الأمر يتعلق بالصقل والتعلم والتكرار.

إذن ما هي الدرجة النهائية لـ ChattyG؟

من الباحثين:

"يجتاز ChatGPT الاختبار بدرجات جيدة جدًا، ويتفوق على معظم طلابنا في جودة الحلول. علاوة على ذلك، فهو يحل كل مهمة خلال 20 إلى 30 ثانية ويظهر القدرة العامة على التكيف أو تغيير حلولها وفقًا للمتطلبات الإضافية. إلا أنه في بعض المهام، التي غالباً ما تكون بسيطة، أظهر عدم القدرة على فهم الجوهر المنطقي والرياضي للمشكلة، حتى بعد أن تم سؤاله عن أخطائها عدة مرات. ®

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://go.theregister.com/feed/www.theregister.com/2023/10/03/chatgpt_code_college/