ChatGPT was put to the test via a series of humdrum freshman C/C++ programming tasks and it passed – though not with honors.
According to a Croatian research team, while first-year students can struggle with some of the assignments, نتائج [PDF] showed ChatGPT hitting proficiency targets that ranged between average and that of experienced programmers. And naturally, as with all college exams, outcomes can be determined by how questions are worded.
The University North crew designed a set of college freshman-level programming challenges, first penned in English and later, to see if cross-language nuances would affect outcomes, Croatian. They wanted to see not just how ChatGPT codes, but also if it could adapt to different languages.
The first quiz focused on a basic programming task: calculating the greatest common divisor (GCD) of two numbers. At the outset, the bot showed some limitations in how it decided to tackle the problem, with the researchers saying it lacked the finesse expected from a seasoned programmer. But like any student, it learns and through subsequent tries, especially in the Croatian version, it demonstrated some improvements, showing notable adaptability.
For example, in one particular task it was challenged to program a basic statistical function in C++. Initially, it made an oversight, using a function that didn’t produce the “corrected” standard deviation as required. But, when the same task was presented in Croatian, the chatbot not only recognized its previous error but worked out a refined solution.
The researchers note that this adaptability mirrors a freshman’s journey: starting with mistakes but showing an ability to learn and enhance their skills with repeated practice and feedback. Awww.
Another task involved a more nuanced problem: identifying numbers within a range based on specific divisibility rules. This was where ChatGPT’s Achilles’ heel became evident. Regardless of language — English or Croatian — ChattyG struggled with negative numbers. Each attempt by ChatGPT led to similar results, pointing towards a consistent issue in its programming logic for this task.
A bonus question demanded precision. ChatGPT was required to craft an input filter, specifically for a defined range of decimal numbers. The AI’s initial solution, when presented in English, was on point, but the next attempts, especially when the task was given in Croatian, revealed some inconsistencies and in some instances, ChatGPT used unnecessary programming constructs. While these didn’t hinder the program’s functionality, it did indicate a lack of optimization. It was as if ChatGPT sometimes took the longer route to a destination, even when a shortcut was available.
Things got more intricate with a task related to arrays. Here, ChatGPT was asked to store numbers and then compute certain statistics like mean value, standard deviation, and identify minimum and maximum values. ChattyG’s performance on this challenge was particularly interesting. Across different tests, it showcased varying strategies. Sometimes, it elegantly solved the problem, offering straightforward solutions. In other attempts, it leaned towards more convoluted methods, even bundling multiple operations into one function.
All of this raises an important question: Does ChatGPT always choose the best strategy, or does it sometimes default to learned but inefficient methods?
The final hurdle for ChatGPT involved basic text processing. It was tasked with removing extra spaces from user input. In its initial English test, ChatGPT’s solution was spot on. However, the Croatian test threw a curveball. Instead of adhering to its effective single-input solution, the AI, for some reason, opted for a more complex approach, demanding multiple inputs. Yet, when researchers revisited this challenge in English, ChatGPT seemed to have learned from its previous misstep, returning to the simpler method.
Overall, the researchers found the responses had a lot in common with those of human freshman programming students. Its solutions often echoed the strategies of experienced programmers but like any student, ChatGPT wasn’t infallible. There were moments of brilliance, but also instances where it seemed to miss the mark entirely .
The real takeaway here is its human freshman-like adaptability: It wasn’t just about getting the right solution; it was about refining, learning, and iterating.
So what’s ChattyG’s final grade?
From the researchers:
“ChatGPT passes the exam with very good grades, outperforming most of our students in the quality of solutions. Furthermore, it solves each task within 20 to 30 seconds and shows the general ability to adapt or change its solutions according to additional demands. However, in some, often simple tasks, it showed the inability to comprehend the logical and mathematical essence of the problem, even after being prompted about its errors several times.” ®
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://go.theregister.com/feed/www.theregister.com/2023/10/03/chatgpt_code_college/
- : ہے
- : نہیں
- :کہاں
- 20
- 30
- 7
- a
- کی صلاحیت
- ہمارے بارے میں
- کے مطابق
- کوائف
- کے پار
- اپنانے
- ایڈیشنل
- عمل پیرا
- پر اثر انداز
- کے بعد
- AI
- تمام
- بھی
- ہمیشہ
- an
- اور
- کوئی بھی
- نقطہ نظر
- کیا
- AS
- At
- کرنے کی کوشش
- کوششیں
- دستیاب
- اوسط
- کی بنیاد پر
- بنیادی
- BE
- بن گیا
- کیا جا رہا ہے
- BEST
- کے درمیان
- بونس
- بوٹ
- لیکن
- by
- C ++
- حساب
- کر سکتے ہیں
- کچھ
- چیلنج
- چیلنج
- چیلنجوں
- تبدیل
- چیٹ بٹ
- چیٹ جی پی ٹی
- میں سے انتخاب کریں
- CO
- کوڈ
- کالج
- کامن
- پیچیدہ
- سمجھو
- کمپیوٹنگ
- متواتر
- درست کیا
- سکتا ہے
- شلپ
- فیصلہ کیا
- پہلے سے طے شدہ
- کی وضاحت
- مطالبہ
- مطالبہ
- مطالبات
- demonstrated,en
- ڈیزائن
- منزل
- کا تعین
- انحراف
- DID
- نہیں کیا
- مختلف
- کرتا
- ہر ایک
- گونگا
- موثر
- انگریزی
- بڑھانے کے
- مکمل
- خرابی
- نقائص
- خاص طور پر
- جوہر
- بھی
- واضح
- امتحان
- مثال کے طور پر
- توقع
- تجربہ کار
- اضافی
- آراء
- فلٹر
- فائنل
- چیلنج
- پہلا
- توجہ مرکوز
- کے لئے
- ملا
- سے
- تقریب
- فعالیت
- مزید برآں
- جنرل
- حاصل کرنے
- دی
- اچھا
- ملا
- گریڈ
- سب سے بڑا
- تھا
- ہے
- یہاں
- رکاوٹ
- مارنا
- آنرز
- کس طرح
- تاہم
- HTTPS
- انسانی
- ہمدرم
- شناخت
- کی نشاندہی
- if
- اہم
- بہتری
- in
- دیگر میں
- اسمرتتا
- اشارہ کرتے ہیں
- ناکافی
- ابتدائی
- ابتدائی طور پر
- ان پٹ
- آدانوں
- کے بجائے
- دلچسپ
- میں
- ملوث
- مسئلہ
- IT
- میں
- سفر
- فوٹو
- صرف
- نہیں
- زبان
- زبانیں
- بعد
- جانیں
- سیکھا ہے
- سیکھنے
- قیادت
- کی طرح
- حدود
- منطق
- منطقی
- اب
- بہت
- بنا
- نشان
- ریاضیاتی
- زیادہ سے زیادہ
- مطلب
- طریقہ
- طریقوں
- کم سے کم
- غلطیوں
- لمحات
- زیادہ
- سب سے زیادہ
- ایک سے زیادہ
- منفی
- اگلے
- شمالی
- قابل ذکر
- تعداد
- of
- کی پیشکش
- اکثر
- on
- ایک
- صرف
- آپریشنز
- اصلاح کے
- or
- دیگر
- ہمارے
- باہر
- نتائج
- باہر نکلنا
- نگرانی
- خاص طور پر
- خاص طور پر
- منظور
- گزرتا ہے
- کارکردگی
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پوائنٹ
- پریکٹس
- صحت سے متعلق
- پیش
- پچھلا
- مسئلہ
- پروسیسنگ
- پیدا
- پروگرام
- پروگرامر
- پروگرامر
- پروگرامنگ
- ڈال
- معیار
- سوال
- سوالات
- اٹھاتا ہے
- رینج
- اصلی
- وجہ
- تسلیم شدہ
- بہتر
- ادائیگی
- بے شک
- متعلقہ
- کو ہٹانے کے
- بار بار
- ضرورت
- تحقیق
- محققین
- جوابات
- نتائج کی نمائش
- واپس لوٹنے
- انکشاف
- ٹھیک ہے
- روٹ
- قوانین
- s
- اسی
- یہ کہہ
- تجربہ کار
- سیکنڈ
- دیکھنا
- لگ رہا تھا
- سیریز
- مقرر
- کئی
- ظاہر ہوا
- سے ظاہر ہوا
- شوز
- اسی طرح
- سادہ
- سادہ
- مہارت
- حل
- حل
- حل کرتا ہے
- کچھ
- خالی جگہیں
- مخصوص
- خاص طور پر
- کمرشل
- معیار
- شروع
- شماریات
- کے اعداد و شمار
- ذخیرہ
- براہ راست
- حکمت عملیوں
- حکمت عملی
- جدوجہد
- طالب علم
- طلباء
- بعد میں
- ٹیکل
- لیتا ہے
- اہداف
- ٹاسک
- کاموں
- ٹیم
- ٹیسٹ
- ٹیسٹ
- متن
- کہ
- ۔
- ان
- تو
- وہاں.
- یہ
- وہ
- اس
- ان
- اگرچہ؟
- کے ذریعے
- اوقات
- کرنے کے لئے
- لیا
- کی طرف
- دو
- یو این آئی۔
- یونیورسٹی
- غیر ضروری
- استعمال کیا جاتا ہے
- رکن کا
- کا استعمال کرتے ہوئے
- قیمت
- اقدار
- مختلف
- ورژن
- بہت
- کی طرف سے
- چاہتے تھے
- تھا
- نہیں تھا
- تھے
- کیا
- جب
- جبکہ
- ساتھ
- کے اندر
- کام کیا
- گا
- سال
- ابھی
- زیفیرنیٹ