A ChattyG első éves uni C/C++ programozási vizsgát tesz

A ChattyG első éves uni C/C++ programozási vizsgát tesz

Időbélyeg: 3. október 2023. 2:58
ChattyG takes a first year uni C/C++ programming exam PlatoBlockchain Data Intelligence. Vertical Search. Ai.

A ChatGPT-t próbára tették egy sor újonc C/C++ programozási feladaton keresztül, és sikerült – bár nem becsülettel.

Egy horvát kutatócsoport szerint míg az elsőéves hallgatók nehézségekkel küszködhetnek néhány feladattal, az eredmények A [PDF] azt mutatta meg, hogy a ChatGPT elérte az átlagos és a tapasztalt programozóké közötti jártassági célokat. És természetesen, mint minden főiskolai vizsga esetében, az eredményeket a kérdések megfogalmazása határozza meg.

A University North csapata egy sor főiskolai gólya szintű programozási kihívást tervezett, először angolul, majd később, hogy megnézze, a nyelveken átívelő árnyalatok befolyásolják-e az eredményeket, horvát nyelven. Nemcsak azt akarták látni, hogyan kódol a ChatGPT, hanem azt is, hogy képes-e alkalmazkodni a különböző nyelvekhez.

Az első kvíz egy alapvető programozási feladatra összpontosított: két szám legnagyobb közös osztójának (GCD) kiszámítására. Kezdetben a bot bizonyos korlátokat mutatott a probléma megoldásában, a kutatók szerint hiányzott belőle a tapasztalt programozótól elvárható finomság. De mint minden diák, ez is tanul, és a későbbi próbálkozások során, különösen a horvát változatban, néhány fejlesztést mutatott be, és figyelemre méltó alkalmazkodóképességet mutatott.

Például egy adott feladatban kihívást jelentett egy alapvető statisztikai függvény programozása C++ nyelven. Kezdetben tévedést hajtott végre, és olyan függvényt használt, amely nem produkálta a „korrigált” szórást a kívánt módon. De amikor ugyanazt a feladatot horvát nyelven is bemutatták, a chatbot nemcsak felismerte korábbi hibáját, hanem kidolgozott egy finomabb megoldást is.

A kutatók megjegyzik, hogy ez az alkalmazkodóképesség a pályakezdők útját tükrözi: a hibákkal kezdve, de megmutatja a képességet a tanulásra és készségeik fejlesztésére ismételt gyakorlással és visszajelzésekkel. Awww.

Egy másik feladat egy árnyaltabb problémával járt: egy tartományon belüli számok azonosítása meghatározott oszthatósági szabályok alapján. Itt vált nyilvánvalóvá a ChatGPT Achilles-sarka. Nyelvtől függetlenül – angol vagy horvát – a ChattyG negatív számokkal küszködött. A ChatGPT minden próbálkozása hasonló eredményekhez vezetett, ami egy következetes problémára utal a feladat programozási logikájában.

Egy bónuszkérdés pontosítást követelt. A ChatGPT-nek bemeneti szűrő létrehozásához volt szüksége, kifejezetten a decimális számok meghatározott tartományához. A mesterséges intelligencia eredeti megoldása, amikor angolul mutatták be, a célnak megfelelő volt, de a következő próbálkozások, különösen, amikor a feladatot horvát nyelven adták, feltártak némi következetlenséget, és néhány esetben a ChatGPT szükségtelen programozási konstrukciókat használt. Bár ezek nem akadályozták a program működését, az optimalizálás hiányát jelezték. Olyan volt, mintha a ChatGPT néha a hosszabb útvonalat választotta volna egy célhoz, még akkor is, ha elérhető volt egy parancsikon.

A dolgok bonyolultabbá váltak a tömbökhöz kapcsolódó feladattal. Itt a ChatGPT-t arra kérték, hogy tároljon számokat, majd számítson ki bizonyos statisztikákat, például az átlagértéket, a szórást, és azonosítsa a minimális és maximális értékeket. ChattyG teljesítménye ezen a kihíváson különösen érdekes volt. A különböző tesztek során különböző stratégiákat mutatott be. Néha elegánsan megoldotta a problémát, egyszerű megoldásokat kínálva. Más próbálkozásokban a bonyolultabb módszerek felé hajlott, még több műveletet is egy funkcióba kötve.

Mindez felvet egy fontos kérdést: a ChatGPT mindig a legjobb stratégiát választja, vagy néha alapértelmezés szerint tanult, de nem hatékony módszereket alkalmaz?

A ChatGPT végső akadálya az alapvető szövegfeldolgozás volt. Feladata volt, hogy távolítsa el a felesleges szóközöket a felhasználói bevitelből. A kezdeti angol teszt során a ChatGPT megoldása a helyén volt. A horvát teszt azonban görbelabdát dobott. Ahelyett, hogy ragaszkodtak volna a hatékony egybemenetes megoldáshoz, az AI valamilyen oknál fogva összetettebb megközelítést választott, több bevitelt igényelve. Mégis, amikor a kutatók újra megvizsgálták ezt a kihívást angolul, úgy tűnt, hogy a ChatGPT tanult korábbi félrelépéséből, és visszatért az egyszerűbb módszerhez.

Összességében a kutatók azt találták, hogy a válaszok sokban hasonlítanak az elsőéves programozó hallgatók válaszaihoz. Megoldásai gyakran a tapasztalt programozók stratégiáit visszhangozták, de mint minden diák, a ChatGPT sem volt tévedhetetlen. Voltak pillanatok a ragyogásnak, de olyanok is, amikor úgy tűnt, hogy teljesen kihagyta a célt.

Itt az igazi előny az emberi gólya-szerű alkalmazkodóképesség: nem csak a megfelelő megoldás megszerzéséről volt szó; finomításról, tanulásról és iterálásról szólt.

Mi tehát ChattyG utolsó osztályzata?

A kutatóktól:

„A ChatGPT nagyon jó osztályzattal sikeres vizsgát tett, a legtöbb diákunknál felülmúlva a megoldások minőségét. Ezenkívül minden feladatot 20-30 másodpercen belül megold, és általános képességet mutat arra, hogy a megoldásokat a további igényeknek megfelelően adaptálja vagy módosítsa. Néhány, gyakran egyszerű feladatnál azonban azt mutatta, hogy még többszöri hibáira való felszólítás után sem volt képes felfogni a probléma logikai és matematikai lényegét.” ®

Időbélyeg:

Még több A regisztráció