ChattyG sooritab esimesel aastal Uni C/C++ programmeerimise eksami

Taasavaldanud Platon

järgijaid: 0

ChattyG sooritab esimesel aastal uni C/C++ programmeerimise eksami PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

ChatGPT pandi proovile rea esmakursuslaste C/C++ programmeerimisülesannete kaudu ja see läbis – kuigi mitte kiitusega.

Horvaatia uurimisrühma sõnul võivad esimese aasta üliõpilased mõne ülesande täitmisel vaeva näha, tulemused [PDF] näitas, et ChatGPT saavutas oskuseesmärgid, mis jäid keskmise ja kogenud programmeerijate taseme vahele. Ja loomulikult, nagu kõigi kolledžieksamite puhul, saab tulemusi määrata küsimuste sõnastuse järgi.

Põhja-ülikooli meeskond koostas kolledži esmakursuslaste programmeerimisülesannete komplekti, algul inglise ja hiljem, et näha, kas keeleülesed nüansid mõjutavad tulemusi, horvaadi keeles. Nad tahtsid näha mitte ainult seda, kuidas ChatGPT kodeerib, vaid ka seda, kas see suudab kohaneda erinevate keeltega.

Esimene viktoriin keskendus põhilisele programmeerimisülesandele: kahe arvu suurima ühisjagaja (GCD) arvutamisele. Alguses näitas bot mõningaid piiranguid, kuidas ta otsustas probleemiga tegeleda, kuna teadlased ütlesid, et selles puudus kogenud programmeerijalt oodatav peenus. Kuid nagu iga õpilane, õpib see ja järgnevate katsete kaudu, eriti horvaadikeelses versioonis, näitas see mõningaid täiustusi, mis näitasid märkimisväärset kohanemisvõimet.

Näiteks ühes konkreetses ülesandes esitati väljakutse programmeerida põhiline statistiline funktsioon C++ keeles. Algselt tegi see vea, kasutades funktsiooni, mis ei tekitanud nõutavat "parandatud" standardhälvet. Kuid kui sama ülesanne esitati horvaadi keeles, ei tuvastanud vestlusbot mitte ainult oma eelmist viga, vaid töötas välja täiustatud lahenduse.

Teadlased märgivad, et see kohanemisvõime peegeldab esmakursuslase teekonda: alustades vigadest, kuid näidates võimet õppida ja täiustada oma oskusi korduva praktika ja tagasisidega. Awww.

Teine ülesanne hõlmas nüansirikkamat probleemi: numbrite tuvastamine vahemikus konkreetsete jagamisreeglite alusel. Siin ilmnes ChatGPT Achilleuse kand. Olenemata keelest — inglise või horvaadi keeles — oli ChattyG hädas negatiivsete numbritega. Iga ChatGPT katse viis sarnaste tulemusteni, osutades järjekindlale probleemile selle ülesande programmeerimisloogikas.

Boonusküsimus nõudis täpsust. ChatGPT oli nõutav sisendfiltri loomiseks, spetsiaalselt määratletud kümnendarvude vahemiku jaoks. Tehisintellekti esialgne lahendus, kui seda esitati inglise keeles, oli asjakohane, kuid järgmised katsed, eriti kui ülesanne anti horvaadi keeles, näitasid mõningaid ebakõlasid ja mõnel juhul kasutas ChatGPT tarbetuid programmeerimiskonstruktsioone. Kuigi need ei takistanud programmi funktsionaalsust, viitas see siiski optimeerimise puudumisele. Tundus, nagu valis ChatGPT mõnikord pikema marsruudi sihtkohta, isegi kui otsetee oli saadaval.

Asjad muutusid massiividega seotud ülesandega keerulisemaks. Siin paluti ChatGPT-l salvestada numbrid ja seejärel arvutada teatud statistika, nagu keskmine väärtus, standardhälve ning tuvastada minimaalsed ja maksimaalsed väärtused. ChattyG esitus sellel väljakutsel oli eriti huvitav. Erinevate testide lõikes näitas see erinevaid strateegiaid. Mõnikord lahendas see probleemi elegantselt, pakkudes lihtsaid lahendusi. Teistel katsetel kaldus see keerukamate meetodite poole, ühendades isegi mitu toimingut üheks funktsiooniks.

Kõik see tõstatab olulise küsimuse: kas ChatGPT valib alati parima strateegia või kasutab mõnikord vaikimisi õpitud, kuid ebaefektiivseid meetodeid?

ChatGPT viimane takistus hõlmas põhilist tekstitöötlust. Selle ülesandeks oli eemaldada kasutaja sisendist lisatühikud. Oma esialgses inglise keele testis oli ChatGPT lahendus paigas. Horvaatia katse viskas aga kurvipalli. Selle asemel, et järgida oma tõhusat ühe sisendiga lahendust, valis AI mingil põhjusel keerukama lähenemisviisi, nõudes mitut sisendit. Kuid kui teadlased seda väljakutset inglise keeles uuesti vaatasid, näis ChatGPT olevat oma eelmisest veast õppinud, pöördudes tagasi lihtsama meetodi juurde.

Üldiselt leidsid teadlased, et vastustel on palju ühist programmeerimise esmakursuslaste vastustega. Selle lahendused kordasid sageli kogenud programmeerijate strateegiaid, kuid nagu iga õpilane, ei olnud ChatGPT eksimatu. Oli särahetki, aga ka juhtumeid, kus tundus, et see läks täiesti märgist mööda.

Tõeline äravõte on siin selle esmakursuslasele sarnanev kohanemisvõime: see ei tähendanud ainult õige lahenduse leidmist; see puudutas täpsustamist, õppimist ja kordamist.

Mis on siis ChattyG viimane hinne?

Teadlastelt:

„ChatGPT sooritab eksami väga heade hinnetega, edestades lahenduste kvaliteedi poolest enamikku meie õpilastest. Lisaks lahendab see iga ülesande 20–30 sekundi jooksul ja näitab üldist võimet kohandada või muuta oma lahendusi vastavalt lisanõuetele. Mõnes, sageli lihtsas ülesandes näitas see aga suutmatust mõista probleemi loogilist ja matemaatilist olemust isegi pärast seda, kui seda mitu korda selle vigade kohta vihjati. ®