ChattyG legt een eerstejaars uni C/C++ programmeerexamen af

ChattyG legt een eerstejaars uni C/C++ programmeerexamen af

Tijdstempel: 3 oktober 2023 2:58 uur
ChattyG legt een eerstejaars uni C/C++ programmeerexamen PlatoBlockchain Data Intelligence af. Verticaal zoeken. Ai.

ChatGPT werd op de proef gesteld via een reeks alledaagse C/C++-programmeertaken voor eerstejaarsstudenten en de test slaagde – zij het niet cum laude.

Volgens een Kroatisch onderzoeksteam kunnen eerstejaarsstudenten moeite hebben met sommige opdrachten, de resultaten [PDF] liet zien dat ChatGPT vaardigheidsdoelen bereikte die varieerden tussen gemiddeld en die van ervaren programmeurs. En natuurlijk kunnen de resultaten, net als bij alle universiteitsexamens, worden bepaald door de manier waarop vragen worden geformuleerd.

Het team van University North ontwierp een reeks programmeeruitdagingen op eerstejaarsstudenten, eerst geschreven in het Engels en later, om te zien of nuances tussen talen de resultaten zouden beïnvloeden, Kroatisch. Ze wilden niet alleen zien hoe ChatGPT codeert, maar ook of het zich aan verschillende talen kon aanpassen.

De eerste quiz concentreerde zich op een eenvoudige programmeertaak: het berekenen van de grootste gemene deler (GCD) van twee getallen. In het begin vertoonde de bot enkele beperkingen in de manier waarop hij besloot het probleem aan te pakken, waarbij de onderzoekers zeiden dat hij niet de finesse had die verwacht werd van een doorgewinterde programmeur. Maar net als elke leerling leert het en door daaropvolgende pogingen, vooral in de Kroatische versie, zijn er enkele verbeteringen aangetoond, waaruit een opmerkelijk aanpassingsvermogen blijkt.

In een bepaalde taak werd het bijvoorbeeld uitgedaagd om een ​​statistische basisfunctie in C++ te programmeren. Aanvankelijk maakte het een vergissing, waarbij gebruik werd gemaakt van een functie die niet de gewenste “gecorrigeerde” standaarddeviatie opleverde. Maar toen dezelfde taak in het Kroatisch werd gepresenteerd, herkende de chatbot niet alleen de eerdere fout, maar werkte hij ook een verfijnde oplossing uit.

De onderzoekers merken op dat dit aanpassingsvermogen de reis van een eerstejaars weerspiegelt: beginnend met fouten, maar blijk gevend van het vermogen om te leren en hun vaardigheden te verbeteren met herhaalde oefening en feedback. Awww.

Een andere taak betrof een genuanceerder probleem: het identificeren van getallen binnen een bereik op basis van specifieke deelbaarheidsregels. Dit was waar de achilleshiel van ChatGPT duidelijk werd. Ongeacht de taal – Engels of Kroatisch – kampte ChattyG met negatieve cijfers. Elke poging van ChatGPT leidde tot vergelijkbare resultaten, wat wijst op een consistent probleem in de programmeerlogica voor deze taak.

Een bonusvraag vereiste precisie. ChatGPT moest een invoerfilter maken, specifiek voor een gedefinieerd bereik van decimale getallen. De aanvankelijke oplossing van de AI, gepresenteerd in het Engels, was goed, maar de volgende pogingen, vooral toen de taak in het Kroatisch werd gegeven, brachten enkele inconsistenties aan het licht en in sommige gevallen gebruikte ChatGPT onnodige programmeerconstructies. Hoewel deze de functionaliteit van het programma niet hinderden, duidden ze wel op een gebrek aan optimalisatie. Het was alsof ChatGPT soms de langere route naar een bestemming nam, zelfs als er een snelkoppeling beschikbaar was.

Het werd ingewikkelder met een taak gerelateerd aan arrays. Hier werd ChatGPT gevraagd om getallen op te slaan en vervolgens bepaalde statistieken te berekenen, zoals gemiddelde waarde, standaardafwijking, en minimum- en maximumwaarden te identificeren. De prestaties van ChattyG bij deze uitdaging waren bijzonder interessant. In verschillende tests werden verschillende strategieën getoond. Soms loste het het probleem op elegante wijze op en bood het eenvoudige oplossingen. Bij andere pogingen neigde het naar meer ingewikkelde methoden, waarbij zelfs meerdere bewerkingen in één functie werden gebundeld.

Dit alles roept een belangrijke vraag op: kiest ChatGPT altijd de beste strategie, of kiest het soms standaard voor aangeleerde maar inefficiënte methoden?

De laatste hindernis voor ChatGPT betrof de basistekstverwerking. Het kreeg de taak om extra spaties uit gebruikersinvoer te verwijderen. In de eerste Engelse test was de oplossing van ChatGPT perfect. De Kroatische test gooide echter een curveball op. In plaats van vast te houden aan de effectieve oplossing met één input, koos de AI om de een of andere reden voor een complexere aanpak, waarbij meerdere inputs nodig waren. Maar toen onderzoekers deze uitdaging in het Engels opnieuw onder de loep namen, leek ChatGPT te hebben geleerd van de eerdere misstap en terug te keren naar de eenvoudigere methode.

Over het algemeen ontdekten de onderzoekers dat de antwoorden veel gemeen hadden met die van menselijke eerstejaars programmeerstudenten. De oplossingen weerspiegelden vaak de strategieën van ervaren programmeurs, maar zoals elke student was ChatGPT niet onfeilbaar. Er waren momenten van genialiteit, maar ook momenten waarop het de plank volledig leek te missen.

De echte afhaalmogelijkheid hier is het menselijke eerstejaars-achtige aanpassingsvermogen: het ging niet alleen om het vinden van de juiste oplossing; het ging over verfijnen, leren en herhalen.

Dus wat is het eindcijfer van ChattyG?

Van de onderzoekers:

“ChatGPT slaagt voor het examen met zeer goede cijfers en presteert beter dan de meeste van onze studenten wat betreft de kwaliteit van de oplossingen. Bovendien lost het elke taak binnen 20 tot 30 seconden op en toont het het algemene vermogen om zijn oplossingen aan te passen of te veranderen op basis van aanvullende eisen. Bij sommige, vaak eenvoudige taken toonde het echter het onvermogen om de logische en wiskundige essentie van het probleem te begrijpen, zelfs nadat er meerdere malen op de fouten werd gewezen.” ®

Tijdstempel:

Meer van Het register