ChattyG legt im ersten Jahr eine C/C++-Programmierprüfung an der Uni ab

ChattyG legt im ersten Jahr eine C/C++-Programmierprüfung an der Uni ab

Zeitstempel: 3. Oktober 2023 2:58
ChattyG legt im ersten Jahr eine Uni-C/C++-Programmierprüfung PlatoBlockchain Data Intelligence ab. Vertikale Suche. Ai.

ChatGPT wurde anhand einer Reihe eintöniger C/C++-Programmieraufgaben für Erstsemester auf die Probe gestellt und bestand – wenn auch nicht mit Auszeichnung.

Laut einem kroatischen Forschungsteam können Studienanfänger zwar mit einigen Aufgaben Schwierigkeiten haben, die Ergebnisse [PDF] zeigte, dass ChatGPT Kompetenzziele erreichte, die zwischen dem Durchschnitt und denen erfahrener Programmierer lagen. Und natürlich können, wie bei allen Hochschulprüfungen, die Ergebnisse durch die Formulierung der Fragen bestimmt werden.

Das Team der University North entwarf eine Reihe von Programmierherausforderungen für Studienanfänger, die zunächst auf Englisch und später auf Kroatisch verfasst wurden, um zu sehen, ob sich sprachübergreifende Nuancen auf die Ergebnisse auswirken würden. Sie wollten nicht nur sehen, wie ChatGPT codiert, sondern auch, ob es sich an verschiedene Sprachen anpassen lässt.

Das erste Quiz konzentrierte sich auf eine grundlegende Programmieraufgabe: die Berechnung des größten gemeinsamen Teilers (GCD) zweier Zahlen. Zu Beginn zeigte der Bot einige Einschränkungen bei der Lösung des Problems. Die Forscher sagten, ihm fehle die von einem erfahrenen Programmierer erwartete Finesse. Aber wie jeder Schüler lernt es und durch spätere Versuche, insbesondere in der kroatischen Version, zeigte es einige Verbesserungen und zeigte eine bemerkenswerte Anpassungsfähigkeit.

In einer bestimmten Aufgabe bestand beispielsweise die Herausforderung, eine grundlegende Statistikfunktion in C++ zu programmieren. Zunächst wurde ein Versehen begangen, indem eine Funktion verwendet wurde, die nicht wie erforderlich die „korrigierte“ Standardabweichung lieferte. Doch als die gleiche Aufgabe auf Kroatisch gestellt wurde, erkannte der Chatbot nicht nur seinen vorherigen Fehler, sondern erarbeitete auch eine verfeinerte Lösung.

Die Forscher stellen fest, dass diese Anpassungsfähigkeit die Reise eines Studienanfängers widerspiegelt: Er beginnt mit Fehlern, zeigt aber die Fähigkeit, durch wiederholtes Üben und Feedback zu lernen und seine Fähigkeiten zu verbessern. Awww.

Eine weitere Aufgabe beinhaltete ein differenzierteres Problem: die Identifizierung von Zahlen innerhalb eines Bereichs auf der Grundlage spezifischer Teilbarkeitsregeln. Hier wurde die Achillesferse von ChatGPT deutlich. Unabhängig von der Sprache – Englisch oder Kroatisch – hatte ChattyG mit negativen Zahlen zu kämpfen. Jeder Versuch von ChatGPT führte zu ähnlichen Ergebnissen, was auf ein konsistentes Problem in der Programmierlogik für diese Aufgabe hindeutet.

Eine Bonusfrage erforderte Präzision. ChatGPT musste einen Eingabefilter speziell für einen definierten Bereich von Dezimalzahlen erstellen. Die anfängliche Lösung der KI, als sie auf Englisch präsentiert wurde, war auf den Punkt gebracht, aber die nächsten Versuche, insbesondere als die Aufgabe auf Kroatisch gestellt wurde, offenbarten einige Inkonsistenzen und in einigen Fällen verwendete ChatGPT unnötige Programmierkonstrukte. Obwohl diese die Funktionalität des Programms nicht beeinträchtigten, deuteten sie doch auf einen Mangel an Optimierung hin. Es war, als ob ChatGPT manchmal den längeren Weg zu einem Ziel nahm, selbst wenn eine Verknüpfung verfügbar war.

Komplizierter wurde es bei einer Aufgabe im Zusammenhang mit Arrays. Hier wurde ChatGPT gebeten, Zahlen zu speichern und dann bestimmte Statistiken wie Mittelwert, Standardabweichung zu berechnen und Minimal- und Maximalwerte zu identifizieren. Besonders interessant war die Leistung von ChattyG bei dieser Herausforderung. In verschiedenen Tests wurden unterschiedliche Strategien gezeigt. Manchmal löste es das Problem elegant und bot unkomplizierte Lösungen. Bei anderen Versuchen tendierte man zu komplizierteren Methoden und bündelte sogar mehrere Operationen in einer Funktion.

All dies wirft eine wichtige Frage auf: Wählt ChatGPT immer die beste Strategie oder greift es manchmal auf erlernte, aber ineffiziente Methoden zurück?

Die letzte Hürde für ChatGPT bestand in der grundlegenden Textverarbeitung. Die Aufgabe bestand darin, zusätzliche Leerzeichen aus Benutzereingaben zu entfernen. Im ersten Englischtest war die Lösung von ChatGPT genau richtig. Der kroatische Test warf jedoch einen Curveball auf. Anstatt an ihrer effektiven Single-Input-Lösung festzuhalten, entschied sich die KI aus irgendeinem Grund für einen komplexeren Ansatz, der mehrere Inputs erforderte. Doch als die Forscher diese Herausforderung auf Englisch erneut aufgriffen, schien ChatGPT aus seinem vorherigen Fehltritt gelernt zu haben und zur einfacheren Methode zurückzukehren.

Insgesamt stellten die Forscher fest, dass die Antworten viele Gemeinsamkeiten mit denen menschlicher Programmieranfänger hatten. Seine Lösungen spiegelten oft die Strategien erfahrener Programmierer wider, aber wie jeder Student war ChatGPT nicht unfehlbar. Es gab brillante Momente, aber auch Momente, in denen es völlig am Ziel vorbeizugehen schien.

Der eigentliche Vorteil hierbei ist die menschliche Anpassungsfähigkeit, die einem Erstsemester ähnelt: Es ging nicht nur darum, die richtige Lösung zu finden; Es ging um Verfeinerung, Lernen und Iteration.

Wie lautet also die Abschlussnote von ChattyG?

Von den Forschern:

„ChatGPT besteht die Prüfung mit sehr guten Noten und übertrifft die meisten unserer Studenten in der Qualität der Lösungen. Darüber hinaus löst es jede Aufgabe innerhalb von 20 bis 30 Sekunden und zeigt die allgemeine Fähigkeit, seine Lösungen an zusätzliche Anforderungen anzupassen oder zu ändern. Bei einigen, oft einfachen Aufgaben zeigte es jedoch, dass es nicht in der Lage war, den logischen und mathematischen Kern des Problems zu verstehen, selbst nachdem es mehrmals auf seine Fehler hingewiesen wurde.“ ®

Zeitstempel:

Mehr von Das Register