Το ChattyG δίνει εξετάσεις προγραμματισμού uni C/C++ πρώτου έτους

Το ChattyG δίνει εξετάσεις προγραμματισμού uni C/C++ πρώτου έτους

Χρονική σήμανση: 3 Οκτωβρίου 2023 2:58 μ.μ.
Το ChattyG δίνει εξετάσεις προγραμματισμού πρώτου έτους στο uni C/C++ PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Το ChatGPT δοκιμάστηκε μέσω μιας σειράς εργασιών προγραμματισμού πρωτοετής C/C++ και πέρασε – αν και όχι με άριστα.

Σύμφωνα με μια κροατική ερευνητική ομάδα, ενώ οι πρωτοετείς φοιτητές μπορούν να δυσκολευτούν με ορισμένες από τις εργασίες, τα αποτελέσματα Το [PDF] έδειξε το ChatGPT να πετύχει στόχους επάρκειας που κυμαίνονταν μεταξύ του μέσου όρου και των έμπειρων προγραμματιστών. Και φυσικά, όπως συμβαίνει με όλες τις εξετάσεις κολεγίου, τα αποτελέσματα μπορούν να καθοριστούν από το πώς διατυπώνονται οι ερωτήσεις.

Το πλήρωμα του University North σχεδίασε ένα σύνολο προκλήσεων προγραμματισμού σε επίπεδο πρωτοετούς φοιτητή, που γράφτηκαν αρχικά στα αγγλικά και αργότερα, για να δει εάν οι διαγλωσσικές αποχρώσεις θα επηρεάσουν τα αποτελέσματα, Κροατικά. Ήθελαν να δουν όχι μόνο πώς κωδικοποιεί το ChatGPT, αλλά και αν μπορούσε να προσαρμοστεί σε διαφορετικές γλώσσες.

Το πρώτο κουίζ επικεντρώθηκε σε μια βασική εργασία προγραμματισμού: τον υπολογισμό του μεγαλύτερου κοινού διαιρέτη (GCD) δύο αριθμών. Στην αρχή, το bot έδειξε ορισμένους περιορισμούς στον τρόπο με τον οποίο αποφάσισε να αντιμετωπίσει το πρόβλημα, με τους ερευνητές να λένε ότι δεν είχε τη φινέτσα που περίμενε ένας έμπειρος προγραμματιστής. Όμως, όπως κάθε μαθητής, μαθαίνει και μέσα από τις επόμενες προσπάθειες, ειδικά στην κροατική έκδοση, έδειξε κάποιες βελτιώσεις, δείχνοντας αξιοσημείωτη προσαρμοστικότητα.

Για παράδειγμα, σε μια συγκεκριμένη εργασία προκλήθηκε ο προγραμματισμός μιας βασικής στατιστικής συνάρτησης σε C++. Αρχικά, έκανε μια παράβλεψη, χρησιμοποιώντας μια συνάρτηση που δεν παρήγαγε τη «διορθωμένη» τυπική απόκλιση όπως απαιτείται. Όμως, όταν η ίδια εργασία παρουσιάστηκε στα κροατικά, το chatbot όχι μόνο αναγνώρισε το προηγούμενο σφάλμα του, αλλά επεξεργάστηκε μια εκλεπτυσμένη λύση.

Οι ερευνητές σημειώνουν ότι αυτή η προσαρμοστικότητα αντικατοπτρίζει το ταξίδι ενός πρωτοετούς μαθητή: ξεκινώντας με λάθη, αλλά δείχνοντας την ικανότητα να μαθαίνουν και να βελτιώνουν τις δεξιότητές τους με επαναλαμβανόμενη εξάσκηση και ανατροφοδότηση. Awww.

Μια άλλη εργασία περιελάμβανε ένα πιο σύνθετο πρόβλημα: τον εντοπισμό αριθμών εντός ενός εύρους με βάση συγκεκριμένους κανόνες διαιρετότητας. Εδώ έγινε εμφανής η αχίλλειος πτέρνα του ChatGPT. Ανεξάρτητα από τη γλώσσα — αγγλικά ή κροατικά — το ChattyG πάλεψε με αρνητικούς αριθμούς. Κάθε προσπάθεια του ChatGPT οδήγησε σε παρόμοια αποτελέσματα, υποδεικνύοντας ένα σταθερό ζήτημα στη λογική προγραμματισμού του για αυτήν την εργασία.

Μια ερώτηση μπόνους απαιτούσε ακρίβεια. Το ChatGPT απαιτήθηκε για τη δημιουργία ενός φίλτρου εισαγωγής, ειδικά για ένα καθορισμένο εύρος δεκαδικών αριθμών. Η αρχική λύση του AI, όταν παρουσιάστηκε στα αγγλικά, ήταν επίκαιρη, αλλά οι επόμενες προσπάθειες, ειδικά όταν η εργασία δόθηκε στα κροατικά, αποκάλυψαν κάποιες ασυνέπειες και σε ορισμένες περιπτώσεις, το ChatGPT χρησιμοποίησε περιττές κατασκευές προγραμματισμού. Αν και αυτά δεν εμπόδισαν τη λειτουργικότητα του προγράμματος, έδειξαν έλλειψη βελτιστοποίησης. Ήταν σαν το ChatGPT να ακολουθούσε μερικές φορές τη μεγαλύτερη διαδρομή προς έναν προορισμό, ακόμη και όταν ήταν διαθέσιμη μια συντόμευση.

Τα πράγματα έγιναν πιο περίπλοκα με μια εργασία που σχετίζεται με πίνακες. Εδώ, ζητήθηκε από το ChatGPT να αποθηκεύσει αριθμούς και στη συνέχεια να υπολογίσει ορισμένα στατιστικά στοιχεία όπως η μέση τιμή, η τυπική απόκλιση και να προσδιορίσει ελάχιστες και μέγιστες τιμές. Η απόδοση του ChattyG σε αυτή την πρόκληση ήταν ιδιαίτερα ενδιαφέρουσα. Σε διάφορα τεστ, παρουσίασε διαφορετικές στρατηγικές. Μερικές φορές, έλυνε κομψά το πρόβλημα, προσφέροντας απλές λύσεις. Σε άλλες προσπάθειες, έκλινε προς πιο περίπλοκες μεθόδους, ακόμη και ομαδοποιώντας πολλαπλές λειτουργίες σε μία συνάρτηση.

Όλα αυτά εγείρουν ένα σημαντικό ερώτημα: Το ChatGPT επιλέγει πάντα την καλύτερη στρατηγική ή μερικές φορές προεπιλέγει μαθημένες αλλά αναποτελεσματικές μεθόδους;

Το τελευταίο εμπόδιο για το ChatGPT περιλάμβανε βασική επεξεργασία κειμένου. Είχε την αποστολή να αφαιρέσει επιπλέον κενά από την είσοδο του χρήστη. Στην αρχική του δοκιμή στα αγγλικά, η λύση του ChatGPT ήταν επίκαιρη. Ωστόσο, το τεστ της Κροατίας έριξε ένα curveball. Αντί να τηρεί την αποτελεσματική λύση μιας εισόδου, το AI, για κάποιο λόγο, επέλεξε μια πιο σύνθετη προσέγγιση, απαιτώντας πολλαπλές εισόδους. Ωστόσο, όταν οι ερευνητές επανεξέτασαν αυτήν την πρόκληση στα αγγλικά, το ChatGPT φάνηκε να έχει μάθει από το προηγούμενο λάθος του, επιστρέφοντας στην απλούστερη μέθοδο.

Συνολικά, οι ερευνητές διαπίστωσαν ότι οι απαντήσεις είχαν πολλά κοινά με εκείνες των πρωτοετών φοιτητών προγραμματισμού. Οι λύσεις του συχνά απηχούσαν τις στρατηγικές έμπειρων προγραμματιστών, αλλά όπως κάθε μαθητής, το ChatGPT δεν ήταν αλάνθαστο. Υπήρξαν στιγμές λαμπρότητας, αλλά και περιπτώσεις που φαινόταν να χάνει τελείως το στίγμα.

Το πραγματικό πλεονέκτημα εδώ είναι η προσαρμοστικότητά του που μοιάζει με την ανθρώπινη πρωτοετή: Δεν ήταν μόνο να βρεθεί η σωστή λύση. αφορούσε τη βελτίωση, τη μάθηση και την επανάληψη.

Ποιος είναι λοιπόν ο τελικός βαθμός του ChattyG;

Από τους ερευνητές:

«Το ChatGPT περνάει τις εξετάσεις με πολύ καλούς βαθμούς, ξεπερνώντας τους περισσότερους μαθητές μας στην ποιότητα των λύσεων. Επιπλέον, λύνει κάθε εργασία μέσα σε 20 έως 30 δευτερόλεπτα και δείχνει τη γενική ικανότητα προσαρμογής ή αλλαγής των λύσεών του σύμφωνα με πρόσθετες απαιτήσεις. Ωστόσο, σε ορισμένες, συχνά απλές εργασίες, έδειξε την αδυναμία κατανόησης της λογικής και της μαθηματικής ουσίας του προβλήματος, ακόμη και μετά από πολλές φορές ειδοποίηση για τα λάθη του». ®

Σφραγίδα ώρας:

Περισσότερα από Το μητρώο