ChattyG przystępuje do egzaminu uniwersyteckiego z programowania C/C++ na pierwszym roku

ChattyG przystępuje do egzaminu uniwersyteckiego z programowania C/C++ na pierwszym roku

Znacznik czasu: 3 października 2023 2:58
ChattyG takes a first year uni C/C++ programming exam PlatoBlockchain Data Intelligence. Vertical Search. Ai.

ChatGPT został wystawiony na próbę w ramach serii prostych zadań programistycznych w C/C++ dla nowicjuszy i przeszedł pomyślnie – choć nie z wyróżnieniem.

Według chorwackiego zespołu badawczego choć studenci pierwszego roku mogą mieć problemy z niektórymi zadaniami, wyniki [PDF] pokazał, że ChatGPT osiąga cele w zakresie biegłości wahające się od średniej do doświadczonych programistów. I oczywiście, podobnie jak w przypadku wszystkich egzaminów uniwersyteckich, wyniki można określić na podstawie sposobu sformułowania pytań.

Zespół University North opracował zestaw wyzwań programistycznych dla studentów pierwszego roku studiów, napisany najpierw w języku angielskim, a później, aby sprawdzić, czy niuanse międzyjęzykowe wpłyną na wyniki, w języku chorwackim. Chcieli zobaczyć nie tylko sposób kodowania ChatGPT, ale także to, czy można go dostosować do różnych języków.

Pierwszy quiz skupiał się na podstawowym zadaniu programistycznym: obliczeniu największego wspólnego dzielnika (GCD) dwóch liczb. Na początku bot wykazywał pewne ograniczenia w sposobie rozwiązania problemu, a badacze twierdzili, że brakowało mu finezji, jakiej można oczekiwać od doświadczonego programisty. Ale jak każdy uczeń uczy się i poprzez kolejne próby, zwłaszcza w wersji chorwackiej, wykazał pewne ulepszenia, wykazując zauważalne zdolności adaptacyjne.

Na przykład w jednym konkretnym zadaniu wyzwaniem było zaprogramowanie podstawowej funkcji statystycznej w C++. Początkowo dopuścił się przeoczenia, używając funkcji, która nie zapewniała wymaganego „skorygowanego” odchylenia standardowego. Kiedy jednak to samo zadanie zostało zaprezentowane w języku chorwackim, chatbot nie tylko rozpoznał swój poprzedni błąd, ale także opracował udoskonalone rozwiązanie.

Naukowcy zauważają, że ta zdolność adaptacji odzwierciedla podróż studenta pierwszego roku: zaczynanie od błędów, ale wykazywanie się umiejętnością uczenia się i doskonalenia swoich umiejętności dzięki powtarzanym ćwiczeniom i informacjom zwrotnym. Awww.

Inne zadanie wiązało się z bardziej złożonym problemem: identyfikowaniem liczb w zakresie w oparciu o określone zasady podzielności. W tym momencie pięta achillesowa ChatGPT stała się widoczna. Niezależnie od języka – angielskiego czy chorwackiego – ChattyG borykał się z liczbami ujemnymi. Każda próba ChatGPT prowadziła do podobnych wyników, wskazując na spójny problem w logice programowania tego zadania.

Dodatkowe pytanie wymagało precyzji. ChatGPT był wymagany do stworzenia filtra wejściowego, specjalnie dla określonego zakresu liczb dziesiętnych. Początkowe rozwiązanie sztucznej inteligencji, przedstawione w języku angielskim, było trafne, ale kolejne próby, zwłaszcza gdy zadanie zostało podane w języku chorwackim, ujawniły pewne niespójności i w niektórych przypadkach ChatGPT użył niepotrzebnych konstrukcji programistycznych. Chociaż nie utrudniały one funkcjonalności programu, wskazywały na brak optymalizacji. To było tak, jakby ChatGPT czasami wybierał dłuższą trasę do miejsca docelowego, nawet jeśli dostępny był skrót.

Sprawa stała się bardziej skomplikowana w przypadku zadania związanego z tablicami. W tym przypadku ChatGPT został poproszony o przechowywanie liczb, a następnie obliczenie pewnych statystyk, takich jak wartość średnia, odchylenie standardowe, oraz określenie wartości minimalnych i maksymalnych. Występ ChattyG w tym wyzwaniu był szczególnie interesujący. W różnych testach zaprezentowano różne strategie. Czasami elegancko rozwiązywał problem, oferując proste rozwiązania. W innych próbach skłaniał się ku bardziej zawiłym metodom, a nawet łączył wiele operacji w jedną funkcję.

Wszystko to rodzi ważne pytanie: czy ChatGPT zawsze wybiera najlepszą strategię, czy też czasami domyślnie korzysta z wyuczonych, ale nieefektywnych metod?

Ostatnią przeszkodą dla ChatGPT było podstawowe przetwarzanie tekstu. Miał za zadanie usunąć dodatkowe spacje z danych wejściowych użytkownika. W pierwszym teście z języka angielskiego rozwiązanie ChatGPT okazało się trafne. Jednak chorwacki test dał podkręconą piłkę. Zamiast trzymać się skutecznego rozwiązania polegającego na jednym wejściu, sztuczna inteligencja z jakiegoś powodu zdecydowała się na bardziej złożone podejście, wymagające wielu danych wejściowych. Jednak gdy badacze ponownie przyjrzeli się temu wyzwaniu w języku angielskim, wydawało się, że ChatGPT wyciągnął wnioski z poprzedniego błędu i powrócił do prostszej metody.

Ogólnie rzecz biorąc, badacze odkryli, że odpowiedzi miały wiele wspólnego z odpowiedziami studentów pierwszego roku programowania. Jego rozwiązania często nawiązywały do ​​strategii doświadczonych programistów, ale jak każdy student, ChatGPT nie był nieomylny. Były momenty świetności, ale były też takie, w których wydawało się, że zupełnie nie trafia w sedno.

Prawdziwą zaletą jest tu zdolność adaptacji na poziomie człowieka pierwszego roku: nie chodziło tylko o znalezienie odpowiedniego rozwiązania; chodziło o udoskonalanie, uczenie się i powtarzanie.

Jaka jest ostateczna ocena ChattyG?

Od badaczy:

„ChatGPT zdaje egzamin z ocenami bardzo dobrymi, przewyższając większość naszych studentów jakością rozwiązań. Co więcej, rozwiązuje każde zadanie w ciągu 20 do 30 sekund i wykazuje ogólną zdolność do dostosowywania lub zmiany swoich rozwiązań zgodnie z dodatkowymi wymaganiami. Jednak w niektórych, często prostych zadaniach, wykazywał się niezdolnością do zrozumienia logicznej i matematycznej istoty problemu, nawet po kilkukrotnym przypomnieniu o jego błędach. ®

Znak czasu:

Więcej z Rejestr