ChattyG는 XNUMX년차 대학 C/C++ 프로그래밍 시험을 치릅니다.

ChattyG는 XNUMX년차 대학 C/C++ 프로그래밍 시험을 치릅니다.

타임 스탬프 : 3 년 2023 월 2 일 오후 58:XNUMX
ChattyG는 1년차에 Uni C/C++ 프로그래밍 시험인 PlatoBlockchain Data Intelligence를 치릅니다. 수직 검색. 일체 포함.

ChatGPT는 일련의 평범한 신입생 C/C++ 프로그래밍 작업을 통해 테스트를 거쳤으며 비록 우등은 아니었지만 통과했습니다.

크로아티아 연구팀에 따르면 XNUMX학년 학생들이 일부 과제를 수행하는 데 어려움을 겪는 반면, 결과 [PDF]는 ChatGPT가 평균과 숙련된 프로그래머 사이의 숙련도 목표를 달성한 것을 보여줍니다. 그리고 당연히 모든 대학 시험과 마찬가지로 질문의 표현 방식에 따라 결과가 결정될 수 있습니다.

University North 팀은 언어 간 뉘앙스가 크로아티아어 결과에 영향을 미치는지 확인하기 위해 처음에는 영어로 작성하고 나중에는 대학 신입생 수준의 프로그래밍 과제 세트를 설계했습니다. 그들은 ChatGPT 코딩 방법뿐만 아니라 다른 언어에도 적용할 수 있는지 확인하고 싶었습니다.

첫 번째 퀴즈는 기본 프로그래밍 작업인 두 숫자의 최대 공약수(GCD) 계산에 중점을 두었습니다. 처음에는 봇이 문제를 해결하기로 결정하는 데 몇 가지 한계가 있었으며 연구원들은 노련한 프로그래머가 기대하는 기교가 부족하다고 말했습니다. 그러나 다른 학생과 마찬가지로 학습하고 후속 시도를 통해 특히 크로아티아어 버전에서 몇 가지 개선 사항을 보여주어 주목할만한 적응성을 보여주었습니다.

예를 들어, 한 특정 작업에서는 C++로 기본 통계 함수를 프로그래밍하는 데 어려움을 겪었습니다. 처음에는 필요에 따라 "수정된" 표준 편차를 생성하지 않는 기능을 사용하여 실수를 저질렀습니다. 그러나 동일한 작업이 크로아티아어로 제시되자 챗봇은 이전 오류를 인식했을 뿐만 아니라 개선된 솔루션을 찾아냈습니다.

연구원들은 이러한 적응성이 신입생의 여정을 반영한다고 지적합니다. 즉, 실수로 시작하지만 반복적인 연습과 피드백을 통해 학습하고 기술을 향상시키는 능력을 보여줍니다. 아아아.

또 다른 작업에는 보다 미묘한 문제가 포함되었습니다. 즉, 특정 분할성 규칙을 기반으로 범위 내의 숫자를 식별하는 것입니다. ChatGPT의 아킬레스 건이 분명하게 드러난 곳이 바로 여기였습니다. 언어(영어 또는 크로아티아어)에 관계없이 ChattyG는 음수 문제로 어려움을 겪었습니다. ChatGPT의 각 시도는 유사한 결과로 이어졌으며 이 작업에 대한 프로그래밍 논리에서 일관된 문제를 지적했습니다.

보너스 질문에는 정확성이 요구되었습니다. 특히 정의된 십진수 범위에 대한 입력 필터를 작성하려면 ChatGPT가 필요했습니다. 영어로 제시된 AI의 초기 솔루션은 적절했지만 다음 시도, 특히 작업이 크로아티아어로 주어졌을 때 일부 불일치가 드러났고 어떤 경우에는 ChatGPT가 불필요한 프로그래밍 구성을 사용했습니다. 이것이 프로그램의 기능을 방해하지는 않았지만 최적화가 부족했음을 나타냅니다. 마치 ChatGPT가 바로가기를 사용할 수 있는 경우에도 때로는 목적지까지 더 긴 경로를 이용하는 것과 같았습니다.

배열과 관련된 작업으로 인해 상황이 더욱 복잡해졌습니다. 여기에서 ChatGPT는 숫자를 저장한 다음 평균값, 표준 편차와 같은 특정 통계를 계산하고 최소값과 최대값을 식별하도록 요청 받았습니다. 이번 챌린지에 대한 ChattyG의 성과는 특히 흥미로웠습니다. 다양한 테스트를 통해 다양한 전략을 선보였습니다. 때로는 간단한 해결책을 제시하면서 문제를 우아하게 해결하기도 했습니다. 다른 시도에서는 여러 작업을 하나의 기능으로 묶는 등 더욱 복잡한 방법을 사용했습니다.

이 모든 것은 중요한 질문을 제기합니다. ChatGPT는 항상 최선의 전략을 선택합니까, 아니면 때때로 기본적으로 학습되었지만 비효율적인 방법을 선택합니까?

ChatGPT의 마지막 장애물은 기본적인 텍스트 처리와 관련이 있습니다. 사용자 입력에서 추가 공백을 제거하는 작업이 수행되었습니다. 초기 영어 테스트에서는 ChatGPT의 솔루션이 제대로 작동했습니다. 그러나 크로아티아의 테스트는 커브볼을 던졌다. AI는 효과적인 단일 입력 솔루션을 고수하는 대신 어떤 이유로 다중 입력을 요구하는 더 복잡한 접근 방식을 선택했습니다. 그러나 연구자들이 이 문제를 영어로 다시 검토했을 때 ChatGPT는 이전의 실수로부터 교훈을 얻어 더 간단한 방법으로 돌아간 것처럼 보였습니다.

전반적으로 연구자들은 이 반응이 인간 신입생 프로그래밍 학생들의 반응과 많은 공통점을 가지고 있음을 발견했습니다. 그 솔루션은 종종 숙련된 프로그래머의 전략을 반영했지만 다른 학생과 마찬가지로 ChatGPT도 오류가 없었습니다. 빛나는 순간도 있었지만 목표를 완전히 놓친 것처럼 보이는 경우도 있었습니다.

여기서 중요한 점은 신입생과 같은 적응력입니다. 이는 단지 올바른 솔루션을 얻는 것이 아닙니다. 그것은 개선하고, 학습하고, 반복하는 것이었습니다.

그럼 ChattyG의 최종 성적은 어떻게 될까요?

연구원들로부터:

“ChatGPT는 매우 좋은 성적으로 시험에 합격하여 솔루션 품질 면에서 대부분의 학생들을 능가합니다. 또한 각 작업을 20~30초 내에 해결하고 추가 요구 사항에 따라 솔루션을 조정하거나 변경하는 일반적인 능력을 보여줍니다. 그러나 일부 간단한 작업에서는 오류에 대한 메시지를 여러 번 받은 후에도 문제의 논리적, 수학적 본질을 이해하지 못하는 경우가 많았습니다.” ®

타임 스탬프 :

더보기 등록