ChattyG mengikuti ujian pemrograman uni C/C++ tahun pertama

ChattyG mengikuti ujian pemrograman uni C/C++ tahun pertama

Stempel Waktu: 3 Oktober 2023 2:58
ChattyG mengikuti ujian pemrograman uni C/C++ tahun pertama PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

ChatGPT diuji melalui serangkaian tugas pemrograman C/C++ yang membosankan bagi mahasiswa baru dan lulus – meskipun tidak dengan pujian.

Menurut tim peneliti Kroasia, meskipun siswa tahun pertama mungkin kesulitan mengerjakan beberapa tugas, hasil [PDF] menunjukkan ChatGPT mencapai target kemahiran yang berkisar antara rata-rata dan programmer berpengalaman. Dan tentu saja, seperti semua ujian perguruan tinggi, hasil dapat ditentukan oleh cara penyusunan pertanyaan.

Kru Universitas North merancang serangkaian tantangan pemrograman tingkat mahasiswa baru, pertama kali ditulis dalam bahasa Inggris dan kemudian, untuk melihat apakah nuansa lintas bahasa akan mempengaruhi hasil, bahasa Kroasia. Mereka ingin melihat tidak hanya bagaimana kode ChatGPT, tetapi juga apakah ChatGPT dapat beradaptasi dengan bahasa yang berbeda.

Kuis pertama berfokus pada tugas pemrograman dasar: menghitung pembagi persekutuan terbesar (PBT) dari dua bilangan. Pada awalnya, bot tersebut menunjukkan beberapa keterbatasan dalam cara mereka memutuskan untuk mengatasi masalah tersebut, dan para peneliti mengatakan bahwa bot tersebut tidak memiliki kemahiran yang diharapkan dari seorang programmer berpengalaman. Namun seperti siswa lainnya, ia belajar dan melalui percobaan berikutnya, terutama dalam versi Kroasia, ia menunjukkan beberapa peningkatan, menunjukkan kemampuan beradaptasi yang luar biasa.

Misalnya, dalam satu tugas tertentu ditantang untuk memprogram fungsi statistik dasar dalam C++. Awalnya melakukan pengawasan, menggunakan fungsi yang tidak menghasilkan standar deviasi yang “dikoreksi” sesuai kebutuhan. Namun, ketika tugas yang sama diberikan dalam bahasa Kroasia, chatbot tidak hanya mengenali kesalahan sebelumnya namun juga memberikan solusi yang lebih baik.

Para peneliti mencatat bahwa kemampuan beradaptasi ini mencerminkan perjalanan mahasiswa baru: memulai dengan kesalahan namun menunjukkan kemampuan untuk belajar dan meningkatkan keterampilan mereka dengan latihan berulang-ulang dan umpan balik. Awww.

Tugas lain melibatkan masalah yang lebih berbeda: mengidentifikasi angka-angka dalam suatu rentang berdasarkan aturan pembagian tertentu. Di sinilah kelemahan ChatGPT menjadi jelas. Terlepas dari bahasanya – Inggris atau Kroasia – ChattyG berjuang dengan angka negatif. Setiap upaya ChatGPT membuahkan hasil yang serupa, menunjukkan adanya masalah yang konsisten dalam logika pemrogramannya untuk tugas ini.

Pertanyaan bonus menuntut ketelitian. ChatGPT diperlukan untuk membuat filter masukan, khususnya untuk rentang angka desimal yang ditentukan. Solusi awal AI, ketika disajikan dalam bahasa Inggris, tepat sasaran, namun upaya berikutnya, terutama ketika tugas diberikan dalam bahasa Kroasia, menunjukkan beberapa ketidakkonsistenan dan dalam beberapa kasus, ChatGPT menggunakan konstruksi pemrograman yang tidak perlu. Meskipun hal ini tidak menghambat fungsionalitas program, hal ini menunjukkan kurangnya optimasi. Seolah-olah ChatGPT terkadang menempuh rute yang lebih panjang menuju suatu tujuan, meskipun ada jalan pintas yang tersedia.

Segalanya menjadi lebih rumit dengan tugas yang berhubungan dengan array. Di sini, ChatGPT diminta untuk menyimpan angka dan kemudian menghitung statistik tertentu seperti nilai rata-rata, deviasi standar, dan mengidentifikasi nilai minimum dan maksimum. Kinerja ChattyG dalam tantangan ini sangat menarik. Dalam pengujian yang berbeda, ini menunjukkan strategi yang berbeda-beda. Kadang-kadang, hal ini memecahkan masalah dengan elegan, menawarkan solusi langsung. Dalam upaya lain, pendekatan ini condong ke metode yang lebih berbelit-belit, bahkan menggabungkan beberapa operasi ke dalam satu fungsi.

Semua ini menimbulkan pertanyaan penting: Apakah ChatGPT selalu memilih strategi terbaik, atau terkadang menggunakan metode yang dipelajari tetapi tidak efisien?

Tantangan terakhir untuk ChatGPT adalah pemrosesan teks dasar. Itu ditugaskan untuk menghapus spasi tambahan dari input pengguna. Dalam tes bahasa Inggris awalnya, solusi ChatGPT sangat tepat. Namun, tes Kroasia gagal. Alih-alih menggunakan solusi masukan tunggal yang efektif, AI, karena alasan tertentu, memilih pendekatan yang lebih kompleks dan menuntut banyak masukan. Namun, ketika para peneliti meninjau kembali tantangan ini dalam bahasa Inggris, ChatGPT sepertinya telah belajar dari kesalahan sebelumnya, dan kembali ke metode yang lebih sederhana.

Secara keseluruhan, para peneliti menemukan bahwa tanggapan yang diberikan memiliki banyak kesamaan dengan tanggapan mahasiswa baru yang memprogram. Solusinya sering kali mencerminkan strategi pemrogram berpengalaman, tetapi seperti siswa lainnya, ChatGPT bukannya sempurna. Ada saat-saat yang cemerlang, tetapi ada juga saat-saat di mana hal itu tampaknya tidak tepat sasaran.

Hal yang dapat diambil dari hal ini adalah kemampuan adaptasinya yang layaknya manusia baru: Ini bukan hanya tentang mendapatkan solusi yang tepat; ini tentang penyempurnaan, pembelajaran, dan pengulangan.

Jadi berapa nilai akhir ChattyG?

Dari para peneliti:

“ChatGPT lulus ujian dengan nilai yang sangat bagus, mengungguli sebagian besar siswa kami dalam kualitas solusi. Selain itu, ia menyelesaikan setiap tugas dalam waktu 20 hingga 30 detik dan menunjukkan kemampuan umum untuk beradaptasi atau mengubah solusinya sesuai dengan tuntutan tambahan. Namun, dalam beberapa tugas yang seringkali sederhana, ia menunjukkan ketidakmampuan untuk memahami esensi logis dan matematis dari masalah tersebut, bahkan setelah dimintai kesalahannya beberapa kali.” ®

Stempel Waktu:

Lebih dari Pendaftaran