ChattyG birinci yıl üniversite C/C++ programlama sınavına giriyor

ChattyG birinci yıl üniversite C/C++ programlama sınavına giriyor

Zaman Damgası: 3 Ekim 2023 2:58
ChattyG, ilk yıl uni C/C++ programlama sınavına PlatoBlockchain Veri Zekası girer. Dikey Arama. Ai.

ChatGPT, bir dizi sıradan birinci sınıf C/C++ programlama görevi aracılığıyla teste tabi tutuldu ve dereceyle olmasa da geçti.

Hırvat bir araştırma ekibine göre, birinci sınıf öğrencileri bazı ödevlerde zorluk yaşayabilirken, Sonuç [PDF], ChatGPT'nin ortalama ile deneyimli programcılarınki arasında değişen yeterlilik hedeflerine ulaştığını gösterdi. Ve doğal olarak, tüm üniversite sınavlarında olduğu gibi, sonuçlar soruların nasıl ifade edildiğine göre belirlenebilir.

Kuzey Üniversitesi ekibi, diller arası nüansların Hırvatça sonuçlarını etkileyip etkilemeyeceğini görmek için ilk olarak İngilizce ve daha sonra kaleme alınan, üniversite birinci sınıf düzeyinde bir dizi programlama yarışması tasarladı. ChatGPT'nin yalnızca nasıl kodlandığını değil, aynı zamanda farklı dillere uyum sağlayıp sağlayamayacağını da görmek istediler.

İlk sınav temel bir programlama görevine odaklanıyordu: iki sayının en büyük ortak bölenini (GCD) hesaplamak. Başlangıçta bot, sorunun üstesinden gelme kararı konusunda bazı sınırlamalar gösterdi; araştırmacılar, bunun deneyimli bir programcıdan beklenen ustalıktan yoksun olduğunu söyledi. Ancak her öğrenci gibi o da öğrenir ve daha sonraki denemeler yoluyla, özellikle Hırvatça versiyonunda, dikkate değer bir uyum yeteneği göstererek bazı ilerlemeler gösterdi.

Örneğin, belirli bir görevde, C++ dilinde temel bir istatistiksel fonksiyonun programlanması zorlandı. Başlangıçta, gerektiği gibi "düzeltilmiş" standart sapmayı üretmeyen bir fonksiyonu kullanarak bir gözden kaçırma yaptı. Ancak aynı görev Hırvatça sunulduğunda, sohbet robotu yalnızca önceki hatasını fark etmekle kalmadı, aynı zamanda daha iyi bir çözüm üretti.

Araştırmacılar, bu uyum yeteneğinin bir birinci sınıf öğrencisinin yolculuğunu yansıttığını belirtiyor: Hatalarla başlayıp, tekrarlanan uygulama ve geri bildirimlerle öğrenme ve becerilerini geliştirme yeteneğini gösterme. Ahh.

Başka bir görev daha incelikli bir sorunu içeriyordu: Belirli bölünebilme kurallarına dayalı olarak bir aralıktaki sayıları belirlemek. Burası ChatGPT'nin Aşil topuğunun belirginleştiği yerdi. Dilden bağımsız olarak (İngilizce veya Hırvatça) ChattyG negatif sayılarla mücadele etti. ChatGPT'nin her girişimi benzer sonuçlara yol açtı ve bu görev için programlama mantığında tutarlı bir soruna işaret etti.

Bonus soru kesinlik gerektiriyordu. ChatGPT'nin özellikle tanımlanmış bir ondalık sayı aralığı için bir giriş filtresi oluşturması gerekiyordu. Yapay zekanın ilk çözümü İngilizce olarak sunulduğunda yerindeydi, ancak sonraki girişimler, özellikle de görev Hırvatça verildiğinde bazı tutarsızlıklar ortaya çıktı ve bazı durumlarda ChatGPT gereksiz programlama yapıları kullandı. Bunlar programın işlevselliğini engellemese de optimizasyon eksikliğine işaret ediyordu. Sanki bir kısayol mevcut olsa bile ChatGPT bazen bir hedefe ulaşmak için daha uzun bir rotayı kullanıyormuş gibiydi.

Dizilerle ilgili bir görevle işler daha da karmaşık hale geldi. Burada ChatGPT'den sayıları saklaması ve ardından ortalama değer, standart sapma gibi belirli istatistikleri hesaplaması ve minimum ve maksimum değerleri tanımlaması istendi. ChattyG'nin bu mücadeledeki performansı özellikle ilgi çekiciydi. Farklı testlerde farklı stratejiler sergilendi. Bazen sorunu zarif bir şekilde çözerek basit çözümler sunuyordu. Diğer girişimlerde daha karmaşık yöntemlere yöneldi, hatta birden fazla işlemi tek bir işlevde bir araya getirdi.

Bütün bunlar önemli bir soruyu gündeme getiriyor: ChatGPT her zaman en iyi stratejiyi mi seçiyor, yoksa bazen varsayılan olarak öğrenilmiş ancak verimsiz yöntemleri mi tercih ediyor?

ChatGPT'nin önündeki son engel, temel metin işlemeyi içeriyordu. Kullanıcı girişindeki fazladan boşlukları kaldırmakla görevlendirildi. İlk İngilizce testinde ChatGPT'nin çözümü tam yerindeydi. Ancak Hırvatistan testi ters bir sonuç verdi. Yapay zeka, etkili tek girişli çözümüne bağlı kalmak yerine, bazı nedenlerden dolayı birden fazla girdi gerektiren daha karmaşık bir yaklaşımı tercih etti. Ancak araştırmacılar bu zorluğu İngilizce olarak tekrar ele aldığında, ChatGPT daha önceki yanlış adımından ders almış ve daha basit yönteme geri dönmüş gibi görünüyordu.

Genel olarak araştırmacılar, yanıtların insan programlama birinci sınıf öğrencilerinin yanıtlarıyla pek çok ortak noktaya sahip olduğunu buldu. Çözümleri genellikle deneyimli programcıların stratejilerini yansıtıyordu ancak her öğrenci gibi ChatGPT de yanılmaz değildi. Parlak anlar vardı ama aynı zamanda hedefi tamamen kaçırdığı durumlar da vardı.

Buradaki asıl çıkarım, insanın birinci sınıf öğrencisi benzeri uyarlanabilirliğidir: Bu sadece doğru çözümü elde etmekle ilgili değildi; geliştirmek, öğrenmek ve yinelemekle ilgiliydi.

Peki ChattyG'nin son notu nedir?

Araştırmacılardan:

“ChatGPT sınavı çok iyi notlarla geçerek çözüm kalitesi açısından öğrencilerimizin çoğundan daha iyi performans gösteriyor. Ayrıca her görevi 20 ila 30 saniye içinde çözer ve ek taleplere göre çözümlerini uyarlama veya değiştirme konusunda genel yetenek gösterir. Bununla birlikte, bazı basit görevlerde, hataları konusunda birkaç kez uyarıldıktan sonra bile problemin mantıksal ve matematiksel özünü anlayamadığını gösterdi." ®

Zaman Damgası:

Den fazla Kayıt