ChattyG складає перший курс університетського іспиту з програмування C/C++

ChattyG складає перший курс університетського іспиту з програмування C/C++

Мітка часу: 3 жовтня 2023 2:58
ChattyG складає іспит з програмування PlatoBlockchain Data Intelligence на першому курсі університету C/C++. Вертикальний пошук. Ai.

ChatGPT було випробувано за допомогою серії простих завдань із програмування на C/C++ для першокурсників, і його успішно пройшли, хоча й не з відзнакою.

За даними хорватської дослідницької групи, хоча першокурсники можуть важко виконувати деякі завдання, результати [PDF] показав, що ChatGPT досягає цільових показників кваліфікації, які коливаються між середніми та досвідченими програмістами. І природно, як і з усіма іспитами в коледжі, результати можуть бути визначені тим, як сформульовані питання.

Команда Університету Північ розробила набір завдань з програмування для першокурсників коледжу, спочатку написаних англійською, а пізніше, щоб перевірити, чи вплинуть міжмовні нюанси на результати, хорватською. Вони хотіли побачити не лише те, як кодує ChatGPT, а й чи можна адаптувати його до різних мов.

Перший тест зосереджувався на базовому завданні програмування: обчисленні найбільшого спільного дільника (НСД) двох чисел. На початку бот продемонстрував деякі обмеження в тому, як він вирішив вирішити проблему, і дослідники сказали, що йому бракує витонченості, очікуваної від досвідченого програміста. Але, як і будь-який учень, він вчиться, і через подальші спроби, особливо в хорватській версії, він продемонстрував деякі покращення, демонструючи помітну адаптивність.

Наприклад, в одному конкретному завданні було складно запрограмувати базову статистичну функцію на C++. Спочатку було зроблено недогляд, використовуючи функцію, яка не виробляла «виправлене» стандартне відхилення, як потрібно. Але коли те саме завдання було представлено хорватською мовою, чат-бот не лише визнав свою попередню помилку, але й розробив вдосконалене рішення.

Дослідники відзначають, що ця здатність до адаптації відображає шлях першокурсника: починаючи з помилок, але демонструючи здатність вчитися та вдосконалювати свої навички за допомогою повторних вправ і відгуків. Аууу.

Інше завдання включало більш складну проблему: ідентифікацію чисел у діапазоні на основі певних правил подільності. Тут стала очевидною ахіллесова п’ята ChatGPT. Незалежно від мови — англійської чи хорватської — ChattyG боровся з від’ємними числами. Кожна спроба ChatGPT призводила до подібних результатів, що вказувало на послідовну проблему в логіці програмування для цього завдання.

Бонусне питання вимагало точності. ChatGPT потрібен був для створення вхідного фільтра, зокрема для визначеного діапазону десяткових чисел. Початкове рішення штучного інтелекту, представлене англійською мовою, було відповідним, але наступні спроби, особливо коли завдання було задано хорватською, виявили деякі невідповідності, а в деяких випадках ChatGPT використовував непотрібні конструкції програмування. Хоча це не перешкоджало функціональності програми, це вказувало на відсутність оптимізації. Здавалося, ніби ChatGPT інколи брав довший шлях до пункту призначення, навіть коли був доступний ярлик.

З завданням, пов’язаним з масивами, все стало складніше. Тут ChatGPT попросили зберегти числа, а потім обчислити певні статистичні дані, такі як середнє значення, стандартне відхилення, а також визначити мінімальні та максимальні значення. Виступ ChattyG у цьому виклику був особливо цікавим. У різних тестах він продемонстрував різні стратегії. Іноді він елегантно вирішував проблему, пропонуючи прості рішення. В інших спробах він схилявся до більш заплутаних методів, навіть об’єднуючи кілька операцій в одну функцію.

Усе це піднімає важливе запитання: чи завжди ChatGPT обирає найкращу стратегію, чи інколи за замовчуванням використовує вивчені, але неефективні методи?

Останньою перешкодою для ChatGPT була базова обробка тексту. Йому було доручено видалити зайві пробіли з введених користувачем даних. Під час початкового тестування англійською мовою рішення ChatGPT було ідеальним. Проте, хорватський тест кинув кривий м'яч. Замість того, щоб дотримуватися свого ефективного рішення з єдиним входом, ШІ чомусь обрав більш складний підхід, вимагаючи кількох входів. Проте, коли дослідники переглянули це завдання англійською мовою, ChatGPT, здавалося, навчився на попередній помилці, повернувшись до простішого методу.

Загалом дослідники виявили, що відповіді мають багато спільного з відповідями студентів-першокурсників програмування. Його рішення часто повторювали стратегії досвідчених програмістів, але, як і будь-який студент, ChatGPT не був безпомилковим. Були блискучі моменти, але також були випадки, коли здавалося, що він повністю промахнувся.

Справжнім висновком тут є його людська адаптивність, як у першокурсника: мова йшла не лише про те, щоб отримати правильне рішення; це було вдосконалення, навчання та повторення.

Отже, яка остаточна оцінка ChattyG?

Від дослідників:

«ChatGPT здає іспит з дуже хорошими оцінками, перевершуючи більшість наших студентів за якістю рішень. Крім того, він вирішує кожне завдання протягом 20-30 секунд і демонструє загальну здатність адаптувати або змінювати свої рішення відповідно до додаткових вимог. Однак у деяких, часто простих завданнях, він показав нездатність зрозуміти логічну та математичну суть проблеми, навіть після того, як йому кілька разів повідомляли про його помилки». ®

Часова мітка:

Більше від Реєстр