ChattyG が大学 XNUMX 年生の C/C++ プログラミング試験を受ける

ChatGPT は、新人の一連の地味な C/C++ プログラミング タスクを通じてテストされ、栄誉とは言えませんでしたが、合格しました。

クロアチアの研究チームによると、XNUMX年生は一部の課題に苦戦する可能性があるが、 結果 [PDF] は、ChatGPT が平均と経験豊富なプログラマーのレベルの間の熟練度目標を達成していることを示しました。 そして当然のことながら、すべての大学試験と同様に、結果は質問の表現方法によって決まります。

ノース大学のスタッフは、大学の新入生レベルの一連のプログラミング課題を設計しました。最初は英語で書かれ、その後、言語間のニュアンスが結果に影響を与えるかどうかを確認するためにクロアチア語で書かれました。 彼らは、ChatGPT がどのようにコーディングするかだけでなく、それがさまざまな言語に適応できるかどうかも確認したいと考えていました。

最初のクイズは、XNUMX つの数値の最大公約数 (GCD) を計算するという基本的なプログラミング タスクに焦点を当てました。 当初、このボットは問題への取り組みを決定する方法にいくつかの限界を示しており、研究者らはこのボットには熟練のプログラマーに期待される精緻さが欠けていたと述べた。 しかし、他の学生と同じように、学習し、その後の試行を通じて、特にクロアチア語バージョンでは、いくつかの改善を示し、顕著な適応性を示しました。

たとえば、ある特定のタスクでは、C++ で基本的な統計関数をプログラムするという課題がありました。 当初は、必要に応じて「補正された」標準偏差を生成しない関数を使用するという見落としがありました。 しかし、同じタスクがクロアチア語で提示されたとき、チャットボットは以前のエラーを認識しただけでなく、洗練された解決策を見つけ出しました。

研究者らは、この適応力は新入生の歩みを反映している、つまり間違いから始まるが、繰り返しの練習とフィードバックによって学び、スキルを向上させる能力を示していると指摘している。 ああ、すごい。

もう XNUMX つのタスクには、特定の割り算ルールに基づいて範囲内の数値を識別するという、より微妙な問題が含まれていました。 ここで、ChatGPT のアキレス腱が明らかになりました。 英語でもクロアチア語でも、言語に関係なく、ChattyG は負の数に苦労しました。 ChatGPT による各試行は同様の結果につながり、このタスクのプログラミング ロジックに一貫した問題があることがわかりました。

おまけの質問には正確さが求められました。 ChatGPT は、特に定義された範囲の XNUMX 進数に対して入力フィルターを作成するために必要でした。 英語で提示されたときの AI の最初の解決策は的を射ていましたが、次の試み、特にタスクがクロアチア語で与えられたとき、いくつかの矛盾が明らかになり、場合によっては ChatGPT が不必要なプログラミング構造を使用していました。 これらはプログラムの機能を妨げるものではありませんでしたが、最適化が欠如していることを示していました。 ChatGPT は、ショートカットが利用できる場合でも、目的地までのより長いルートを選択することがあるようでした。

配列に関連するタスクでは、事態はさらに複雑になります。 ここで、ChatGPT は数値を保存し、平均値、標準偏差などの特定の統計を計算し、最小値と最大値を特定するように求められました。 この課題における ChattyG のパフォーマンスは特に興味深いものでした。 さまざまなテストで、さまざまな戦略が示されました。 場合によっては、問題をエレガントに解決し、簡単な解決策を提供することもありました。 他の試みでは、より複雑なメソッドに傾き、複数の操作を XNUMX つの関数にバンドルすることもありました。

これらすべてが重要な疑問を引き起こします。ChatGPT は常に最適な戦略を選択するのでしょうか、それとも学習済みではあるが非効率な方法をデフォルトで使用する場合があるのでしょうか?

ChatGPT の最後のハードルは、基本的なテキスト処理に関係していました。 ユーザー入力から余分なスペースを削除するという使命がありました。 最初の英語テストでは、ChatGPT のソリューションは的を射ていました。 しかし、クロアチアのテストでは変化球が投げられた。 AI は、効果的な単一入力ソリューションに固執する代わりに、何らかの理由で、複数の入力を要求する、より複雑なアプローチを選択しました。 しかし、研究者たちがこの課題を英語で再検討したところ、ChatGPT は以前の失敗から学び、より単純な方法に戻ったようです。

全体として、研究者らは、その反応が人間の新入生プログラミング学生の反応と多くの共通点があることを発見しました。 そのソリューションは、経験豊富なプログラマーの戦略を反映することがよくありましたが、他の学生と同様に、ChatGPT も絶対確実というわけではありませんでした。 輝かしい瞬間もありましたが、完全に的外れに見える場面もありました。

ここでの本当のポイントは、人間の新入生のような適応力です。単に適切な解決策を見つけるだけではありませんでした。 それは洗練し、学習し、反復することでした。

それで、ChattyG の最終成績は何ですか?

研究者からは:

「ChatGPT は非常に良い成績で試験に合格し、ソリューションの品質においてほとんどの学生を上回りました。 さらに、各タスクを 20 ～ 30 秒以内に解決し、追加の要求に応じてソリューションを適応または変更する一般的な能力を示します。 しかし、一部の、多くの場合は単純なタスクでは、何度かエラーについてのメッセージが表示された後でも、問題の論理的および数学的本質を理解できないことが示されました。」 ®

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://go.theregister.com/feed/www.theregister.com/2023/10/03/chatgpt_code_college/