GitHub Copilot は、オーストラリア・ニュージーランド銀行グループ (ANZ 銀行) のソフトウェア エンジニアを生産性とコード品質の向上に向けて導きました。このテストドライブは、金融会社が生成型 AI プログラミング アシスタントを運用ワークフローに導入するのに十分でした。
2023 年 100 月中旬から同年 5,000 月末まで、メルボルンに本拠を置く ANZ 銀行は、同社のエンジニア XNUMX 人のうち XNUMX 人が参加する GitHub Copilot の社内トライアルを実施しました。
2 週間の準備と 4 週間のコードチャレンジで構成される 6 週間のトライアルでは、Microsoft Visual Studio Code で GitHub Copilot を使用することについて参加者がどのように感じたかを調査し、AI ベースのシステムがプログラマーの生産性に与える影響を測定することを目的としました。コードの品質とソフトウェアのセキュリティ。
実験の結果は次の文書に文書化されています。 レポート もう少し巧妙なタイトルを付けることもできます。「ANZ 銀行のエンジニアリングに対する AI ツールの影響、企業環境内の GitHub Copilot に関する実証研究」。
ANZ のクラウド アーキテクトである Sayan Chatterjee と、ANZ のエンジニアリング AI およびデータ分析機能領域のリーダーである Louis Liu の共著であるこのレポートは、Copilot を使用したプログラミングの生産性に関するいくつかの先行研究を引用しています。
1 研究 現在 GitHub を所有している Microsoft の研究者は、AI アシスタントを使用したコーディングにより生産性が 55 パーセント以上向上したことを発見しました。これは他の状況を考慮すると驚くべきことではありません。 ベンダー調査.
ACM/IEEE 研究 AI ヘルプを使用したプログラミングについて、ロボ アシスタンスはむしろトレードオフであることが示唆されました。生成されたソフトウェアの品質は人間が作成したソフトウェアよりも劣っていましたが、Copilot はより多くのコードを生成したことがわかりました。
ANZ銀行は独自の評価を行おうとし、生産性におけるAIの潜在的な利点を挙げながら、このテクノロジーが「知的財産、データセキュリティ、プライバシーに関して固有のリスク、不確実性、および意図しない結果を引き起こす」ことも認めた。
それらのリスクは、 現在進行中の著作権訴訟 Copilot に対する GitHub、Microsoft、および OpenAI に対する攻撃は、規制順守への同意を除いて、調査では取り上げられていません。
「実験を開始する前に、ANZの法務チームとセキュリティチームと協力して知的財産、データセキュリティ、プライバシーに関連するリスクが評価され、一連のガイドラインが作成された」と同社は述べた。
銀行の実験では、Copilot が開発者の感情と生産性、さらにはコードの品質とセキュリティにどのような影響を与えるかを調査しました。参加するソフトウェア エンジニア、クラウド エンジニア、データ エンジニアは、Python を使用して毎週 6 つのアルゴリズム コーディングの課題に取り組む必要がありました。対照グループの参加者には Copilot の使用は許可されませんでしたが、インターネット検索や Stack Overflow の使用は許可されました。
「GitHub Copilot にアクセスしたグループは、対照グループの参加者よりも 42.36% 早くタスクを完了できました」とレポートには記載されています。 「…Copilot の参加者が作成したコードには、平均してコードの臭いやバグが少なく、保守性が高く、運用環境で壊れる可能性が低いことを意味します。」
これらの結果はどちらも統計的に有意であると考えられました。安全性に関しては、この実験では結論が出ませんでした。
「この実験では、コードのセキュリティを測定する意味のあるデータを生成できませんでした」と報告書は述べています。 「しかし、データは、Copilot がコードに重大なセキュリティ問題を持ち込まなかったことを示唆しています。」
データは、Copilot がコードに重大なセキュリティ問題を持ち込まなかったことを示唆しています。
これは、参加者が通常の日常業務と並行して課題を完了できるように十分に短く設計された課題の性質によるものと考えられます。そのため、提出された課題はかなり短く、バグが入り込む余地はあまり残されていなかったとレポートには記載されています。
感情の面では、Copilot を使用しているユーザーは、それほど強くはありませんが、そのエクスペリエンスについて肯定的に感じています。
「彼らは、既存のコードをレビューして理解し、ドキュメントを作成し、コードをテストするのに役立つと感じました。コードのデバッグに費やす時間が短縮され、全体的な開発時間が短縮されると感じました。そして彼らは、提供された提案がある程度役に立ち、プロジェクトのコーディング標準とよく一致していると感じました」とレポートには記載されています。
興味深い発見の 1 つは、最も経験豊富なプログラマーにとって Copilot が最も役立つということです。
「Python の習熟度に基づいた生産性の評価では、Copilot はあらゆるスキル レベルの参加者にとって有益であることが判明しましたが、最も役立つのは「専門家」Python プログラマーである参加者でした」と研究では述べられており、AI ヘルパーが (生産性の点で) 最も大きな改善をもたらしたと付け加えています。時間の節約) 困難なタスクに取り組みます。
参加者からの穏やかな好意的な支持は、Copilot をさらに改善できることを示しているとしながらも、レポートでは、Copilot を銀行の実稼働ワークフローに導入することが支持されています。
「この文書の執筆時点で、GitHub Copilot はすでに組織内で大幅に導入されており、1,000 人を超えるユーザーがワークフローで使用しています」とレポートは結論づけており、Copilot の生産性への影響について広範な調査が進行中であると付け加えています。 ®
対位法: AI 支援によりソースコードの品質が低下し、 研究者らは主張している
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :持っている
- :は
- :not
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- できる
- 私たちについて
- アクセス
- ACM
- 追加
- 対処する
- 養子縁組
- に対して
- AI
- AIアシスタント
- アルゴリズムの
- 整列した
- すべて
- 許可されて
- 沿って
- 既に
- また
- しかし
- an
- 分析論
- および
- どれか
- AREA
- AS
- 評価された
- 評価
- 援助
- アシスタント
- At
- オーストラリア
- 平均
- 銀行
- バンキング
- ベース
- BE
- き
- 有益な
- 恩恵
- ブレーク
- より広い
- バグ
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 缶
- 機能
- 課題
- クラウド
- CO
- コード
- コーディング
- コンプリート
- コンプライアンス
- 結論
- プロフェッショナルな方法で
- 実施
- 共同
- 結果
- からなる
- 含まれている
- コントロール
- 著作権
- 企業
- 可能性
- 作ります
- daily
- データ
- データ分析
- データセキュリティ
- データのセキュリティとプライバシー
- 考える
- 展開します
- 設計
- Developer
- 開発
- DID
- しなかった
- ドキュメント
- ドライブ
- 原因
- 効果
- end
- 支持された
- 推薦
- エンジニアリング
- エンジニア
- 十分な
- 環境
- 評価
- 調べる
- 除く
- 既存の
- 体験
- 経験豊かな
- 実験
- エキスパート
- かなり
- 速いです
- フェルト
- より少ない
- ファイナンス
- 発見
- 調査結果
- 発見
- フィネス
- 会社
- 発見
- 4
- から
- さらに
- 生成する
- 生成された
- 生々しい
- 生成AI
- GitHubの
- 与えられた
- グループ
- ガイドライン
- 持っていました
- ハード
- 持ってる
- 助けます
- 助けました
- 役立つ
- 強調表示された
- お家の掃除
- 認定条件
- しかしながら
- HTTPS
- 影響
- 改善されました
- 改善
- in
- 示す
- 固有の
- 知的
- 知的財産
- 内部
- インターネット
- に
- 興味をそそる
- 紹介する
- 調査
- 関係する
- 問題
- IT
- ITS
- JPG
- 7月
- つながる
- 主要な
- コメントを残す
- リーガルポリシー
- less
- レベル
- 可能性が高い
- 少し
- たくさん
- ルイ
- 下側
- メンテナンス可能
- 主要な
- 作る
- 五月..
- 意味
- 意味のある
- だけど
- Microsoft
- 他には?
- 最も
- 自然
- 新作
- ニュージーランド
- ノート
- 今
- of
- on
- OpenAI
- or
- 組織
- その他
- が
- 全体
- 自分の
- 所有する
- 紙素材
- 参加者
- 参加する
- 以下のために
- パーセント
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 正の
- 潜在的な
- 準備
- 事前の
- プライバシー
- 生産された
- 生産
- 生産性の高い
- 生産性
- プログラマ
- プログラミング
- プロジェクト
- 財産
- 提供
- パッティング
- Python
- 品質
- 提起
- 電話代などの費用を削減
- に対する
- レギュレータ
- 企業コンプライアンス
- 関連する
- レポート
- の提出が必要です
- 結果
- レビュー
- リスク
- ルーム
- s
- 前記
- 保存されました
- 言う
- を検索
- セキュリティ
- 見て
- 感情
- セッションに
- いくつかの
- ショート
- 重要
- SIX
- 技能
- So
- ソフトウェア
- 幾分
- 求め
- ソース
- ソースコード
- 過ごす
- スタック
- 規格
- 起動
- 操縦
- 強く
- 研究
- 研究
- 勉強
- 提出された
- そのような
- 示唆する
- 驚き
- タックル
- タスク
- チーム
- テクノロジー
- 条件
- test
- より
- それ
- アプリ環境に合わせて
- それら
- ボーマン
- 彼ら
- この
- それらの
- しかし?
- 介して
- 時間
- 役職
- 〜へ
- ツール
- に向かって
- トライアル
- 2
- 不確実性
- わかる
- 進行中の
- つかいます
- 便利
- users
- いつもの
- ビジュアル
- ました
- 週間
- ウィークス
- WELL
- した
- この試験は
- which
- while
- 誰
- 以内
- 仕事
- ワークフロー
- もっと悪い
- でしょう
- 書き込み
- 年
- ニュージーランド
- ゼファーネット