GitHub Copilot 引导澳大利亚和新西兰银行集团 (ANZ Bank) 的软件工程师提高生产力和代码质量,并且测试驱动足以让金融机构在生产工作流程中部署生成式 AI 编程助手。
从 2023 年 100 月中旬到当年 5,000 月底,总部位于墨尔本的 ANZ 银行对 GitHub Copilot 进行了内部试验,该公司 XNUMX 名工程师中的 XNUMX 人参与了试验。
为期六周的试验包括两周的准备和四个星期的代码挑战,旨在研究参与者对将 GitHub Copilot 与 Microsoft Visual Studio Code 结合使用的感受,并衡量基于 AI 的系统对程序员生产力的影响,代码质量和软件安全。
该实验的结果已记录在 报告 标题可以更巧妙一些:“人工智能工具对澳新银行工程的影响,企业环境中 GitHub Copilot 的实证研究。”
该报告由 ANZ 云架构师 Sayan Chatterjee 和 ANZ 工程人工智能和数据分析能力领域负责人 Louis Liu 共同撰写,引用了之前关于 Copilot 编程效率的几项研究。
一个 根据一项研究, 来自现已拥有 GitHub 的微软的研究人员发现,使用 AI 助手进行编码可将工作效率提高 55% 以上——与其他人相比,这并不奇怪。 供应商调查.
ACM/IEEE 根据一项研究, 关于人工智能帮助编程的研究表明,机器人辅助更多的是一种权衡:研究发现,尽管生成的软件质量比人类构建的软件差,但 Copilot 生成了更多代码。
澳新银行试图进行自己的评估,指出人工智能对生产力的潜在好处,同时也承认该技术“增加了知识产权、数据安全和隐私方面的固有风险、不确定性和意外后果”。
这些风险——突出显示 正在进行的版权诉讼 研究中并未涉及针对 GitHub、微软和 OpenAI 而非 Copilot 的问题,除非是对监管合规性的认可。
“在开始实验之前,与澳新银行的法律和安全团队一起评估了与知识产权、数据安全和隐私相关的风险,以得出一套指导方针,”它说。
银行实验检验了 Copilot 对开发人员情绪和生产力以及代码质量和安全性的影响。它要求参与的软件工程师、云工程师和数据工程师每周使用 Python 解决六项算法编码挑战。对照组的人不允许使用 Copilot,但可以搜索互联网或使用 Stack Overflow。
报告称:“能够访问 GitHub Copilot 的小组完成任务的速度比对照组参与者快 42.36%。” “……Copilot 参与者生成的代码平均包含较少的代码异味和错误,这意味着它更易于维护,并且在生产中不太可能出现故障。”
这两个结果都被认为具有统计显着性。至于安全性,该实验尚无定论。
报告称:“该实验无法生成衡量代码安全性的有意义的数据。” “然而,数据表明 Copilot 并未在代码中引入任何重大安全问题。”
数据表明 Copilot 没有在代码中引入任何重大安全问题
这可能是由于挑战的性质决定的,挑战的时间足够短,参与者可以在日常工作中完成这些挑战。因此,报告指出,提交的挑战相当短,并且没有留下太多的错误空间。
就情绪而言,使用 Copilot 的用户对这次体验感到积极,尽管并不强烈。
“他们认为这有助于他们审查和理解现有代码、创建文档并测试他们的代码;他们认为这可以让他们花更少的时间调试代码并减少总体开发时间;他们认为它提供的建议有些帮助,并且与他们项目的编码标准非常吻合,”报告称。
一个有趣的发现是,Copilot 对于最有经验的程序员来说是最有用的。
研究称:“基于 Python 熟练程度的生产力评估发现,Copilot 对所有技能水平的参与者都有好处,但对那些‘专家’Python 程序员最有帮助。”并补充说,人工智能助手提供了最大的改进(在节省时间)完成艰巨的任务。
虽然参与者的轻微积极认可表明 Copilot 可以进一步改进,但该报告仍然支持将 Copilot 纳入银行的生产工作流程。
报告总结道:“截至本文撰写时,GitHub Copilot 已在组织内得到广泛采用,超过 1,000 名用户在其工作流程中使用它。”并补充说,针对 Copilot 对生产力影响的更广泛调查正在进行中。 ®
对应点: 人工智能辅助导致源代码质量下降, 研究人员称
- :具有
- :是
- :不是
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Able
- 关于
- ACCESS
- ACM
- 添加
- 解决
- 采用
- 驳
- AI
- AI助手
- 算法
- 对齐的
- 所有类型
- 允许
- 沿
- 已经
- 还
- 尽管
- an
- 分析
- 和
- 任何
- 国家 / 地区
- AS
- 评估
- 评定
- 帮助
- 助理
- At
- 澳大利亚
- 银行
- 银行业
- 基于
- BE
- 很
- 有利
- 得益
- 午休
- 更广泛
- 虫子
- 但是
- by
- CAN
- 能力
- 挑战
- 云端技术
- CO
- 码
- 编码
- 完成
- 符合
- 总结
- 进行
- 进行
- 结合
- 后果
- 组成
- 包含
- 控制
- 版权
- 公司
- 可以
- 创建信息图
- 每天
- data
- 数据分析
- 数据安全
- 数据安全和隐私
- 认为
- 部署
- 设计
- 开发商
- 研发支持
- DID
- 没
- 文件
- 驾驶
- 两
- 效果
- 结束
- 赞同
- 代言
- 工程师
- 工程师
- 更多
- 环境
- 评估
- 检查
- 除
- 现有
- 体验
- 有经验
- 实验
- 技术专家
- 相当
- 快
- 毡
- 少
- 金融
- 寻找
- 发现
- 发现
- 灵巧
- 公司
- 针对
- 发现
- 四
- 止
- 进一步
- 生成
- 产生
- 生成的
- 生成式人工智能
- GitHub上
- 特定
- 团队
- 方针
- 民政事务总署
- 硬
- 有
- 帮助
- 帮助
- 有帮助
- 突出
- 别墅
- 创新中心
- 但是
- HTTPS
- 影响力故事
- 改善
- 改进
- in
- 表明
- 固有
- 知识分子
- 知识产权
- 内部
- 网络
- 成
- 奇妙
- 介绍
- 调查
- 参与
- 问题
- IT
- 它的
- JPG
- 七月
- 铅
- 领导
- 离开
- 法律咨询
- 减
- 各级
- 容易
- 小
- 占地
- 路易
- 降低
- 可维护的
- 主要
- 制作
- 可能..
- 意
- 有意义的
- 衡量
- 微软
- 更多
- 最先进的
- 自然
- 全新
- 新西兰
- 现在
- of
- on
- OpenAI
- or
- 组织
- 其他名称
- 超过
- 最划算
- 己
- 拥有
- 纸类
- 与会者
- 参与
- 为
- 百分
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 积极
- 潜力
- 准备
- 先
- 隐私
- 生成
- 生产
- 生产力
- 生产率
- 程序员
- 代码编程
- 项目
- 财产
- 提供
- 把
- 蟒蛇
- 质量
- 提高
- 减少
- 关于
- 监管
- 法规符合
- 有关
- 报告
- 必须
- 成果
- 检讨
- 风险
- Room
- s
- 说
- 保存
- 说
- 搜索
- 保安
- 看到
- 情绪
- 集
- 几个
- 短
- 显著
- SIX
- 技能
- So
- 软件
- 有些
- 追捧
- 来源
- 源代码
- 花
- 堆
- 标准
- 开始
- 操纵
- 非常
- 研究
- 工作室
- 学习
- 提交
- 这样
- 建议
- 惊
- 系统
- 滑车
- 任务
- 队
- 专业技术
- 条款
- test
- 比
- 这
- 其
- 他们
- 博曼
- 他们
- Free Introduction
- 那些
- 虽然?
- 通过
- 次
- 标题
- 至
- 工具
- 对于
- 试用
- 二
- 不确定性
- 理解
- 进行
- 使用
- 有用
- 用户
- 运用
- 通常
- 视觉
- 是
- 周
- 周
- 井
- 为
- 什么是
- 这
- 而
- WHO
- 中
- 工作
- 工作流程
- 更坏
- 将
- 写作
- 年
- 新西兰
- 和风网