GitHub Copilot помог инженерам-программистам Банковской группы Австралии и Новой Зеландии (ANZ Bank) повысить производительность и качество кода, и этого тест-драйва оказалось достаточно, чтобы финансовая компания внедрила помощника по программированию с генеративным искусственным интеллектом в производственные рабочие процессы.
С середины июня 2023 года до конца июля того же года базирующийся в Мельбурне банк ANZ провел внутреннее испытание GitHub Copilot, в котором приняли участие 100 из 5,000 инженеров компании.
Шестинедельное испытание, состоящее из двух недель подготовки и четырех недель тестирования кода, было направлено на изучение того, как участники относятся к использованию GitHub Copilot с Microsoft Visual Studio Code, а также на измерение влияния системы на основе искусственного интеллекта на производительность программистов. качество кода и безопасность программного обеспечения.
Результаты эксперимента были задокументированы в отчету с заголовком, который мог бы быть более утонченным: «Влияние инструмента искусственного интеллекта на инженерные работы в банке ANZ, эмпирическое исследование второго пилота GitHub в корпоративной среде».
В отчете, написанном в соавторстве с Саяном Чаттерджи, облачным архитектором в ANZ, и Луи Лю, руководителем отдела разработки искусственного интеллекта и анализа данных в ANZ, приводятся несколько предыдущих исследований производительности программирования с помощью Copilot.
один Исследование из Microsoft, которой сейчас принадлежит GitHub, обнаружили, что программирование с помощью помощника искусственного интеллекта повышает производительность более чем на 55 процентов, что неудивительно, учитывая другие опросы поставщиков.
ACM/IEEE Исследование по программированию с помощью ИИ предположил, что помощь роботов была скорее компромиссом: выяснилось, что Copilot генерировал больше кода, хотя качество созданного программного обеспечения было хуже, чем программное обеспечение, созданное человеком.
ANZ Bank стремился провести собственную оценку, указав на потенциальную выгоду ИИ для производительности, а также признав, что эта технология «повышает неотъемлемые риски, неопределенности и непреднамеренные последствия в отношении интеллектуальной собственности, безопасности данных и конфиденциальности».
Эти риски, подчеркнутые продолжающийся судебный процесс по авторским правам против GitHub, Microsoft и OpenAI через Copilot – в исследовании не рассматриваются, за исключением намека на соответствие нормативным требованиям.
«Перед началом эксперимента совместно с юридическими отделами и отделами безопасности ANZ были оценены риски, связанные с интеллектуальной собственностью, безопасностью данных и конфиденциальностью, чтобы выработать ряд рекомендаций», — говорится в сообщении.
Банковский эксперимент исследовал влияние Copilot на настроение и продуктивность разработчиков, а также на качество и безопасность кода. Для этого потребовалось, чтобы участвующие инженеры-программисты, облачные инженеры и инженеры по обработке данных решали шесть задач по алгоритмическому кодированию в неделю с использованием Python. Участникам контрольной группы не разрешили использовать Copilot, но разрешили осуществлять поиск в Интернете или использовать Stack Overflow.
«Группа, имевшая доступ к GitHub Copilot, смогла выполнить свои задачи на 42.36 процента быстрее, чем участники контрольной группы», — говорится в отчете. «…Код, созданный участниками Copilot, в среднем содержал меньше запахов кода и ошибок, а это означает, что его будет легче поддерживать и с меньшей вероятностью произойдет сбой в работе».
Оба этих результата были признаны статистически значимыми. Что касается безопасности, то эксперимент оказался безрезультатным.
«Эксперимент не смог создать значимые данные, которые позволили бы измерить безопасность кода», — говорится в отчете. «Однако данные свидетельствуют о том, что Copilot не привнес в код каких-либо серьезных проблем безопасности».
Данные свидетельствуют о том, что Copilot не внес в код каких-либо серьезных проблем безопасности.
Возможно, это было связано с характером задач, которые были разработаны так, чтобы быть достаточно короткими, чтобы участники могли выполнять их наряду со своей обычной повседневной работой. Таким образом, представленные задачи были довольно короткими и не оставляли места для ошибок, отмечается в отчете.
Что касается настроений, те, кто использовал Copilot, отнеслись к этому опыту положительно, хотя и не сильно.
«Они чувствовали, что это помогло им просмотреть и понять существующий код, создать документацию и протестировать свой код; они считали, что это позволяет им тратить меньше времени на отладку кода и сокращает общее время разработки; и они почувствовали, что предоставленные предложения были в некоторой степени полезными и хорошо соответствовали стандартам кодирования их проекта», — говорится в отчете.
Одним из интригующих открытий является то, что Copilot оказался наиболее полезным для самых опытных программистов.
«Оценка производительности, основанная на знании Python, показала, что Copilot был полезен для участников всех уровней навыков, но был наиболее полезен для тех, кто был «экспертом» программистами Python», — говорится в исследовании, добавляя, что помощник ИИ обеспечил наибольшее улучшение (с точки зрения экономия времени) на сложных задачах.
Несмотря на то, что умеренно положительные отзывы участников указывают на то, что Copilot можно и дальше совершенствовать, в отчете, тем не менее, поддерживается внедрение Copilot в производственные рабочие процессы в банке.
«На момент написания этой статьи GitHub Copilot уже получил широкое распространение в организации: более 1,000 пользователей использовали его в своих рабочих процессах», — заключает отчет, добавляя, что в настоящее время проводится более широкое исследование влияния Copilot на производительность. ®
Контрапункт: Помощь ИИ приводит к снижению качества исходного кода, исследователи утверждают
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :имеет
- :является
- :нет
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- в состоянии
- О нас
- доступ
- ACM
- добавить
- адресованный
- Принятие
- против
- AI
- Помощник АИ
- алгоритмический
- выровненный
- Все
- разрешено
- вдоль
- уже
- причислены
- Несмотря на то, что
- an
- аналитика
- и
- любой
- ПЛОЩАДЬ
- AS
- оценивается
- оценки;
- Помощь
- помощник
- At
- Австралия
- в среднем
- Банка
- Банковское дело
- основанный
- BE
- было
- полезный
- польза
- Ломать
- шире
- ошибки
- но
- by
- CAN
- возможности
- проблемы
- облако
- CO
- код
- Кодирование
- полный
- Соответствие закону
- заключает
- Проводить
- проводятся
- связь
- Последствия
- Состоящий из
- содержащегося
- контроль
- авторское право
- Корпоративное
- может
- Создайте
- ежедневно
- данным
- Анализ данных
- безопасность данных
- безопасность и конфиденциальность данных
- считается
- развертывание
- предназначенный
- Застройщик
- Развитие
- DID
- А не было
- документации
- управлять
- два
- эффект
- конец
- одобрил
- Подтверждения
- Проект и
- Инженеры
- достаточно
- Окружающая среда
- оценка
- исследовать
- Кроме
- существующий
- опыт
- опытные
- эксперимент
- эксперту
- достаточно
- быстрее
- ошибка
- меньше
- финансы
- обнаружение
- результаты
- находит
- Тонкость
- Фирма
- Что касается
- найденный
- 4
- от
- далее
- порождать
- генерируется
- генеративный
- Генеративный ИИ
- GitHub
- данный
- группы
- методические рекомендации
- было
- Жесткий
- Есть
- помощь
- помог
- полезный
- Выделенные
- Вилла / Бунгало
- Как
- Однако
- HTTPS
- Влияние
- улучшенный
- улучшение
- in
- указывать
- свойственный
- интеллектуальный
- интеллектуальная собственность
- в нашей внутренней среде,
- Интернет
- в
- интригующий
- вводить
- ходе расследования,
- вовлеченный
- вопросы
- IT
- ЕГО
- JPG
- июль
- вести
- ведущий
- Оставлять
- Юр. Информация
- Меньше
- уровни
- Вероятно
- мало
- серия
- Louis
- ниже
- Ремонтопригодный
- основной
- ДЕЛАЕТ
- Май..
- смысл
- значимым
- проводить измерение
- Microsoft
- БОЛЕЕ
- самых
- природа
- Новые
- Новая Зеландия
- Заметки
- сейчас
- of
- on
- OpenAI
- or
- организация
- Другое
- за
- общий
- собственный
- владеет
- бумага & картон
- новыми участниками
- участвующий
- для
- процент
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- положительный
- потенциал
- подготовка
- Предварительный
- политикой конфиденциальности.
- Произведенный
- Производство
- производительный
- производительность
- Программисты
- Программирование
- Проект
- собственность
- при условии
- Полагая
- Питон
- повышения
- Цена снижена
- по
- регуляторы
- Соответствие нормативным требованиям
- Связанный
- отчету
- обязательный
- Итоги
- обзоре
- рисках,
- Комната
- s
- Сказал
- сохраняются
- говорит
- Поиск
- безопасность
- видел
- настроение
- набор
- несколько
- Короткое
- значительный
- ШЕСТЬ
- умение
- So
- Software
- в некотором роде
- искать
- Источник
- исходный код
- тратить
- стек
- стандартов
- Начало
- направляя
- сильно
- исследования
- студия
- Кабинет
- представленный
- такие
- предлагать
- сюрприз
- система
- снасти
- задачи
- команды
- Технологии
- terms
- тестXNUMX
- чем
- который
- Ассоциация
- их
- Их
- Эти
- они
- этой
- те
- хоть?
- Через
- время
- Название
- в
- инструментом
- к
- суд
- два
- неопределенности
- понимать
- На ходу
- использование
- полезный
- пользователей
- через
- обычный
- визуальный
- законопроект
- неделя
- Недели
- ЧТО Ж
- были
- Что
- , которые
- в то время как
- КТО
- в
- Работа
- Рабочие процессы
- хуже
- бы
- письмо
- год
- Зеландию
- зефирнет