GitHub Copilot скерував інженерів-програмістів Австралійської та Новозеландської банківської групи (ANZ Bank) до покращення продуктивності та якості коду, і тест-драйву було достатньо, щоб фінансовий будинок розгорнув генеративного помічника програмування ШІ у робочих процесах виробництва.
З середини червня 2023 року до кінця липня того ж року банк ANZ із Мельбурна проводив внутрішнє випробування GitHub Copilot, у якому взяли участь 100 із 5,000 інженерів фірми.
Шеститижневе випробування, що складалося з двох тижнів підготовки та чотирьох тижнів тестування коду, мало на меті дослідити, як учасники ставляться до використання GitHub Copilot із кодом Microsoft Visual Studio, а також виміряти вплив системи на основі ШІ на продуктивність програмістів. якість коду та безпека програмного забезпечення.
Результати експерименту були задокументовані в a звітом із заголовком, який міг би використати трохи витонченіше: «Вплив інструменту ШІ на розробку в ANZ Bank, емпіричне дослідження GitHub Copilot у корпоративному середовищі».
Співавторами звіту є Саян Чаттерджі, архітектор хмарних технологій в ANZ, і Луїс Лю, керівник відділу розробки штучного інтелекту та аналітики даних в ANZ, у якому цитуються кілька попередніх досліджень продуктивності програмування з Copilot.
Один вчитися від Microsoft, яка зараз володіє GitHub, виявила, що кодування за допомогою помічника штучного інтелекту підвищило продуктивність більш ніж на 55 відсотків – це не дивно, враховуючи інші опитування постачальників.
ACM/IEEE вчитися у програмуванні за допомогою штучного інтелекту припустив, що робо-допомога була скоріше компромісом: виявилося, що Copilot генерує більше коду, хоча якість створеного програмного забезпечення була гіршою, ніж програмне забезпечення, створене людиною.
ANZ Bank намагався провести власну оцінку, посилаючись на потенційну користь штучного інтелекту для продуктивності, а також визнаючи, що технологія «підвищує внутрішні ризики, невизначеності та ненавмисні наслідки щодо інтелектуальної власності, безпеки даних і конфіденційності».
Ці ризики – виділені триваючий судовий процес щодо авторських прав проти GitHub, Microsoft і OpenAI через Copilot – не розглядаються в дослідженні, хіба що як реверанс до дотримання нормативних вимог.
«Перед початком експерименту ризики, пов’язані з інтелектуальною власністю, безпекою даних і конфіденційністю, були оцінені спільно з юридичними і безпековими командами ANZ, щоб виробити набір інструкцій», — йдеться в повідомленні.
Банківський експеримент досліджував вплив Copilot на: настрої та продуктивність розробників, а також на якість і безпеку коду. Це вимагало від інженерів програмного забезпечення, хмарних інженерів та інженерів обробки даних вирішувати шість завдань алгоритмічного кодування на тиждень за допомогою Python. Учасникам контрольної групи не дозволяли використовувати Copilot, але їм дозволяли шукати в Інтернеті або використовувати Stack Overflow.
«Група, яка мала доступ до GitHub Copilot, змогла виконати свої завдання на 42.36% швидше, ніж учасники контрольної групи», — йдеться у звіті. «…Код, створений учасниками Copilot, у середньому містив менше запахів коду та помилок, що означає, що він буде більш зручним для обслуговування та меншою ймовірністю зламів у виробництві».
Обидва ці результати були визнані статистично значущими. Що стосується безпеки, то експеримент був безрезультатним.
«Експеримент не зміг створити значущі дані, які б вимірювали безпеку коду», — йдеться у звіті. «Однак дані свідчать про те, що Copilot не вніс жодних серйозних проблем безпеки в код».
Дані свідчать про те, що Copilot не вніс жодних серйозних проблем безпеки в код
Можливо, це було пов’язано з характером завдань, які були досить короткими, щоб учасники могли виконувати їх разом із звичайною щоденною роботою. Таким чином, подані виклики були досить короткими та не залишали багато місця для помилок, зазначається у звіті.
Що стосується настроїв, ті, хто користувався Copilot, позитивно оцінили цей досвід, хоча й не дуже.
«Вони відчули, що це допомогло їм переглянути та зрозуміти існуючий код, створити документацію та протестувати свій код; вони відчували, що це дозволяє їм витрачати менше часу на налагодження коду та скорочує загальний час розробки; і вони вважали, що надані пропозиції були дещо корисними та добре узгоджувалися зі стандартами кодування їх проекту», – йдеться у звіті.
Одним з інтригуючих висновків є те, що Copilot був найбільш корисним для найдосвідченіших програмістів.
«Оцінка продуктивності на основі знання Python виявила, що Copilot був корисним для учасників усіх рівнів навичок, але був найбільш корисним для тих, хто був «експертом» програмістів на Python», — йдеться в дослідженні, додаючи, що помічник ШІ забезпечив найбільше покращення (з точки зору економія часу) на складних завданнях.
Незважаючи на те, що помірно позитивні відгуки учасників вказують на можливість подальшого вдосконалення Copilot, у звіті все ж схвалено введення Copilot у виробничі робочі процеси в банку.
«На момент написання цієї статті GitHub Copilot вже знайшов значне впровадження в організації: понад 1,000 користувачів використовують його у своїх робочих процесах», — підсумовується у звіті, додаючи, що триває ширше дослідження впливу Copilot на продуктивність. ®
Контрапункт: Допомога ШІ призводить до зниження якості вихідного коду, стверджують дослідники
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- : має
- :є
- : ні
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Здатний
- МЕНЮ
- доступ
- ACM
- додати
- адресований
- Прийняття
- проти
- AI
- AI помічник
- алгоритмічний
- вирівняні
- ВСІ
- дозволено
- по
- вже
- Також
- хоча
- an
- аналітика
- та
- будь-який
- ПЛОЩА
- AS
- оцінюється
- оцінка
- Допомога
- Помічник
- At
- Австралія
- середній
- Банк
- Banking
- заснований
- BE
- було
- корисний
- користь
- Перерва
- ширше
- помилки
- але
- by
- CAN
- можливості
- проблеми
- хмара
- CO
- код
- Кодування
- повний
- дотримання
- робить висновок
- Проводити
- проводиться
- зв'язок
- Наслідки
- Складається
- містяться
- контроль
- авторське право
- Корпоративний
- може
- створювати
- щодня
- дані
- Analytics даних
- безпеку даних
- безпека та конфіденційність даних
- вважається
- розгортання
- призначений
- Розробник
- розробка
- DID
- А не було
- документація
- управляти
- два
- ефект
- кінець
- схвалений
- Затвердження
- Машинобудування
- Інженери
- досить
- Навколишнє середовище
- оцінка
- досліджувати
- Крім
- існуючий
- досвід
- досвідчений
- експеримент
- експерт
- достатньо
- швидше
- помилка
- менше
- фінансування
- виявлення
- результати
- знахідки
- Finesse
- Фірма
- для
- знайдений
- чотири
- від
- далі
- породжувати
- генерується
- генеративний
- Генеративний ШІ
- GitHub
- даний
- Group
- керівні вказівки
- було
- Жорсткий
- Мати
- допомога
- допоміг
- корисний
- Виділено
- будинок
- Як
- Однак
- HTTPS
- Impact
- поліпшений
- поліпшення
- in
- вказувати
- притаманне
- інтелектуальний
- інтелектуальна власність
- внутрішній
- інтернет
- в
- інтригуючий
- вводити
- дослідження
- залучений
- питання
- IT
- ЙОГО
- JPG
- липень
- вести
- провідний
- Залишати
- легальний
- менше
- рівні
- Ймовірно
- трохи
- серія
- Луїс
- знизити
- Підлягає ремонту
- основний
- РОБОТИ
- Може..
- сенс
- значущим
- вимір
- Microsoft
- більше
- найбільш
- природа
- Нові
- Нова Зеландія
- примітки
- зараз
- of
- on
- OpenAI
- or
- організація
- Інше
- над
- загальний
- власний
- володіє
- Папір
- Учасники
- участь
- для
- відсотків
- plato
- Інформація про дані Платона
- PlatoData
- позитивний
- потенціал
- підготовка
- попередній
- недоторканність приватного життя
- Вироблений
- Production
- продуктивний
- продуктивність
- Програмісти
- Програмування
- проект
- власність
- за умови
- Поклавши
- Python
- якість
- піднімається
- Знижений
- про
- регуляторні
- Відповідність нормативам
- пов'язаний
- звітом
- вимагається
- результати
- огляд
- ризики
- Кімната
- s
- Зазначений
- зберігаються
- говорить
- Пошук
- безпеку
- бачив
- настрій
- комплект
- кілька
- Короткий
- значний
- SIX
- майстерність
- So
- Софтвер
- кілька
- шукати
- Source
- вихідні
- витрачати
- стек
- стандартів
- Починаючи
- направляючи
- сильно
- Дослідження
- студія
- Вивчення
- представлений
- такі
- пропонувати
- сюрприз
- система
- снасті
- завдання
- команди
- Технологія
- terms
- тест
- ніж
- Що
- Команда
- їх
- Їх
- Ці
- вони
- це
- ті
- хоча?
- через
- час
- назва
- до
- інструмент
- до
- суд
- два
- невизначеності
- розуміти
- В процесі роботи
- використання
- корисний
- користувачі
- використання
- звичайний
- візуальний
- було
- week
- тижня
- ДОБРЕ
- були
- Що
- який
- в той час як
- ВООЗ
- з
- в
- Work
- Робочі процеси
- гірше
- б
- лист
- рік
- Зеландія
- зефірнет