GitHub Copilot i-a îndrumat pe inginerii software de la Australia and New Zealand Banking Group (ANZ Bank) către o productivitate îmbunătățită și calitatea codului, iar testul a fost suficient pentru ca casa financiară să implementeze asistentul de programare AI generativ în fluxurile de producție.
De la mijlocul lunii iunie 2023 până la sfârșitul lunii iulie a aceluiași an, ANZ Bank, cu sediul în Melbourne, a efectuat o încercare internă a GitHub Copilot care a implicat 100 din cei 5,000 de ingineri ai companiei.
Testul de șase săptămâni, constând din două săptămâni de pregătire și patru săptămâni de provocări de cod, a încercat să examineze modul în care participanții au simțit utilizarea GitHub Copilot cu Microsoft Visual Studio Code și să măsoare impactul pe care sistemul bazat pe inteligență artificială l-a avut asupra productivității programatorilor. calitatea codului și securitatea software-ului.
Concluziile experimentului au fost documentate în a raportează cu un titlu care ar putea folosi puțin mai multă finețe: „The Impact of AI Tool on Engineering at ANZ Bank, An Empirical Study on GitHub Copilot within Corporate Environment.”
În colaborare cu Sayan Chatterjee, arhitect cloud la ANZ, și Louis Liu, responsabil de zona de capabilități de inginerie AI și analiză a datelor la ANZ, raportul citează mai multe studii anterioare despre productivitatea programării cu Copilot.
O studiu de la Microsoft, care deține acum GitHub, a descoperit că codarea cu un asistent AI a îmbunătățit productivitatea cu peste 55 la sută - nu este o surpriză având în vedere alte sondaje ale furnizorilor.
Un ACM/IEEE studiu privind programarea cu ajutorul AI a sugerat că asistența robotică a fost mai mult un compromis: a constatat că Copilot a generat mai mult cod, deși calitatea software-ului generat a fost mai proastă decât software-ul construit de om.
ANZ Bank a încercat să-și efectueze propria evaluare, invocând beneficiul potențial al AI asupra productivității, recunoscând, de asemenea, că tehnologia „crește riscuri inerente, incertitudini și consecințe neintenționate în ceea ce privește proprietatea intelectuală, securitatea datelor și confidențialitatea”.
Acele riscuri – evidențiate de proces în curs de desfășurare pentru drepturile de autor împotriva GitHub, Microsoft și OpenAI prin Copilot – nu sunt abordate în studiu, decât ca un semn de semnare a conformității cu reglementările.
„Înainte de începerea experimentului, riscurile legate de proprietatea intelectuală, securitatea datelor și confidențialitatea au fost evaluate în colaborare cu echipele juridice și de securitate ale ANZ pentru a ajunge la un set de linii directoare”, se spune.
Experimentul bancar a examinat ce efect are Copilot asupra: sentimentul și productivitatea dezvoltatorilor, precum și calitatea și securitatea codului. A fost necesar ca inginerii software, inginerii cloud și inginerii de date participanți să facă față a șase provocări de codificare algoritmică pe săptămână folosind Python. Celor din grupul de control nu li sa permis să folosească Copilot, dar li sa permis să caute pe internet sau să folosească Stack Overflow.
„Grupul care a avut acces la GitHub Copilot și-a putut îndeplini sarcinile cu 42.36% mai repede decât participanții la grupul de control”, se spune în raport. „...Codul produs de participanții la Copilot conținea mai puține mirosuri de cod și erori în medie, ceea ce înseamnă că ar fi mai ușor de întreținut și mai puțin probabil să se întrerupă în producție.”
Ambele rezultate au fost considerate semnificative din punct de vedere statistic. În ceea ce privește securitatea, experimentul a fost neconcludent.
„Experimentul nu a putut genera date semnificative care să măsoare securitatea codului”, se arată în raport. „Cu toate acestea, datele sugerează că Copilot nu a introdus probleme majore de securitate în cod.”
Datele sugerează că Copilot nu a introdus probleme majore de securitate în cod
Acest lucru s-ar fi putut datora naturii provocărilor, care au fost concepute pentru a fi suficient de scurte încât participanții să le poată îndeplini împreună cu munca lor zilnică obișnuită. Ca atare, provocările trimise au fost destul de scurte și nu au lăsat mult loc pentru bug-uri, notează raportul.
În ceea ce privește sentimentul, cei care au folosit Copilot s-au simțit pozitiv în ceea ce privește experiența, deși nu foarte mult.
„Ei au simțit că i-a ajutat să revizuiască și să înțeleagă codul existent, să creeze documentație și să-și testeze codul; au simțit că le-a permis să petreacă mai puțin timp depanând codul și le-a redus timpul general de dezvoltare; și au simțit că sugestiile pe care le-a oferit au fost oarecum utile și s-au aliniat bine cu standardele de codificare ale proiectului lor”, se spune în raport.
O constatare intrigantă este că Copilot a fost cel mai util celor mai experimentați programatori.
„Evaluarea productivității bazată pe competența Python a constatat că Copilot a fost benefic pentru participanți pentru toate nivelurile de calificare, dar a fost cel mai util pentru cei care erau programatori „experți” Python”, spune studiul, adăugând că asistentul AI a oferit cea mai mare îmbunătățire (în ceea ce privește timp economisit) la sarcini grele.
Deși observă că aprobările ușor pozitive din partea participanților indică faptul că Copilot poate fi îmbunătățit în continuare, raportul a susținut totuși introducerea Copilot în fluxurile de producție la bancă.
„În momentul scrierii acestei lucrări, GitHub Copilot a cunoscut deja o adoptare semnificativă în cadrul organizației, peste 1,000 de utilizatori utilizându-l în fluxurile lor de lucru”, se încheie raportul, adăugând că o investigație mai amplă a impactului asupra productivității Copilot este în curs de desfășurare. ®
Contrapunct: Asistența AI duce la o calitate mai scăzută a codului sursă, susțin cercetătorii
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :are
- :este
- :nu
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Capabil
- Despre Noi
- acces
- ACM
- adăugare
- adresat
- Adoptare
- împotriva
- AI
- Asistent AI
- algoritmică
- aliniat
- TOATE
- permis
- de-a lungul
- deja
- de asemenea
- Cu toate ca
- an
- Google Analytics
- și
- Orice
- ZONĂ
- AS
- evaluat
- evaluare
- Asistență
- Asistent
- At
- Australia
- in medie
- Bancă
- Bancar
- bazat
- BE
- fost
- benefică
- beneficia
- Pauză
- mai larg
- gandaci
- dar
- by
- CAN
- capacitate
- provocări
- Cloud
- CO
- cod
- Codificare
- Completă
- conformitate
- conchide
- Conduce
- efectuat
- conjuncție
- Consecințele
- Constând
- conținute
- Control
- drepturi de autor
- Istoria
- ar putea
- crea
- zilnic
- de date
- Analiza datelor
- securitatea datelor
- securitatea datelor și confidențialitatea
- considerate
- implementa
- proiectat
- Dezvoltator
- Dezvoltare
- FĂCUT
- nu
- documentaţie
- conduce
- două
- efect
- capăt
- aprobat
- Promovări
- Inginerie
- inginerii
- suficient de
- Mediu inconjurator
- evaluare
- examina
- Cu excepția
- existent
- experienţă
- cu experienţă
- experiment
- expert
- destul de
- mai repede
- eroare
- mai puține
- finanţa
- descoperire
- constatările
- descoperiri
- Fineţe
- Firmă
- Pentru
- găsit
- patru
- din
- mai mult
- genera
- generată
- generativ
- AI generativă
- GitHub
- dat
- grup
- orientări
- HAD
- Greu
- Avea
- ajutor
- a ajutat
- util
- Evidențiat
- casă
- Cum
- Totuși
- HTTPS
- Impactul
- îmbunătățit
- îmbunătățire
- in
- indica
- inerent
- intelectual
- de proprietate intelectuală
- intern
- Internet
- în
- intrigant
- introduce
- investigaţie
- implicat
- probleme de
- IT
- ESTE
- jpg
- iulie
- conduce
- conducere
- Părăsi
- Legal
- mai puțin
- nivelurile de
- Probabil
- mic
- Lot
- Louis
- LOWER
- De întreținut
- major
- FACE
- Mai..
- sens
- semnificativ
- măsura
- Microsoft
- mai mult
- cele mai multe
- Natură
- Nou
- Noua Zeelandă
- notițe
- acum
- of
- on
- OpenAI
- or
- organizație
- Altele
- peste
- global
- propriu
- deține
- Hârtie
- participanţi
- participante
- pentru
- la sută
- Plato
- Informații despre date Platon
- PlatoData
- pozitiv
- potenţial
- pregătire
- anterior
- intimitate
- Produs
- producere
- productiv
- productivitate
- Programatorii
- Programare
- proiect
- proprietate
- prevăzut
- Punând
- Piton
- calitate
- ridică
- Redus
- cu privire la
- autoritățile de reglementare
- Respectarea reglementărilor
- legate de
- raportează
- necesar
- REZULTATE
- revizuiască
- Riscurile
- Cameră
- s
- Said
- salvate
- spune
- Caută
- securitate
- văzut
- sentiment
- set
- câteva
- Pantaloni scurți
- semnificativ
- SIX
- calificare
- So
- Software
- oarecum
- căutat
- Sursă
- cod sursă
- petrece
- stivui
- standarde
- Pornire
- dirijat
- tare
- studiu
- studio
- Studiu
- prezentat
- astfel de
- sugera
- surpriză
- sistem
- aborda
- sarcini
- echipe
- Tehnologia
- termeni
- test
- decât
- acea
- lor
- Lor
- Acestea
- ei
- acest
- aceste
- deşi?
- Prin
- timp
- Titlu
- la
- instrument
- spre
- proces
- Două
- incertitudini
- înţelege
- In curs
- utilizare
- util
- utilizatorii
- folosind
- ca de obicei
- vizual
- a fost
- săptămână
- săptămâni
- BINE
- au fost
- Ce
- care
- în timp ce
- OMS
- cu
- în
- Apartamente
- fluxuri de lucru
- mai rău
- ar
- scris
- an
- Noua Zeelandă
- zephyrnet