GitHub Copilot har styrt mjukvaruingenjörer vid Australia and New Zealand Banking Group (ANZ Bank) mot förbättrad produktivitet och kodkvalitet, och testkörningen räckte för att finanshuset skulle använda den generativa AI-programmeringsassistenten i produktionsarbetsflöden.
Från mitten av juni 2023 till slutet av juli samma år genomförde Melbourne-baserade ANZ Bank en intern test av GitHub Copilot som involverade 100 av företagets 5,000 XNUMX ingenjörer.
Den sex veckor långa testperioden, bestående av två veckors förberedelse och fyra veckors kodutmaningar, försökte undersöka hur deltagarna tyckte om att använda GitHub Copilot med Microsoft Visual Studio Code och för att mäta vilken inverkan det AI-baserade systemet hade på programmerares produktivitet, kodkvalitet och mjukvarusäkerhet.
Experimentets fynd har dokumenterats i en rapport med en titel som skulle kunna behöva lite mer finess: "The Impact of AI Tool on Engineering at ANZ Bank, An Empirical Study on GitHub Copilot within Corporate Environment."
Medförfattare av Sayan Chatterjee, molnarkitekt på ANZ, och Louis Liu, ansvarig för teknisk AI och dataanalyskapacitet på ANZ, citerar rapporten flera tidigare studier om programmeringsproduktivitet med Copilot.
en studera från Microsoft, som nu äger GitHub, fann att kodning med en AI-assistent förbättrade produktiviteten med mer än 55 procent – inte en överraskning med tanke på andra leverantörsundersökningar.
En ACM/IEEE studera om programmering med AI-hjälp föreslog att robo-assistans var mer av en kompromiss: Man fann att Copilot genererade mer kod, även om kvaliteten på genererad programvara var sämre än mänskligt byggd programvara.
ANZ Bank försökte göra sin egen utvärdering, med hänvisning till den potentiella fördelen med AI på produktiviteten samtidigt som den erkände att tekniken "höjer inneboende risker, osäkerheter och oavsiktliga konsekvenser när det gäller immateriella rättigheter, datasäkerhet och integritet."
Dessa risker – belyst av pågående upphovsrättsprocess mot GitHub, Microsoft och OpenAI över Copilot – tas inte upp i studien, förutom som en nick till regelefterlevnad.
"Innan experimentet startade utvärderades risker relaterade till immateriella rättigheter, datasäkerhet och integritet i samarbete med ANZ:s juridiska team och säkerhetsteam för att komma fram till en uppsättning riktlinjer", stod det.
Bankexperimentet undersökte vilken effekt Copilot har på: utvecklarens sentiment och produktivitet, samt kodkvalitet och säkerhet. Det krävde deltagande mjukvaruingenjörer, molningenjörer och dataingenjörer att tackla sex algoritmiska kodningsutmaningar per vecka med Python. De i kontrollgruppen fick inte använda Copilot men fick söka på internet eller använda Stack Overflow.
"Gruppen som hade tillgång till GitHub Copilot kunde slutföra sina uppgifter 42.36 procent snabbare än kontrollgruppsdeltagarna", står det i rapporten. "...Koden som producerades av Copilot-deltagare innehöll färre kodlukter och buggar i genomsnitt, vilket innebär att den skulle vara mer underhållbar och mindre sannolikt att den skulle gå sönder i produktionen."
Båda dessa resultat ansågs statistiskt signifikanta. När det gäller säkerhet var experimentet ofullständigt.
"Experimentet kunde inte generera meningsfull data som skulle mäta kodsäkerhet", säger rapporten. "Men data tyder på att Copilot inte introducerade några större säkerhetsproblem i koden."
Uppgifterna tyder på att Copilot inte införde några större säkerhetsproblem i koden
Detta kan ha berott på utmaningarnas karaktär, som utformades för att vara tillräckligt korta för att deltagarna skulle kunna slutföra dem tillsammans med sitt vanliga dagliga arbete. Som sådan var de inlämnade utmaningarna ganska korta och lämnade inte mycket utrymme för buggar, konstaterar rapporten.
När det gäller känslor kände de som använde Copilot sig positiva till upplevelsen, men inte så starkt.
"De kände att det hjälpte dem att granska och förstå befintlig kod, skapa dokumentation och testa sin kod; de kände att det gjorde det möjligt för dem att lägga mindre tid på att felsöka sin kod och minskade deras totala utvecklingstid; och de tyckte att förslagen den gav var till viss del hjälpsamma och passade väl in i deras projekts kodningsstandarder”, står det i rapporten.
En spännande upptäckt är att Copilot var den mest användbara för de mest erfarna programmerarna.
"Utvärdering av produktivitet baserad på Python-färdigheter fann att Copilot var fördelaktigt för deltagarna på alla färdighetsnivåer men var till stor hjälp för dem som var "Expert" Python-programmerare, säger studien och tillägger att AI-hjälparen gav mest förbättring (i termer av sparad tid) på svåra uppgifter.
Samtidigt som man observerade att de svagt positiva rekommendationerna från deltagarna indikerar att Copilot kan förbättras ytterligare, stöder rapporten ändå att Copilot sätts in i produktionsarbetsflöden på banken.
"När det här dokumentet skrevs har GitHub Copilot redan sett en betydande användning inom organisationen, med över 1,000 XNUMX användare som använder det i sina arbetsflöden," avslutar rapporten och tillägger att en bredare undersökning av Copilotens produktivitetspåverkan är på gång. ®
Kontrapunkt: AI-assistans leder till lägre källkodskvalitet, forskare hävdar
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- : har
- :är
- :inte
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Able
- Om oss
- tillgång
- ACM
- tillsats
- adresserad
- Antagande
- mot
- AI
- AI-assistent
- algoritmisk
- Justerat
- Alla
- tillåts
- längs
- redan
- också
- Även
- an
- analytics
- och
- vilken som helst
- OMRÅDE
- AS
- bedömas
- bedömning
- Bistånd
- Assistent
- At
- Australien
- genomsnitt
- Bank
- Banking
- baserat
- BE
- varit
- fördelaktigt
- fördel
- Ha sönder
- bredare
- fel
- men
- by
- KAN
- kapacitet
- utmaningar
- cloud
- CO
- koda
- Kodning
- fullborda
- Efterlevnad
- avslutar
- Genomför
- genomfördes
- förening
- Konsekvenser
- Bestående
- innehöll
- kontroll
- upphovsrätt
- Företag
- kunde
- skapa
- dagligen
- datum
- Data Analytics
- datasäkerhet
- datasäkerhet och integritet
- anses
- distribuera
- utformade
- Utvecklare
- Utveckling
- DID
- didn
- dokumentation
- driv
- grund
- effekt
- änden
- godkändes
- påskrifter
- Teknik
- Ingenjörer
- tillräckligt
- Miljö
- utvärdering
- undersöka
- Utom
- befintliga
- erfarenhet
- erfaren
- experimentera
- expert
- ganska
- snabbare
- filt
- färre
- finansiering
- finna
- resultat
- fynd
- Finess
- Firm
- För
- hittade
- fyra
- från
- ytterligare
- generera
- genereras
- generativ
- Generativ AI
- GitHub
- ges
- Grupp
- riktlinjer
- hade
- Hård
- Har
- hjälpa
- hjälpte
- hjälp
- Markerad
- Huset
- Hur ser din drömresa ut
- Men
- HTTPS
- Inverkan
- förbättras
- förbättring
- in
- indikerar
- inneboende
- intellektuella
- immateriella rättigheter
- inre
- Internet
- in
- fängslande
- införa
- Undersökningen
- involverade
- problem
- IT
- DESS
- jpg
- Juli
- leda
- ledande
- Lämna
- Adress
- mindre
- nivåer
- sannolikt
- liten
- Lot
- Louis
- lägre
- Underhållbar
- större
- GÖR
- Maj..
- betyder
- meningsfull
- mäta
- Microsoft
- mer
- mest
- Natur
- Nya
- Nya Zeeland
- Anmärkningar
- nu
- of
- on
- OpenAI
- or
- organisation
- Övriga
- över
- övergripande
- egen
- äger
- Papper
- deltagare
- deltagande
- för
- procent
- plato
- Platon Data Intelligence
- PlatonData
- positiv
- potentiell
- beredning
- Innan
- privatpolicy
- producerad
- Produktion
- produktiv
- produktivitet
- programmerare
- Programmering
- projektet
- egenskapen
- förutsatt
- sätta
- Python
- kvalitet
- höjer
- Minskad
- om
- regulatorer
- Regelefterlevnad
- relaterad
- rapport
- Obligatorisk
- Resultat
- översyn
- risker
- Rum
- s
- Nämnda
- sparade
- säger
- Sök
- säkerhet
- sett
- känsla
- in
- flera
- Kort
- signifikant
- SEX
- skicklighet
- So
- Mjukvara
- något
- eftersträvas
- Källa
- källkod
- spendera
- stapel
- standarder
- Starta
- styrde
- starkt
- studier
- studio
- Läsa på
- lämnats
- sådana
- föreslå
- överraskning
- system
- tackla
- uppgifter
- lag
- Teknologi
- villkor
- testa
- än
- den där
- Smakämnen
- deras
- Dem
- Dessa
- de
- detta
- de
- fastän?
- Genom
- tid
- Titel
- till
- verktyg
- mot
- rättegång
- två
- oklarheter
- förstå
- På gång
- användning
- användbara
- användare
- med hjälp av
- vanliga
- visuell
- var
- vecka
- veckor
- VÄL
- były
- Vad
- som
- medan
- VEM
- med
- inom
- Arbete
- arbetsflöden
- sämre
- skulle
- skrivning
- år
- Zeeland
- zephyrnet