GitHub Copilot har styrt programvareingeniører ved Australia and New Zealand Banking Group (ANZ Bank) mot forbedret produktivitet og kodekvalitet, og testkjøringen var nok for finanshuset til å distribuere den generative AI-programmeringsassistenten i produksjonsarbeidsflyter.
Fra midten av juni 2023 til slutten av juli samme år gjennomførte den Melbourne-baserte ANZ Bank en intern prøveversjon av GitHub Copilot som involverte 100 av firmaets 5,000 ingeniører.
Den seks uker lange prøveperioden, bestående av to uker med forberedelse og fire uker med kodeutfordringer, søkte å undersøke hvordan deltakerne følte seg om å bruke GitHub Copilot med Microsoft Visual Studio Code og å måle effekten det AI-baserte systemet hadde på programmerernes produktivitet, kodekvalitet og programvaresikkerhet.
Forsøkets funn er dokumentert i en rapporterer med en tittel som kunne trenge litt mer finesse: "The Impact of AI Tool on Engineering at ANZ Bank, An Empirical Study on GitHub Copilot in Corporate Environment."
Medforfatter av Sayan Chatterjee, skyarkitekt ved ANZ, og Louis Liu, leder for ingeniør-AI og dataanalysefunksjonalitet ved ANZ, siterer rapporten flere tidligere studier om programmeringsproduktivitet med Copilot.
En studere fra Microsoft, som nå eier GitHub, fant koding med en AI-assistent forbedret produktiviteten med mer enn 55 prosent – ikke en overraskelse gitt andre leverandørundersøkelser.
En ACM/IEEE studere på programmering med AI-hjelp antydet robo-assistanse mer en avveining: Den fant ut at Copilot genererte mer kode, selv om kvaliteten på generert programvare var dårligere enn menneskeskapt programvare.
ANZ Bank forsøkte å gjennomføre sin egen evaluering, med henvisning til den potensielle fordelen med AI på produktivitet, samtidig som den erkjente at teknologien «reiser iboende risiko, usikkerhet og utilsiktede konsekvenser angående intellektuell eiendom, datasikkerhet og personvern».
Disse risikoene – fremhevet av pågående opphavsrettssøksmål mot GitHub, Microsoft og OpenAI over Copilot – tas ikke opp i studien, bortsett fra som et nikk til regelverksoverholdelse.
"Før eksperimentet startet, ble risiko knyttet til åndsverk, datasikkerhet og personvern vurdert i samarbeid med ANZs juridiske og sikkerhetsteam for å komme frem til et sett med retningslinjer," heter det.
Bankeksperimentet undersøkte hvilken effekt Copilot har på: Utviklersentiment og produktivitet, samt kodekvalitet og sikkerhet. Det krevde deltakende programvareingeniører, skyingeniører og dataingeniører å takle seks algoritmiske kodingsutfordringer per uke ved å bruke Python. De i kontrollgruppen fikk ikke bruke Copilot, men de fikk søke på internett eller bruke Stack Overflow.
"Gruppen som hadde tilgang til GitHub Copilot var i stand til å fullføre oppgavene sine 42.36 prosent raskere enn kontrollgruppedeltakerne," heter det i rapporten. "...Koden produsert av Copilot-deltakere inneholdt færre kodelukter og feil i gjennomsnitt, noe som betyr at den ville være mer vedlikeholdbar og mindre sannsynlig å gå i stykker i produksjonen."
Begge disse resultatene ble ansett som statistisk signifikante. Når det gjelder sikkerhet, var eksperimentet ikke entydig.
"Eksperimentet kunne ikke generere meningsfulle data som ville måle kodesikkerhet," heter det i rapporten. "Men dataene tyder på at Copilot ikke introduserte noen større sikkerhetsproblemer i koden."
Dataene tyder på at Copilot ikke introduserte noen større sikkerhetsproblemer i koden
Dette kan ha vært på grunn av utfordringenes natur, som ble designet for å være korte nok til at deltakerne kunne fullføre dem sammen med sitt vanlige daglige arbeid. Som sådan var de innsendte utfordringene ganske korte og ga ikke mye rom for feil, bemerker rapporten.
Når det gjelder følelser, følte de som brukte Copilot seg positive til opplevelsen, men ikke sterkt.
«De følte at det hjalp dem med å gjennomgå og forstå eksisterende kode, lage dokumentasjon og teste koden deres; de følte at det tillot dem å bruke mindre tid på å feilsøke koden sin og reduserte den totale utviklingstiden; og de følte at forslagene den ga var litt nyttige og passet godt med prosjektets kodestandarder,» heter det i rapporten.
Et spennende funn er at Copilot var den mest nyttige for de mest erfarne programmererne.
«Vurdering av produktivitet basert på Python-ferdigheter fant at Copilot var fordelaktig for deltakere på alle ferdighetsnivåer, men var mest nyttig for de som var «ekspert» Python-programmerere», heter det i studien, og legger til at AI-hjelperen ga mest forbedring (i form av tid spart) på vanskelige oppgaver.
Selv om man observerte at de mildt sagt positive anbefalingene fra deltakerne indikerer at Copilot kan forbedres ytterligere, støttet rapporten likevel å sette Copilot inn i produksjonsarbeidsflytene i banken.
"Som dette papiret ble skrevet, har GitHub Copilot allerede sett betydelig bruk i organisasjonen, med over 1,000 brukere som bruker det i arbeidsflytene sine," konkluderer rapporten, og legger til at en bredere undersøkelse av Copilotens produktivitetspåvirkning er i gang. ®
Kontrapunkt: AI-hjelp fører til lavere kildekodekvalitet, forskere hevder
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- : har
- :er
- :ikke
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- I stand
- Om oss
- adgang
- ACM
- legge
- adressert
- Adopsjon
- mot
- AI
- AI-assistent
- algoritmisk
- justert
- Alle
- tillatt
- langs
- allerede
- også
- Selv
- an
- analytics
- og
- noen
- AREA
- AS
- vurderes
- evaluering
- Assistanse
- Assistent
- At
- Australia
- gjennomsnittlig
- Bank
- Banking
- basert
- BE
- vært
- gunstig
- nytte
- Break
- bredere
- bugs
- men
- by
- CAN
- evne
- utfordringer
- Cloud
- CO
- kode
- Koding
- fullføre
- samsvar
- konkluderer
- Gjennomføre
- gjennomført
- sammen
- Konsekvenser
- Består
- inneholdt
- kontroll
- copyright
- Bedriftens
- kunne
- skape
- daglig
- dato
- Data Analytics
- datasikkerhet
- datasikkerhet og personvern
- anses
- utplassere
- designet
- Utvikler
- Utvikling
- gJORDE
- gjorde ikke
- dokumentasjon
- stasjonen
- to
- effekt
- slutt
- godkjent
- påtegninger
- Ingeniørarbeid
- Ingeniører
- nok
- Miljø
- evaluering
- undersøke
- Unntatt
- eksisterende
- erfaring
- erfaren
- eksperiment
- Expert
- ganske
- raskere
- feil
- færre
- finansiere
- finne
- funn
- funn
- finesse
- Firm
- Til
- funnet
- fire
- fra
- videre
- generere
- generert
- generative
- Generativ AI
- GitHub
- gitt
- Gruppe
- retningslinjer
- HAD
- Hard
- Ha
- hjelpe
- hjulpet
- nyttig
- Fremhevet
- hus
- Hvordan
- Men
- HTTPS
- Påvirkning
- forbedret
- forbedring
- in
- indikerer
- iboende
- intellektuell
- intellektuell eiendom
- intern
- Internet
- inn
- fascinerende
- introdusere
- etterforskning
- involvert
- saker
- IT
- DET ER
- jpg
- Juli
- føre
- ledende
- Permisjon
- Lovlig
- mindre
- nivåer
- Sannsynlig
- lite
- Lot
- Louis
- lavere
- Vedlikeholdbar
- større
- GJØR AT
- Kan..
- betyr
- meningsfylt
- måle
- Microsoft
- mer
- mest
- Natur
- Ny
- New Zealand
- Merknader
- nå
- of
- on
- OpenAI
- or
- organisasjon
- Annen
- enn
- samlet
- egen
- eier
- Papir
- deltakere
- deltakende
- for
- prosent
- plato
- Platon Data Intelligence
- PlatonData
- positiv
- potensiell
- forberedelse
- Før
- privatliv
- produsert
- Produksjon
- produktiv
- produktivitet
- programmerere
- Programmering
- prosjekt
- eiendom
- forutsatt
- Sette
- Python
- kvalitet
- hever
- Redusert
- om
- regulatorer
- Overholdelse av regelverk
- i slekt
- rapporterer
- påkrevd
- Resultater
- anmeldelse
- risikoer
- rom
- s
- Sa
- lagret
- sier
- Søk
- sikkerhet
- sett
- sentiment
- sett
- flere
- Kort
- signifikant
- SIX
- ferdighet
- So
- Software
- noe
- ettertraktet
- kilde
- kildekoden
- bruke
- stable
- standarder
- Start
- styrt
- sterk
- studier
- studio
- Studer
- innsendt
- slik
- foreslår
- overraskelse
- system
- takle
- oppgaver
- lag
- Teknologi
- vilkår
- test
- enn
- Det
- De
- deres
- Dem
- Disse
- de
- denne
- De
- selv om?
- Gjennom
- tid
- Tittel
- til
- verktøy
- mot
- prøve
- to
- usikkerheter
- forstå
- underveis
- bruke
- nyttig
- Brukere
- ved hjelp av
- vanlig
- visuell
- var
- uke
- uker
- VI VIL
- var
- Hva
- hvilken
- mens
- HVEM
- med
- innenfor
- Arbeid
- arbeidsflyt
- verre
- ville
- skriving
- år
- Zealand
- zephyrnet