GitHub Copilot har styret softwareingeniører hos Australia and New Zealand Banking Group (ANZ Bank) mod forbedret produktivitet og kodekvalitet, og testkørslen var nok til, at finanshuset kunne implementere den generative AI-programmeringsassistent i produktionsarbejdsgange.
Fra midten af juni 2023 til slutningen af juli samme år gennemførte den Melbourne-baserede ANZ Bank et internt forsøg med GitHub Copilot, der involverede 100 af firmaets 5,000 ingeniører.
Det seks uger lange forsøg, bestående af to ugers forberedelse og fire ugers kodeudfordringer, forsøgte at undersøge, hvordan deltagerne havde det med at bruge GitHub Copilot med Microsoft Visual Studio Code og at måle den indflydelse, det AI-baserede system havde på programmørers produktivitet, kodekvalitet og softwaresikkerhed.
Forsøgets resultater er blevet dokumenteret i en indberette med en titel, der kunne bruge lidt mere finesse: "The Impact of AI Tool on Engineering at ANZ Bank, An Empirical Study on GitHub Copilot in Corporate Environment."
Medforfatter af Sayan Chatterjee, cloud-arkitekt hos ANZ, og Louis Liu, ingeniør AI og dataanalyse-kapacitetsområdeleder hos ANZ, citerer rapporten adskillige tidligere undersøgelser om programmeringsproduktivitet med Copilot.
Én studere fra Microsoft, som nu ejer GitHub, fandt kodning med en AI-assistent forbedret produktiviteten med mere end 55 procent - ikke en overraskelse givet andre leverandørundersøgelser.
En ACM/IEEE studere om programmering med AI-hjælp foreslog robo-assistance mere en afvejning: Den fandt ud af, at Copilot genererede mere kode, selvom kvaliteten af genereret software var dårligere end menneskeskabt software.
ANZ Bank forsøgte at udføre sin egen evaluering og citerede den potentielle fordel ved AI på produktiviteten, samtidig med at den anerkendte, at teknologien "hæver iboende risici, usikkerheder og utilsigtede konsekvenser med hensyn til intellektuel ejendomsret, datasikkerhed og privatliv."
Disse risici – fremhævet af igangværende ophavsretssag mod GitHub, Microsoft og OpenAI over Copilot – behandles ikke i undersøgelsen, undtagen som et nik til overholdelse af lovgivningen.
"Før eksperimentet startede, blev risici relateret til intellektuel ejendom, datasikkerhed og privatliv vurderet i samarbejde med ANZ's juridiske og sikkerhedsmæssige teams for at nå frem til et sæt retningslinjer," stod der.
Bankeksperimentet undersøgte, hvilken effekt Copilot har på: Udviklerfølelse og produktivitet, samt kodekvalitet og sikkerhed. Det krævede deltagende softwareingeniører, cloud-ingeniører og dataingeniører at tackle seks algoritmiske kodningsudfordringer om ugen ved hjælp af Python. De i kontrolgruppen måtte ikke bruge Copilot, men fik lov til at søge på internettet eller bruge Stack Overflow.
"Gruppen, der havde adgang til GitHub Copilot, var i stand til at udføre deres opgaver 42.36 procent hurtigere end kontrolgruppedeltagerne," siger rapporten. "...Koden produceret af Copilot-deltagere indeholdt færre kodelugte og fejl i gennemsnit, hvilket betyder, at den ville være mere vedligeholdelsesdygtig og mindre tilbøjelig til at gå i stykker i produktionen."
Begge disse resultater blev anset for statistisk signifikante. Hvad angår sikkerheden, var eksperimentet ikke entydigt.
"Eksperimentet kunne ikke generere meningsfulde data, som kunne måle kodesikkerhed," siger rapporten. "Men dataene tyder på, at Copilot ikke introducerede nogen større sikkerhedsproblemer i koden."
Dataene tyder på, at Copilot ikke introducerede nogen større sikkerhedsproblemer i koden
Dette kan have været på grund af karakteren af udfordringerne, som var designet til at være korte nok til, at deltagerne kunne løse dem sammen med deres sædvanlige daglige arbejde. Som sådan var de indsendte udfordringer ret korte og efterlod ikke meget plads til fejl, bemærker rapporten.
Med hensyn til følelsen følte dem, der brugte Copilot, sig positive over oplevelsen, selvom det ikke var stærkt.
“De følte, at det hjalp dem med at gennemgå og forstå eksisterende kode, skabe dokumentation og teste deres kode; de følte, at det gav dem mulighed for at bruge mindre tid på at fejlsøge deres kode og reducerede deres samlede udviklingstid; og de følte, at de forslag, det gav, var noget hjælpsomme og passede godt til deres projekts kodningsstandarder,” står der i rapporten.
En spændende opdagelse er, at Copilot var den mest nyttige for de mest erfarne programmører.
"Vurdering af produktivitet baseret på Python-færdigheder viste, at Copilot var gavnlig for deltagere på alle færdighedsniveauer, men var mest nyttig for dem, der var 'ekspert' Python-programmører," siger undersøgelsen og tilføjer, at AI-hjælperen gav den største forbedring (i form af sparet tid) på svære opgaver.
Mens man observerer, at de mildt sagt positive påtegninger fra deltagerne indikerer, at Copilot kan forbedres yderligere, støttede rapporten ikke desto mindre, at Copilot sættes ind i produktionsarbejdsgange i banken.
"Som dette papir blev skrevet, har GitHub Copilot allerede oplevet en betydelig adoption i organisationen, med over 1,000 brugere, der bruger det i deres arbejdsgange," konkluderer rapporten og tilføjer, at en bredere undersøgelse af Copilotens produktivitetspåvirkning er undervejs. ®
Kontrapunkt: AI-assistance fører til lavere kildekodekvalitet, forskere hævder
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :har
- :er
- :ikke
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- I stand
- Om
- adgang
- ACM
- tilføje
- rettet
- Vedtagelse
- mod
- AI
- AI assistent
- algoritmisk
- justeret
- Alle
- tilladt
- sammen
- allerede
- også
- Skønt
- an
- analytics
- ,
- enhver
- OMRÅDE
- AS
- vurderes
- vurdering
- Assistance
- Assistant
- At
- Australien
- gennemsnit
- Bank
- Bank
- baseret
- BE
- været
- gavnlig
- gavner det dig
- Pause
- bredere
- bugs
- men
- by
- CAN
- kapacitet
- udfordringer
- Cloud
- CO
- kode
- Kodning
- fuldføre
- Compliance
- konkluderer
- Adfærd
- gennemført
- sammenholdt
- Konsekvenser
- Bestående
- indeholdt
- kontrol
- ophavsret
- Corporate
- kunne
- skabe
- dagligt
- data
- Dataanalyse
- datasikkerhed
- datasikkerhed og privatliv
- anses
- indsætte
- konstrueret
- Udvikler
- Udvikling
- DID
- gjorde ikke
- dokumentation
- køre
- grund
- effekt
- ende
- godkendt
- Påtegninger
- Engineering
- Ingeniører
- nok
- Miljø
- evaluering
- undersøge
- Undtagen
- eksisterende
- erfaring
- erfarne
- eksperiment
- ekspert
- retfærdigt
- hurtigere
- fejl
- færre
- finansiere
- finde
- fund
- fund
- finesse
- Firm
- Til
- fundet
- fire
- fra
- yderligere
- generere
- genereret
- generative
- Generativ AI
- GitHub
- given
- gruppe
- retningslinjer
- havde
- Hård Ost
- Have
- hjælpe
- hjulpet
- hjælpsom
- Fremhævet
- hus
- Hvordan
- Men
- HTTPS
- KIMOs Succeshistorier
- forbedret
- in
- angiver
- iboende
- intellektuel
- intellektuel ejendomsret
- interne
- Internet
- ind
- spændende
- indføre
- undersøgelse
- involverede
- spørgsmål
- IT
- ITS
- jpg
- juli
- føre
- førende
- Forlade
- Politikker
- mindre
- niveauer
- Sandsynlig
- lidt
- Lot
- Louis
- lavere
- Vedligeholdelig
- større
- maerker
- Kan..
- betyder
- meningsfuld
- måle
- microsoft
- mere
- mest
- Natur
- Ny
- New Zealand
- Noter
- nu
- of
- on
- OpenAI
- or
- organisation
- Andet
- i løbet af
- samlet
- egen
- ejer
- Papir
- deltagere
- deltager
- per
- procent
- plato
- Platon Data Intelligence
- PlatoData
- positiv
- potentiale
- forberedelse
- Forud
- Beskyttelse af personlige oplysninger
- produceret
- produktion
- produktiv
- produktivitet
- Programmører
- Programmering
- projekt
- ejendom
- forudsat
- Sætte
- Python
- kvalitet
- rejser
- Reduceret
- om
- lovgivningsmæssige
- Regulatory Compliance
- relaterede
- indberette
- påkrævet
- Resultater
- gennemgå
- risici
- Værelse
- s
- Said
- gemt
- siger
- Søg
- sikkerhed
- set
- stemningen
- sæt
- flere
- Kort
- signifikant
- SIX
- dygtighed
- So
- Software
- noget
- søgte
- Kilde
- kildekode
- tilbringe
- stable
- standarder
- Starter
- styrede
- kraftigt
- undersøgelser
- Studio
- Studere
- indsendt
- sådan
- tyder
- overraskelse
- systemet
- tackle
- opgaver
- hold
- Teknologier
- vilkår
- prøve
- end
- at
- deres
- Them
- Disse
- de
- denne
- dem
- selvom?
- Gennem
- tid
- Titel
- til
- værktøj
- mod
- retssag
- to
- usikkerheder
- forstå
- undervejs
- brug
- nyttigt
- brugere
- ved brug af
- sædvanlig
- visuel
- var
- uge
- uger
- GODT
- var
- Hvad
- som
- mens
- WHO
- med
- inden for
- Arbejde
- arbejdsgange
- værre
- ville
- skrivning
- år
- Sjælland
- zephyrnet