GitHub Copilot je usmerjal programske inženirje v avstralski in novozelandski bančni skupini (ANZ Bank) k izboljšani produktivnosti in kakovosti kode, testna vožnja pa je bila dovolj, da je finančna hiša uvedla generativnega pomočnika za programiranje AI v delovnih tokovih proizvodnje.
Od sredine junija 2023 do konca julija istega leta je banka ANZ s sedežem v Melbournu izvedla interno preskušanje GitHub Copilot, ki je vključevalo 100 od 5,000 inženirjev podjetja.
Šesttedenski preizkus, sestavljen iz dveh tednov priprav in štirih tednov izzivov s kodo, je poskušal preučiti, kako se udeleženci počutijo glede uporabe GitHub Copilot z Microsoft Visual Studio Code in izmeriti vpliv, ki ga je imel sistem, ki temelji na AI, na produktivnost programerjev, kakovost kode in varnost programske opreme.
Ugotovitve poskusa so dokumentirane v a poročilo z naslovom, ki bi lahko uporabil malo več finosti: "Vpliv orodja AI na inženiring pri banki ANZ, empirična študija o kopilotu GitHub v korporativnem okolju."
Poročilo, ki sta ga soavtorja Sayan Chatterjee, arhitekt oblaka pri ANZ, in Louis Liu, inženirski vodja področja umetne inteligence in analitike podatkov pri ANZ, navaja več predhodnih študij o produktivnosti programiranja s Copilotom.
One študija Microsoft, ki ima zdaj v lasti GitHub, je ugotovil, da je kodiranje s pomočnikom AI izboljšalo produktivnost za več kot 55 odstotkov – kar ni presenečenje glede na druge ankete prodajalcev.
ACM/IEEE študija o programiranju s pomočjo umetne inteligence je predlagal, da je bila robotska pomoč bolj kompromis: Ugotovljeno je bilo, da je Copilot ustvaril več kode, čeprav je bila kakovost ustvarjene programske opreme slabša od programske opreme, ki jo je ustvaril človek.
Banka ANZ je skušala izvesti lastno oceno, pri čemer je navedla potencialno korist umetne inteligence za produktivnost, obenem pa je priznala, da tehnologija "povzroča inherentna tveganja, negotovosti in nenamerne posledice v zvezi z intelektualno lastnino, varnostjo podatkov in zasebnostjo."
Ta tveganja – ki jih poudarja tožba zaradi avtorskih pravic v teku proti GitHubu, Microsoftu in OpenAI prek Copilota – niso obravnavani v študiji, razen kot naklon k skladnosti s predpisi.
"Pred začetkom eksperimenta so bila tveganja, povezana z intelektualno lastnino, varnostjo podatkov in zasebnostjo, ocenjena v povezavi s pravnimi in varnostnimi ekipami ANZ, da bi prišli do niza smernic," je dejal.
Bančni poskus je preučil, kakšen učinek ima Copilot na: razpoloženje in produktivnost razvijalcev ter kakovost in varnost kode. Od sodelujočih programskih inženirjev, inženirjev v oblaku in podatkovnih inženirjev je zahtevalo, da se spopadejo s šestimi izzivi algoritemskega kodiranja na teden z uporabo Pythona. Tisti v kontrolni skupini niso smeli uporabljati Copilot-a, vendar so lahko iskali po internetu ali uporabljali Stack Overflow.
»Skupina, ki je imela dostop do GitHub Copilot, je svoje naloge lahko opravila 42.36 odstotka hitreje kot udeleženci kontrolne skupine,« piše v poročilu. "... Koda, ki so jo izdelali udeleženci Copilota, je v povprečju vsebovala manj vonjav kode in hroščev, kar pomeni, da bi jo bilo lažje vzdrževati in manj verjetno, da bi se zlomila v proizvodnji."
Oba rezultata sta bila ocenjena kot statistično pomembna. Kar zadeva varnost, poskus ni bil dokončen.
"Poskus ni mogel ustvariti pomembnih podatkov, ki bi merili varnost kode," piše v poročilu. "Vendar pa podatki kažejo, da Copilot v kodo ni vnesel večjih varnostnih težav."
Podatki kažejo, da Copilot v kodo ni vnesel večjih varnostnih težav
To je morda posledica narave izzivov, ki so bili zasnovani tako, da so bili dovolj kratki, da so jih udeleženci lahko opravili skupaj z običajnim dnevnim delom. Kot taki so bili predloženi izzivi dokaj kratki in niso puščali veliko prostora za napake, ugotavlja poročilo.
Kar zadeva razpoloženje, so se tisti, ki uporabljajo Copilot, počutili pozitivno glede izkušnje, čeprav ne preveč.
»Menili so, da jim je pomagal pregledati in razumeti obstoječo kodo, ustvariti dokumentacijo in preizkusiti svojo kodo; menili so, da jim omogoča, da porabijo manj časa za razhroščevanje svoje kode in skrajšujejo njihov splošni razvojni čas; in menili so, da so bili predlogi, ki jih je zagotovil, nekoliko koristni in dobro usklajeni s standardi kodiranja njihovega projekta,« piše v poročilu.
Ena zanimiva ugotovitev je, da je bil Copilot najbolj uporaben za najbolj izkušene programerje.
»Ocena produktivnosti na podlagi znanja Pythona je pokazala, da je bil Copilot koristen za udeležence na vseh ravneh spretnosti, vendar je bil najbolj koristen za tiste, ki so bili 'izkušeni' programerji Pythona,« pravi študija in dodaja, da je pomočnik AI zagotovil največ izboljšav (v smislu prihranek časa) pri težkih nalogah.
Medtem ko ugotavlja, da rahlo pozitivna odobritev udeležencev kaže, da je Copilot mogoče še izboljšati, poročilo kljub temu podpira vključitev Copilota v proizvodne delovne tokove v banki.
»Od pisanja tega prispevka je bil GitHub Copilot že precej sprejet v organizaciji, saj ga je več kot 1,000 uporabnikov uporabljalo v svojih delovnih tokovih,« zaključuje poročilo in dodaja, da je v teku širša preiskava vpliva Copilota na produktivnost. ®
Kontrapunkt: Pomoč AI vodi v nižjo kakovost izvorne kode, trdijo raziskovalci
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :ima
- : je
- :ne
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Sposobna
- O meni
- dostop
- ACM
- dodajanje
- naslovljena
- Sprejetje
- proti
- AI
- Pomočnik AI
- algoritmični
- poravnano
- vsi
- dovoljene
- skupaj
- že
- Prav tako
- Čeprav
- an
- analitika
- in
- kaj
- OBMOČJE
- AS
- ocenili
- ocenjevanje
- pomoč
- Pomočnik
- At
- Avstralija
- povprečno
- Banka
- Bančništvo
- temeljijo
- BE
- bilo
- koristno
- koristi
- Break
- širši
- hrošči
- vendar
- by
- CAN
- zmožnost
- izzivi
- Cloud
- CO
- Koda
- Kodiranje
- dokončanje
- skladnost
- zaključuje
- Ravnanje
- poteka
- veznik
- Posledice
- Sestavljeno
- vseboval
- nadzor
- avtorske pravice
- Corporate
- bi
- ustvarjajo
- vsak dan
- datum
- Podatkovna analiza
- Varovanje podatkov
- varnost podatkov in zasebnost
- šteje
- razporedi
- zasnovan
- Razvojni
- Razvoj
- DID
- ni
- Dokumentacija
- pogon
- 2
- učinek
- konec
- potrjeno
- Zaveze
- Inženiring
- Inženirji
- dovolj
- okolje
- Ocena
- preučiti
- Razen
- obstoječih
- izkušnje
- izkušen
- poskus
- strokovnjak
- pošteno
- hitreje
- Napaka
- manj
- financiranje
- iskanje
- Ugotovitve
- najdbe
- Finesse
- Firm
- za
- je pokazala,
- štiri
- iz
- nadalje
- ustvarjajo
- ustvarila
- generativno
- Generativna AI
- GitHub
- dana
- skupina
- Smernice
- imel
- Trdi
- Imajo
- pomoč
- pomagal
- pomoč
- Poudarjeno
- Hiša
- Kako
- Vendar
- HTTPS
- vpliv
- izboljšalo
- Izboljšanje
- in
- Navedite
- inherentno
- intelektualne
- intelektualne lastnine
- notranji
- Internet
- v
- intrigantno
- uvesti
- preiskava
- vključeni
- Vprašanja
- IT
- ITS
- jpg
- julij
- vodi
- vodi
- pustite
- Pravne informacije
- manj
- ravni
- Verjeten
- malo
- Sklop
- Louis
- nižje
- Vzdrževalno
- velika
- IZDELA
- Maj ..
- kar pomeni,
- smiselna
- merjenje
- Microsoft
- več
- Najbolj
- Narava
- Novo
- Nova Zelandija
- Opombe
- zdaj
- of
- on
- OpenAI
- or
- Organizacija
- Ostalo
- več
- Splošni
- lastne
- lastnik
- Papir
- Udeleženci
- sodelujejo
- za
- odstotkov
- platon
- Platonova podatkovna inteligenca
- PlatoData
- pozitiven
- potencial
- Priprava
- Predhodna
- zasebnost
- Proizvedeno
- proizvodnja
- produktivno
- produktivnost
- Programerji
- Programiranje
- Projekt
- nepremičnine
- če
- Dajanje
- Python
- kakovost
- povečuje
- Zmanjšana
- o
- regulatorni
- Skladnost z zakonodajo
- povezane
- poročilo
- obvezna
- Rezultati
- pregleda
- tveganja
- soba
- s
- Je dejal
- shranjena
- pravi
- Iskalnik
- varnost
- videl
- sentiment
- nastavite
- več
- Kratke Hlače
- pomemben
- SIX
- spretnost
- So
- Software
- nekoliko
- Predlogi
- vir
- Izvorna koda
- preživeti
- sveženj
- standardi
- Začetek
- krmiljen
- Močno
- Študije
- studio
- študija
- predložen
- taka
- predlagajte
- presenečenje
- sistem
- reševanje
- Naloge
- Skupine
- Tehnologija
- Pogoji
- Test
- kot
- da
- O
- njihove
- Njih
- te
- jih
- ta
- tisti,
- čeprav?
- skozi
- čas
- Naslov
- do
- orodje
- proti
- sojenje
- dva
- negotovosti
- razumeli
- V teku
- uporaba
- koristno
- Uporabniki
- uporabo
- običajno
- vizualna
- je
- teden
- Weeks
- Dobro
- so bili
- Kaj
- ki
- medtem
- WHO
- z
- v
- delo
- delovnih tokov
- slabše
- bi
- pisanje
- leto
- Zelandija
- zefirnet