GitHub Copilot on juhtinud Austraalia ja Uus-Meremaa pangandusgrupi (ANZ Bank) tarkvarainsenere tootlikkuse ja koodikvaliteedi parandamise poole ning proovisõidust piisas, et finantsmaja saaks kasutusele võtta generatiivse AI programmeerimisassistendi tootmise töövoogudes.
2023. aasta juuni keskpaigast kuni sama aasta juuli lõpuni viis Melbourne'is asuv ANZ pank läbi GitHub Copiloti sisemise katse, milles osales 100 ettevõtte 5,000 insenerist.
Kuuenädalane katse, mis koosnes kahenädalasest ettevalmistusest ja neljanädalastest koodiväljakutsetest, püüdis uurida, kuidas osalejad suhtuvad GitHub Copiloti kasutamisesse Microsoft Visual Studio koodiga, ning mõõta AI-põhise süsteemi mõju programmeerijate tootlikkusele. koodi kvaliteet ja tarkvara turvalisus.
Katse tulemused on dokumenteeritud a aru pealkirjaga, mis võiks olla veidi peenem: "AI tööriista mõju ANZ panga inseneritööle, empiiriline uuring GitHubi kopiloodi kohta ettevõtte keskkonnas."
Aruandes, mille autoriteks on ANZ pilvearhitekt Sayan Chatterjee ja ANZi tehisintellekti ja andmeanalüütika valdkonna juht Louis Liu, viidatakse mitmele varasemale uuringule Copiloti programmeerimise produktiivsuse kohta.
Üks õppima Microsoft, mis nüüd omab GitHubi, leidis, et AI-assistendiga kodeerimine parandas tootlikkust enam kui 55 protsenti – see pole üllatus, arvestades teisi tarnijate uuringud.
ACM/IEEE õppima AI-abiga programmeerimisel soovitas robo-abi pigem kompromiss: leiti, et Copilot genereeris rohkem koodi, kuigi loodud tarkvara kvaliteet oli halvem kui inimese loodud tarkvara.
ANZ Bank püüdis läbi viia oma hinnangu, viidates tehisintellekti potentsiaalsele kasule tootlikkusele, tunnistades samas, et tehnoloogia "tõstab loomupäraseid riske, ebakindlust ja tahtmatuid tagajärgi seoses intellektuaalomandi, andmeturbe ja privaatsusega."
Need riskid – esile tõstetud käimasolev autoriõiguse kohtuasi GitHubi, Microsofti ja OpenAI vastu Copiloti kaudu – neid uuringus ei käsitleta, välja arvatud regulatiivsele vastavusele viitamiseks.
"Enne eksperimendi alustamist hinnati intellektuaalomandi, andmeturbe ja privaatsusega seotud riske koos ANZ õigus- ja turvameeskondadega, et jõuda juhiste komplekti," ütles ta.
Pangaeksperimendis uuriti, millist mõju avaldab Copilot: arendaja meeleolule ja tootlikkusele, samuti koodi kvaliteedile ja turvalisusele. Osalevad tarkvarainsenerid, pilve- ja andmeinsenerid pidid Pythoni abil lahendama kuus algoritmilise kodeerimise väljakutset nädalas. Kontrollrühma kuulujad ei tohtinud kasutada Copiloti, kuid neil lubati Internetist otsida või kasutada Stack Overflow.
"Rühm, kellel oli juurdepääs GitHub Copilotile, suutis oma ülesanded täita 42.36 protsenti kiiremini kui kontrollrühma osalejad," öeldakse aruandes. "...Copiloti osalejate toodetud kood sisaldas keskmiselt vähem koodilõhna ja -vigu, mis tähendab, et see oleks paremini hooldatav ja vähem tõenäoline, et see puruneks tootmises."
Mõlemaid tulemusi peeti statistiliselt olulisteks. Mis puutub turvalisusesse, siis katse ei andnud tulemusi.
"Eksperiment ei suutnud genereerida sisulisi andmeid, mis mõõdaksid koodi turvalisust," öeldakse aruandes. "Andmed viitavad siiski sellele, et Copilot ei lisanud koodi suuri turvaprobleeme."
Andmed viitavad sellele, et Copilot ei toonud koodi suuri turvaprobleeme
See võis olla tingitud väljakutsete olemusest, mis oli kavandatud olema piisavalt lühike, et osalejad saaksid need täita koos oma tavapärase igapäevatööga. Sellisena olid esitatud väljakutsed üsna lühikesed ega jätnud vigadele palju ruumi, märgitakse aruandes.
Seoses meeleoluga suhtusid Copiloti kasutajad kogemusse positiivselt, kuigi mitte tugevalt.
„Nad arvasid, et see aitas neil olemasolevat koodi üle vaadata ja mõista, dokumentatsiooni koostada ja oma koodi testida; nad arvasid, et see võimaldas neil kulutada vähem aega oma koodi silumisele ja vähendas üldist arendusaega; ja nad tundsid, et selle pakutud soovitused olid mõnevõrra kasulikud ja sobisid hästi nende projekti kodeerimisstandarditega, ”ütleb aruanne.
Üks intrigeeriv avastus on see, et Copilot oli kõige kogenumatele programmeerijatele kõige kasulikum.
"Pythoni oskustel põhinev tootlikkuse hindamine näitas, et Copilot oli kasulik osalejatele kõigil oskustasemetel, kuid oli kõige kasulikum neile, kes olid "ekspertid" Pythoni programmeerijad," öeldakse uuringus ja lisatakse, et tehisintellekti abistaja andis kõige rohkem edusamme (mis puudutab säästetud aega) raskete ülesannete puhul.
Täheldades, et osalejate kergelt positiivsed kinnitused näitavad, et Copiloti saab veelgi täiustada, toetati aruandes siiski Copiloti kasutuselevõttu panga tootmisprotsessidesse.
"Selle artikli kirjutamise seisuga on GitHub Copilot organisatsioonis juba märkimisväärselt kasutusele võetud, kusjuures üle 1,000 kasutaja kasutab seda oma töövoogudes," järeldab aruanne, lisades, et käimas on Copiloti tootlikkuse mõju laiem uurimine. ®
Vastupunkt: AI abi toob kaasa madalama lähtekoodi kvaliteedi, teadlased väidavad
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :on
- :on
- :mitte
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Võimalik
- MEIST
- juurdepääs
- ACM
- lisades
- adresseeritud
- Vastuvõtmine
- vastu
- AI
- AI assistent
- algoritmiline
- joondatud
- Materjal: BPA ja flataatide vaba plastik
- lubatud
- mööda
- juba
- Ka
- Kuigi
- an
- analytics
- ja
- mistahes
- PIIRKOND
- AS
- hinnatud
- hindamine
- Abi
- assistent
- At
- Austraalia
- keskmine
- Pank
- Pangandus
- põhineb
- BE
- olnud
- kasulik
- kasu
- Murdma
- laiem
- vead
- kuid
- by
- CAN
- võime
- väljakutseid
- Cloud
- CO
- kood
- Kodeerimine
- täitma
- Vastavus
- järeldab
- Läbi viima
- läbi
- koos
- Tagajärjed
- Koosneb
- sisaldub
- kontrollida
- autoriõigus
- Korporatiivne
- võiks
- looma
- iga päev
- andmed
- Andmete analüüs
- andmekaitse
- andmete turvalisus ja privaatsus
- loetakse
- juurutada
- kavandatud
- arendaja
- & Tarkvaraarendus
- DID
- ei teinud
- dokumentatsioon
- ajam
- kaks
- mõju
- lõpp
- kinnitatud
- Kinnitused
- Inseneriteadus
- Inseneride
- piisavalt
- keskkond
- hindamine
- uurima
- Välja arvatud
- olemasolevate
- kogemus
- kogenud
- eksperiment
- ekspert
- õiglaselt
- kiiremini
- viga
- vähem
- rahastama
- leidmine
- järeldused
- leiab
- Finesse
- Firma
- eest
- avastatud
- neli
- Alates
- edasi
- tekitama
- loodud
- generatiivne
- Generatiivne AI
- GitHub
- antud
- Grupp
- suunised
- olnud
- Raske
- Olema
- aitama
- aitas
- kasulik
- Esiletõstetud
- maja
- Kuidas
- aga
- HTTPS
- mõju
- paranenud
- paranemine
- in
- näitama
- omane
- intellektuaalne
- intellektuaalomandi
- sisemine
- Internet
- sisse
- intrigeeriv
- kehtestama
- uurimine
- seotud
- küsimustes
- IT
- ITS
- jpg
- Juuli
- viima
- juhtivate
- Lahkuma
- Õigus
- vähem
- taset
- Tõenäoliselt
- vähe
- Partii
- Louis
- vähendada
- Hooldatav
- peamine
- TEEB
- mai..
- tähendus
- tähendusrikas
- mõõtma
- Microsoft
- rohkem
- kõige
- loodus
- Uus
- Uus-Meremaa
- märkused
- nüüd
- of
- on
- OpenAI
- or
- organisatsioon
- Muu
- üle
- üldine
- enda
- omab
- Paber
- osalejad
- osalevad
- kohta
- protsent
- Platon
- Platoni andmete intelligentsus
- PlatoData
- positiivne
- potentsiaal
- ettevalmistamine
- Eelnev
- privaatsus
- Toodetud
- Produktsioon
- produktiivne
- tootlikkus
- Programmeerijad
- Programming
- projekt
- kinnisvara
- tingimusel
- Putting
- Python
- kvaliteet
- tõstab
- Lühendatud
- kohta
- regulatiivne
- nõuetele vastavuse
- seotud
- aru
- nõutav
- Tulemused
- läbi
- riskide
- ruum
- s
- Ütlesin
- salvestatud
- ütleb
- Otsing
- turvalisus
- nähtud
- tunne
- komplekt
- mitu
- Lühike
- märkimisväärne
- SIX
- oskus
- So
- tarkvara
- mõnevõrra
- otsisin
- allikas
- lähtekoodi
- kulutama
- Kestab
- standardite
- Käivitus
- suunasid
- tugevalt
- uuringud
- stuudio
- Uuring
- esitatud
- selline
- soovitama
- üllatus
- süsteem
- lahendada
- ülesanded
- meeskonnad
- Tehnoloogia
- tingimused
- test
- kui
- et
- .
- oma
- Neile
- Need
- nad
- see
- need
- kuigi?
- Läbi
- aeg
- Kapslid
- et
- tööriist
- suunas
- kohtuprotsess
- kaks
- ebakindlus
- mõistma
- Käimas
- kasutama
- kasulik
- Kasutajad
- kasutamine
- tavaline
- visuaalne
- oli
- nädal
- nädalat
- Hästi
- olid
- M
- mis
- kuigi
- WHO
- koos
- jooksul
- Töö
- Töövoogud
- halvem
- oleks
- kirjutamine
- aasta
- Meremaa
- sephyrnet