GitHub Copilot on ohjannut Australian ja New Zealand Banking Groupin (ANZ Bank) ohjelmistoinsinöörejä kohti parempaa tuottavuutta ja koodin laatua, ja koeajo riitti rahoitustalolle ottaakseen generatiivisen tekoälyohjelmointiavustajan käyttöön tuotannon työnkulkuissa.
Kesäkuun puolivälistä 2023 saman vuoden heinäkuun loppuun Melbournessa toimiva ANZ Bank suoritti GitHub Copilotin sisäisen kokeilun, johon osallistui 100 yrityksen 5,000 XNUMX insinööristä.
Kuuden viikon kokeilu, joka koostui kahdesta viikosta valmistelusta ja neljän viikon koodihaasteista, pyrki tutkimaan osallistujien mielipiteitä GitHub Copilotin käyttämisestä Microsoft Visual Studio Coden kanssa ja mittaamaan tekoälypohjaisen järjestelmän vaikutusta ohjelmoijien tuottavuuteen. koodin laatu ja ohjelmistoturvallisuus.
Kokeen tulokset on dokumentoitu a raportti jonka otsikko voisi olla hieman hienostuneempi: "Tekoälytyökalun vaikutus suunnitteluun ANZ Bankissa, Empiirinen tutkimus GitHub Copilotista yritysympäristössä."
ANZ:n pilviarkkitehti Sayan Chatterjee ja ANZ:n AI- ja data-analytiikka-alueen johtaja Louis Liu ovat yhdessä kirjoittaneet raportissa, jossa viitataan useisiin aikaisempiin tutkimuksiin ohjelmoinnin tuottavuudesta Copilotin avulla.
yksi opiskella Microsoft, joka nyt omistaa GitHubin, havaitsi, että koodaus tekoälyassistentin kanssa paransi tuottavuutta yli 55 prosenttia – ei mikään yllätys muihin verrattuna. myyjäkyselyt.
ACM/IEEE opiskella Ohjelmoinnissa tekoälyavulla ehdotettiin, että robo-apu oli enemmän kompromissi: Se havaitsi, että Copilot loi enemmän koodia, vaikka tuotetun ohjelmiston laatu oli huonompi kuin ihmisen valmistamien ohjelmistojen.
ANZ Bank pyrki tekemään oman arviointinsa vetoamalla tekoälyn mahdolliseen tuottavuuteen ja myönsi samalla, että tekniikka "lisää luontaisia riskejä, epävarmuustekijöitä ja tahattomia seurauksia immateriaalioikeuksiin, tietoturvaan ja yksityisyyteen."
Nämä riskit – korosti meneillään oleva tekijänoikeusjuttu GitHubia, Microsoftia ja OpenAI:ta vastaan Copilotin kautta – niitä ei käsitellä tutkimuksessa, paitsi viittauksena säännösten noudattamiseen.
"Ennen kokeilun aloittamista immateriaalioikeuksiin, tietoturvaan ja yksityisyyteen liittyvät riskit arvioitiin yhdessä ANZ:n laki- ja turvallisuustiimien kanssa ohjeiden laatimiseksi", se sanoi.
Pankkikokeilussa selvitettiin, mitä vaikutuksia Copilotilla on: kehittäjien mielialaan ja tuottavuuteen sekä koodin laatuun ja turvallisuuteen. Se vaati osallistuvia ohjelmistosuunnittelijoita, pilvi-insinöörejä ja datainsinöörejä käsittelemään kuusi algoritmisen koodauksen haastetta viikossa Pythonin avulla. Vertailuryhmän jäsenet eivät saaneet käyttää Copilotia, mutta he saivat tehdä hakuja Internetistä tai käyttää Stack Overflowa.
"Ryhmä, jolla oli pääsy GitHub Copilotiin, pystyi suorittamaan tehtävänsä 42.36 prosenttia nopeammin kuin kontrolliryhmän osallistujat", raportissa sanotaan. "…Copilot-osallistujien tuottama koodi sisälsi keskimäärin vähemmän koodin hajuja ja bugeja, mikä tarkoittaa, että se olisi helpompi ylläpitää ja rikkoutuisi vähemmän todennäköisemmin tuotannossa."
Molempia tuloksia pidettiin tilastollisesti merkittävinä. Mitä tulee turvallisuuteen, kokeilu oli epäselvä.
"Kokeilu ei voinut tuottaa merkityksellistä dataa, joka mittaisi koodin turvallisuutta", raportti sanoo. "Tiedot kuitenkin viittaavat siihen, että Copilot ei lisännyt koodiin suuria turvallisuusongelmia."
Tiedot viittaavat siihen, että Copilot ei lisännyt koodiin suuria turvallisuusongelmia
Tämä saattoi johtua haasteiden luonteesta, jotka oli suunniteltu riittävän lyhyiksi, jotta osallistujat pystyivät suorittamaan ne tavanomaisen päivittäisen työnsä ohessa. Sellaisenaan lähetetyt haasteet olivat melko lyhyitä eivätkä jättäneet paljon tilaa bugeille, raportissa todetaan.
Mitä tulee tunteeseen, Copilotin käyttäjät suhtautuivat kokemukseen myönteisesti, vaikkakaan eivät niin voimakkaasti.
"He kokivat sen auttavan heitä tarkistamaan ja ymmärtämään olemassa olevaa koodia, luomaan dokumentaatiota ja testaamaan koodiaan; he kokivat, että se antoi heille mahdollisuuden käyttää vähemmän aikaa koodin virheenkorjaukseen ja lyhensi kokonaiskehitysaikaa; ja heidän mielestään sen antamat ehdotukset olivat jonkin verran hyödyllisiä ja sopivat hyvin heidän projektinsa koodausstandardeihin”, raportissa sanotaan.
Yksi kiehtova havainto on, että Copilot oli hyödyllisin kokeneille ohjelmoijille.
"Python-taitoon perustuva tuottavuuden arviointi havaitsi, että Copilot oli hyödyllinen osallistujille kaikilla taitotasoilla, mutta siitä oli eniten apua niille, jotka olivat "asiantuntija" Python-ohjelmoijia", tutkimuksessa todetaan ja lisätään, että tekoälyauttaja teki eniten parannuksia (miten säästää aikaa) vaikeissa tehtävissä.
Raportissa todettiin, että osallistujien lievästi positiiviset suositukset osoittavat, että Copilotia voidaan parantaa edelleen, mutta raportti kuitenkin kannatti Copilotin ottamista osaksi tuotantotyönkulkua pankissa.
"Tämän asiakirjan kirjoittamisesta lähtien GitHub Copilot on jo nähty merkittävässä määrin käyttöönotossa organisaatiossa, ja yli 1,000 XNUMX käyttäjää käyttää sitä työnkuluissaan", raportti päättelee ja lisää, että laajempi tutkimus Copilotin tuottavuuden vaikutuksista on käynnissä. ®
Vastapiste: AI-apu heikentää lähdekoodin laatua, tutkijat väittävät
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :on
- :On
- :ei
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- pystyy
- Meistä
- pääsy
- ACM
- lisää
- osoitettu
- Hyväksyminen
- vastaan
- AI
- AI avustaja
- algoritmi
- linjassa
- Kaikki
- sallittu
- pitkin
- jo
- Myös
- Vaikka
- an
- Analytics
- ja
- Kaikki
- ALUE
- AS
- arvioitu
- arviointi
- Apu
- Avustaja
- At
- Australia
- keskimäärin
- Pankki
- Pankkitoiminta
- perustua
- BE
- ollut
- suotuisa
- hyödyttää
- Tauko
- laajempaa
- Bugs
- mutta
- by
- CAN
- valmiudet
- haasteet
- pilvi
- CO
- koodi
- Koodaus
- täydellinen
- noudattaminen
- päättelee
- Suorittaa
- tehty
- yhdessä
- Seuraukset
- Koostuu
- sisälsi
- ohjaus
- tekijänoikeus
- Yrityksen
- voisi
- luoda
- päivittäin
- tiedot
- Data Analytics
- tietoturva
- tietoturva ja yksityisyys
- katsotaan
- sijoittaa
- suunniteltu
- Kehittäjä
- Kehitys
- DID
- ei tehnyt
- dokumentointi
- ajaa
- kaksi
- vaikutus
- loppu
- hyväksyttiin
- merkintöjen
- Tekniikka
- Engineers
- tarpeeksi
- ympäristö
- arviointi
- tutkia
- Paitsi
- olemassa
- experience
- kokenut
- kokeilu
- asiantuntija
- melko
- nopeampi
- virhe
- vähemmän
- rahoittaa
- löytäminen
- tulokset
- löydöt
- neuvokkuus
- Yritys
- varten
- löytyi
- neljä
- alkaen
- edelleen
- tuottaa
- syntyy
- generatiivinen
- Generatiivinen AI
- GitHub
- tietty
- Ryhmä
- suuntaviivat
- HAD
- Kova
- Olla
- auttaa
- auttanut
- hyödyllinen
- Korostettu
- Talo
- Miten
- Kuitenkin
- HTTPS
- Vaikutus
- parani
- parannus
- in
- osoittaa
- luontainen
- henkinen
- tekijänoikeuksien
- sisäinen
- Internet
- tulee
- kiehtova
- esitellä
- tutkimus
- osallistuva
- kysymykset
- IT
- SEN
- jpg
- heinäkuu
- johtaa
- johtava
- jättää
- juridinen
- vähemmän
- tasot
- Todennäköisesti
- vähän
- Erä
- Ludvig
- alentaa
- Ylläpidettävä
- merkittävä
- TEE
- Saattaa..
- merkitys
- mielekäs
- mitata
- Microsoft
- lisää
- eniten
- luonto
- Uusi
- Uusi Seelanti
- Huomautuksia
- nyt
- of
- on
- OpenAI
- or
- organisaatio
- Muut
- yli
- yleinen
- oma
- omistaa
- Paperi
- osallistujat
- osallistuva
- varten
- prosentti
- Platon
- Platonin tietotieto
- PlatonData
- positiivinen
- mahdollinen
- valmistelu
- Aikaisempi
- yksityisyys
- valmistettu
- tuotanto
- tuottava
- tuottavuus
- Ohjelmoijat
- Ohjelmointi
- projekti
- omaisuus
- mikäli
- Putting
- Python
- laatu
- herättää
- Vähentynyt
- suhteen
- sääntelyn
- Sääntelyn noudattaminen
- liittyvä
- raportti
- tarvitaan
- tulokset
- arviot
- riskit
- Huone
- s
- Said
- tallennettu
- sanoo
- Haku
- turvallisuus
- nähneet
- näkemys
- setti
- useat
- Lyhyt
- merkittävä
- SIX
- taito
- So
- Tuotteemme
- jokseenkin
- pyrittiin
- lähde
- lähdekoodi
- viettää
- pino
- standardit
- Aloita
- ohjataan
- voimakkaasti
- opinnot
- studio
- tutkimus
- toimitettu
- niin
- ehdottaa
- yllätys
- järjestelmä
- puuttua
- tehtävät
- tiimit
- Elektroniikka
- ehdot
- testi
- kuin
- että
- -
- heidän
- Niitä
- Nämä
- ne
- tätä
- ne
- vaikka?
- Kautta
- aika
- Otsikko
- että
- työkalu
- kohti
- oikeudenkäynti
- kaksi
- epävarmuus
- ymmärtää
- käynnissä
- käyttää
- hyödyllinen
- Käyttäjät
- käyttämällä
- tavallinen
- visuaalinen
- oli
- viikko
- viikkoa
- HYVIN
- olivat
- Mitä
- joka
- vaikka
- KUKA
- with
- sisällä
- Referenssit
- työnkulkuja
- huonompi
- olisi
- kirjoittaminen
- vuosi
- Seelanti
- zephyrnet