A GitHub Copilot az Australia and New Zealand Banking Group (ANZ Bank) szoftvermérnökeit a termelékenység és a kódminőség javítása felé irányította, és a tesztvezetés elegendő volt ahhoz, hogy a pénzügyi ház bevegye a generatív AI programozási asszisztenst a termelési munkafolyamatokba.
2023. június közepétől az év július végéig a melbourne-i székhelyű ANZ Bank lefolytatta a GitHub Copilot belső próbaverzióját, amelyben a cég 100 mérnöke közül 5,000 vett részt.
A hathetes próba, amely két hét előkészítésből és négy hét kódpróbából állt, azt próbálta megvizsgálni, hogyan vélekednek a résztvevők a GitHub Copilot és a Microsoft Visual Studio Code használatáról, és mérni kívánta az AI-alapú rendszer hatását a programozók termelékenységére. kódminőség és szoftverbiztonság.
A kísérlet eredményeit a jelentést egy olyan címmel, amely egy kicsit finomabbá teheti: „Az AI eszköz hatása a tervezésre az ANZ Banknál, Empirical Study on GitHub Copilot in Corporate Environment.”
A jelentés, amelynek társszerzője Sayan Chatterjee, az ANZ felhőépítésze és Louis Liu, az ANZ mérnöki mesterséges intelligencia és adatelemzési terület vezetője, számos korábbi tanulmányt idéz a Copilot programozási termelékenységről.
egy tanulmány A mostani GitHubot birtokló Microsoft azt találta, hogy a mesterséges intelligencia asszisztenssel történő kódolás több mint 55 százalékkal javította a termelékenységet – ez nem meglepő szállítói felmérések.
Egy ACM/IEEE tanulmány A mesterséges intelligencia segítségével történő programozásnál a robo-asszisztens inkább kompromisszum volt: azt találta, hogy a Copilot több kódot generált, bár a generált szoftver minősége rosszabb volt, mint az ember által épített szoftver.
Az ANZ Bank megpróbálta elkészíteni a saját értékelését, hivatkozva a mesterséges intelligencia termelékenységre gyakorolt lehetséges előnyeire, ugyanakkor elismerte, hogy a technológia „bennük rejlő kockázatokat, bizonytalanságokat és nem szándékos következményeket vet fel a szellemi tulajdon, az adatbiztonság és a magánélet tekintetében”.
Azok a kockázatok – emelte ki a folyamatban lévő szerzői jogi per a GitHub, a Microsoft és az OpenAI ellen a Copiloton keresztül – a tanulmány nem foglalkozik velük, kivéve a szabályozási megfelelésre való rábólintást.
"A kísérlet megkezdése előtt a szellemi tulajdonnal, az adatbiztonsággal és a magánélettel kapcsolatos kockázatokat az ANZ jogi és biztonsági csapataival együtt értékelték, hogy meghatározzák az iránymutatást" - áll a közleményben.
A banki kísérlet azt vizsgálta, hogy a Copilot milyen hatással van: a fejlesztői hangulatra és termelékenységre, valamint a kód minőségére és biztonságára. A résztvevő szoftvermérnököknek, felhőmérnököknek és adatmérnököknek hetente hat algoritmikus kódolási kihívással kellett megküzdeniük Python használatával. A kontrollcsoport tagjai nem használhatták a Copilotot, de kereshettek az interneten vagy használhatták a Stack Overflow-t.
„Az a csoport, amely hozzáfért a GitHub Copilothoz, 42.36 százalékkal gyorsabban tudta elvégezni feladatait, mint a kontrollcsoport résztvevői” – áll a jelentésben. „…A Copilot résztvevői által készített kód átlagosan kevesebb kódszagot és hibát tartalmazott, ami azt jelenti, hogy jobban karbantartható lenne, és kevésbé valószínű, hogy a gyártás során eltörik.”
Mindkét eredményt statisztikailag szignifikánsnak ítélték. Ami a biztonságot illeti, a kísérlet nem volt meggyőző.
„A kísérlet nem tudott értelmes adatokat generálni, amelyek a kód biztonságát mérnék” – áll a jelentésben. "Az adatok azonban arra utalnak, hogy a Copilot nem vezetett be komolyabb biztonsági problémákat a kódban."
Az adatok arra utalnak, hogy a Copilot nem vezetett be komoly biztonsági problémákat a kódba
Ennek oka lehet a kihívások természete, amelyeket úgy terveztek meg, hogy elég rövidek legyenek ahhoz, hogy a résztvevők a szokásos napi munkájukkal együtt teljesíthessék őket. A jelentés megjegyzi, hogy a benyújtott kihívások meglehetősen rövidek voltak, és nem hagytak sok helyet a hibáknak.
Ami a hangulatot illeti, a Copilotot használók pozitívan vélekedtek az élményről, bár nem erősen.
„Úgy érezték, ez segített nekik áttekinteni és megérteni a meglévő kódot, elkészíteni a dokumentációt és tesztelni a kódjukat; úgy érezték, ez lehetővé tette számukra, hogy kevesebb időt töltsenek a kódjuk hibakeresésével, és csökkenti a teljes fejlesztési időt; és úgy érezték, hogy a benne található javaslatok némileg hasznosak voltak, és jól illeszkedtek projektjük kódolási szabványaihoz” – áll a jelentésben.
Az egyik érdekes megállapítás az, hogy a Copilot volt a leghasznosabb a legtapasztaltabb programozók számára.
"A termelékenység Python jártasságon alapuló értékelése azt találta, hogy a Copilot minden készségszinten előnyös volt a résztvevők számára, de leginkább azoknak volt hasznos, akik "szakértő" Python-programozók voltak" - írja a tanulmány, hozzátéve, hogy az AI-segítő nyújtotta a legtöbb javulást (a időt takarított meg) nehéz feladatoknál.
Miközben megfigyelték, hogy a résztvevők enyhén pozitív jóváhagyásai azt jelzik, hogy a Copilot tovább fejleszthető, a jelentés mindazonáltal támogatta a Copilot bevezetését a bank gyártási folyamataiba.
„A dokumentum megírásakor a GitHub Copilot már jelentős mértékben elterjedt a szervezeten belül, és több mint 1,000 felhasználó használja a munkafolyamataiban” – zárul a jelentés, hozzátéve, hogy a Copilot termelékenységre gyakorolt hatásának szélesebb körű vizsgálata folyamatban van. ®
Ellenpont: A mesterséges intelligencia támogatása a forráskód alacsonyabb minőségéhez vezet, kutatók állítják
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :van
- :is
- :nem
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Képes
- Rólunk
- hozzáférés
- ACM
- hozzáadásával
- címzett
- Örökbefogadás
- ellen
- AI
- AI asszisztens
- algoritmikus
- igazított
- Minden termék
- megengedett
- mentén
- már
- Is
- Bár
- an
- analitika
- és a
- bármilyen
- TERÜLET
- AS
- értékelni
- értékelés
- Támogatás
- Helyettes
- At
- Ausztrália
- átlagos
- Bank
- Banking
- alapján
- BE
- óta
- előnyös
- haszon
- szünet
- tágabb
- bogarak
- de
- by
- TUD
- képesség
- kihívások
- felhő
- CO
- kód
- Kódolás
- teljes
- teljesítés
- arra a következtetésre jut
- Magatartás
- lefolytatott
- kötőszó
- Következmények
- Összeáll
- tartalmazott
- ellenőrzés
- copyright
- Társasági
- tudott
- teremt
- napi
- dátum
- Adatelemzés
- adatbiztonság
- adatbiztonság és adatvédelem
- tekinteni
- telepíteni
- tervezett
- Fejlesztő
- Fejlesztés
- DID
- nem
- dokumentáció
- hajtás
- két
- hatás
- végén
- jóváhagyott
- Elismerések
- Mérnöki
- Mérnökök
- elég
- Környezet
- értékelés
- megvizsgálni
- Kivéve
- létező
- tapasztalat
- tapasztalt
- kísérlet
- szakértő
- meglehetősen
- gyorsabb
- hiba
- kevesebb
- finanszíroz
- megtalálása
- megállapítások
- leletek
- Ravaszság
- Cég
- A
- talált
- négy
- ból ből
- további
- generál
- generált
- nemző
- Generatív AI
- GitHub
- adott
- Csoport
- irányelvek
- kellett
- Kemény
- Legyen
- segít
- segített
- hasznos
- Kiemelt
- Ház
- Hogyan
- azonban
- HTTPS
- Hatás
- javított
- javulás
- in
- jelez
- velejáró
- szellemi
- szellemi tulajdon
- belső
- Internet
- bele
- érdekesnek
- bevezet
- vizsgálat
- részt
- kérdések
- IT
- ITS
- jpg
- július
- vezet
- vezető
- Szabadság
- Jogi
- kevesebb
- szintek
- Valószínű
- kis
- Sok
- Louis
- alacsonyabb
- Karbantartható
- fontos
- KÉSZÍT
- Lehet..
- jelenti
- jelentőségteljes
- intézkedés
- microsoft
- több
- a legtöbb
- Természet
- Új
- Új-Zéland
- Megjegyzések
- Most
- of
- on
- OpenAI
- or
- szervezet
- Más
- felett
- átfogó
- saját
- tulajdonosa
- Papír
- résztvevők
- részt vevő
- mert
- százalék
- Plató
- Platón adatintelligencia
- PlatoData
- pozitív
- potenciális
- előkészítés
- Előzetes
- magánélet
- Készült
- Termelés
- termelő
- termelékenység
- programozók
- Programozás
- program
- ingatlan
- feltéve,
- elhelyezés
- Piton
- világítás
- emelés
- Csökkent
- tekintettel
- szabályozók
- Előírásoknak való megfelelés
- összefüggő
- jelentést
- kötelező
- Eredmények
- Kritika
- kockázatok
- Szoba
- s
- Mondott
- mentett
- azt mondja,
- Keresés
- biztonság
- látott
- érzés
- készlet
- számos
- rövid
- jelentős
- SIX
- jártasság
- So
- szoftver
- némileg
- keresett
- forrás
- forráskód
- költ
- verem
- szabványok
- Kezdve
- kormányzott
- erősen
- tanulmányok
- stúdió
- Tanulmány
- benyújtott
- ilyen
- javasol
- meglepetés
- rendszer
- felszerelés
- feladatok
- csapat
- Technológia
- feltételek
- teszt
- mint
- hogy
- A
- azok
- Őket
- Ezek
- ők
- ezt
- azok
- bár?
- Keresztül
- idő
- Cím
- nak nek
- szerszám
- felé
- próba
- kettő
- bizonytalanságok
- megért
- úton
- használ
- hasznos
- Felhasználók
- segítségével
- szokásos
- vizuális
- volt
- hét
- Hetek
- JÓL
- voltak
- Mit
- ami
- míg
- WHO
- val vel
- belül
- Munka
- munkafolyamatok
- rosszabb
- lenne
- írás
- év
- -Zéland
- zephyrnet