GitHub Copilot heeft software-ingenieurs bij de Australia and New Zealand Banking Group (ANZ Bank) gestuurd naar verbeterde productiviteit en codekwaliteit, en de testrit was genoeg voor het financiรซle huis om de generatieve AI-programmeerassistent in productieworkflows in te zetten.
Van half juni 2023 tot eind juli van dat jaar voerde de in Melbourne gevestigde ANZ Bank een interne proef uit met GitHub Copilot, waarbij 100 van de 5,000 ingenieurs van het bedrijf betrokken waren.
De proefperiode van zes weken, bestaande uit twee weken voorbereiding en vier weken code-uitdagingen, was bedoeld om te onderzoeken hoe deelnemers dachten over het gebruik van GitHub Copilot met Microsoft Visual Studio Code en om de impact te meten die het op AI gebaseerde systeem had op de productiviteit van programmeurs. codekwaliteit en softwarebeveiliging.
De bevindingen van het experiment zijn gedocumenteerd in een verslag met een titel die wat meer finesse zou kunnen gebruiken: โThe Impact of AI Tool on Engineering at ANZ Bank, An Empirical Study on GitHub Copilot binnen Corporate Environment.โ
Het rapport, dat mede is geschreven door Sayan Chatterjee, cloudarchitect bij ANZ, en Louis Liu, engineering AI en data analytics-capability area lead bij ANZ, citeert verschillende eerdere onderzoeken naar programmeerproductiviteit met Copilot.
One studies van Microsoft, dat nu eigenaar is van GitHub, ontdekte dat coderen met een AI-assistent de productiviteit met meer dan 55 procent verbeterde โ geen verrassing gezien andere onderzoeken van leveranciers.
Een ACM/IEEE studies over programmeren met AI-hulp suggereerde dat robo-assistentie meer een afweging was: het ontdekte dat Copilot meer code genereerde, hoewel de kwaliteit van de gegenereerde software slechter was dan die van door mensen gebouwde software.
ANZ Bank probeerde haar eigen evaluatie uit te voeren, daarbij verwijzend naar het potentiรซle voordeel van AI op de productiviteit en tegelijkertijd te erkennen dat de technologie โinherente risicoโs, onzekerheden en onbedoelde gevolgen met zich meebrengt met betrekking tot intellectueel eigendom, gegevensbeveiliging en privacy.โ
Deze risico's โ benadrukt door de lopende auteursrechtzaak tegen GitHub, Microsoft en OpenAI via Copilot โ komen in het onderzoek niet aan bod, behalve als een knipoog naar de naleving van de regelgeving.
โVoordat het experiment werd gestart, werden de risicoโs met betrekking tot intellectueel eigendom, gegevensbeveiliging en privacy beoordeeld in samenwerking met de juridische en beveiligingsteams van ANZ om tot een reeks richtlijnen te komenโ, aldus het rapport.
In het bankexperiment werd onderzocht welk effect Copilot heeft op: het sentiment en de productiviteit van ontwikkelaars, evenals de kwaliteit en beveiliging van de code. Het vereiste dat deelnemende software-ingenieurs, cloud-ingenieurs en data-ingenieurs zes algoritmische codeeruitdagingen per week moesten aanpakken met behulp van Python. Degenen in de controlegroep mochten Copilot niet gebruiken, maar mochten op internet zoeken of Stack Overflow gebruiken.
โDe groep die toegang had tot GitHub Copilot kon hun taken 42.36 procent sneller voltooien dan de deelnemers aan de controlegroepโ, aldus het rapport. โโฆDe code geproduceerd door Copilot-deelnemers bevatte gemiddeld minder codegeuren en bugs, wat betekent dat deze beter onderhoudbaar zou zijn en minder snel kapot zou gaan tijdens de productie.โ
Beide resultaten werden als statistisch significant beschouwd. Wat de veiligheid betreft, was het experiment niet doorslaggevend.
โHet experiment kon geen betekenisvolle gegevens genereren die de codebeveiliging zouden metenโ, zegt het rapport. โDe gegevens suggereren echter dat Copilot geen grote beveiligingsproblemen in de code heeft geรฏntroduceerd.โ
Uit de gegevens blijkt dat Copilot geen grote beveiligingsproblemen in de code heeft geรฏntroduceerd
Dit kan te wijten zijn aan de aard van de uitdagingen, die ontworpen waren om zo kort te zijn dat deelnemers ze samen met hun gebruikelijke dagelijkse werk konden voltooien. Als zodanig waren de ingediende uitdagingen vrij kort en lieten ze niet veel ruimte voor bugs, aldus het rapport.
Wat het sentiment betreft, waren degenen die Copilot gebruikten positief over de ervaring, maar niet in sterke mate.
โZe hadden het gevoel dat het hen hielp de bestaande code te beoordelen en te begrijpen, documentatie te creรซren en hun code te testen; ze waren van mening dat ze hierdoor minder tijd konden besteden aan het debuggen van hun code en dat hun totale ontwikkeltijd werd verkort; en ze waren van mening dat de suggesties die daarin werden gegeven enigszins nuttig waren en goed overeenkwamen met de coderingsnormen van hun projectโ, aldus het rapport.
Een intrigerende bevinding is dat Copilot het nuttigst was voor de meest ervaren programmeurs.
โUit een beoordeling van de productiviteit op basis van Python-vaardigheid bleek dat Copilot gunstig was voor deelnemers op alle vaardigheidsniveaus, maar het meest nuttig was voor degenen die โexpertโ Python-programmeurs warenโ, zegt het onderzoek, eraan toevoegend dat de AI-helper de meeste verbetering opleverde (in termen van tijdsbesparing) bij zware taken.
Hoewel wordt opgemerkt dat de licht positieve reacties van deelnemers aangeven dat Copilot verder kan worden verbeterd, onderschrijft het rapport niettemin de invoering van Copilot in productieworkflows bij de bank.
โTen tijde van het schrijven van dit artikel heeft GitHub Copilot al een aanzienlijke acceptatie gezien binnen de organisatie, waarbij meer dan 1,000 gebruikers het in hun workflows gebruikenโ, concludeert het rapport, eraan toevoegend dat er een breder onderzoek naar de productiviteitsimpact van de Copilot gaande is. ยฎ
Contrapunt: AI-hulp leidt tot een lagere kwaliteit van de broncode, onderzoekers beweren
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- : heeft
- :is
- :niet
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- in staat
- Over
- toegang
- ACM
- toe te voegen
- aangesproken
- Adoptie
- tegen
- AI
- AI-assistent
- algoritmische
- uitgelijnd
- Alles
- toegestaan
- langs
- al
- ook
- Hoewel
- an
- analytics
- en
- elke
- GEBIED
- AS
- geรซvalueerd
- beoordeling
- Hulp
- Assistent
- At
- Australiรซ
- gemiddelde
- Bank
- Bankieren
- gebaseerde
- BE
- geweest
- heilzaam
- voordeel
- Breken
- bredere
- bugs
- maar
- by
- CAN
- bekwaamheid
- uitdagingen
- Cloud
- CO
- code
- codering
- compleet
- nakoming
- concludeert
- Gedrag
- uitgevoerd
- samenwerking
- Gevolgen
- bestaande uit
- bevatte
- onder controle te houden
- auteursrecht
- Bedrijfs-
- kon
- en je merk te creรซren
- dagelijks
- gegevens
- gegevens Analytics
- gegevensbeveiliging
- gegevensbeveiliging en privacy
- geacht
- implementeren
- ontworpen
- Ontwikkelaar
- Ontwikkeling
- DEED
- Jonathan Bourdon
- documentatie
- rit
- twee
- effect
- einde
- onderschreven
- Endorsements
- Engineering
- Ingenieurs
- genoeg
- Milieu
- evaluatie
- onderzoeken
- Behalve
- bestaand
- ervaring
- ervaren
- experiment
- expert
- tamelijk
- sneller
- vilt
- minder
- financiรซn
- het vinden van
- bevindingen
- vondsten
- Finesse
- Stevig
- Voor
- gevonden
- vier
- oppompen van
- verder
- voortbrengen
- gegenereerde
- generatief
- generatieve AI
- GitHub
- gegeven
- Groep
- richtlijnen
- HAD
- Hard
- Hebben
- hulp
- geholpen
- nuttig
- Gemarkeerd
- Huis
- Hoe
- Echter
- HTTPS
- Impact
- verbeterd
- verbetering
- in
- aangeven
- inherent
- intellectueel
- intellectueel eigendom
- intern
- Internet
- in
- intrigerend
- voorstellen
- onderzoek
- betrokken zijn
- problemen
- IT
- HAAR
- jpg
- juli-
- leiden
- leidend
- Verlof
- Juridisch
- minder
- niveaus
- Waarschijnlijk
- Elke kleine stap levert grote resultaten op!
- lot
- Louis
- te verlagen
- Onderhoudbaar
- groot
- MERKEN
- Mei..
- betekenis
- zinvolle
- maatregel
- Microsoft
- meer
- meest
- NATUUR
- New
- Nieuw Zeeland
- Opmerkingen
- nu
- of
- on
- OpenAI
- or
- organisatie
- Overige
- over
- totaal
- het te bezitten.
- bezit
- Papier
- deelnemers
- deelnemende
- voor
- procent
- Plato
- Plato gegevensintelligentie
- PlatoData
- positief
- potentieel
- voorbereiding
- Voorafgaand
- privacy
- geproduceerd
- productie
- productief
- produktiviteit
- Programmeurs
- Programming
- project
- eigendom
- mits
- Putting
- Python
- kwaliteit
- verhoogt
- Gereduceerd
- met betrekking tot
- regelgevers
- Regulatory Compliance
- verwant
- verslag
- nodig
- Resultaten
- beoordelen
- risico's
- Kamer
- s
- Zei
- gered
- zegt
- Ontdek
- veiligheid
- gezien
- sentiment
- reeks
- verscheidene
- Bermuda's
- aanzienlijke
- ZES
- bekwaamheid
- So
- Software
- enigszins
- gezocht
- bron
- broncode
- besteden
- stack
- normen
- Start
- stuurden
- sterk
- studies
- studio
- Studie
- ingediend
- dergelijk
- stel
- verrassing
- system
- aanpakken
- taken
- teams
- Technologie
- termen
- proef
- neem contact
- dat
- De
- hun
- Ze
- Deze
- ze
- dit
- die
- toch?
- Door
- niet de tijd of
- Titel
- naar
- tools
- in de richting van
- proces
- twee
- onzekerheden
- begrijpen
- aan de gang
- .
- nuttig
- gebruikers
- gebruik
- gebruikelijk
- visuele
- was
- week
- weken
- GOED
- waren
- Wat
- welke
- en
- WIE
- Met
- binnen
- Mijn werk
- workflows
- erger
- zou
- het schrijven van
- jaar
- Zeeland
- zephyrnet