GitHub Copilot hat Softwareentwickler der Australia and New Zealand Banking Group (ANZ Bank) zu einer verbesserten Produktivität und Codequalität geführt, und der Testlauf reichte für das Finanzhaus aus, um den generativen KI-Programmierassistenten in Produktionsabläufen einzusetzen.
Von Mitte Juni 2023 bis Ende Juli desselben Jahres führte die in Melbourne ansässige ANZ Bank einen internen Test von GitHub Copilot durch, an dem 100 der 5,000 Ingenieure des Unternehmens beteiligt waren.
Der sechswöchige Test, bestehend aus zwei Wochen Vorbereitung und vier Wochen Code-Herausforderungen, sollte untersuchen, wie die Teilnehmer über die Verwendung von GitHub Copilot mit Microsoft Visual Studio Code denken, und die Auswirkungen des KI-basierten Systems auf die Produktivität der Programmierer messen. Codequalität und Softwaresicherheit.
Die Ergebnisse des Experiments wurden in einem dokumentiert berichten mit einem Titel, der etwas mehr Finesse vertragen könnte: „The Impact of AI Tool on Engineering at ANZ Bank, An Empirical Study on GitHub Copilot Within Corporate Environment.“
Der von Sayan Chatterjee, Cloud-Architekt bei ANZ, und Louis Liu, Bereichsleiter für technische KI und Datenanalysefunktionen bei ANZ, gemeinsam verfasste Bericht zitiert mehrere frühere Studien zur Programmierproduktivität mit Copilot.
Eins Studie von Microsoft, dem mittlerweile GitHub gehört, stellte fest, dass das Codieren mit einem KI-Assistenten die Produktivität um mehr als 55 Prozent steigerte – angesichts der anderen Umstände keine Überraschung Anbieterbefragungen.
Ein ACM/IEEE Studie zum Programmieren mit KI-Hilfe deutete darauf hin, dass Robo-Assistenz eher ein Kompromiss sei: Es stellte sich heraus, dass Copilot mehr Code generierte, obwohl die Qualität der generierten Software schlechter war als die von Menschen erstellter Software.
Die ANZ Bank wollte eine eigene Bewertung durchführen und verwies auf den potenziellen Nutzen von KI für die Produktivität, räumte aber auch ein, dass die Technologie „inhärente Risiken, Unsicherheiten und unbeabsichtigte Folgen in Bezug auf geistiges Eigentum, Datensicherheit und Datenschutz mit sich bringt“.
Diese Risiken – hervorgehoben durch die laufende Urheberrechtsklage gegen GitHub, Microsoft und OpenAI gegenüber Copilot – werden in der Studie nicht angesprochen, außer als Hinweis auf die Einhaltung gesetzlicher Vorschriften.
„Vor Beginn des Experiments wurden die Risiken im Zusammenhang mit geistigem Eigentum, Datensicherheit und Datenschutz in Zusammenarbeit mit den Rechts- und Sicherheitsteams von ANZ bewertet, um eine Reihe von Richtlinien zu erstellen“, hieß es.
Das Bankexperiment untersuchte, welche Auswirkungen Copilot auf die Stimmung und Produktivität der Entwickler sowie auf die Qualität und Sicherheit des Codes hat. Die teilnehmenden Softwareentwickler, Cloud-Ingenieure und Dateningenieure mussten sechs algorithmische Codierungsherausforderungen pro Woche mit Python bewältigen. Den Mitgliedern der Kontrollgruppe war es nicht gestattet, Copilot zu verwenden, sie durften jedoch im Internet suchen oder Stack Overflow verwenden.
„Die Gruppe, die Zugriff auf GitHub Copilot hatte, konnte ihre Aufgaben 42.36 Prozent schneller erledigen als die Teilnehmer der Kontrollgruppe“, heißt es in dem Bericht. „…Der von den Copilot-Teilnehmern erstellte Code enthielt im Durchschnitt weniger Codegerüche und Fehler, was bedeutete, dass er besser wartbar war und die Wahrscheinlichkeit einer Produktionsunterbrechung geringer war.“
Beide Ergebnisse wurden als statistisch signifikant erachtet. Was die Sicherheit betrifft, war das Experiment nicht schlüssig.
„Das Experiment konnte keine aussagekräftigen Daten generieren, die die Codesicherheit messen würden“, heißt es in dem Bericht. „Die Daten deuten jedoch darauf hin, dass Copilot keine größeren Sicherheitsprobleme in den Code eingebracht hat.“
Die Daten deuten darauf hin, dass Copilot keine größeren Sicherheitsprobleme in den Code eingebracht hat
Dies lag möglicherweise an der Art der Herausforderungen, die so kurz gestaltet waren, dass die Teilnehmer sie neben ihrer üblichen täglichen Arbeit bewältigen konnten. Daher waren die eingereichten Herausforderungen recht kurz und ließen nicht viel Raum für Fehler, heißt es in dem Bericht.
Was die Stimmung angeht, waren diejenigen, die Copilot nutzten, von der Erfahrung positiv, wenn auch nicht sehr positiv.
„Sie hatten das Gefühl, dass es ihnen dabei half, vorhandenen Code zu überprüfen und zu verstehen, Dokumentation zu erstellen und ihren Code zu testen. Sie hatten das Gefühl, dass sie dadurch weniger Zeit für das Debuggen ihres Codes aufwenden konnten und ihre Gesamtentwicklungszeit verkürzt wurde. und sie empfanden die darin enthaltenen Vorschläge als einigermaßen hilfreich und stimmten gut mit den Codierungsstandards ihres Projekts überein“, heißt es in dem Bericht.
Eine interessante Erkenntnis ist, dass Copilot für die erfahrensten Programmierer am nützlichsten war.
„Die Bewertung der Produktivität auf der Grundlage der Python-Kenntnisse ergab, dass Copilot für Teilnehmer aller Fähigkeitsstufen von Vorteil war, am hilfreichsten jedoch für diejenigen war, die ‚erfahrene‘ Python-Programmierer waren“, heißt es in der Studie und fügt hinzu, dass der KI-Helfer die größte Verbesserung (in Bezug auf) brachte Zeitersparnis) bei schwierigen Aufgaben.
Der Bericht stellte zwar fest, dass die leicht positiven Zustimmungen der Teilnehmer darauf hindeuten, dass Copilot weiter verbessert werden kann, befürwortete jedoch dennoch die Integration von Copilot in die Produktionsabläufe der Bank.
„Zum Zeitpunkt des Schreibens dieses Artikels hat GitHub Copilot bereits eine erhebliche Akzeptanz innerhalb der Organisation erfahren, wobei über 1,000 Benutzer es in ihren Arbeitsabläufen verwenden“, schließt der Bericht und fügt hinzu, dass eine umfassendere Untersuchung der Produktivitätsauswirkungen von Copilot im Gange ist. ®
Kontrapunkt: KI-Unterstützung führt zu einer geringeren Qualität des Quellcodes, Forscher behaupten
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :hast
- :Ist
- :nicht
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Fähig
- Über Uns
- Zugang
- ACM
- Hinzufügen
- angesprochen
- Adoption
- gegen
- AI
- AI-Assistent
- algorithmisch
- ausgerichtet
- Alle
- erlaubt
- entlang
- bereits
- ebenfalls
- Obwohl
- an
- Analytik
- und
- jedem
- Bereich
- AS
- bewertet
- Bewertung
- Hilfe
- Assistentin
- At
- Australien
- durchschnittlich
- Bank
- Bankinggg
- basierend
- BE
- war
- vorteilhaft
- Nutzen
- Break
- breiteres
- Bugs
- aber
- by
- CAN
- capability
- Herausforderungen
- Cloud
- CO
- Code
- Programmierung
- abschließen
- Compliance
- schließt ab
- Leiten
- durchgeführt
- Verbindung
- Folgen
- Bestehend
- enthalten
- Smartgeräte App
- Urheberrecht
- Unternehmen
- könnte
- erstellen
- Unterricht
- technische Daten
- Datenanalyse
- Datensicherheit
- Datensicherheit und Datenschutz
- angenommen
- einsetzen
- entworfen
- Entwickler:in / Unternehmen
- Entwicklung
- DID
- didn
- Dokumentation
- Antrieb
- zwei
- bewirken
- Ende
- befürwortet
- Endorsements
- Entwicklung
- Ingenieure
- genug
- Arbeitsumfeld
- Auswertung
- untersuchen
- Außer
- vorhandenen
- ERFAHRUNGEN
- erfahrensten
- Experiment
- Experte
- ziemlich
- beschleunigt
- Fehler
- Weniger
- Finanzen
- Suche nach
- Befund
- findet
- Finesse
- Fest
- Aussichten für
- gefunden
- vier
- für
- weiter
- erzeugen
- erzeugt
- generativ
- Generative KI
- GitHub
- gegeben
- Gruppe an
- Richtlinien
- hätten
- hart
- Haben
- Hilfe
- dazu beigetragen,
- hilfreich
- Besondere
- Häuser
- Ultraschall
- aber
- HTTPS
- Impact der HXNUMXO Observatorien
- verbessert
- Verbesserung
- in
- zeigen
- inhärent
- geistigen
- geistiges Eigentum
- intern
- Internet
- in
- faszinierend
- einführen
- Untersuchung
- beteiligt
- Probleme
- IT
- SEINE
- jpg
- Juli
- führen
- führenden
- Verlassen
- Rechtlich
- weniger
- Cholesterinspiegel
- wahrscheinlich
- wenig
- Los
- Louis
- senken
- Wartbar
- Dur
- MACHT
- Kann..
- Bedeutung
- sinnvoll
- messen
- Microsoft
- mehr
- vor allem warme
- Natur
- Neu
- Neuseeland
- Notizen
- jetzt an
- of
- on
- OpenAI
- or
- Organisation
- Andere
- übrig
- Gesamt-
- besitzen
- Besitzt
- Papier
- Teilnehmer
- teilnehmend
- für
- Prozent
- Plato
- Datenintelligenz von Plato
- PlatoData
- positiv
- Potenzial
- Vorbereitung
- Vor
- Datenschutz
- Produziert
- Produktion
- produktiv
- PRODUKTIVITÄT
- Programmierer
- Programmierung
- Projekt
- Resorts
- vorausgesetzt
- Putting
- Python
- Qualität
- wirft
- Reduziert
- in Bezug auf
- Regulierungsbehörden
- Erfüllung gesetzlicher Auflagen
- bezogene
- berichten
- falls angefordert
- Die Ergebnisse
- Überprüfen
- Risiken
- Zimmer
- s
- Said
- Gerettet
- sagt
- Suche
- Sicherheitdienst
- gesehen
- Gefühl
- kompensieren
- mehrere
- Short
- signifikant
- SIX
- Geschicklichkeit
- So
- Software
- etwas
- gesucht
- Quelle
- Quellcode
- verbringen
- Stapel
- Normen
- Beginnen Sie
- gelenkt
- starker
- Es wurden Studien
- Studio Adressen
- Studie
- eingereicht
- so
- vorschlagen
- Überraschung
- System
- angehen
- und Aufgaben
- Teams
- Technologie
- AGB
- Test
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- ihr
- Sie
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- diejenigen
- obwohl?
- Durch
- Zeit
- Titel
- zu
- Werkzeug
- gegenüber
- Versuch
- XNUMX
- Unsicherheiten
- verstehen
- Unterwegs
- -
- nützlich
- Nutzer
- Verwendung von
- üblich
- visuell
- wurde
- Woche
- Wochen
- GUT
- waren
- Was
- welche
- während
- WHO
- mit
- .
- Arbeiten
- Workflows
- schlimmer
- würde
- Schreiben
- Jahr
- Zealand
- Zephyrnet