GitHub Copilot poprowadził inżynierów oprogramowania w australijskiej i nowozelandzkiej grupie bankowej (ANZ Bank) w stronę poprawy produktywności i jakości kodu, a jazda próbna wystarczyła działowi finansowemu, aby wdrożyć generatywnego asystenta programowania AI w przepływach pracy w środowisku produkcyjnym.
Od połowy czerwca 2023 r. do końca lipca tego roku ANZ Bank z siedzibą w Melbourne przeprowadził wewnętrzną wersję próbną GitHub Copilot, w której wzięło udział 100 z 5,000 inżynierów firmy.
Sześciotygodniowy okres próbny, składający się z dwóch tygodni przygotowań i czterech tygodni wyzwań związanych z kodem, miał na celu sprawdzenie, co uczestnicy myślą o korzystaniu z GitHub Copilot z Microsoft Visual Studio Code oraz zmierzenie wpływu systemu opartego na sztucznej inteligencji na produktywność programistów. jakość kodu i bezpieczeństwo oprogramowania.
Wyniki eksperymentu zostały udokumentowane w: A raport z tytułem, który mógłby być nieco bardziej finezyjny: „Wpływ narzędzia AI na inżynierię w ANZ Bank, badanie empiryczne dotyczące GitHub Copilot w środowisku korporacyjnym”.
Raport, którego współautorami są Sayan Chatterjee, architekt chmury w ANZ, i Louis Liu, kierownik obszaru inżynierii AI i analityki danych w ANZ, przytacza kilka wcześniejszych badań dotyczących produktywności programowania za pomocą Copilot.
jeden „The Puzzle of Monogamous Marriage” firmy Microsoft, która jest obecnie właścicielem GitHuba, stwierdziła, że kodowanie przy użyciu asystenta AI zwiększa produktywność o ponad 55 procent – nie jest to zaskoczeniem, biorąc pod uwagę inne ankiety dostawców.
ACM/IEEE „The Puzzle of Monogamous Marriage” dotyczące programowania przy pomocy sztucznej inteligencji zasugerowały, że robo-wspomaganie było raczej kompromisem: okazało się, że Copilot wygenerował więcej kodu, chociaż jakość wygenerowanego oprogramowania była gorsza niż oprogramowania stworzonego przez człowieka.
ANZ Bank starał się przeprowadzić własną ocenę, powołując się na potencjalne korzyści, jakie sztuczna inteligencja wpływa na produktywność, jednocześnie przyznając, że technologia ta „rodzi nieodłączne ryzyko, niepewność i niezamierzone konsekwencje w zakresie własności intelektualnej, bezpieczeństwa danych i prywatności”.
Zagrożenia te – podkreślone przez toczący się proces dotyczący praw autorskich przeciwko GitHub, Microsoft i OpenAI za pośrednictwem Copilot – nie zostały uwzględnione w badaniu, z wyjątkiem ukłonu w stronę zgodności z przepisami.
„Przed rozpoczęciem eksperymentu we współpracy z zespołami prawnymi i ds. bezpieczeństwa ANZ oszacowano ryzyko związane z własnością intelektualną, bezpieczeństwem danych i prywatnością, aby opracować zestaw wytycznych” – stwierdzono.
W eksperymencie bankowym zbadano wpływ Copilot na: nastroje i produktywność programistów, a także jakość i bezpieczeństwo kodu. Wymagało to od uczestniczących inżynierów oprogramowania, inżynierów chmury i inżynierów danych stawiania czoła sześciu wyzwaniom związanym z kodowaniem algorytmicznym tygodniowo przy użyciu języka Python. Osobom z grupy kontrolnej nie pozwolono używać Copilota, ale pozwolono przeszukiwać Internet lub korzystać ze Stack Overflow.
„Grupa mająca dostęp do GitHub Copilot była w stanie wykonać swoje zadania o 42.36 procent szybciej niż uczestnicy grupy kontrolnej” – czytamy w raporcie. „…Kod stworzony przez uczestników programu Copilot zawierał średnio mniej zapachów i błędów, co oznacza, że byłby łatwiejszy w utrzymaniu i mniej podatny na przerwy w produkcji”.
Obydwa wyniki uznano za istotne statystycznie. Jeśli chodzi o bezpieczeństwo, eksperyment nie był jednoznaczny.
„Eksperyment nie był w stanie wygenerować znaczących danych, które pozwalałyby zmierzyć bezpieczeństwo kodu” – czytamy w raporcie. „Dane sugerują jednak, że Copilot nie wprowadził do kodu żadnych poważnych problemów związanych z bezpieczeństwem”.
Dane sugerują, że Copilot nie wprowadził do kodu żadnych poważnych problemów związanych z bezpieczeństwem
Być może wynikało to z charakteru wyzwań, które zostały zaprojektowane tak, aby były na tyle krótkie, aby uczestnicy mogli je ukończyć w ramach swojej codziennej pracy. W związku z tym przesłane wyzwania były dość krótkie i nie pozostawiały zbyt wiele miejsca na błędy – zauważa raport.
Jeśli chodzi o nastroje, osoby korzystające z Copilota były pozytywnie nastawione do tego doświadczenia, choć nie do końca.
„Uważali, że pomogło im to przejrzeć i zrozumieć istniejący kod, stworzyć dokumentację i przetestować kod; uważali, że pozwoliło im to spędzić mniej czasu na debugowaniu kodu i skróciło ogólny czas programowania; uznali także, że zawarte w nim sugestie były w pewnym stopniu pomocne i dobrze odpowiadały standardom kodowania obowiązującym w ich projekcie” – czytamy w raporcie.
Intrygującym odkryciem jest to, że Copilot był najbardziej przydatny dla najbardziej doświadczonych programistów.
„Ocena produktywności oparta na znajomości języka Python wykazała, że rozwiązanie Copilot było korzystne dla uczestników na wszystkich poziomach umiejętności, ale było najbardziej pomocne dla tych, którzy byli „ekspertami” w programowaniu w języku Python” – czytamy w badaniu, dodając, że pomocnik AI zapewnił największą poprawę (pod względem zaoszczędzony czas) na trudnych zadaniach.
Chociaż zaobserwowano, że umiarkowanie pozytywne opinie uczestników wskazują, że Copilot można jeszcze ulepszyć, w raporcie mimo wszystko potwierdzono wprowadzenie Copilota do procesów produkcyjnych w banku.
„W chwili pisania tego artykułu GitHub Copilot został już w znacznym stopniu przyjęty w organizacji i ponad 1,000 użytkowników używa go w swoich przepływach pracy” – podsumowuje raport, dodając, że trwa szersze badanie wpływu Copilot na produktywność. ®
Kontrapunkt: Pomoc AI prowadzi do niższej jakości kodu źródłowego, twierdzą naukowcy
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :ma
- :Jest
- :nie
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Zdolny
- O nas
- dostęp
- ACM
- dodanie
- zaadresowany
- Przyjęcie
- przed
- AI
- Asystent AI
- algorytmiczny
- wyrównany
- Wszystkie kategorie
- dozwolony
- wzdłuż
- już
- również
- Chociaż
- an
- analityka
- i
- każdy
- POWIERZCHNIA
- AS
- oceniać
- oszacowanie
- Wsparcie
- Asystent
- At
- Australia
- średni
- Bank
- Bankowość
- na podstawie
- BE
- być
- korzystny
- korzyści
- przerwa
- szerszy
- błędy
- ale
- by
- CAN
- zdolność
- wyzwania
- Chmura
- CO
- kod
- Kodowanie
- kompletny
- spełnienie
- konkluduje
- Prowadzenie
- przeprowadzone
- spójnik
- Konsekwencje
- Składający się
- zawarte
- kontrola
- prawo autorskie
- Korporacyjny
- mógłby
- Stwórz
- codziennie
- dane
- Analityka danych
- bezpieczeństwo danych
- bezpieczeństwo danych i prywatność
- uważane
- rozwijać
- zaprojektowany
- Deweloper
- oprogramowania
- ZROBIŁ
- nie zrobił
- dokumentacja
- napęd
- z powodu
- efekt
- zakończenia
- zatwierdzony
- Potwierdzenia
- Inżynieria
- Inżynierowie
- dość
- Środowisko
- ewaluację
- zbadać
- Z wyjątkiem
- Przede wszystkim system został opracowany
- doświadczenie
- doświadczony
- eksperyment
- ekspert
- dość
- szybciej
- błąd
- mniej
- finansować
- znalezieniu
- Ustalenia
- znajduje
- Impas
- Firma
- W razie zamówieenia projektu
- znaleziono
- cztery
- od
- dalej
- Generować
- wygenerowane
- generatywny
- generatywna sztuczna inteligencja
- GitHub
- dany
- Zarządzanie
- wytyczne
- miał
- Ciężko
- Have
- pomoc
- pomógł
- pomocny
- Podświetlony
- dom
- W jaki sposób
- Jednak
- HTTPS
- Rezultat
- ulepszony
- poprawa
- in
- wskazać
- nieodłączny
- intelektualny
- własność intelektualna
- wewnętrzny
- Internet
- najnowszych
- intrygancki
- przedstawiać
- śledztwo
- zaangażowany
- problemy
- IT
- JEGO
- jpg
- lipiec
- prowadzić
- prowadzący
- Pozostawiać
- Regulamin
- mniej
- poziomy
- Prawdopodobnie
- mało
- Partia
- Louis
- niższy
- Utrzymywane w utrzymaniu
- poważny
- WYKONUJE
- Może..
- znaczenie
- wymowny
- zmierzyć
- Microsoft
- jeszcze
- większość
- Natura
- Nowości
- Nowa Zelandia
- Uwagi
- już dziś
- of
- on
- OpenAI
- or
- organizacja
- Inne
- koniec
- ogólny
- własny
- posiada
- Papier
- Uczestnicy
- uczestnictwo
- dla
- procent
- plato
- Analiza danych Platona
- PlatoDane
- pozytywny
- potencjał
- przygotowanie
- Wcześniejszy
- prywatność
- Wytworzony
- Produkcja
- produktywny
- wydajność
- Programiści
- Programowanie
- projekt
- własność
- pod warunkiem,
- Putting
- Python
- jakość
- podnosi
- Zredukowany
- w sprawie
- regulacyjne
- Zgodność z przepisami
- związane z
- raport
- wymagany
- Efekt
- przeglądu
- ryzyko
- Pokój
- s
- Powiedział
- zapisywane
- mówią
- Szukaj
- bezpieczeństwo
- widziany
- sentyment
- zestaw
- kilka
- Short
- znaczący
- SIX
- umiejętność
- So
- Tworzenie
- nieco
- poszukiwany
- Źródło
- Kod źródłowy
- wydać
- stos
- standardy
- Startowy
- kierowano
- strongly
- badania naukowe
- studio
- Badanie
- składane
- taki
- sugerować
- niespodzianka
- system
- sprzęt
- zadania
- Zespoły
- Technologia
- REGULAMIN
- test
- niż
- że
- Połączenia
- ich
- Im
- Te
- one
- to
- tych
- chociaż?
- Przez
- czas
- Tytuł
- do
- narzędzie
- w kierunku
- próba
- drugiej
- niepewności
- zrozumieć
- W toku
- posługiwać się
- użyteczny
- Użytkownicy
- za pomocą
- zwykły
- wizualny
- była
- tydzień
- tygodni
- DOBRZE
- były
- Co
- który
- Podczas
- KIM
- w
- w ciągu
- Praca
- przepływów pracy
- gorzej
- by
- pisanie
- rok
- Zelandia
- zefirnet