O GitHub Copilot orientou engenheiros de software do Australia and New Zealand Banking Group (ANZ Bank) para melhorar a produtividade e a qualidade do código, e o test drive foi suficiente para a financeira implantar o assistente de programação de IA generativo em fluxos de trabalho de produção.
De meados de junho de 2023 até o final de julho daquele ano, o ANZ Bank, com sede em Melbourne, conduziu um teste interno do GitHub Copilot que envolveu 100 dos 5,000 engenheiros da empresa.
O teste de seis semanas, composto por duas semanas de preparação e quatro semanas de desafios de código, procurou examinar como os participantes se sentiram ao usar o GitHub Copilot com o Microsoft Visual Studio Code e medir o impacto que o sistema baseado em IA teve na produtividade dos programadores. qualidade do código e segurança do software.
As descobertas do experimento foram documentadas em um Denunciar com um título que poderia ser um pouco mais sutil: “O impacto da ferramenta de IA na engenharia do ANZ Bank, um estudo empírico sobre o copiloto do GitHub no ambiente corporativo”.
De coautoria de Sayan Chatterjee, arquiteto de nuvem da ANZ, e Louis Liu, líder da área de engenharia de IA e capacidade de análise de dados da ANZ, o relatório cita vários estudos anteriores sobre produtividade de programação com Copilot.
completa estudo da Microsoft, que agora possui o GitHub, descobriu que a codificação com um assistente de IA melhorou a produtividade em mais de 55 por cento – o que não é uma surpresa, dados outros pesquisas de fornecedores.
Um ACM/IEEE estudo sobre programação com ajuda de IA sugeriu que a assistência robótica era mais uma compensação: descobriu que o Copilot gerava mais código, embora a qualidade do software gerado fosse pior do que o software construído por humanos.
O ANZ Bank procurou realizar a sua própria avaliação, citando o benefício potencial da IA na produtividade, ao mesmo tempo que reconheceu que a tecnologia “levanta riscos inerentes, incertezas e consequências não intencionais em relação à propriedade intelectual, segurança de dados e privacidade”.
Esses riscos – realçados pela processo de direitos autorais em andamento contra GitHub, Microsoft e OpenAI sobre Copilot – não são abordados no estudo, exceto como um aceno à conformidade regulatória.
“Antes de iniciar o experimento, os riscos relacionados à propriedade intelectual, segurança de dados e privacidade foram avaliados em conjunto com as equipes jurídicas e de segurança da ANZ para chegar a um conjunto de diretrizes”, afirmou.
O experimento do banco examinou o efeito que o Copilot tem sobre: o sentimento e a produtividade do desenvolvedor, bem como a qualidade e a segurança do código. Foi necessário que engenheiros de software, engenheiros de nuvem e engenheiros de dados participantes enfrentassem seis desafios de codificação algorítmica por semana usando Python. Os participantes do grupo de controle não foram autorizados a usar o Copilot, mas puderam pesquisar na Internet ou usar o Stack Overflow.
“O grupo que teve acesso ao GitHub Copilot conseguiu concluir suas tarefas 42.36% mais rápido do que os participantes do grupo de controle”, diz o relatório. “…O código produzido pelos participantes do Copilot continha, em média, menos cheiros de código e bugs, o que significa que seria mais fácil de manter e menos propenso a quebrar na produção.”
Ambos os resultados foram considerados estatisticamente significativos. Quanto à segurança, o experimento foi inconclusivo.
“O experimento não conseguiu gerar dados significativos que pudessem medir a segurança do código”, diz o relatório. “No entanto, os dados sugerem que o Copilot não introduziu nenhum problema grave de segurança no código.”
Os dados sugerem que o Copilot não introduziu nenhum problema grave de segurança no código
Isto pode ter ocorrido devido à natureza dos desafios, que foram concebidos para serem suficientemente curtos para que os participantes pudessem concluí-los juntamente com o seu trabalho diário habitual. Como tal, os desafios apresentados foram bastante curtos e não deixaram muito espaço para bugs, observa o relatório.
Em termos de sentimento, aqueles que usaram o Copilot se sentiram positivos em relação à experiência, embora não tão fortemente.
“Eles sentiram que isso os ajudou a revisar e compreender o código existente, criar documentação e testar seu código; eles sentiram que isso lhes permitiu gastar menos tempo depurando seu código e reduziu o tempo geral de desenvolvimento; e eles sentiram que as sugestões fornecidas foram úteis e alinhadas com os padrões de codificação do projeto”, diz o relatório.
Uma descoberta intrigante é que o Copilot foi o mais útil para os programadores mais experientes.
“A avaliação da produtividade com base na proficiência em Python descobriu que o Copilot foi benéfico para os participantes de todos os níveis de habilidade, mas foi mais útil para aqueles que eram programadores 'especialistas' em Python”, diz o estudo, acrescentando que o auxiliar de IA forneceu a maior melhoria (em termos de tempo economizado) em tarefas difíceis.
Embora tenha observado que os endossos moderadamente positivos dos participantes indicam que o Copilot pode ser melhorado ainda mais, o relatório, no entanto, endossou a colocação do Copilot em fluxos de trabalho de produção no banco.
“No momento da redação deste artigo, o GitHub Copilot já teve uma adoção significativa dentro da organização, com mais de 1,000 usuários utilizando-o em seus fluxos de trabalho”, conclui o relatório, acrescentando que uma investigação mais ampla do impacto do Copilot na produtividade está em andamento. ®
Contraponto: A assistência de IA está levando a uma menor qualidade do código-fonte, pesquisadores afirmam
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :tem
- :é
- :não
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Capaz
- Sobre
- Acesso
- ACM
- acrescentando
- endereçado
- Adoção
- contra
- AI
- Assistente de IA
- algorítmico
- alinhado
- Todos os Produtos
- permitidas
- juntamente
- já
- tb
- Apesar
- an
- analítica
- e
- qualquer
- ÁREA
- AS
- avaliado
- avaliação
- Assistência
- Assistente
- At
- Australia
- média
- Bank
- Bancário
- baseado
- BE
- sido
- benéfico
- beneficiar
- Break
- mais amplo
- erros
- mas a
- by
- CAN
- capacidade
- desafios
- Na nuvem
- CO
- código
- Codificação
- completar
- compliance
- conclui
- Conduzir
- conduzido
- conjunção
- Consequências
- Consistindo
- contida
- ao controle
- direitos autorais
- Responsabilidade
- poderia
- crio
- diariamente
- dados,
- Análise de Dados
- segurança dos dados
- segurança e privacidade de dados
- considerado
- implantar
- projetado
- Developer
- Desenvolvimento
- DID
- didn
- documentação
- distância
- dois
- efeito
- final
- aprovado
- Endossos
- Engenharia
- Engenheiros
- suficiente
- Meio Ambiente
- avaliação
- examinar
- Exceto
- existente
- vasta experiência
- experiente
- experimentar
- especialista
- bastante
- mais rápido
- erro
- menos
- financiar
- descoberta
- descobertas
- encontra
- Fineza
- Empresa
- Escolha
- encontrado
- quatro
- da
- mais distante
- gerar
- gerado
- generativo
- IA generativa
- GitHub
- dado
- Grupo
- orientações
- tinha
- Queijos duros
- Ter
- ajudar
- ajudou
- útil
- Destaque
- House
- Como funciona o dobrador de carta de canal
- Contudo
- HTTPS
- Impacto
- melhorado
- melhoria
- in
- indicam
- inerente
- intelectual
- propriedade intelectual
- interno
- Internet
- para dentro
- intrigante
- introduzir
- investigação
- envolvido
- questões
- IT
- ESTÁ
- jpg
- Julho
- conduzir
- principal
- Deixar
- Legal
- menos
- níveis
- Provável
- pequeno
- lote
- Louis
- diminuir
- Sustentável
- principal
- FAZ
- Posso..
- significado
- significativo
- a medida
- Microsoft
- mais
- a maioria
- Natureza
- Novo
- Nova Zelândia
- Notas
- agora
- of
- on
- OpenAI
- or
- organização
- Outros
- Acima de
- global
- próprio
- possui
- Papel
- participantes
- participando
- para
- por cento
- platão
- Inteligência de Dados Platão
- PlatãoData
- positivo
- potencial
- preparação
- Prévio
- política de privacidade
- Produzido
- Produção
- produtivo
- produtividade
- Programadores
- Programação
- projeto
- propriedade
- fornecido
- Colocar
- Python
- qualidade
- raises
- Reduzido
- em relação a
- reguladores
- Conformidade Regulamentar
- relacionado
- Denunciar
- requeridos
- Resultados
- rever
- riscos
- Quarto
- s
- Dito
- salvo
- diz
- Pesquisar
- segurança
- visto
- sentimento
- conjunto
- vários
- Baixo
- periodo
- SIX
- habilidade
- So
- Software
- um pouco
- solicitado
- fonte
- código fonte
- gastar
- pilha
- padrões
- Comece
- Conduzido
- discordaram
- caso
- estudo
- Estudo
- apresentado
- tal
- sugerir
- surpresa
- .
- equipamento
- tarefas
- equipes
- Tecnologia
- condições
- teste
- do que
- que
- A
- deles
- Eles
- Este
- deles
- isto
- aqueles
- Apesar?
- Através da
- tempo
- Título
- para
- ferramenta
- para
- julgamento
- dois
- incertezas
- compreender
- a caminho
- usar
- útil
- usuários
- utilização
- habitual
- visual
- foi
- semana
- semanas
- BEM
- foram
- O Quê
- qual
- enquanto
- QUEM
- de
- dentro
- Atividades:
- fluxos de trabalho
- pior
- seria
- escrita
- ano
- Zelândia
- zefirnet