GitHub Copilot ha guiado a los ingenieros de software del Grupo Bancario de Australia y Nueva Zelanda (ANZ Bank) hacia una mayor productividad y calidad del código, y la prueba de manejo fue suficiente para que la casa financiera implementara el asistente de programación de IA generativa en los flujos de trabajo de producción.
Desde mediados de junio de 2023 hasta finales de julio de ese año, el ANZ Bank, con sede en Melbourne, llevó a cabo una prueba interna de GitHub Copilot en la que participaron 100 de los 5,000 ingenieros de la empresa.
La prueba de seis semanas, que consta de dos semanas de preparación y cuatro semanas de desafíos de código, buscó examinar cómo se sentían los participantes acerca del uso de GitHub Copilot con Microsoft Visual Studio Code y medir el impacto que el sistema basado en IA tuvo en la productividad de los programadores. calidad del código y seguridad del software.
Los hallazgos del experimento han sido documentados en un reporte con un título al que le vendría bien un poco más de delicadeza: "El impacto de la herramienta de inteligencia artificial en la ingeniería en ANZ Bank, un estudio empírico sobre el copiloto de GitHub en el entorno corporativo".
El informe, escrito en coautoría por Sayan Chatterjee, arquitecto de la nube en ANZ, y Louis Liu, líder del área de ingeniería de inteligencia artificial y capacidad de análisis de datos en ANZ, cita varios estudios previos sobre la productividad de la programación con Copilot.
Un estudio de Microsoft, que ahora es propietario de GitHub, descubrió que codificar con un asistente de IA mejoraba la productividad en más del 55 por ciento, lo que no es una sorpresa teniendo en cuenta otros encuestas de proveedores.
Un ACM/IEEE estudio sobre programación con ayuda de IA sugirió que la asistencia robótica era más bien una compensación: descubrió que Copilot generaba más código, aunque la calidad del software generado era peor que la del software creado por humanos.
ANZ Bank intentó realizar su propia evaluación, citando el beneficio potencial de la IA en la productividad y al mismo tiempo reconociendo que la tecnología "plantea riesgos inherentes, incertidumbres y consecuencias no intencionales con respecto a la propiedad intelectual, la seguridad de los datos y la privacidad".
Esos riesgos – destacados por el demanda de derechos de autor en curso contra GitHub, Microsoft y OpenAI sobre Copilot, no se abordan en el estudio, excepto como un guiño al cumplimiento normativo.
"Antes de comenzar el experimento, se evaluaron los riesgos relacionados con la propiedad intelectual, la seguridad de los datos y la privacidad junto con los equipos legales y de seguridad de ANZ para llegar a un conjunto de pautas", dijo.
El experimento del banco examinó el efecto que tiene Copilot en: el sentimiento y la productividad de los desarrolladores, así como en la calidad y seguridad del código. Requirió que los ingenieros de software, ingenieros de nube e ingenieros de datos participantes abordaran seis desafíos de codificación algorítmica por semana usando Python. A los del grupo de control no se les permitió usar Copilot, pero sí buscar en Internet o usar Stack Overflow.
"El grupo que tuvo acceso a GitHub Copilot pudo completar sus tareas un 42.36 por ciento más rápido que los participantes del grupo de control", dice el informe. "... El código producido por los participantes de Copilot contenía menos errores y olores de código en promedio, lo que significa que sería más fácil de mantener y menos probable que fallara en la producción".
Ambos resultados se consideraron estadísticamente significativos. En cuanto a la seguridad, el experimento no fue concluyente.
"El experimento no pudo generar datos significativos que midieran la seguridad del código", dice el informe. "Sin embargo, los datos sugieren que Copilot no introdujo ningún problema de seguridad importante en el código".
Los datos sugieren que Copilot no introdujo ningún problema de seguridad importante en el código.
Esto puede deberse a la naturaleza de los desafíos, que fueron diseñados para ser lo suficientemente cortos como para que los participantes pudieran completarlos junto con su trabajo diario habitual. Como tal, los desafíos enviados fueron bastante breves y no dejaron mucho espacio para errores, señala el informe.
En términos de sentimiento, quienes usaron Copilot se sintieron positivos acerca de la experiencia, aunque no del todo.
“Sintieron que les ayudó a revisar y comprender el código existente, crear documentación y probar su código; sintieron que les permitía dedicar menos tiempo a depurar su código y reducir su tiempo general de desarrollo; y sintieron que las sugerencias que proporcionó fueron algo útiles y se alinearon bien con los estándares de codificación de su proyecto”, dice el informe.
Un hallazgo intrigante es que Copilot fue el más útil para los programadores más experimentados.
"La evaluación de la productividad basada en el dominio de Python encontró que Copilot era beneficioso para los participantes de todos los niveles, pero era más útil para aquellos que eran programadores 'expertos' en Python", dice el estudio, y agrega que el asistente de IA proporcionó la mayor mejora (en términos de tiempo ahorrado) en tareas difíciles.
Si bien se observa que los respaldos levemente positivos de los participantes indican que Copilot se puede mejorar aún más, el informe respalda incluir Copilot en los flujos de trabajo de producción del banco.
"En el momento de redactar este documento, GitHub Copilot ya ha experimentado una adopción significativa dentro de la organización, con más de 1,000 usuarios usándolo en sus flujos de trabajo", concluye el informe, y agrega que se está llevando a cabo una investigación más amplia sobre el impacto de Copilot en la productividad. ®
Contrapunto: La asistencia de IA está provocando una menor calidad del código fuente. los investigadores afirman
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :posee
- :es
- :no
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- Poder
- Nuestra Empresa
- de la máquina
- ACM
- la adición de
- dirigido
- Adopción
- en contra
- AI
- Asistente de inteligencia
- algorítmico
- alineado
- Todos
- permitido
- a lo largo de
- ya haya utilizado
- también
- Aunque
- an
- Analytics
- y
- cualquier
- Reservada
- AS
- evaluado
- evaluación
- Ayuda
- Legal
- At
- Australia
- promedio
- Banca
- Bancario
- basado
- BE
- esto
- beneficioso
- es el beneficio
- Descanso
- más amplio
- loco
- pero
- by
- PUEDEN
- capacidad
- retos
- Soluciones
- CO
- código
- Codificación
- completar
- compliance
- concluye
- Conducir
- llevado a cabo
- conjunción
- Consecuencias
- Que consiste
- contenida
- control
- derechos de autor,
- Sector empresarial
- podría
- Para crear
- todos los días
- datos
- Data Analytics
- seguridad de datos
- seguridad de datos y privacidad
- juzgado
- desplegar
- diseñado
- Developer
- Desarrollo
- HIZO
- no hizo
- documentación
- el lado de la transmisión
- dos
- efecto
- final
- endosado
- Avales
- Ingeniería
- certificados
- suficientes
- Entorno
- evaluación
- examinar
- Excepto
- existente
- experience
- experimentado
- experimento
- experto
- bastante
- más rápida
- error
- menos
- financiar
- la búsqueda de
- Los resultados
- encuentra
- Finura
- Firme
- encontrado
- Digital XNUMXk
- Desde
- promover
- generar
- generado
- generativo
- IA generativa
- GitHub
- dado
- Grupo procesos
- orientaciones
- tenido
- Difícil
- Tienen
- ayuda
- ayudado
- serviciales
- Destacado
- Hogar
- Cómo
- Sin embargo
- HTTPS
- Impacto
- mejorado
- es la mejora continua
- in
- indicar
- inherente
- propiedad
- la propiedad intelectual
- interno
- Internet
- dentro
- intrigante
- introducir
- investigación
- involucra
- cuestiones
- IT
- SUS
- jpg
- Julio
- Lead
- líder
- Abandonar
- Legal
- menos
- que otros
- pequeño
- Lote
- Luis
- inferior
- Mantenible
- gran
- HACE
- Puede..
- sentido
- significativo
- medir
- Microsoft
- más,
- MEJOR DE TU
- Naturaleza
- Nuevo
- Nueva Zelanda
- Notas
- ahora
- of
- on
- OpenAI
- or
- organización
- Otro
- Más de
- total
- EL DESARROLLADOR
- Posee
- Papel
- Participantes
- participativo
- para
- por ciento
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- positivo
- posible
- preparación
- Anterior
- política de privacidad
- producido
- Producción
- productivo
- productividad
- Programador
- Programación
- proyecto
- perfecta
- previsto
- Poniendo
- Python
- calidad
- plantea
- Reducción
- con respecto a
- regulador
- Cumplimiento Regulatorio
- relacionado
- reporte
- Requisitos
- Resultados
- una estrategia SEO para aparecer en las búsquedas de Google.
- riesgos
- Conferencia
- s
- Said
- salvado
- dice
- Buscar
- EN LINEA
- visto
- sentimiento
- set
- Varios
- En Corto
- importante
- SEIS
- habilidad
- So
- Software
- algo
- buscado
- Fuente
- código fuente
- pasar
- montón
- estándares de salud
- Comience a
- dirigido
- se mostró plenamente
- estudios
- estudio
- ESTUDIO
- Subido
- tal
- sugieren
- sorpresa
- te
- entrada
- tareas
- equipos
- Tecnología
- términos
- test
- que
- esa
- La
- su
- Les
- Estas
- ellos
- así
- aquellos
- ¿aunque?
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- Título
- a
- del IRS
- hacia
- juicio
- dos
- incertidumbres
- entender
- En curso
- utilizan el
- eficiente
- usuarios
- usando
- usual
- visual
- fue
- semana
- Semanas
- WELL
- tuvieron
- ¿
- que
- mientras
- QUIENES
- dentro de
- Actividades:
- flujos de trabajo
- peor
- se
- la escritura
- año
- Zelanda
- zephyrnet