ChatGPT frente a Gemini: ¿cuál es mejor para 10 tareas comunes de seguridad de la información?

A finales de 2023, escribí un artículo comparando qué tan bien ChatGPT y Google Bard se encargan de escribir políticas de seguridad. Dado que ChatGPT 4.0 ha estado disponible como versión paga, llamada ChatGPT Plus, desde hace algún tiempo, y Google recientemente cambió el nombre de Google Bard a Gemini (con Gemini Advanced disponible como oferta paga), es un buen momento para comparar cómo se desempeñan los dos en un comparativo de los 10 principales casos de uso para los profesionales de la seguridad de la información.

Antes de comenzar, se aplican las advertencias habituales de la inteligencia artificial generativa (IA): tenga cuidado con los datos que ingresa y recuerde que la salida puede no siempre ser confiable.

1. Generación de diagramas o flujos conceptuales

Ambas herramientas afirman ser capaces de generar diagramas y flujos de conceptos. Sin embargo, Gemini admite que sólo puede generar diagramas ASCII, lo que le indica herramientas más profesionales si desea algo mejor. Pedí a ambas herramientas que generaran un diagrama para explicar el OAuth flujo de autenticación.

Gemini, aunque está representado en ASCII, hace el trabajo y lo divide en categorías utilizables.

ChatGPT alucina mal. A primera vista, aunque la imagen parece profesional, no representa OAuth en absoluto. La redacción no tiene sentido, está mal escrita o es absolutamente ilegible: autenticación y Athoricazt ¿nadie?

2. Explicación de los diagramas de arquitectura

Ambas herramientas pueden ingerir diagramas y explicar lo que está sucediendo. Los resultados son mucho mejores que los que suceden cuando les pides que generen diagramas. Como entrada, utilicé un ejemplo. Firewall de aplicaciones web (WAF) arquitectura de bordenexus.

Google Gemini explica mucho mejor los diagramas de arquitectura porque es conciso. ChatGPT hará el trabajo muy bien; es sólo un poco prolijo.

3. Interpretación del código de explotación

Una actividad común de operaciones de seguridad (SecOps) es intentar descubrir qué hace un malware o un código de explotación específico. Tomé un exploit público de desbordamiento de pila de Elasticsearch reciente y lo introduje en cada herramienta para ver qué entendía. No hay un ganador claro: ambas herramientas identifican el exploit correctamente y explican el resultado final, qué hace cada parte del código y cómo funciona.

4. Interpretación de archivos de registro

Los profesionales de SecOps a menudo necesitan descubrir qué diablos está pasando en los archivos de registro. Alimenté ambas herramientas y ejemplo de archivo de registro en formato CEF de un intento de infracción y pidió a cada uno que explicara lo que estaba pasando. Géminis lo explica mejor, resumiendo bien e incluso sugiriendo pasos a seguir. También indica claramente lo que sucedió (intento de acceso a /etc/passwd) desde el principio y explica cómo llegó a esa conclusión. Si bien ChatGPT llega a la misma conclusión, es demasiado detallado.

5. Redacción de políticas y documentación de seguridad

No daré muchos detalles sobre esto y en su lugar los remitiré a mi Artículo anterior sobre este tema. Ejecuté la prueba nuevamente con Gemini y los resultados son consistentes con los de Bard: Gemini comprende claramente y genera mejor documentación de seguridad que ChatGPT.

6. Identificación del código vulnerable

Si bien estas herramientas no fueron diseñadas (y no deberían usarse) para identificar código vulnerable, aún pueden hacer un trabajo adecuado. Decidí probarlo alimentando ambas herramientas y referencia de objeto directo inseguro (IDOR) vulnerabilidad ejemplo en Python, que también contiene una inyección SQL.

ChatGPT identificó correctamente tanto las vulnerabilidades como la falta de autenticación. Gemini pasó por alto el IDOR, pero señaló la inyección SQL y fue un paso más allá al proponer un código modificado para corregir la vulnerabilidad. ChatGPT también puede hacer esto, pero se le debe solicitar que lo haga.

7. Escribir guiones y código

Una actividad común del centro de operaciones de seguridad (SOC) es escribir scripts para el análisis de registros o la manipulación de datos. Le di a ambas herramientas el siguiente mensaje:

"Escríbame un script de Python que extraiga todas las direcciones IPv6 de un archivo de entrada de texto, elimine todos los duplicados, realice una búsqueda para geolocalizar e identificar al propietario de la IP y genere el resultado en un archivo CSV".

No hay un ganador claro aquí; Ambas herramientas producen código claro y legible que funciona y explica lo que hace.

8. Análisis de datos y métricas

También probé si estas herramientas podrían ayudar a analizar datos o métricas de seguridad. Gemini es un gran perdedor aquí porque no lo hace en absoluto; solo puede guiarlo sobre cómo hacerlo en Excel y Power BI. ChatGPT tiene la ventaja a través de su complemento Data Analyst, que ingiere archivos de Excel para generar los gráficos que desee. Incluso sugiere tipos de visualización y puede modificar el diseño de un gráfico, incluidos el color, los ejes y las etiquetas, a través del mensaje. 

9. Redacción de mensajes de sensibilización del usuario

Ambas herramientas también pueden generar correos electrónicos para campañas de concientización sobre seguridad. Les di a ambos el siguiente mensaje: “Genere un correo electrónico utilizado para una campaña de concientización sobre seguridad. Sea divertido y sarcástico. Recuerde a las personas por qué no deben hacer clic en correos electrónicos aleatorios de personas aleatorias".

Aquí Géminis gana: su correo electrónico es breve, tiene el tono correcto y (aunque el humor es subjetivo) lo encontré un poco más divertido. ChatGPT todavía genera el tono correcto y un buen correo electrónico, pero lo encontré demasiado largo para un correo electrónico de concientización. De cualquier manera, ambas herramientas hacen un gran trabajo.

10. Interpretación de los marcos de cumplimiento

Si tiene una pregunta rápida sobre cómo implementar un marco de cumplimiento, estas herramientas definitivamente pueden ayudar. Si bien es posible que no hagas esto con frecuencia, son muy útiles cuando lo necesitas.

Si alguna vez ha discutido con alguien sobre lo que constituye un cambio “significativo” según PCI-DSS y cómo debería aplicarse, no está solo. Solicité a cada herramienta con: 

“Explique el concepto de 'cambio significativo' en el contexto de PCI-DSS. ¿Qué constituye generalmente un cambio importante? Enumere también el requisito exacto del estándar "

Gemini tiene la ventaja: enumera correctamente los requisitos exactos del estándar (como 6.4.5 y 6.4.6) y cómo interpretar si algo es un cambio significativo. ChatGPT no menciona exactamente dónde aparece esta información en el estándar. 

¿Qué IA es mejor, ChatGPT o Gemini?

Ahí tienes. Dependiendo de su caso de uso, cualquiera de las herramientas puede ser un aliado útil para aumentar la productividad y ayudarlo en sus actividades diarias en las trincheras de seguridad de la información.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks