ChatGPT x Gemini: o que é melhor para 10 tarefas comuns de Infosec?

No final de 2023, escrevi um artigo comparando quão bem ChatGPT e Google Bard cuidam da redação de políticas de segurança. Dado que o ChatGPT 4.0 está disponível como uma versão paga, chamada ChatGPT Plus, há algum tempo, e o Google recentemente rebatizou o Google Bard como Gemini (com o Gemini Advanced disponível como oferta paga), é um bom momento para comparar o desempenho dos dois em um confronto direto dos 10 principais casos de uso para profissionais de segurança da informação.

Antes de começarmos, aplicam-se as advertências usuais da inteligência artificial generativa (IA): tenha cuidado com os dados inseridos e lembre-se de que o resultado pode nem sempre ser confiável.

1. Gerando diagramas ou fluxos conceituais

Ambas as ferramentas afirmam ser capazes de gerar diagramas e fluxos conceituais. No entanto, Gemini admite que só pode gerar diagramas ASCII, indicando ferramentas mais profissionais se você quiser algo melhor. Pedi a ambas as ferramentas que gerassem um diagrama para explicar o OAuth fluxo de autenticação.

Gemini, embora representado em ASCII, faz o trabalho e o divide em categorias utilizáveis.

ChatGPT alucina seriamente. À primeira vista, embora a imagem pareça profissional, ela não representa o OAuth de forma alguma. O texto é absurdo, escrito incorretamente ou totalmente ilegível: Autenticação e Atoricazt qualquer um?

2. Explicando Diagramas de Arquitetura

Ambas as ferramentas podem ingerir diagramas e explicar o que está acontecendo. Os resultados são muito melhores do que quando você pede que gerem diagramas. Como entrada, usei um exemplo Firewall de aplicativo da Web (WAF) arquitetura de Edgenexus.

O Google Gemini é muito melhor para explicar diagramas de arquitetura porque é sucinto. ChatGPT fará o trabalho perfeitamente; é um pouco prolixo.

3. Interpretando o código de exploração

Uma atividade comum de operações de segurança (SecOps) é tentar descobrir o que um malware específico ou código de exploração faz. Peguei uma exploração pública recente de estouro de pilha do Elasticsearch e coloquei-a em cada ferramenta para ver o que ela entendia. Não há um vencedor claro: ambas as ferramentas identificam a exploração corretamente e explicam o resultado final, o que cada parte do código faz e como funciona.

4. Interpretando Arquivos de Log

Os profissionais de SecOps geralmente precisam descobrir o que diabos está acontecendo nos arquivos de log. Eu alimentei ambas as ferramentas e exemplo de arquivo de log em formato CEF de uma tentativa de violação e pedi a cada um que explicasse o que estava acontecendo. Gêmeos explica melhor, resumindo bem e até sugerindo passos de acompanhamento. Ele também afirma claramente o que aconteceu (tentativa de acesso ao /etc/passwd) logo no início e explica como chegou a essa conclusão. Embora o ChatGPT chegue à mesma conclusão, é muito detalhado.

5. Redação de políticas e documentação de segurança

Não vou entrar em detalhes sobre isso e, em vez disso, encaminharei você para o meu artigo anterior neste tópico. Executei o teste novamente com o Gemini e os resultados são consistentes com os do Bard: o Gemini entende claramente e gera melhor documentação de segurança do que o ChatGPT.

6. Identificando Código Vulnerável

Embora essas ferramentas não tenham sido projetadas (e não devam ser usadas para) identificar códigos vulneráveis, elas ainda podem fazer um trabalho adequado. Decidi testá-lo alimentando ambas as ferramentas com um referência direta de objeto insegura (IDOR) vulnerabilidade exemplo em Python, que também contém uma injeção de SQL.

O ChatGPT identificou corretamente as vulnerabilidades e a falta de autenticação. Gemini perdeu o IDOR, mas apontou a injeção de SQL e deu um passo adiante para propor código alterado para corrigir a vulnerabilidade. ChatGPT também pode fazer isso, mas deve ser solicitado a fazê-lo.

7. Escrevendo scripts e código

Uma atividade comum do centro de operações de segurança (SOC) é escrever scripts para análise de log ou manipulação de dados. Dei a ambas as ferramentas o seguinte prompt:

“Escreva-me um script Python que extraia todos os endereços IPv6 de um arquivo de entrada txt, remova todas as duplicatas, faça uma pesquisa para localizar geograficamente e identificar o proprietário do IP e gere o resultado em um arquivo CSV”

Não há um vencedor claro aqui; ambas as ferramentas produzem código claro e legível que funciona e explica o que faz.

8. Análise de dados e métricas

Também testei se essas ferramentas poderiam ajudar na análise de dados ou métricas de segurança. Gemini é um grande perdedor aqui porque não faz nada disso – ele só pode orientá-lo sobre como fazer isso no Excel e no Power BI. O ChatGPT tem a vantagem por meio de seu plug-in Data Analyst, que ingere arquivos Excel para gerar os gráficos desejados. Ele ainda sugere tipos de visualização, e você pode modificar o design de um gráfico, incluindo cores, eixos e rótulos, por meio do prompt. 

9. Escrevendo mensagens de conscientização do usuário

Ambas as ferramentas também podem gerar e-mails para campanhas de conscientização sobre segurança. Eu dei a ambos o seguinte prompt: “Gere um e-mail usado para uma campanha de conscientização sobre segurança. Seja engraçado e sarcástico. Lembre às pessoas por que não devem clicar em e-mails aleatórios de pessoas aleatórias.”

Gêmeos vence aqui – seu e-mail é breve, tem o tom certo e (embora o humor seja subjetivo) achei um pouco mais engraçado. ChatGPT ainda gera o tom certo e um bom e-mail, mas achei um pouco longo para um e-mail de conscientização. De qualquer forma, ambas as ferramentas fazem um ótimo trabalho.

10. Interpretando Estruturas de Conformidade

Se você tiver uma dúvida rápida sobre como implementar uma estrutura de conformidade, essas ferramentas podem definitivamente ajudar. Embora você não faça isso com frequência, eles são muito úteis quando você precisa.

Se você já discutiu com alguém sobre o que constitui uma mudança “significativa” no PCI-DSS e como ela deveria ser aplicada, você não está sozinho. Eu solicitei cada ferramenta com: 

“Explique o conceito de 'mudança significativa' no contexto do PCI-DSS. O que normalmente constitui uma grande mudança? Liste também os requisitos exatos da norma”

Gemini tem vantagem: ele lista corretamente os requisitos exatos do padrão (como 6.4.5 e 6.4.6) e como interpretar se algo é uma mudança significativa. ChatGPT não menciona exatamente onde essa informação aparece no padrão. 

Qual IA é melhor, ChatGPT ou Gemini?

Aí está. Dependendo do seu caso de uso, qualquer uma das ferramentas pode ser uma aliada útil para aumentar a produtividade e ajudá-lo em suas atividades diárias nas trincheiras da segurança da informação.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks