ChatGPT vs. Gemini: quale è meglio per 10 attività comuni di Infosec?

Alla fine del 2023, ho scritto un articolo confrontando quanto bene ChatGPT e Google Bard gestiscono la scrittura delle policy di sicurezza. Dato che ChatGPT 4.0 è disponibile da qualche tempo come versione a pagamento, chiamata ChatGPT Plus, e che Google ha recentemente rinominato Google Bard come Gemini (con Gemini Advanced disponibile come offerta a pagamento), è un buon momento per confrontare le prestazioni dei due un confronto diretto dei 10 principali casi d'uso per i professionisti della sicurezza informatica.

Prima di entrare nel merito, si applicano i consueti avvertimenti sull'intelligenza artificiale generativa (AI): fai attenzione ai dati che inserisci e ricorda che l'output potrebbe non essere sempre affidabile.

1. Generazione di diagrammi o flussi di concetti

Entrambi gli strumenti affermano di essere in grado di generare diagrammi e flussi di concetti. Tuttavia, Gemini ammette di poter generare solo diagrammi ASCII, indicandoti strumenti più professionali se desideri qualcosa di meglio. Ho chiesto a entrambi gli strumenti di generare un diagramma per spiegare il OAuth flusso di autenticazione.

I Gemelli, sebbene rappresentati in ASCII, svolgono il lavoro e lo suddividono in categorie utilizzabili.

ChatGPT ha allucinazioni male. A prima vista, anche se l'immagine sembra professionale, non rappresenta affatto OAuth. La formulazione è priva di senso, scritta in modo errato o addirittura illeggibile: Autorizzazione ed Attorizzato chiunque?

2. Spiegare i diagrammi dell'architettura

Entrambi gli strumenti possono acquisire diagrammi e spiegare cosa sta succedendo. I risultati sono molto migliori di quello che accade quando chiedi loro di generare diagrammi. Come input, ho usato un esempio Firewall per applicazioni Web (WAF) architettura da Edgenexus.

Google Gemini è molto più bravo a spiegare i diagrammi dell'architettura perché è conciso. ChatGPT farà perfettamente il lavoro; è solo un po' prolisso.

3. Interpretazione del codice di exploit

Un'attività comune delle operazioni di sicurezza (SecOps) consiste nel cercare di capire cosa fa uno specifico malware o codice di exploit. Ho preso un recente exploit pubblico di overflow dello stack Elasticsearch e l'ho inserito in ogni strumento per vedere cosa capiva. Non esiste un vincitore chiaro: entrambi gli strumenti identificano correttamente l'exploit e spiegano il risultato finale, cosa fa ciascuna parte del codice e come funziona.

4. Interpretazione dei file di registro

I professionisti SecOps spesso hanno bisogno di capire cosa diavolo sta succedendo nei file di registro. Ho alimentato entrambi gli strumenti e esempio di file di registro in formato CEF di un tentativo di violazione e ha chiesto a ciascuno di spiegare cosa sta succedendo. I Gemelli lo spiegano meglio, riassumendo bene e suggerendo anche i passaggi successivi. Inoltre afferma chiaramente cosa è successo (tentativo di accesso a /etc/passwd) proprio all'inizio e spiega come si è arrivati ​​a quella conclusione. Anche se ChatGPT arriva alla stessa conclusione, è troppo prolisso.

5. Redazione di policy e documentazione di sicurezza

Non mi dilungherò troppo su questo e ti rimando invece al mio precedente articolo su questo argomento. Ho eseguito nuovamente il test con Gemini e i risultati sono coerenti con quelli di Bard: Gemini comprende chiaramente e genera una documentazione di sicurezza migliore rispetto a ChatGPT.

6. Identificazione del codice vulnerabile

Sebbene questi strumenti non siano stati progettati (e non dovrebbero essere utilizzati per) identificare il codice vulnerabile, possono comunque svolgere un lavoro adeguato. Ho deciso di testarlo alimentando entrambi gli strumenti e riferimento diretto all'oggetto non sicuro (IDOR) vulnerabilità esempio in Python, che contiene anche un'iniezione SQL.

ChatGPT ha identificato correttamente sia le vulnerabilità che la mancanza di autenticazione. Gemini non ha colto l'IDOR ma ha sottolineato l'SQL injection e ha fatto un ulteriore passo avanti proponendo un codice modificato per correggere la vulnerabilità. Anche ChatGPT può farlo, ma deve essere richiesto di farlo.

7. Scrittura di script e codice

Un'attività comune del Security Operations Center (SOC) è la scrittura di script per l'analisi dei log o la manipolazione dei dati. Ho dato a entrambi gli strumenti il ​​seguente messaggio:

"Scrivimi uno script Python che estrae tutti gli indirizzi IPv6 da un file di input txt, rimuove tutti i duplicati, esegue una ricerca per localizzare geograficamente e identificare il proprietario dell'IP e restituisce il risultato in un file CSV"

Non c'è un chiaro vincitore qui; entrambi gli strumenti producono codice chiaro e leggibile che funziona e spiega cosa fa.

8. Analisi di dati e metriche

Ho anche testato se questi strumenti potessero aiutare con l'analisi dei dati o le metriche di sicurezza. Gemini è un grande perdente qui perché non lo fa affatto: può solo guidarti attraverso come farlo in Excel e Power BI. ChatGPT ha il vantaggio grazie al plug-in Data Analyst, che inserisce file Excel per generare tutti i grafici desiderati. Suggerisce anche i tipi di visualizzazione e puoi modificare il design di un grafico, inclusi colore, assi ed etichette, tramite il prompt. 

9. Scrittura di messaggi di sensibilizzazione dell'utente

Entrambi gli strumenti possono anche generare e-mail per campagne di sensibilizzazione sulla sicurezza. Ho dato ad entrambi il seguente messaggio: “Genera un'e-mail utilizzata per una campagna di sensibilizzazione sulla sicurezza. Sii divertente e sarcastico. Ricorda alle persone perché non dovrebbero fare clic su email casuali provenienti da persone a caso."

Qui vince Gemini: la sua email è breve, ha il tono giusto e (sebbene l'umorismo sia soggettivo) l'ho trovata leggermente più divertente. ChatGPT genera ancora il tono giusto e una buona email, ma l'ho trovato un po' troppo lungo per un'email di sensibilizzazione. In ogni caso, entrambi gli strumenti fanno un ottimo lavoro.

10. Interpretazione dei quadri di conformità

Se hai una domanda veloce su come implementare un quadro di conformità, questi strumenti possono sicuramente aiutarti. Anche se potresti non farlo spesso, sono molto utili quando ne hai bisogno.

Se hai mai discusso con qualcuno su cosa costituisca un cambiamento “significativo” ai sensi del PCI-DSS e su come dovrebbe essere applicato, non sei il solo. Ho richiesto a ciascuno strumento: 

“Spiegare il concetto di 'cambiamento significativo' nel contesto del PCI-DSS. Cosa costituisce solitamente un cambiamento importante? Elenca anche i requisiti esatti della norma”

Gemini ha il sopravvento: elenca correttamente i requisiti esatti dello standard (come 6.4.5 e 6.4.6) e come interpretare se qualcosa rappresenta un cambiamento significativo. ChatGPT non menziona esattamente dove appaiono queste informazioni nello standard. 

Quale intelligenza artificiale è migliore, ChatGPT o Gemini?

Ecco qua. A seconda del caso d'uso, entrambi gli strumenti possono essere un utile alleato per aumentare la produttività e aiutarti nelle attività quotidiane nelle trincee della sicurezza informatica.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks