ChatGPT vs. Gemini: Vilket är bättre för 10 vanliga Infosec-uppgifter?

I slutet av 2023 skrev jag en artikel som jämförde hur bra ChatGPT och Google Bard hanterar att skriva säkerhetspolicyer. Med tanke på att ChatGPT 4.0 har varit tillgänglig som en betalversion, kallad ChatGPT Plus, sedan en tid tillbaka, och Google nyligen döpte om Google Bard till Gemini (med Gemini Advanced tillgängligt som betalerbjudande), är det ett bra tillfälle att jämföra hur de två presterar i en head-to-head bland de 10 bästa användningsfallen för informationssäkerhetsproffs.

Innan vi hoppar in gäller de vanliga förbehållen för generativ artificiell intelligens (AI): Var försiktig med data du slår in och kom ihåg att utdata inte alltid är tillförlitlig.

1. Generera diagram eller konceptflöden

Båda verktygen säger sig kunna generera diagram och konceptflöden. Gemini medger dock att det bara kan generera ASCII-diagram, vilket pekar dig på mer professionella verktyg om du vill ha något bättre. Jag bad båda verktygen att skapa ett diagram för att förklara OAuth autentiseringsflöde.

Tvillingarna är representerade i ASCII, men gör jobbet och delar upp det i användbara kategorier.

ChatGPT hallucinerar dåligt. Vid första anblicken, även om bilden ser professionell ut, representerar den inte OAuth alls. Formuleringen är meningslös, felstavad eller rent av oläslig: Authiration och Athoricazt någon?

2. Förklara arkitekturdiagram

Båda verktygen kan mata in diagram och förklara vad som händer. Resultaten är mycket bättre än vad som händer när du ber dem att generera diagram. Som input använde jag ett exempel Brandvägg för webbapplikationer (WAF) arkitektur från Edgenexus.

Google Gemini är mycket bättre på att förklara arkitekturdiagram eftersom det är kortfattat. ChatGPT kommer att göra jobbet bra; det är bara lite ordigt.

3. Tolka exploateringskoden

En vanlig säkerhetsoperation (SecOps)-aktivitet försöker ta reda på vad en specifik skadlig kod eller exploateringskod gör. Jag tog en nyligen genomförd Elasticsearch stack overflow public exploit och matade in den i varje verktyg för att se vad det förstod. Det finns ingen tydlig vinnare: Båda verktygen identifierar utnyttjandet korrekt och förklarar slutresultatet, vad varje del av koden gör och hur den fungerar.

4. Tolka loggfiler

SecOps-proffs behöver ofta ta reda på vad fan som händer i loggfiler. Jag matade båda verktygen exempel på loggfil i CEF-format av ett försök till intrång och bad var och en att förklara vad som pågår. Tvillingarna förklarar det bättre, sammanfattar bra och föreslår till och med uppföljningssteg. Den anger också tydligt vad som hände (försök till åtkomst av /etc/passwd) precis i början och utvecklar hur det kom till den slutsatsen. Även om ChatGPT kommer fram till samma slutsats är det alldeles för omfattande.

5. Skriva policyer och säkerhetsdokumentation

Jag kommer inte att utveckla så mycket om detta utan hänvisar dig istället till min tidigare artikel om detta ämne. Jag körde testet igen med Gemini, och resultaten överensstämmer med Bards: Gemini förstår tydligt och genererar bättre säkerhetsdokumentation än ChatGPT.

6. Identifiera sårbar kod

Även om dessa verktyg inte var designade för (och bör inte användas för) att identifiera sårbar kod, kan de fortfarande göra ett adekvat jobb. Jag bestämde mig för att testa det genom att mata båda verktygen osäker direkt objektreferens (IDOR) sårbarhet exempel i Python, som också innehåller en SQL-injektion.

ChatGPT identifierade korrekt både sårbarheter och bristen på autentisering. Gemini missade IDOR men påpekade SQL-injektionen och gick ett steg längre för att föreslå ändrad kod för att åtgärda sårbarheten. ChatGPT kan också göra detta, men det måste uppmanas att göra det.

7. Skriva skript och kod

En vanlig SOC-aktivitet (Security Operations Center) är att skriva skript för logganalys eller datamanipulation. Jag gav båda verktygen följande uppmaning:

"Skriv ett Python-skript till mig som extraherar alla IPv6-adresser från en txt-indatafil, tar bort alla dubbletter, gör en uppslagning för att geolokalisera och identifiera ägaren till IP:n och mata ut resultatet i en CSV-fil"

Det finns ingen klar vinnare här; båda verktygen producerar tydlig, läsbar kod som fungerar och förklarar vad den gör.

8. Analysera data och mått

Jag testade också om dessa verktyg kunde hjälpa till med att analysera data eller säkerhetsmått. Tvillingarna är en stor förlorare här eftersom den inte gör det alls – den kan bara guida dig genom hur du gör detta i Excel och Power BI. ChatGPT har fördelen genom sin Data Analyst-plugin, som använder Excel-filer för att generera vilka grafer du vill. Det föreslår till och med visualiseringstyper, och du kan ändra en grafs design, inklusive färg, axlar och etiketter, genom prompten. 

9. Skriva meddelanden om användarmedvetenhet

Båda verktygen kan också generera e-postmeddelanden för säkerhetskampanjer. Jag gav båda följande uppmaning: "Generera ett e-postmeddelande som används för en säkerhetskampanj. Var rolig och sarkastisk. Påminn folk varför de inte ska klicka på slumpmässiga e-postmeddelanden från slumpmässiga personer.”

Tvillingarna vinner här - dess e-post är kort, har rätt ton, och (även om humor är subjektiv) tyckte jag det var lite roligare. ChatGPT genererar fortfarande den rätta tonen och ett bra e-postmeddelande, men jag tyckte att det var lite för långt för ett e-postmeddelande. Oavsett vilket gör båda verktygen ett bra jobb.

10. Tolka efterlevnadsramverk

Om du har en snabb fråga om hur man implementerar ett efterlevnadsramverk kan dessa verktyg definitivt hjälpa. Även om du kanske inte gör detta ofta, är de mycket användbara när du behöver det.

Om du någonsin har bråkat med någon om vad som utgör en "betydande" förändring under PCI-DSS och hur den ska tillämpas, är du inte ensam. Jag uppmanade varje verktyg med: 

"Förklara begreppet "betydande förändring" i PCI-DSS-sammanhang. Vad är vanligtvis en stor förändring? Lista även det exakta kravet från standarden”

Tvillingarna har övertaget: Den listar korrekt de exakta kraven från standarden (som 6.4.5 och 6.4.6) och hur man tolkar om något är en betydande förändring. ChatGPT nämner inte exakt var denna information förekommer i standarden. 

Vilken AI är bättre, ChatGPT eller Gemini?

Där har du det. Beroende på ditt användningsfall kan båda verktygen vara en hjälpsam allierad för att öka produktiviteten och hjälpa dig i dina dagliga aktiviteter i infosec-gravarna.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks