ChatGPT vs. Gemini: Hvilken er best for 10 vanlige Infosec-oppgaver?

På slutten av 2023 skrev jeg en artikkel som sammenlignet hvor godt ChatGPT og Google Bard håndterer skriving av sikkerhetspolicyer. Gitt at ChatGPT 4.0 har vært tilgjengelig som en betalt versjon, kalt ChatGPT Plus, i noen tid nå, og Google nylig endret Google Bard til Gemini (med Gemini Advanced tilgjengelig som betalt tilbud), er det et godt tidspunkt å sammenligne hvordan de to presterer i en head-to-head av de 10 beste brukssakene for informasjonssikkerhetseksperter.

Før vi hopper inn, gjelder de vanlige forbeholdene om generativ kunstig intelligens (AI): Vær forsiktig med dataene du slår inn og husk at utdataene ikke alltid er pålitelige.

1. Generering av diagrammer eller konseptflyter

Begge verktøyene hevder å kunne generere diagrammer og konseptflyter. Imidlertid innrømmer Gemini at den bare kan generere ASCII-diagrammer, og peker deg til mer profesjonelle verktøy hvis du vil ha noe bedre. Jeg ba begge verktøyene generere et diagram for å forklare OAuth autentiseringsflyt.

Gemini mens de er representert i ASCII, gjør jobben og deler den inn i brukbare kategorier.

ChatGPT hallusinerer dårlig. Ved første øyekast, mens bildet ser profesjonelt ut, representerer det ikke OAuth i det hele tatt. Ordlyden er useriøs, feilstavet eller rett og slett uleselig: Autentisering og Athoricazt hvem som helst?

2. Forklaring av arkitekturdiagrammer

Begge verktøyene kan ta inn diagrammer og forklare hva som skjer. Resultatene er mye bedre enn det som skjer når du ber dem generere diagrammer. Som input brukte jeg et eksempel Brannmur for webapplikasjoner (WAF) arkitektur fra Edgenexus.

Google Gemini er mye bedre til å forklare arkitekturdiagrammer fordi det er kortfattet. ChatGPT vil gjøre jobben helt fint; det er bare litt ordrik.

3. Tolke utnyttelseskode

En vanlig sikkerhetsoperasjon (SecOps)-aktivitet prøver å finne ut hva en spesifikk skadelig programvare eller utnyttelseskode gjør. Jeg tok en nylig Elasticsearch stack overflow offentlig utnyttelse og matet den inn i hvert verktøy for å se hva det forsto. Det er ingen klar vinner: Begge verktøyene identifiserer utnyttelsen riktig og forklarer sluttresultatet, hva hver del av koden gjør og hvordan den fungerer.

4. Tolke loggfiler

SecOps-fagfolk må ofte finne ut hva pokker som skjer i loggfiler. Jeg matet begge verktøyene en eksempel loggfil i CEF-format av et forsøk på brudd og ba hver enkelt forklare hva som skjer. Gemini forklarer det bedre, oppsummerer godt og foreslår til og med oppfølgingstrinn. Den sier også tydelig hva som skjedde (forsøk på tilgang til /etc/passwd) rett i begynnelsen og utdyper hvordan det kom til den konklusjonen. Mens ChatGPT kommer til den samme konklusjonen, er den altfor detaljert.

5. Skrive retningslinjer og sikkerhetsdokumentasjon

Jeg skal ikke utdype dette så mye, men vil i stedet henvise deg til min forrige artikkel om dette emnet. Jeg kjørte testen på nytt med Gemini, og resultatene stemmer overens med Bards: Gemini forstår tydelig og genererer bedre sikkerhetsdokumentasjon enn ChatGPT.

6. Identifisere sårbar kode

Selv om disse verktøyene ikke er designet for (og bør ikke brukes til) å identifisere sårbar kode, kan de fortsatt gjøre en tilstrekkelig jobb. Jeg bestemte meg for å teste den ved å mate begge verktøyene usikker direkte objektreferanse (IDOR) sårbarhet eksempel i Python, som også inneholder en SQL-injeksjon.

ChatGPT identifiserte riktig både sårbarheter og mangel på autentisering. Gemini savnet IDOR, men påpekte SQL-injeksjonen og gikk et skritt videre for å foreslå endret kode for å fikse sårbarheten. ChatGPT kan også gjøre dette, men det må bli bedt om å gjøre det.

7. Skrive skript og kode

En vanlig aktivitet for sikkerhetsoperasjonssenter (SOC) er å skrive skript for loggparsing eller datamanipulering. Jeg ga begge verktøyene følgende melding:

"Skriv meg et Python-skript som trekker ut alle IPv6-adresser fra en txt-inndatafil, fjerner alle duplikater, gjør et oppslag for å geolokalisere og identifisere eieren av IP-en, og sende ut resultatet i en CSV-fil"

Det er ingen klar vinner her; begge verktøyene produserer tydelig, lesbar kode som fungerer og forklarer hva den gjør.

8. Analyse av data og beregninger

Jeg testet også om disse verktøyene kunne hjelpe med å analysere data eller sikkerhetsberegninger. Gemini er en stor taper her fordi den ikke gjør det i det hele tatt - den kan bare veilede deg gjennom hvordan du gjør dette i Excel og Power BI. ChatGPT har fordelen gjennom sin Data Analyst-plugin, som bruker Excel-filer for å generere grafer du ønsker. Den foreslår til og med visualiseringstyper, og du kan endre en grafs design, inkludert farge, akser og etiketter, gjennom ledeteksten. 

9. Skrive meldinger om brukerbevissthet

Begge verktøyene kan også generere e-poster for sikkerhetsbevissthetskampanjer. Jeg ga begge følgende spørsmål: "Generer en e-post som brukes til en sikkerhetsbevissthetskampanje. Vær morsom og sarkastisk. Minn folk på hvorfor de ikke bør klikke på tilfeldige e-poster fra tilfeldige personer.»

Gemini vinner her - e-posten er kort, har den rette tonen, og (selv om humor er subjektiv) fant jeg den litt morsommere. ChatGPT genererer fortsatt den riktige tonen og en god e-post, men jeg syntes den var litt for lang for en e-postmelding. Uansett, begge verktøyene gjør en god jobb.

10. Tolke samsvarsrammeverk

Hvis du har et raskt spørsmål om hvordan du implementerer et samsvarsrammeverk, kan disse verktøyene definitivt hjelpe. Selv om du kanskje ikke gjør dette ofte, er de veldig nyttige når du trenger det.

Hvis du noen gang har kranglet med noen om hva som utgjør en "betydelig" endring under PCI-DSS og hvordan den skal brukes, er du ikke alene. Jeg spurte hvert verktøy med: 

"Forklar konseptet "betydelig endring" i sammenheng med PCI-DSS. Hva er vanligvis en stor endring? Oppgi det nøyaktige kravet fra standarden også"

Tvillingene har overtaket: Den lister riktig opp de nøyaktige kravene fra standarden (som 6.4.5 og 6.4.6) og hvordan man tolker om noe er en vesentlig endring. ChatGPT nevner ikke nøyaktig hvor denne informasjonen vises i standarden. 

Hvilken AI er bedre, ChatGPT eller Gemini?

Der har du det. Avhengig av bruken din, kan begge verktøyene være en nyttig alliert for å øke produktiviteten og hjelpe deg med dine daglige aktiviteter i infosec-grøftene.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks