ChatGPT vs. Gemini: Hvilken er bedre til 10 almindelige Infosec-opgaver?

I slutningen af ​​2023 skrev jeg en artikel, der sammenlignede hvor godt ChatGPT og Google Bard håndterer skrivning af sikkerhedspolitikker. I betragtning af at ChatGPT 4.0 har været tilgængelig som en betalt version, kaldet ChatGPT Plus, i nogen tid nu, og Google for nylig omdøbte Google Bard til Gemini (med Gemini Advanced tilgængelig som betalt tilbud), er det et godt tidspunkt at sammenligne, hvordan de to klarer sig i en head-to-head af top 10 use cases for informationssikkerhedsprofessionelle.

Inden vi springer ind, gælder de sædvanlige forbehold for generativ kunstig intelligens (AI): Vær forsigtig med de data, du slår ind, og husk, at output ikke altid er pålideligt.

1. Generering af diagrammer eller konceptstrømme

Begge værktøjer hævder at kunne generere diagrammer og konceptflows. Gemini indrømmer dog, at det kun kan generere ASCII-diagrammer, hvilket peger dig på mere professionelle værktøjer, hvis du vil have noget bedre. Jeg bad begge værktøjer om at generere et diagram for at forklare OAuth autentificeringsflow.

Tvillingerne, mens de er repræsenteret i ASCII, gør jobbet og opdeler det i brugbare kategorier.

ChatGPT hallucinerer dårligt. Ved første øjekast, selvom billedet ser professionelt ud, repræsenterer det slet ikke OAuth. Ordlyden er useriøs, stavet forkert eller direkte ulæselig: Authiration , Athoricazt nogen som helst?

2. Forklaring af arkitekturdiagrammer

Begge værktøjer kan indtage diagrammer og forklare, hvad der foregår. Resultaterne er meget bedre, end hvad der sker, når du beder dem om at generere diagrammer. Som input brugte jeg et eksempel Firewall til webapplikationer (WAF) arkitektur fra Edgenexus.

Google Gemini er meget bedre til at forklare arkitekturdiagrammer, fordi det er kortfattet. ChatGPT vil klare opgaven fint; det er bare en smule ordrigt.

3. Fortolkning af udnyttelseskode

En almindelig sikkerhedsoperation (SecOps) aktivitet forsøger at finde ud af, hvad en specifik malware eller udnyttelseskode gør. Jeg tog en nylig Elasticsearch stack overflow offentlig udnyttelse og indførte den i hvert værktøj for at se, hvad det forstod. Der er ingen klar vinder: Begge værktøjer identificerer udnyttelsen korrekt og forklarer slutresultatet, hvad hver del af koden gør, og hvordan den virker.

4. Tolkning af logfiler

SecOps-professionelle har ofte brug for at finde ud af, hvad pokker der foregår i logfiler. Jeg fodrede begge værktøjer en eksempel CEF-format logfil af et forsøg på brud og bad hver enkelt om at forklare, hvad der foregår. Gemini forklarer det bedre, opsummerer godt og foreslår endda opfølgende trin. Den angiver også tydeligt, hvad der skete (forsøg på adgang til /etc/passwd) lige i begyndelsen og uddyber, hvordan det kom til denne konklusion. Mens ChatGPT når frem til den samme konklusion, er den alt for omfattende.

5. Skrivning af politikker og sikkerhedsdokumentation

Jeg vil ikke uddybe dette så meget og vil i stedet henvise dig til min forrige artikel om dette emne. Jeg kørte testen igen med Gemini, og resultaterne stemmer overens med Bards: Gemini forstår og genererer klart bedre sikkerhedsdokumentation end ChatGPT.

6. Identifikation af sårbar kode

Selvom disse værktøjer ikke er designet til (og bør ikke bruges til) at identificere sårbar kode, kan de stadig udføre et passende stykke arbejde. Jeg besluttede at teste det ved at fodre begge værktøjer en usikker direkte objektreference (IDOR) sårbarhed eksempel i Python, som også indeholder en SQL-injektion.

ChatGPT identificerede korrekt både sårbarheder og manglen på godkendelse. Gemini savnede IDOR, men påpegede SQL-injektionen og gik et skridt videre for at foreslå ændret kode for at rette op på sårbarheden. ChatGPT kan også gøre dette, men det skal blive bedt om at gøre det.

7. Skrivning af scripts og kode

En almindelig aktivitet i sikkerhedsoperationscenter (SOC) er at skrive scripts til log-parsing eller datamanipulation. Jeg gav begge værktøjer følgende prompt:

"Skriv mig et Python-script, der udtrækker alle IPv6-adresser fra en txt-inputfil, fjerner alle dubletter, laver et opslag for at geolokalisere og identificere ejeren af ​​IP'en og udlæse resultatet i en CSV-fil"

Der er ingen klar vinder her; begge værktøjer producerer klar, læsbar kode, der virker og forklarer, hvad den gør.

8. Analyse af data og målinger

Jeg testede også, om disse værktøjer kunne hjælpe med at analysere data eller sikkerhedsmålinger. Gemini er en stor taber her, fordi den slet ikke gør det - den kan kun guide dig igennem, hvordan du gør dette i Excel og Power BI. ChatGPT har fordelen gennem sin Data Analyst plug-in, som indtager Excel-filer for at generere de grafer, du ønsker. Det foreslår endda visualiseringstyper, og du kan ændre en grafs design, inklusive farve, akser og etiketter, gennem prompten. 

9. Skrivning af brugerbevidsthedsmeddelelser

Begge værktøjer kan også generere e-mails til sikkerhedsbevidsthedskampagner. Jeg gav begge følgende prompt: "Generer en e-mail, der bruges til en sikkerhedsbevidsthedskampagne. Vær sjov og sarkastisk. Mind folk om, hvorfor de ikke skal klikke på tilfældige e-mails fra tilfældige personer."

Gemini vinder her - dens e-mail er kort, har den rigtige tone, og (selvom humor er subjektiv) fandt jeg den lidt sjovere. ChatGPT genererer stadig den rigtige tone og en god e-mail, men jeg syntes, det var en anelse for lang tid til en bevidstheds-e-mail. Uanset hvad gør begge værktøjer et godt stykke arbejde.

10. Fortolkning af overholdelsesrammer

Hvis du har et hurtigt spørgsmål om, hvordan du implementerer en overholdelsesramme, kan disse værktøjer helt sikkert hjælpe. Selvom du måske ikke gør dette ofte, er de meget nyttige, når du har brug for det.

Hvis du nogensinde har skændtes med nogen om, hvad der udgør en "betydelig" ændring under PCI-DSS, og hvordan den skal anvendes, er du ikke alene. Jeg spurgte hvert værktøj med: 

"Forklar begrebet 'betydelig ændring' i sammenhæng med PCI-DSS. Hvad udgør en stor ændring normalt? Angiv også det nøjagtige krav fra standarden"

Tvillingerne har overtaget: Den angiver korrekt de præcise krav fra standarden (såsom 6.4.5 og 6.4.6), og hvordan man fortolker, om noget er en væsentlig ændring. ChatGPT nævner ikke præcis, hvor disse oplysninger vises i standarden. 

Hvilken AI er bedre, ChatGPT eller Gemini?

Der har du det. Afhængigt af din brugssituation kan begge værktøjer være en nyttig allieret til at øge produktiviteten og hjælpe dig i dine daglige aktiviteter i infosec-skyttegravene.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks