ChatGPT v primerjavi z Gemini: Kateri je boljši za 10 običajnih nalog Infosec?

Konec leta 2023 sem napisal članek, v katerem sem primerjal, kako dobro ChatGPT in Google Bard skrbita za pisanje varnostnih pravilnikov. Glede na to, da je ChatGPT 4.0 že nekaj časa na voljo kot plačljiva različica, imenovana ChatGPT Plus, Google pa je nedavno preimenoval Google Bard v Gemini (z Gemini Advanced, ki je na voljo kot plačljiva ponudba), je pravi čas, da primerjamo, kako delujeta v 10 najboljših primerov uporabe za strokovnjake za informacijsko varnost.

Preden začnemo, veljajo običajna opozorila glede generativne umetne inteligence (AI): bodite previdni pri podatkih, ki jih vnašate, in ne pozabite, da rezultati morda niso vedno zanesljivi.

1. Ustvarjanje diagramov ali tokov konceptov

Obe orodji trdita, da lahko ustvarita diagrame in tokove konceptov. Vendar Gemini priznava, da lahko ustvari samo diagrame ASCII, ki vas usmerijo k bolj profesionalnim orodjem, če želite nekaj boljšega. Obe orodji sem prosil za ustvarjanje diagrama za razlago OAuth potek avtentikacije.

Gemini, čeprav je predstavljen v ASCII, opravi delo in ga razdeli na uporabne kategorije.

ChatGPT halucinira slabo. Čeprav je slika na prvi pogled videti profesionalna, sploh ne predstavlja OAuth. Besedilo je nesmiselno, napačno črkovano ali popolnoma nečitljivo: Avtorizacija in Athoricazt kdo?

2. Razlaga arhitekturnih diagramov

Obe orodji lahko zaužijeta diagrame in razložita, kaj se dogaja. Rezultati so veliko boljši od tistih, ki se zgodijo, ko jih prosite, da ustvarijo diagrame. Kot vhod sem uporabil primer Požarni zid spletne aplikacije (WAF) arhitektura iz Egenexus.

Google Gemini je veliko boljši pri razlagi arhitekturnih diagramov, ker je jedrnat. ChatGPT bo dobro opravil delo; je le malo besedno.

3. Razlaga kode izkoriščanja

Običajna dejavnost varnostnih operacij (SecOps) poskuša ugotoviti, kaj počne določena zlonamerna programska oprema ali koda izkoriščanja. Vzel sem nedavno javno izkoriščanje Elasticsearch stack overflow in ga vnesel v vsako orodje, da vidim, kaj razume. Ni jasnega zmagovalca: obe orodji pravilno prepoznata izkoriščanje in razložita končni rezultat, kaj počne vsak del kode in kako deluje.

4. Tolmačenje dnevniških datotek

Strokovnjaki SecOps morajo pogosto ugotoviti, kaj za vraga se dogaja v dnevniških datotekah. Obe orodji sem hranil an primer dnevniške datoteke formata CEF poskusa kršitve in prosil vsakega, naj pojasni, kaj se dogaja. Gemini to bolje razloži, dobro povzame in celo predlaga nadaljnje korake. Prav tako jasno navaja, kaj se je zgodilo (poskus dostopa do /etc/passwd) takoj na začetku in pojasnjuje, kako je prišlo do tega zaključka. Čeprav ChatGPT pride do istega zaključka, je preveč beseden.

5. Pisanje politik in varnostne dokumentacije

O tem ne bom preveč razpravljal in vas bom namesto tega napotil na mojo prejšnji članek na to temo. Ponovno sem izvedel test z Geminijem in rezultati so skladni z Bardovimi: Gemini jasno razume in ustvari boljšo varnostno dokumentacijo kot ChatGPT.

6. Prepoznavanje ranljive kode

Čeprav ta orodja niso bila zasnovana (in se jih ne bi smelo uporabljati za) prepoznavanje ranljive kode, lahko vseeno opravijo ustrezno delo. Odločil sem se, da ga preizkusim tako, da napolnim obe orodji nezaščiteno neposredno sklicevanje na objekt (IDOR) ranljivost primer v Pythonu, ki vsebuje tudi injekcijo SQL.

ChatGPT je pravilno identificiral ranljivosti in pomanjkanje avtentikacije. Gemini je zamudil IDOR, vendar je opozoril na vbrizgavanje SQL in šel še korak dlje, da je predlagal spremenjeno kodo za odpravo ranljivosti. To lahko stori tudi ChatGPT, vendar mora biti k temu pozvan.

7. Pisanje skriptov in kode

Običajna dejavnost varnostnega operacijskega centra (SOC) je pisanje skriptov za razčlenjevanje dnevnika ali manipulacijo podatkov. Obema orodjema sem dal naslednji poziv:

»Napišite mi skript Python, ki ekstrahira vse naslove IPv6 iz vhodne datoteke txt, odstrani vse dvojnike, izvede iskanje za geografsko lociranje in identifikacijo lastnika IP-ja ter izpiše rezultat v datoteki CSV«

Tukaj ni jasnega zmagovalca; obe orodji ustvarita jasno, berljivo kodo, ki deluje in pojasnjuje, kaj počne.

8. Analiziranje podatkov in meritev

Preizkusil sem tudi, ali lahko ta orodja pomagajo pri analizi podatkov ali varnostnih meritev. Gemini je tu velik poraženec, ker tega sploh ne počne – lahko vas le vodi skozi to, kako to storiti v Excelu in Power BI. ChatGPT ima prednost zaradi vtičnika Data Analyst, ki zaužije Excelove datoteke za ustvarjanje poljubnih grafov. Predlaga celo vrste vizualizacije in prek poziva lahko spremenite zasnovo grafa, vključno z barvo, osmi in oznakami. 

9. Pisanje sporočil za ozaveščanje uporabnikov

Obe orodji lahko ustvarjata tudi e-poštna sporočila za kampanje ozaveščanja o varnosti. Obema sem dal naslednji poziv: »Ustvarite e-poštno sporočilo za kampanjo ozaveščanja o varnosti. Bodite smešni in sarkastični. Opomnite ljudi, zakaj ne bi smeli klikati na naključna e-poštna sporočila naključnih ljudi.«

Tukaj zmaga Gemini – njegova e-pošta je kratka, ima pravi ton in (čeprav je humor subjektiven) se mi je zdel nekoliko bolj smešen. ChatGPT še vedno ustvari pravi ton in dobro e-pošto, vendar se mi je zdel malce predolg za e-pošto za ozaveščanje. Kakor koli že, obe orodji odlično opravita svoje delo.

10. Tolmačenje okvirov skladnosti

Če imate hitro vprašanje o tem, kako implementirati okvir skladnosti, vam lahko ta orodja zagotovo pomagajo. Čeprav tega morda ne počnete pogosto, so zelo uporabni, ko jih potrebujete.

Če ste se kdaj s kom prepirali o tem, kaj pomeni "pomembna" sprememba v okviru PCI-DSS in kako naj bi jo uporabili, niste edini. Vsako orodje sem pozval z: 

»Pojasnite koncept 'pomembne spremembe' v kontekstu PCI-DSS. Kaj običajno pomeni večjo spremembo? Navedite tudi natančno zahtevo iz standarda«

Gemini ima prednost: pravilno navaja natančne zahteve iz standarda (kot sta 6.4.5 in 6.4.6) in kako razlagati, ali je nekaj pomembna sprememba. ChatGPT ne omenja, kje točno se te informacije pojavljajo v standardu. 

Kateri AI je boljši, ChatGPT ali Gemini?

Tukaj imaš. Odvisno od vašega primera uporabe je lahko katero koli orodje koristen zaveznik pri povečanju produktivnosti in vam pomaga pri vsakodnevnih dejavnostih v okopih informacijske zaščite.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks