ChatGPT vs. Kaksikud: kumb on 10 levinuma infoseci ülesande jaoks parem?

2023. aasta lõpus kirjutasin artikli, milles võrdlesin, kui hästi ChatGPT ja Google Bard kirjutavad turbepoliitikaid. Arvestades, et ChatGPT 4.0 on juba mõnda aega olnud saadaval tasulise versioonina ChatGPT Plus ja Google muutis hiljuti Google Bardi nimeks Gemini (tasulise pakkumisena on saadaval Gemini Advanced), on hea aeg võrrelda nende kahe toimivust infoturbespetsialistide 10 populaarseima kasutusjuhtumi esitus.

Enne kui alustame, kehtivad tavapärased generatiivse tehisintellekti (AI) hoiatused: olge sisestatavate andmete suhtes ettevaatlik ja pidage meeles, et väljund ei pruugi alati olla usaldusväärne.

1. Diagrammide või mõistevoogude genereerimine

Mõlemad tööriistad väidavad, et suudavad genereerida diagramme ja kontseptsioonivooge. Kuid Kaksikud tunnistavad, et suudab genereerida ainult ASCII diagramme, suunates teid professionaalsemate tööriistade juurde, kui soovite midagi paremat. Palusin mõlemal tööriistal koostada selle selgitamiseks diagramm OAuth autentimisvoog.

Kaksikud, kes on esindatud ASCII-s, teevad selle töö ära ja jagavad selle kasutatavateks kategooriateks.

ChatGPT hallutsineerib halvasti. Kuigi esmapilgul tundub pilt professionaalne, ei esinda see üldse OAuthi. Sõnastus on mõttetu, valesti kirjutatud või täiesti loetamatu: Autoriteet ja Athoricazt keegi?

2. Arhitektuuriskeemide selgitamine

Mõlemad tööriistad võivad neelata diagramme ja selgitada, mis toimub. Tulemused on palju paremad kui see, mis juhtub siis, kui palute neil diagramme luua. Sisendina kasutasin näidet Veebirakenduse tulemüür (WAF) arhitektuur alates Edgenexus.

Google Gemini oskab arhitektuuriskeeme palju paremini selgitada, kuna see on kokkuvõtlik. ChatGPT saab oma tööga suurepäraselt hakkama; see on lihtsalt pisut sõnakas.

3. Kasutuskoodi tõlgendamine

Tavaline turvatoimingute (SecOps) tegevus püüab välja selgitada, mida konkreetne pahavara või ärakasutamiskood teeb. Võtsin kasutusele hiljutise Elasticsearchi virna ülevoolu avaliku ärakasutamise ja sisestasin selle igasse tööriista, et näha, mida see mõistab. Selget võitjat pole: mõlemad tööriistad tuvastavad ärakasutamise õigesti ja selgitavad lõpptulemust, mida iga koodiosa teeb ja kuidas see töötab.

4. Logifailide tõlgendamine

SecOpsi spetsialistid peavad sageli välja selgitama, mis kuradi logifailides toimub. Söötsin mõlemale tööriistale an CEF-vormingu logifaili näide rikkumise katsest ja palusid igaühel selgitada, mis toimub. Kaksikud selgitavad seda paremini, võttes hästi kokku ja soovitades isegi järelmeetmeid. Samuti kirjeldatakse kohe alguses selgelt, mis juhtus (katses juurdepääsu failile /etc/passwd), ja selgitatakse üksikasjalikult, kuidas ta sellele järeldusele jõudis. Kuigi ChatGPT jõuab samale järeldusele, on see liiga paljusõnaline.

5. Kirjutamispoliitika ja turvadokumentatsioon

Ma ei hakka seda liiga palju täpsustama ja viitan selle asemel omale Eelmine artikkel sellel teemal. Tegin testi uuesti Geminiga ja tulemused on kooskõlas Bardi omaga: Gemini mõistab selgelt ja loob parema turvadokumentatsiooni kui ChatGPT.

6. Haavatava koodi tuvastamine

Kuigi need tööriistad ei ole mõeldud haavatava koodi tuvastamiseks (ja neid ei tohiks kasutada), saavad need siiski teha piisavat tööd. Otsustasin seda katsetada, söötes mõlemale tööriistale an ebaturvaline otseobjektiviide (IDOR) haavatavus näide Pythonis, mis sisaldab ka SQL-i süsti.

ChatGPT tuvastas õigesti nii haavatavused kui ka autentimise puudumise. Gemini jättis IDOR-i vahele, kuid juhtis tähelepanu SQL-i süstimisele ja astus sammu edasi, et pakkuda haavatavuse parandamiseks muudetud koodi. Seda saab teha ka ChatGPT, kuid seda tuleb paluda.

7. Skriptide ja koodide kirjutamine

Levinud turvaoperatsioonide keskuse (SOC) tegevus on skriptide kirjutamine logi sõelumiseks või andmete töötlemiseks. Andsin mõlemale tööriistale järgmise viipa:

"Kirjutage mulle Pythoni skript, mis ekstraheerib txt-sisendfailist kõik IPv6-aadressid, eemaldab kõik duplikaadid, otsib IP-aadressi geograafilist asukohta ja tuvastab selle omaniku ning väljastab tulemuse CSV-failina."

Siin pole selget võitjat; mõlemad tööriistad toodavad selget ja loetavat koodi, mis töötab ja selgitab, mida see teeb.

8. Andmete ja mõõdikute analüüsimine

Samuti testisin, kas need tööriistad võivad aidata andmeid või turvamõõdikuid analüüsida. Kaksikud on siin suur kaotaja, sest ta ei tee seda üldse – ta saab teid ainult juhendada, kuidas seda Excelis ja Power BI-s teha. ChatGPT eeliseks on pistikprogramm Data Analyst, mis neelab Exceli failid soovitud graafikute loomiseks. See soovitab isegi visualiseerimistüüpe ja saate viipa kaudu muuta graafiku kujundust, sealhulgas värvi, telgi ja silte. 

9. Kasutaja teadlikkuse tõstmise sõnumite kirjutamine

Mõlemad tööriistad võivad genereerida ka turvateadlikkuse tõstmise kampaaniate jaoks meile. Andsin mõlemale järgmise viipe: "Looge turvateadlikkuse kampaania jaoks kasutatav meil. Ole naljakas ja sarkastiline. Tuletage inimestele meelde, miks nad ei peaks klõpsama juhuslikel inimestelt saadud juhuslikel meilidel.

Kaksikud võidavad siin – selle e-kiri on lühike, õige tooniga ja (kuigi huumor on subjektiivne) tundus see mulle veidi naljakam. ChatGPT genereerib endiselt õige tooni ja hea meili, kuid leidsin, et teadlikkuse tõstmise meili jaoks on see pisut liiga pikk. Mõlemal juhul teevad mõlemad tööriistad suurepärast tööd.

10. Vastavusraamistike tõlgendamine

Kui teil on kiire küsimus vastavusraamistiku rakendamise kohta, võivad need tööriistad kindlasti aidata. Kuigi te ei pruugi seda sageli teha, on need väga kasulikud, kui seda vajate.

Kui olete kunagi kellegagi vaielnud selle üle, mis on PCI-DSS-i "oluline" muudatus ja kuidas seda tuleks rakendada, pole te üksi. Küsisin igal tööriistal: 

"Selgitage mõiste "oluline muutus" PCI-DSS kontekstis. Mis on tavaliselt suur muutus? Loetlege ka täpne nõue standardist"

Kaksikutel on ülekaal: see loetleb õigesti standardi täpsed nõuded (nt 6.4.5 ja 6.4.6) ja kuidas tõlgendada, kas midagi on oluline muudatus. ChatGPT ei maini, kus see teave standardis täpselt kuvatakse. 

Kumb AI on parem, ChatGPT või Kaksikud?

Siin see on. Olenevalt teie kasutusjuhtumist võib kumbki tööriist olla kasulik liitlane tootlikkuse suurendamisel ja aidata teil igapäevastes tegevustes infosec’i kaevikus.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks