ChatGPT vs. Gemeni: care este mai bun pentru 10 sarcini Infosec obișnuite?

La sfârșitul anului 2023, am scris un articol în care comparăm cât de bine ChatGPT și Google Bard se ocupă de scrierea politicilor de securitate. Având în vedere că ChatGPT 4.0 este disponibil ca versiune plătită, numită ChatGPT Plus, de ceva vreme încoace, iar Google a redenumit recent Google Bard drept Gemini (cu Gemini Advanced disponibil ca ofertă plătită), este un moment bun pentru a compara modul în care performanțele celor doi în un cap la cap al primelor 10 cazuri de utilizare pentru profesioniștii în securitatea informațiilor.

Înainte de a interveni, se aplică avertismentele obișnuite ale inteligenței artificiale generative (AI): aveți grijă la datele pe care le introduceți și amintiți-vă că rezultatul poate să nu fie întotdeauna de încredere.

1. Generarea de diagrame sau fluxuri conceptuale

Ambele instrumente pretind că pot genera diagrame și fluxuri de concept. Cu toate acestea, Gemini admite că poate genera doar diagrame ASCII, arătându-vă către instrumente mai profesionale dacă doriți ceva mai bun. Am cerut ambelor instrumente să genereze o diagramă pentru a explica OAuth flux de autentificare.

Gemenii, deși sunt reprezentați în ASCII, fac treaba și o descompun în categorii utilizabile.

ChatGPT halucinează prost. La prima vedere, deși imaginea pare profesională, nu reprezintă deloc OAuth. Formularea este lipsită de sens, este scrisă greșit sau de-a dreptul ilizibilă: Autentificare și Athoricazt oricine?

2. Explicarea diagramelor de arhitectură

Ambele instrumente pot ingera diagrame și pot explica ce se întâmplă. Rezultatele sunt mult mai bune decât ceea ce se întâmplă atunci când le ceri să genereze diagrame. Ca intrare, am folosit un exemplu Firewall pentru aplicații web (WAF) arhitectura din Edgenexus.

Google Gemini este mult mai bun la explicarea diagramelor de arhitectură, deoarece este succint. ChatGPT va face treaba foarte bine; este doar un pic pronunțat.

3. Interpretarea codului de exploatare

O activitate obișnuită a operațiunilor de securitate (SecOps) este încercarea de a afla ce face un anumit malware sau un cod de exploatare. Am luat o exploatare publică recentă a stivei Elasticsearch overflow și am introdus-o în fiecare instrument pentru a vedea ce a înțeles. Nu există un câștigător clar: ambele instrumente identifică corect exploit-ul și explică rezultatul final, ce face fiecare parte a codului și cum funcționează.

4. Interpretarea fișierelor jurnal

Profesioniștii SecOps trebuie adesea să-și dea seama ce naiba se întâmplă în fișierele jurnal. Am hrănit ambele unelte și exemplu de fișier jurnal în format CEF a unei tentative de încălcare și a cerut fiecăruia să explice ce se întâmplă. Gemenii o explică mai bine, rezumă bine și chiar sugerează pași de urmărire. De asemenea, precizează clar ce s-a întâmplat (tentativă de acces la /etc/passwd) chiar de la început și detaliază cum s-a ajuns la această concluzie. În timp ce ChatGPT ajunge la aceeași concluzie, este mult prea verbos.

5. Redactarea politicilor și a documentației de securitate

Nu voi detalia prea mult despre asta și, în schimb, vă voi trimite la mine anterioară articol pe această temă. Am rulat din nou testul cu Gemini, iar rezultatele sunt în concordanță cu cele ale lui Bard: Gemini înțelege clar și generează documentație de securitate mai bună decât ChatGPT.

6. Identificarea Codului Vulnerabil

Deși aceste instrumente nu au fost concepute pentru (și nu ar trebui folosite pentru) identificarea codului vulnerabil, ele pot face totuși o treabă adecvată. Am decis să-l testez hrănind ambele unelte și referință directă nesigură la obiect (IDOR) vulnerabilitate exemplu în Python, care conține și o injecție SQL.

ChatGPT a identificat corect atât vulnerabilitățile, cât și lipsa de autentificare. Gemeni a ratat IDOR, dar a subliniat injecția SQL și a făcut un pas mai departe pentru a propune codul modificat pentru a remedia vulnerabilitatea. ChatGPT poate face și acest lucru, dar trebuie să i se solicite să facă acest lucru.

7. Scrierea de Scripturi și Cod

O activitate comună a centrului de operațiuni de securitate (SOC) este scrierea de scripturi pentru analizarea jurnalelor sau manipularea datelor. Am dat ambelor instrumente următorul prompt:

„Scrieți-mi un script Python care extrage toate adresele IPv6 dintr-un fișier de intrare txt, elimină toate duplicatele, face o căutare pentru a localiza geografic și a identifica proprietarul IP-ului și scoate rezultatul într-un fișier CSV”

Nu există un câștigător clar aici; ambele instrumente produc cod clar, lizibil, care funcționează și explică ceea ce face.

8. Analiza datelor și a valorilor

De asemenea, am testat dacă aceste instrumente ar putea ajuta la analiza datelor sau a valorilor de securitate. Gemenii sunt un mare ratat aici, deoarece nu o face deloc - vă poate ghida doar prin cum faceți acest lucru în Excel și Power BI. ChatGPT are avantajul prin plug-in-ul Data Analyst, care ingerează fișiere Excel pentru a genera orice grafice doriți. Acesta sugerează chiar și tipuri de vizualizare și puteți modifica designul unui grafic, inclusiv culoarea, axele și etichetele, prin intermediul promptului. 

9. Scrierea mesajelor de conștientizare a utilizatorilor

Ambele instrumente pot genera, de asemenea, e-mailuri pentru campanii de conștientizare a securității. Le-am dat ambilor următorul prompt: „Generează un e-mail folosit pentru o campanie de conștientizare a securității. Fii amuzant și sarcastic. Amintiți-le oamenilor de ce nu ar trebui să facă clic pe e-mailuri aleatorii de la persoane aleatorii.”

Gemenii câștigă aici — e-mailul său este scurt, are tonul potrivit și (deși umorul este subiectiv) mi s-a părut puțin mai amuzant. ChatGPT încă generează tonul potrivit și un e-mail bun, dar mi s-a părut că este puțin prea lung pentru un e-mail de informare. Oricum, ambele instrumente fac o treabă grozavă.

10. Interpretarea cadrelor de conformitate

Dacă aveți o întrebare rapidă despre cum să implementați un cadru de conformitate, aceste instrumente vă pot ajuta cu siguranță. Deși s-ar putea să nu faci asta des, ele sunt foarte utile atunci când ai nevoie.

Dacă te-ai certat vreodată cu cineva despre ceea ce constituie o schimbare „semnificativă” conform PCI-DSS și despre cum ar trebui aplicată, nu ești singur. Am solicitat fiecare instrument cu: 

„Explicați conceptul de „schimbare semnificativă” în contextul PCI-DSS. Ce reprezintă de obicei o schimbare majoră? Enumerați și cerințele exacte din standard”

Gemenii au puterea de sus: enumeră corect cerințele exacte din standard (cum ar fi 6.4.5 și 6.4.6) și cum să interpreteze dacă ceva este o schimbare semnificativă. ChatGPT nu menționează exact unde apar aceste informații în standard. 

Care AI este mai bună, ChatGPT sau Gemeni?

Iată-l. În funcție de cazul dvs. de utilizare, oricare dintre instrumente poate fi un aliat util în creșterea productivității și pentru a vă ajuta în activitățile de zi cu zi din tranșeele Infosec.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks