ChatGPT vs. Gemini: Melyik a jobb 10 gyakori Infosec-feladathoz?

2023 végén írtam egy cikket, amelyben összehasonlítottam, milyen jól A ChatGPT és a Google Bard kezeli a biztonsági szabályzatok írását. Tekintettel arra, hogy a ChatGPT 4.0 már egy ideje elérhető fizetős verzióként, ChatGPT Plus néven, és a Google nemrég átkeresztelte a Google Bardot Gemini néven (a Gemini Advanced fizetős ajánlatként érhető el), jó alkalom a kettő teljesítményének összehasonlítására. az információbiztonsági szakemberek legjobb 10 felhasználási esete között.

Mielőtt belevágnánk, a generatív mesterséges intelligencia (AI) szokásos figyelmeztetései érvényesek: Legyen óvatos a bevitt adatokkal, és ne feledje, hogy a kimenet nem mindig megbízható.

1. Diagramok vagy koncepciófolyamatok generálása

Mindkét eszköz azt állítja, hogy képes diagramokat és koncepciófolyamatokat generálni. A Gemini azonban elismeri, hogy csak ASCII diagramokat tud generálni, és professzionálisabb eszközökre mutat, ha valami jobbat akar. Megkértem mindkét eszközt, hogy hozzanak létre egy diagramot, amely elmagyarázza a OAuth hitelesítési folyamat.

Az Ikrek az ASCII-ben képviselve elvégzi a feladatot, és használható kategóriákra bontja.

A ChatGPT hallucinál rosszul. Első pillantásra, bár a kép professzionálisnak tűnik, egyáltalán nem képviseli az OAuth-ot. A megfogalmazás értelmetlen, hibás vagy egyenesen olvashatatlan: Felhatalmazás és a Athoricazt valaki?

2. Építészeti diagramok magyarázata

Mindkét eszköz képes diagramokat fogadni, és elmagyarázni, mi történik. Az eredmények sokkal jobbak, mint ami akkor történik, ha diagramokat készítenek. Bemenetként egy példát használtam Webalkalmazás tűzfal (WAF) építészet től Edgenexus.

A Google Gemini sokkal jobban tudja magyarázni az építészeti diagramokat, mert tömör. A ChatGPT remekül elvégzi a munkát; ez csak egy kicsit bőbeszédű.

3. Exploit Code értelmezése

Egy általános biztonsági művelet (SecOps) tevékenység megpróbálja kitalálni, hogy egy adott rosszindulatú program vagy kizsákmányoló kód mit csinál. Vettem egy nemrégiben készült Elasticsearch veremtúlcsordulási nyilvános exploitot, és betápláltam az egyes eszközökbe, hogy lássam, mit ért. Nincs egyértelmű nyertes: Mindkét eszköz helyesen azonosítja a kizsákmányolást, és elmagyarázza a végeredményt, a kód egyes részei működését és működését.

4. Naplófájlok értelmezése

A SecOps szakembereknek gyakran ki kell találniuk, mi a fene történik a naplófájlokban. Mindkét szerszámot etettem an példa CEF formátumú naplófájl megsértési kísérletről, és megkérte mindegyiküket, hogy magyarázzák el, mi történik. Az Ikrek jobban elmagyarázza, jól összefoglalja, és még további lépéseket is javasol. Azt is világosan leírja, hogy mi történt (megkísérelte elérni az /etc/passwd fájlt) rögtön az elején, és kifejti, hogyan jutott erre a következtetésre. Bár a ChatGPT ugyanerre a következtetésre jut, túlságosan bőbeszédű.

5. Irányelvek és biztonsági dokumentáció

Nem részletezem ezt túl sokat, inkább az enyémre fogok hivatkozni előző cikk ebben a témában. Megint lefuttattam a tesztet a Geminivel, és az eredmények összhangban vannak Barddal: a Gemini egyértelműen megérti és jobb biztonsági dokumentációt készít, mint a ChatGPT.

6. A sérülékeny kód azonosítása

Bár ezeket az eszközöket nem a sebezhető kódok azonosítására tervezték (és nem is arra szabad használni), mégis megfelelő munkát végezhetnek. Úgy döntöttem, hogy tesztelem mindkét eszközt nem biztonságos közvetlen objektum hivatkozás (IDOR) sebezhetőség példa Pythonban, amely SQL injekciót is tartalmaz.

A ChatGPT helyesen azonosította mind a sebezhetőséget, mind a hitelesítés hiányát. A Gemini kihagyta az IDOR-t, de rámutatott az SQL-befecskendezésre, és egy lépéssel tovább ment, hogy módosított kódot javasoljon a sérülékenység javítására. A ChatGPT is megteheti ezt, de erre felszólítani kell.

7. Szkriptek és kódok írása

A biztonsági műveleti központ (SOC) általános tevékenysége a naplóelemzéshez vagy adatkezeléshez szükséges szkriptek írása. Mindkét eszköznek a következő felszólítást adtam:

"Írjon nekem egy Python-szkriptet, amely kibontja az összes IPv6-címet egy txt bemeneti fájlból, eltávolítja az összes ismétlődést, kikeresi az IP-cím tulajdonosának földrajzi helyét és azonosítását, majd az eredményt egy CSV-fájlban adja ki."

Itt nincs egyértelmű győztes; mindkét eszköz világos, olvasható kódot állít elő, amely működik, és elmagyarázza, mit csinál.

8. Adatok és mérőszámok elemzése

Azt is teszteltem, hogy ezek az eszközök segíthetnek-e az adatok vagy a biztonsági mutatók elemzésében. A Gemini itt nagy vesztes, mert egyáltalán nem csinálja – csak végigvezeti Önt, hogyan teheti ezt meg Excelben és Power BI-ban. A ChatGPT előnye a Data Analyst beépülő modulja, amely Excel-fájlok feldolgozásával bármilyen kívánt grafikont generál. Még vizualizációs típusokat is javasol, és a prompton keresztül módosíthatja a grafikon kialakítását, beleértve a színt, a tengelyeket és a címkéket. 

9. Felhasználói figyelemfelkeltő üzenetek írása

Mindkét eszköz e-maileket is generálhat biztonsági tudatosságnövelő kampányokhoz. Mindkettőhöz a következő felszólítást adtam: „Hozz létre egy e-mailt egy biztonsági tudatosságnövelő kampányhoz. Légy vicces és szarkasztikus. Emlékeztesd az embereket, hogy miért ne kattintsanak véletlenszerű emberektől származó véletlenszerű e-mailekre.”

Itt a Gemini nyer – az e-mailje rövid, a megfelelő hangvételű, és (bár a humor szubjektív) kicsit viccesebbnek találtam. A ChatGPT továbbra is a megfelelő hangot és egy jó e-mailt generál, de kicsit túl hosszúnak találtam egy tájékoztató e-mailhez. Akárhogy is, mindkét eszköz nagyszerű munkát végez.

10. A megfelelőségi keretrendszerek értelmezése

Ha gyors kérdése van a megfelelőségi keretrendszer bevezetésével kapcsolatban, ezek az eszközök biztosan segíthetnek. Bár nem gyakran csinálja ezt, nagyon hasznosak, amikor szüksége van rá.

Ha valaha is vitatkozott valakivel arról, hogy mi számít „jelentős” változásnak a PCI-DSS alatt, és hogyan kell alkalmazni, akkor nincs egyedül. Mindegyik eszközhöz a következőket kértem: 

Magyarázza el a „jelentős változás” fogalmát a PCI-DSS kontextusában. Általában mi számít jelentős változásnak? Sorolja fel a pontos követelményt is a szabványból”

A Gemini előnyben van: helyesen sorolja fel a szabvány pontos követelményeit (például 6.4.5 és 6.4.6), és azt, hogy hogyan értelmezhető, hogy valami jelentős változás-e. A ChatGPT nem említi, hogy ez az információ pontosan hol jelenik meg a szabványban. 

Melyik AI a jobb, a ChatGPT vagy a Gemini?

Tessék, itt van. Használati esetétől függően bármelyik eszköz hasznos szövetséges lehet a termelékenység növelésében, és segíti Önt az infosec árkokban végzett napi tevékenységeiben.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks