ChatGPT versus Gemini: wat is beter voor 10 veelvoorkomende Infosec-taken?

Eind 2023 schreef ik een artikel waarin ik vergeleek hoe goed ChatGPT en Google Bard verzorgen het schrijven van beveiligingsbeleid. Gezien het feit dat ChatGPT 4.0 al enige tijd beschikbaar is als een betaalde versie, genaamd ChatGPT Plus, en Google onlangs Google Bard heeft omgedoopt tot Gemini (waarbij Gemini Advanced beschikbaar is als betaald aanbod), is het een goed moment om te vergelijken hoe de twee presteren in een overzicht van de top 10 use cases voor informatiebeveiligingsprofessionals.

Voordat we hierop ingaan, zijn de gebruikelijke kanttekeningen bij generatieve kunstmatige intelligentie (AI) van toepassing: wees voorzichtig met de gegevens die u invoert en onthoud dat de uitvoer mogelijk niet altijd betrouwbaar is.

1. Diagrammen of conceptstromen genereren

Beide tools beweren diagrammen en conceptstromen te kunnen genereren. Gemini geeft echter toe dat het alleen ASCII-diagrammen kan genereren, waardoor u naar professionelere tools wordt verwezen als u iets beters wilt. Ik vroeg beide tools om een ​​diagram te genereren om het uit te leggen OAuth authenticatiestroom.

Gemini, hoewel vertegenwoordigd in ASCII, doet het werk en verdeelt het in bruikbare categorieën.

ChatGPT hallucineert slecht. Hoewel de afbeelding er op het eerste gezicht professioneel uitziet, vertegenwoordigt deze helemaal geen OAuth. De bewoording is onzinnig, verkeerd gespeld of ronduit onleesbaar: Autorisatie en Athoricazt iedereen?

2. Architectuurdiagrammen uitleggen

Beide tools kunnen diagrammen opnemen en uitleggen wat er aan de hand is. De resultaten zijn veel beter dan wat er gebeurt als je hen vraagt ​​diagrammen te genereren. Als input heb ik een voorbeeld gebruikt Webtoepassingsfirewall (WAF) architectuur uit Randnexus.

Google Gemini is veel beter in het uitleggen van architectuurdiagrammen omdat het beknopt is. ChatGPT zal het werk prima doen; het is gewoon een beetje langdradig.

3. Exploitcode interpreteren

Een veel voorkomende activiteit op het gebied van beveiligingsoperaties (SecOps) is het proberen te achterhalen wat een specifieke malware of exploitcode doet. Ik heb een recente openbare exploit van Elasticsearch-stack-overflow genomen en deze in elke tool ingevoerd om te zien wat deze begreep. Er is geen duidelijke winnaar: beide tools identificeren de exploit correct en leggen het eindresultaat uit, wat elk deel van de code doet en hoe het werkt.

4. Logbestanden interpreteren

SecOps-professionals moeten vaak uitzoeken wat er in logbestanden aan de hand is. Ik heb beide tools een voorbeeld logbestand in CEF-formaat van een poging tot inbreuk en vroeg iedereen om uit te leggen wat er aan de hand was. Gemini legt het beter uit, vat goed samen en stelt zelfs vervolgstappen voor. Het vermeldt ook duidelijk wat er aan het begin is gebeurd (poging tot toegang tot /etc/passwd) en legt uit hoe het tot die conclusie is gekomen. Hoewel ChatGPT tot dezelfde conclusie komt, is deze veel te uitgebreid.

5. Schrijven van beleid en beveiligingsdocumentatie

Ik ga hier niet te veel op in en verwijs u in plaats daarvan naar mijn vorige artikel over dit onderwerp. Ik heb de test opnieuw uitgevoerd met Gemini en de resultaten komen overeen met die van Bard: Gemini begrijpt en genereert betere beveiligingsdocumentatie dan ChatGPT.

6. Kwetsbare code identificeren

Hoewel deze tools niet zijn ontworpen voor (en niet mogen worden gebruikt voor) het identificeren van kwetsbare code, kunnen ze nog steeds adequaat werk verrichten. Ik besloot het te testen door beide tools een onveilige directe objectreferentie (IDOR) kwetsbaarheid voorbeeld in Python, die ook een SQL-injectie bevat.

ChatGPT heeft zowel de kwetsbaarheden als het gebrek aan authenticatie correct geïdentificeerd. Gemini miste de IDOR, maar wees op de SQL-injectie en ging nog een stap verder door gewijzigde code voor te stellen om de kwetsbaarheid te verhelpen. ChatGPT kan dit ook doen, maar moet hierom worden gevraagd.

7. Scripts en code schrijven

Een veel voorkomende SOC-activiteit (Security Operations Center) is het schrijven van scripts voor het parseren van logboeken of gegevensmanipulatie. Ik gaf beide tools de volgende prompt:

“Schrijf mij een Python-script dat alle IPv6-adressen uit een txt-invoerbestand haalt, alle duplicaten verwijdert, een zoekopdracht uitvoert om de eigenaar van het IP-adres te geolokaliseren en te identificeren, en het resultaat in een CSV-bestand uitvoert”

Er is hier geen duidelijke winnaar; beide tools produceren duidelijke, leesbare code die werkt en uitlegt wat het doet.

8. Gegevens en statistieken analyseren

Ik heb ook getest of deze tools konden helpen bij het analyseren van gegevens of beveiligingsstatistieken. Gemini is hier een grote verliezer omdat het dit helemaal niet doet. Het kan u alleen begeleiden bij de manier waarop u dit in Excel en Power BI kunt doen. ChatGPT heeft het voordeel via de Data Analyst-plug-in, die Excel-bestanden opneemt om alle gewenste grafieken te genereren. Het suggereert zelfs visualisatietypen, en u kunt het ontwerp van een grafiek, inclusief kleur, assen en labels, via de prompt wijzigen. 

9. Schrijven van gebruikersbewustzijnsberichten

Beide tools kunnen ook e-mails genereren voor beveiligingsbewustzijnscampagnes. Ik gaf beide de volgende prompt: “Genereer een e-mail die wordt gebruikt voor een beveiligingsbewustzijnscampagne. Wees grappig en sarcastisch. Herinner mensen eraan waarom ze niet op willekeurige e-mails van willekeurige mensen moeten klikken.”

Gemini wint hier: de e-mail is kort, heeft de juiste toon en (hoewel humor subjectief is) vond ik hem iets grappiger. ChatGPT zorgt nog steeds voor de juiste toon en een goede e-mail, maar ik vond het iets te lang voor een bewustwordingsmail. Hoe dan ook, beide tools doen uitstekend werk.

10. Compliancekaders interpreteren

Als u een snelle vraag heeft over hoe u een compliance-framework implementeert, kunnen deze tools zeker helpen. Hoewel je dit misschien niet vaak doet, zijn ze erg handig wanneer je het nodig hebt.

Als u ooit met iemand hebt gediscussieerd over wat een “significante” verandering onder PCI-DSS inhoudt en hoe deze moet worden toegepast, bent u niet de enige. Ik heb elke tool gevraagd met: 

“Leg het concept van 'significante verandering' uit in de context van PCI-DSS. Wat is doorgaans een grote verandering? Vermeld ook de exacte vereisten uit de norm”

Gemini heeft de overhand: het geeft correct weer wat de exacte eisen uit de standaard zijn (zoals 6.4.5 en 6.4.6) en hoe je moet interpreteren of iets een significante verandering is. ChatGPT vermeldt niet precies waar deze informatie in de standaard voorkomt. 

Welke AI is beter, ChatGPT of Gemini?

Daar heb je het. Afhankelijk van uw gebruiksscenario kunnen beide tools een nuttige bondgenoot zijn bij het verhogen van de productiviteit en bij uw dagelijkse activiteiten in de infosec-loopgraven.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks