ChatGPT vs. Gemini: Was ist besser für 10 häufige Infosec-Aufgaben?

Ende 2023 habe ich einen Artikel geschrieben, in dem ich verglich, wie gut ChatGPT und Google Bard übernehmen das Schreiben von Sicherheitsrichtlinien. Angesichts der Tatsache, dass ChatGPT 4.0 bereits seit einiger Zeit als kostenpflichtige Version namens ChatGPT Plus verfügbar ist und Google kürzlich Google Bard in Gemini umbenannt hat (wobei Gemini Advanced als kostenpflichtiges Angebot verfügbar ist), ist es ein guter Zeitpunkt, die Leistung der beiden zu vergleichen ein direkter Vergleich der zehn wichtigsten Anwendungsfälle für Informationssicherheitsexperten.

Bevor wir loslegen, gelten die üblichen Vorbehalte zur generativen künstlichen Intelligenz (KI): Seien Sie vorsichtig mit den Daten, die Sie eingeben, und bedenken Sie, dass die Ausgabe möglicherweise nicht immer zuverlässig ist.

1. Diagramme oder Konzeptabläufe erstellen

Beide Tools geben an, Diagramme und Konzeptabläufe generieren zu können. Gemini gibt jedoch zu, dass nur ASCII-Diagramme generiert werden können, und weist Sie auf professionellere Tools hin, wenn Sie etwas Besseres wollen. Ich habe beide Tools gebeten, ein Diagramm zu erstellen, um das zu erklären OAuth Authentifizierungsablauf.

Während Gemini in ASCII dargestellt wird, erledigt es die Aufgabe und unterteilt es in verwendbare Kategorien.

ChatGPT halluziniert schlecht. Auf den ersten Blick sieht das Bild zwar professionell aus, repräsentiert aber überhaupt nicht OAuth. Der Wortlaut ist unsinnig, falsch geschrieben oder völlig unleserlich: Autorisierung und Athoricazt jemand?

2. Erklären von Architekturdiagrammen

Beide Tools können Diagramme aufnehmen und erklären, was vor sich geht. Die Ergebnisse sind viel besser als das, was passiert, wenn Sie sie bitten, Diagramme zu erstellen. Als Eingabe habe ich ein Beispiel verwendet Webanwendungs-Firewall (WAF) Architektur aus Edgenexus.

Google Gemini kann Architekturdiagramme viel besser erklären, weil es prägnant ist. ChatGPT wird den Job gut machen; es ist nur ein bisschen wortreich.

3. Exploit-Code interpretieren

Bei einer häufigen Sicherheitsoperationsaktivität (SecOps) wird versucht, herauszufinden, was eine bestimmte Malware oder ein Exploit-Code bewirkt. Ich habe einen aktuellen öffentlichen Stack-Overflow-Exploit von Elasticsearch genommen und ihn in jedes Tool eingespeist, um zu sehen, was es verstanden hat. Es gibt keinen klaren Gewinner: Beide Tools identifizieren den Exploit korrekt und erklären das Endergebnis, was jeder Teil des Codes bewirkt und wie er funktioniert.

4. Protokolldateien interpretieren

SecOps-Experten müssen oft herausfinden, was zum Teufel in den Protokolldateien vor sich geht. Ich habe beide Werkzeuge gefüttert Beispiel für eine Protokolldatei im CEF-Format eines versuchten Einbruchs und bat jeden, zu erklären, was vor sich ging. Zwillinge erklären es besser, fassen es gut zusammen und schlagen sogar weitere Schritte vor. Es wird auch klar dargelegt, was gleich zu Beginn passiert ist (versuchter Zugriff auf /etc/passwd) und erläutert, wie es zu dieser Schlussfolgerung kam. ChatGPT kommt zwar zum gleichen Schluss, ist aber viel zu ausführlich.

5. Richtlinien und Sicherheitsdokumentation verfassen

Ich werde nicht zu sehr darauf eingehen und verweise stattdessen auf meine vorheriger Artikel Zu diesem Thema. Ich habe den Test noch einmal mit Gemini durchgeführt und die Ergebnisse stimmen mit denen von Bard überein: Gemini versteht und generiert eindeutig eine bessere Sicherheitsdokumentation als ChatGPT.

6. Identifizieren von anfälligem Code

Auch wenn diese Tools nicht für die Identifizierung von anfälligem Code konzipiert sind (und auch nicht dafür verwendet werden sollten), können sie dennoch gute Arbeit leisten. Ich beschloss, es zu testen, indem ich beide Werkzeuge einspeiste unsichere direkte Objektreferenz (IDOR) Verwundbarkeit Beispiel in Python, die auch eine SQL-Injection enthält.

ChatGPT hat sowohl die Schwachstellen als auch die fehlende Authentifizierung korrekt identifiziert. Gemini übersah das IDOR, wies jedoch auf die SQL-Injection hin und ging noch einen Schritt weiter, indem es geänderten Code zur Behebung der Schwachstelle vorschlug. ChatGPT kann dies auch tun, es muss jedoch dazu aufgefordert werden.

7. Skripte und Code schreiben

Eine häufige Aktivität des Security Operations Center (SOC) ist das Schreiben von Skripten für die Protokollanalyse oder Datenmanipulation. Ich habe beiden Tools die folgende Eingabeaufforderung gegeben:

„Schreiben Sie mir ein Python-Skript, das alle IPv6-Adressen aus einer TXT-Eingabedatei extrahiert, alle Duplikate entfernt, eine Suche durchführt, um den Eigentümer der IP zu lokalisieren und zu identifizieren, und das Ergebnis in einer CSV-Datei ausgibt.“

Hier gibt es keinen klaren Gewinner; Beide Tools erzeugen klaren, lesbaren Code, der funktioniert und erklärt, was er tut.

8. Analysieren von Daten und Metriken

Ich habe auch getestet, ob diese Tools bei der Analyse von Daten oder Sicherheitsmetriken helfen können. Gemini ist hier ein großer Verlierer, weil es das überhaupt nicht kann – es kann Ihnen nur zeigen, wie man das in Excel und Power BI macht. ChatGPT hat den Vorteil durch sein Data Analyst-Plug-in, das Excel-Dateien aufnimmt, um beliebige Diagramme zu erstellen. Es werden sogar Visualisierungstypen vorgeschlagen, und Sie können das Design eines Diagramms, einschließlich Farbe, Achsen und Beschriftungen, über die Eingabeaufforderung ändern. 

9. Verfassen von Nachrichten zur Sensibilisierung der Benutzer

Beide Tools können auch E-Mails für Sicherheitsbewusstseinskampagnen generieren. Ich habe beiden folgende Aufforderung gegeben: „Generieren Sie eine E-Mail für eine Sicherheitsbewusstseinskampagne. Seien Sie lustig und sarkastisch. Erinnern Sie die Leute daran, warum sie nicht auf zufällige E-Mails von zufälligen Leuten klicken sollten.“

Gemini gewinnt hier – seine E-Mail ist kurz, hat den richtigen Ton und (obwohl Humor subjektiv ist) ich fand sie etwas lustiger. ChatGPT erzeugt immer noch den richtigen Ton und eine gute E-Mail, aber ich fand es etwas zu lang für eine Sensibilisierungs-E-Mail. In jedem Fall leisten beide Tools hervorragende Arbeit.

10. Compliance-Frameworks interpretieren

Wenn Sie eine kurze Frage zur Implementierung eines Compliance-Frameworks haben, können diese Tools auf jeden Fall hilfreich sein. Auch wenn Sie dies vielleicht nicht oft tun, sind sie bei Bedarf sehr nützlich.

Wenn Sie jemals mit jemandem darüber gestritten haben, was eine „signifikante“ Änderung im Rahmen von PCI-DSS darstellt und wie sie angewendet werden sollte, sind Sie nicht allein. Ich habe jedes Tool mit Folgendem aufgefordert: 

„Erklären Sie das Konzept der ‚signifikanten Änderung‘ im Kontext von PCI-DSS.“ Was stellt normalerweise eine große Veränderung dar? Listen Sie auch die genaue Anforderung aus der Norm auf.“

Gemini hat die Oberhand: Es listet die genauen Anforderungen aus dem Standard (z. B. 6.4.5 und 6.4.6) korrekt auf und wie zu interpretieren ist, ob es sich um eine wesentliche Änderung handelt. ChatGPT erwähnt nicht genau, wo diese Informationen im Standard erscheinen. 

Welche KI ist besser, ChatGPT oder Gemini?

Hier hast du es. Abhängig von Ihrem Anwendungsfall kann jedes Tool ein hilfreicher Verbündeter bei der Steigerung der Produktivität sein und Sie bei Ihren täglichen Aktivitäten in den Schützengräben der Informationssicherheit unterstützen.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks