ChatGPT vs. Gemini: co jest lepsze w przypadku 10 typowych zadań związanych z bezpieczeństwem informacji?

Pod koniec 2023 roku napisałem artykuł porównujący, jak dobrze ChatGPT i Google Bard zajmują się pisaniem polityk bezpieczeństwa. Biorąc pod uwagę, że ChatGPT 4.0 jest już od jakiegoś czasu dostępny w wersji płatnej, zwanej ChatGPT Plus, a Google niedawno zmienił nazwę Google Bard na Gemini (z Gemini Advanced dostępnym jako oferta płatna), to dobry moment, aby porównać ich skuteczność w bezpośrednie zestawienie 10 najpopularniejszych przypadków użycia dla specjalistów ds. bezpieczeństwa informacji.

Zanim przejdziemy do działania, obowiązują typowe zastrzeżenia dotyczące sztucznej inteligencji generatywnej (AI): uważaj na dane, które wprowadzasz i pamiętaj, że dane wyjściowe mogą nie zawsze być wiarygodne.

1. Generowanie diagramów lub przepływów koncepcji

Obydwa narzędzia twierdzą, że są w stanie generować diagramy i przepływy koncepcji. Jednak Gemini przyznaje, że może generować jedynie diagramy ASCII, wskazując bardziej profesjonalne narzędzia, jeśli chcesz czegoś lepszego. Poprosiłem oba narzędzia o wygenerowanie diagramu wyjaśniającego OAuth przepływ uwierzytelniania.

Gemini, reprezentowane w kodzie ASCII, wykonuje zadanie i dzieli je na użyteczne kategorie.

ChatGPT ma halucynacje źle. Na pierwszy rzut oka obraz wygląda profesjonalnie, ale w ogóle nie reprezentuje protokołu OAuth. Sformułowanie jest bezsensowne, błędnie napisane lub całkowicie nieczytelne: Autoryzacja i Athoricazt ktoś?

2. Wyjaśnianie diagramów architektury

Obydwa narzędzia mogą przyjmować diagramy i wyjaśniać, co się dzieje. Wyniki są znacznie lepsze niż to, co dzieje się, gdy poprosisz ich o wygenerowanie diagramów. Jako dane wejściowe posłużyłem się przykładem Zapora aplikacji internetowej (WAF) architektura od Edgenexus.

Google Gemini znacznie lepiej radzi sobie z wyjaśnianiem diagramów architektury, ponieważ jest zwięzły. ChatGPT wykona to zadanie dobrze; to tylko trochę rozwlekłe.

3. Interpretacja kodu exploita

Typową czynnością związaną z bezpieczeństwem (SecOps) jest próba ustalenia, co robi konkretny kod złośliwego oprogramowania lub exploita. Wziąłem niedawny publiczny exploit związany z przepełnieniem stosu Elasticsearch i wprowadziłem go do każdego narzędzia, aby zobaczyć, co zrozumiał. Nie ma wyraźnego zwycięzcy: oba narzędzia poprawnie identyfikują exploit i wyjaśniają wynik końcowy, działanie każdej części kodu i sposób jej działania.

4. Interpretacja plików dziennika

Specjaliści SecOps często muszą dowiedzieć się, co do cholery dzieje się w plikach dziennika. Nakarmiłem oba narzędzia przykładowy plik dziennika w formacie CEF o próbie naruszenia i poprosił każdego o wyjaśnienie, co się dzieje. Bliźnięta wyjaśniają to lepiej, dobrze podsumowując, a nawet sugerując dalsze kroki. Jasno stwierdza również, co się stało (próba dostępu do /etc/passwd) już na samym początku i szczegółowo opisuje, w jaki sposób doszedł do tego wniosku. Chociaż ChatGPT dochodzi do tego samego wniosku, jest on zbyt gadatliwy.

5. Pisanie Polityk i Dokumentacji Bezpieczeństwa

Nie będę się nad tym rozwodzić, odsyłam do mojego poprzedni artykuł w tym temacie. Przeprowadziłem test ponownie z Gemini, a wyniki są zgodne z wynikami Barda: Gemini wyraźnie rozumie i generuje lepszą dokumentację bezpieczeństwa niż ChatGPT.

6. Identyfikacja podatnego kodu

Chociaż narzędzia te nie zostały zaprojektowane do (i nie powinny być używane) do identyfikowania podatnego kodu, nadal mogą wykonać odpowiednią pracę. Postanowiłem to przetestować, zasilając oba narzędzia niepewne bezpośrednie odniesienie do obiektu (IDOR) wrażliwość przykład w Pythonie, który zawiera również zastrzyk SQL.

ChatGPT poprawnie zidentyfikował zarówno luki, jak i brak uwierzytelnienia. Gemini pominął IDOR, ale wskazał na wstrzyknięcie SQL i poszedł o krok dalej, proponując poprawiony kod w celu naprawienia luki. ChatGPT może również to zrobić, ale musi zostać o to poproszony.

7. Pisanie skryptów i kodu

Typową czynnością centrum operacji bezpieczeństwa (SOC) jest pisanie skryptów do analizowania dzienników lub manipulacji danymi. Obu narzędziom dałem następujący monit:

„Napisz mi skrypt w języku Python, który wyodrębni wszystkie adresy IPv6 z pliku wejściowego txt, usunie wszystkie duplikaty, przeszuka lokalizację geograficzną i zidentyfikuje właściciela adresu IP, a następnie wyśle ​​wynik w pliku CSV”

Nie ma tu wyraźnego zwycięzcy; oba narzędzia tworzą przejrzysty, czytelny kod, który działa i wyjaśnia, co robi.

8. Analiza danych i metryk

Przetestowałem również, czy narzędzia te mogą pomóc w analizie danych lub metryk bezpieczeństwa. Gemini jest tutaj dużym przegranym, ponieważ w ogóle tego nie robi — może jedynie poprowadzić Cię przez proces, jak to zrobić w Excelu i Power BI. ChatGPT ma tę przewagę dzięki wtyczce Data Analyst, która pobiera pliki Excel w celu generowania dowolnych wykresów. Sugeruje nawet typy wizualizacji i za pomocą podpowiedzi można modyfikować projekt wykresu, w tym kolor, osie i etykiety. 

9. Pisanie komunikatów uświadamiających użytkownika

Obydwa narzędzia mogą również generować wiadomości e-mail na potrzeby kampanii uświadamiających bezpieczeństwo. Podałem obu następujący monit: „Wygeneruj adres e-mail używany w kampanii uświadamiającej bezpieczeństwo. Bądź zabawny i sarkastyczny. Przypomnij ludziom, dlaczego nie powinni klikać losowych e-maili od przypadkowych osób”.

Tutaj wygrywa Gemini — jego e-mail jest krótki, ma odpowiedni ton i (choć humor jest subiektywny) wydał mi się nieco zabawniejszy. ChatGPT nadal generuje odpowiedni ton i dobry e-mail, ale uznałem, że jest on odrobinę za długi jak na e-mail uświadamiający. Tak czy inaczej, oba narzędzia wykonują świetną robotę.

10. Interpretacja ram zgodności

Jeśli masz szybkie pytanie dotyczące wdrożenia ram zgodności, te narzędzia z pewnością mogą Ci pomóc. Chociaż nie robisz tego często, są one bardzo przydatne, gdy ich potrzebujesz.

Jeśli kiedykolwiek kłóciłeś się z kimś o to, co stanowi „znaczącą” zmianę w ramach PCI-DSS i jak należy ją zastosować, nie jesteś sam. Poprosiłem każde narzędzie o polecenie: 

„Wyjaśnij koncepcję „znaczącej zmiany” w kontekście PCI-DSS. Co zwykle oznacza poważną zmianę? Podaj także dokładne wymagania normy”

Gemini ma przewagę: poprawnie wymienia dokładne wymagania normy (takie jak 6.4.5 i 6.4.6) oraz sposób interpretacji, czy coś jest znaczącą zmianą. ChatGPT nie podaje dokładnie, gdzie w standardzie pojawiają się te informacje. 

Która sztuczna inteligencja jest lepsza, ChatGPT czy Gemini?

Masz to. W zależności od przypadku użycia każde z narzędzi może być pomocnym sprzymierzeńcem w zwiększaniu produktywności i pomaganiu w codziennych działaniach w okopach bezpieczeństwa informacyjnego.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks