ChatGPT против Gemini: что лучше для 10 распространенных задач информационной безопасности?

В конце 2023 года я написал статью, в которой сравнивал, насколько хорошо ChatGPT и Google Bard занимаются написанием политик безопасности.. Учитывая, что ChatGPT 4.0 уже некоторое время доступен в виде платной версии под названием ChatGPT Plus, а Google недавно переименовал Google Bard в Gemini (при этом Gemini Advanced доступен как платное предложение), сейчас самое время сравнить, как эти два продукта работают в сравнение 10 лучших вариантов использования для специалистов по информационной безопасности.

Прежде чем мы начнем, применимы обычные предостережения в отношении генеративного искусственного интеллекта (ИИ): будьте осторожны с данными, которые вы вводите, и помните, что выходные данные не всегда могут быть надежными.

1. Создание диаграмм или потоков понятий

Оба инструмента утверждают, что способны генерировать диаграммы и потоки понятий. Однако Gemini признает, что может генерировать только диаграммы ASCII, указывая вам на более профессиональные инструменты, если вы хотите чего-то лучшего. Я попросил оба инструмента создать диаграмму, объясняющую OAuth поток аутентификации.

Gemini, хотя и представлен в ASCII, выполняет свою работу и разбивает ее на удобные категории.

ЧатGPT галлюцинирует плохо. На первый взгляд, хотя изображение выглядит профессионально, оно совершенно не представляет OAuth. Формулировка бессмысленна, написана с ошибкой или совершенно неразборчива: Аутентификация и Аториказт кто угодно?

2. Объяснение архитектурных диаграмм

Оба инструмента могут принимать диаграммы и объяснять, что происходит. Результаты намного лучше, чем если бы вы попросили их создать диаграммы. В качестве входных данных я использовал пример Брандмауэр веб-приложений (WAF) архитектура из Эджгенексус.

Google Gemini гораздо лучше объясняет диаграммы архитектуры, потому что они лаконичны. ChatGPT отлично справится с этой задачей; это просто немного многословно.

3. Интерпретация кода эксплойта

Обычная деятельность по обеспечению безопасности (SecOps) заключается в попытке выяснить, что делает конкретное вредоносное ПО или код эксплойта. Я взял недавний общедоступный эксплойт переполнения стека Elasticsearch и загрузил его в каждый инструмент, чтобы посмотреть, что он понимает. Явного победителя нет: оба инструмента правильно идентифицируют эксплойт и объясняют конечный результат, а также то, что делает каждая часть кода и как она работает.

4. Интерпретация файлов журналов

Специалистам по безопасности часто приходится выяснять, что, черт возьми, происходит в файлах журналов. Я скормил оба инструмента пример файла журнала в формате CEF о попытке взлома и попросил каждого объяснить, что происходит. Близнецы объясняют это лучше, хорошо резюмируя и даже предлагая последующие шаги. В нем также четко указано, что произошло (попытка доступа к /etc/passwd) в самом начале, и подробно описано, как он пришел к такому выводу. Хотя ChatGPT приходит к такому же выводу, он слишком многословен.

5. Написание политик и документации по безопасности

Я не буду подробно останавливаться на этом вопросе и вместо этого отсылаю вас к моему Предыдущая статья на эту тему. Я снова провел тест с Gemini, и результаты согласуются с результатами Bard: Gemini четко понимает и генерирует лучшую документацию по безопасности, чем ChatGPT.

6. Выявление уязвимого кода

Хотя эти инструменты не были разработаны (и не должны использоваться) для выявления уязвимого кода, они все равно могут выполнять адекватную работу. Я решил проверить это, подав оба инструмента небезопасная прямая ссылка на объект (IDOR) уязвимость пример на Python, который также содержит SQL-инъекцию.

ChatGPT правильно определил как уязвимости, так и отсутствие аутентификации. Gemini пропустила IDOR, но указала на SQL-инъекцию и пошла еще дальше, предложив исправленный код для устранения уязвимости. ChatGPT также может это сделать, но ему необходимо получить соответствующий запрос.

7. Написание скриптов и кода

Обычной деятельностью центра операций безопасности (SOC) является написание сценариев для анализа журналов или манипулирования данными. Я дал обоим инструментам следующую подсказку:

«Напишите мне скрипт Python, который извлекает все адреса IPv6 из входного файла txt, удаляет все дубликаты, выполняет поиск для географического определения местоположения и идентификации владельца IP-адреса и выводит результат в файл CSV»

Здесь нет явного победителя; оба инструмента создают понятный, читаемый код, который работает и объясняет, что он делает.

8. Анализ данных и показателей

Я также проверил, могут ли эти инструменты помочь в анализе данных или показателей безопасности. Gemini здесь большой проигравший, потому что он вообще этого не делает — он может только помочь вам понять, как это сделать в Excel и Power BI. Преимущество ChatGPT заключается в наличии подключаемого модуля Data Analyst, который принимает файлы Excel для создания любых графиков, которые вы захотите. Он даже предлагает типы визуализации, и вы можете изменить дизайн графика, включая цвет, оси и метки, с помощью подсказки. 

9. Написание информационных сообщений для пользователей

Оба инструмента также могут генерировать электронные письма для кампаний по повышению осведомленности о безопасности. Я дал обоим следующую подсказку: «Создайте электронное письмо, используемое для кампании по повышению осведомленности о безопасности. Будьте веселыми и саркастичными. Напомните людям, почему им не следует нажимать на случайные электронные письма от случайных людей».

Здесь выигрывает Gemini — его электронное письмо краткое, имеет правильный тон и (хотя юмор субъективен) мне оно показалось немного смешнее. ChatGPT по-прежнему генерирует правильный тон и хорошее электронное письмо, но мне показалось, что оно слишком длинное для информационного письма. В любом случае, оба инструмента отлично справляются со своей задачей.

10. Интерпретация принципов соответствия

Если у вас есть быстрый вопрос о том, как внедрить систему обеспечения соответствия, эти инструменты определенно могут вам помочь. Хотя вы можете не делать это часто, они очень полезны, когда вам это нужно.

Если вы когда-либо спорили с кем-то о том, что представляет собой «значительное» изменение в PCI-DSS и как его следует применять, вы не одиноки. Я предложил каждому инструменту: 

«Объясните концепцию «значительного изменения» в контексте PCI-DSS. Что обычно представляет собой серьезное изменение? Также перечислите точные требования стандарта».

Gemini имеет преимущество: он правильно перечисляет точные требования стандарта (например, 6.4.5 и 6.4.6) и способы интерпретации того, является ли что-то существенным изменением. ChatGPT не упоминает, где именно эта информация появляется в стандарте. 

Какой ИИ лучше: ChatGPT или Gemini?

Вот оно. В зависимости от вашего варианта использования любой инструмент может стать полезным союзником в повышении производительности и помощи в повседневной деятельности в сфере информационной безопасности.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks