ChatGPT проти Gemini: що краще для 10 типових завдань Infosec?

Наприкінці 2023 року я написав статтю, в якій порівнював, наскільки добре ChatGPT і Google Bard займаються написанням політик безпеки. Враховуючи, що ChatGPT 4.0 вже деякий час доступний як платна версія під назвою ChatGPT Plus, а Google нещодавно змінив бренд Google Bard на Gemini (з Gemini Advanced, доступною як платна пропозиція), настав час порівняти їх ефективність у прямий огляд 10 найкращих варіантів використання для професіоналів з інформаційної безпеки.

Перш ніж ми приступимо до цього, застосовуємо звичайні застереження щодо генеративного штучного інтелекту (ШІ): будьте обережні з даними, які ви вводите, і пам’ятайте, що результат не завжди може бути надійним.

1. Створення діаграм або потоків концепцій

Обидва інструменти стверджують, що можуть генерувати діаграми та потоки концепцій. Однак Gemini визнає, що може створювати лише діаграми ASCII, вказуючи вам на більш професійні інструменти, якщо ви хочете чогось кращого. Я попросив обидва інструменти створити діаграму, щоб пояснити OAuth потік автентифікації.

Gemini, представлений у ASCII, виконує роботу та розбиває її на придатні для використання категорії.

ChatGPT галюцинує погано. На перший погляд, незважаючи на те, що зображення виглядає професійно, воно зовсім не представляє OAuth. Формулювання безглузде, написане з помилками або зовсім нерозбірливе: Авторизація та  Аторіказт хто?

2. Пояснення схем архітектури

Обидва інструменти можуть завантажувати діаграми та пояснювати, що відбувається. Результати набагато кращі, ніж ті, що трапляються, коли ви просите їх створити діаграми. Як вхідні дані я використав приклад Брандмауер веб-додатків (WAF) архітектури с Edgenexus.

Google Gemini набагато краще пояснює діаграми архітектури, оскільки він стислий. ChatGPT чудово впорається зі своєю роботою; це просто трохи багатослівно.

3. Інтерпретація коду експлойту

Загальна операція безпеки (SecOps) полягає в спробі з’ясувати, що робить конкретне зловмисне програмне забезпечення або код експлойту. Я взяв нещодавній публічний експлойт переповнення стеку Elasticsearch і додав його в кожен інструмент, щоб побачити, що він розуміє. Немає явного переможця: обидва інструменти правильно визначають експлойт і пояснюють кінцевий результат, що робить кожна частина коду та як вона працює.

4. Інтерпретація файлів журналу

Фахівцям SecOps часто потрібно з’ясувати, що, чорт вазьми, відбувається в файлах журналу. Я годував обидва інструменти приклад файлу журналу формату CEF про спробу порушення та попросив кожного пояснити, що відбувається. Близнюки пояснюють це краще, добре підсумовуючи та навіть пропонуючи подальші кроки. У ньому також чітко вказується, що сталося (спроба доступу до /etc/passwd) на початку, і докладно пояснюється, як було зроблено такий висновок. Хоча ChatGPT приходить до такого ж висновку, він надто багатослівний.

5. Написання політики та документації безпеки

Я не буду докладно розповідати про це, а натомість перенаправлю вас до свого Попередня стаття на цю тему. Я знову провів тест із Gemini, і результати збігаються з результатами Bard: Gemini чітко розуміє та створює кращу документацію безпеки, ніж ChatGPT.

6. Виявлення вразливого коду

Хоча ці інструменти не були розроблені (і не повинні використовуватися для) виявлення вразливого коду, вони все одно можуть виконувати належну роботу. Я вирішив перевірити це, піджививши обидва інструменти небезпечне пряме посилання на об’єкт (IDOR) вразливість приклад на Python, який також містить ін’єкцію SQL.

ChatGPT правильно визначив уразливості та відсутність автентифікації. Gemini пропустив IDOR, але вказав на впровадження SQL і пішов далі, запропонувавши змінений код для усунення вразливості. ChatGPT також може це робити, але для цього потрібно отримати запит.

7. Написання скриптів і коду

Загальною діяльністю центру безпеки (SOC) є написання сценаріїв для аналізу журналів або маніпулювання даними. Я дав обом інструментам наступну підказку:

«Напишіть мені сценарій Python, який витягує всі адреси IPv6 із вхідного файлу txt, видаляє всі дублікати, виконує пошук для геолокації та ідентифікації власника IP-адреси та виводить результат у файл CSV»

Тут немає явного переможця; обидва інструменти створюють чіткий, читабельний код, який працює та пояснює, що він робить.

8. Аналіз даних і показників

Я також перевірив, чи можуть ці інструменти допомогти з аналізом даних або показників безпеки. Gemini тут сильно програє, тому що він взагалі цього не робить — він може лише навчити вас, як це зробити в Excel і Power BI. ChatGPT має перевагу через плагін Data Analyst, який завантажує файли Excel для створення будь-яких графіків. Він навіть пропонує типи візуалізації, і ви можете змінювати дизайн графіка, включаючи колір, осі та мітки, за допомогою підказки. 

9. Написання повідомлень для інформування користувачів

Обидва інструменти також можуть створювати електронні листи для кампаній з підвищення рівня безпеки. Я дав обом наступну підказку: «Створіть електронний лист, який використовується для інформаційної кампанії безпеки. Будьте смішними та саркастичними. Нагадайте людям, чому їм не слід натискати на випадкові електронні листи від випадкових людей».

Тут Gemini виграє — його електронний лист короткий, має правильний тон, і (хоча гумор суб’єктивний) він здався мені трохи смішнішим. ChatGPT усе ще генерує правильний тон і гарний електронний лист, але я знайшов його трохи задовгим для електронного листа для підвищення обізнаності. У будь-якому випадку обидва інструменти чудово справляються зі своїм завданням.

10. Інтерпретація рамок відповідності

Якщо у вас є швидке запитання про те, як запровадити структуру відповідності, ці інструменти точно можуть допомогти. Хоча ви можете не робити це часто, вони дуже корисні, коли вам це потрібно.

Якщо ви коли-небудь сперечалися з кимось про те, що таке «значна» зміна за PCI-DSS і як її слід застосовувати, ви не самотні. Я підказав кожному інструменту: 

«Поясніть концепцію «значних змін» у контексті PCI-DSS. Що зазвичай є основною зміною? Також вкажіть точні вимоги стандарту»

Gemini має перевагу: він правильно перелічує точні вимоги стандарту (наприклад, 6.4.5 і 6.4.6) і те, як інтерпретувати, чи є щось суттєвою зміною. ChatGPT не згадує, де саме ця інформація з’являється в стандарті. 

Який AI кращий, ChatGPT чи Gemini?

Ось у вас це. Залежно від вашого випадку використання будь-який інструмент може стати корисним союзником у підвищенні продуктивності та допомогти вам у повсякденній діяльності в інформаційних каналах.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks