ChatGPT 与 Gemini:哪一个更适合 10 项常见的信息安全任务?

ChatGPT 与 Gemini:哪一个更适合 10 项常见的信息安全任务?

2023 年末,我写了一篇文章,比较了 ChatGPT 和 Google Bard 负责编写安全策略。鉴于 ChatGPT 4.0 的付费版本(称为 ChatGPT Plus)已经推出一段时间了,并且 Google 最近将 Google Bard 重新命名为 Gemini(Gemini Advanced 作为付费产品提供),现在是比较两者在信息安全专业人员的十大用例的正面交锋。

在我们开始之前,通常的生成人工智能 (AI) 警告适用:请小心输入的数据,并记住输出可能并不总是可靠。

1. 生成图表或概念流程

这两种工具都声称能够生成图表和概念流。然而,Gemini 承认它只能生成 ASCII 图表,如果你想要更好的东西,它会为你指明更专业的工具。我要求这两个工具生成一个图表来解释 OAuth的 认证流程。

Gemini 虽然以 ASCII 表示,但它完成这项工作并将其分解为可用的类别。

ChatGPT 出现幻觉 。乍一看,虽然该图像看起来很专业,但它根本不代表 OAuth。措辞无意义、拼写错误或完全难以辨认: 认证 和 阿托里卡兹 任何人吗?

当要求生成有关 OAuth 的图表时 ChatGPT 输出

2. 架构图解释

这两种工具都可以提取图表并解释正在发生的事情。结果比您要求他们生成图表时的结果要好得多。作为输入,我使用了一个例子 Web 应用程序防火墙 (WAF) 架构来自 边缘联结.

Google Gemini 更擅长解释架构图,因为它很简洁。 ChatGPT 可以很好地完成这项工作;只是有点啰嗦。

3. 解释漏洞代码

常见的安全操作 (SecOps) 活动是尝试找出特定恶意软件或漏洞利用代码的用途。我采用了最近的 Elasticsearch 堆栈溢出公共漏洞并将其输入到每个工具中以查看其理解的内容。没有明显的赢家:这两种工具都能正确识别漏洞并解释最终结果、代码的每个部分的作用及其工作原理。

4. 解释日志文件

SecOps 专业人员经常需要弄清楚日志文件中到底发生了什么。我给这两种工具都喂了 CEF 格式日志文件示例 并要求每个人解释发生了什么。双子座解释得更好,总结得很好,甚至提出了后续步骤。它还从一开始就清楚地说明了发生的情况(尝试访问 /etc/passwd),并详细说明了如何得出该结论。虽然 ChatGPT 得出了相同的结论,但它太冗长了。

5. 编写策略和安全文档

我不会对此进行过多阐述,而是建议您参考我的 以前的文章 关于这个话题。我再次使用 Gemini 进行了测试,结果与 Bard 一致:Gemini 比 ChatGPT 清楚地理解并生成了更好的安全文档。

6. 识别易受攻击的代码

虽然这些工具不是为(也不应该用于)识别易受攻击的代码而设计的,但它们仍然可以完成足够的工作。我决定通过向这两个工具提供测试来测试它 不安全的直接对象引用 (IDOR) 漏洞 Python 中的示例,其中还包含 SQL 注入。

ChatGPT 正确识别了漏洞和缺乏身份验证的情况。 Gemini 错过了 IDOR,但指出了 SQL 注入,并进一步提出修改代码来修复该漏洞。 ChatGPT 也可以执行此操作,但必须有提示才能执行。

7. 编写脚本和代码

常见的安全运营中心 (SOC) 活动是编写用于日志解析或数据操作的脚本。我给这两个工具提供了以下提示:

“给我写一个 Python 脚本,从 txt 输入文件中提取所有 IPv6 地址,删除所有重复项,进行查找以定位和识别 IP 所有者,并将结果输出到 CSV 文件中”

这里没有明显的赢家;这两种工具都可以生成清晰、可读的代码,可以运行并解释其用途。

8. 分析数据和指标

我还测试了这些工具是否可以帮助分析数据或安全指标。 Gemini 在这里是一个大失败者,因为它根本不这样做 - 它只能指导您如何在 Excel 和 Power BI 中执行此操作。 ChatGPT 的优势在于其数据分析插件,该插件可以提取 Excel 文件来生成您想要的任何图表。它甚至建议可视化类型,您可以通过提示修改图形的设计,包括颜色、轴和标签。 

ChatGPT 的 Data Analyst 插件的图形输出示例

9. 编写用户意识消息

这两种工具还可以生成用于安全意识活动的电子邮件。我给出了以下提示: “生成一封用于安全意识活动的电子邮件。变得有趣和讽刺。提醒人们为什么他们不应该点击随机发来的随机电子邮件。”

双子座在这里获胜——它的电子邮件很简短,语气正确,而且(虽然幽默是主观的)我发现它稍微有趣一些。 ChatGPT 仍然会生成正确的语气和良好的电子邮件,但我发现它对于意识电子邮件来说有点太长了。不管怎样,这两种工具都做得很好。

Gemini 在收到提示后输出一封用户意识电子邮件

10. 解释合规框架

如果您对如何实施合规性框架有一个简单的疑问,这些工具绝对可以提供帮助。虽然您可能不经常这样做,但当您需要时它们非常有用。

如果您曾经与某人争论过什么构成 PCI-DSS 下的“重大”变更以及应如何应用该变更,那么您并不孤单。我提示每个工具: 

“解释 PCI-DSS 背景下的‘重大变更’概念。通常什么构成重大变化?还列出标准中的确切要求”

Gemini 占据上风:它正确地列出了标准中的确切要求(例如 6.4.5 和 6.4.6)以及如何解释某项内容是否为重大变更。 ChatGPT 没有确切提及此信息在标准中出现的位置。 

ChatGPT 和 Gemini 哪个人工智能更好?

你有它。根据您的使用案例,这两种工具都可以成为提高生产力并帮助您在信息安全领域进行日常活动的有用盟友。

时间戳记:

更多来自 暗读