ChatGPT so với Gemini: Cái nào tốt hơn cho 10 nhiệm vụ Infosec phổ biến?

ChatGPT so với Gemini: Cái nào tốt hơn cho 10 nhiệm vụ Infosec phổ biến?

Dấu thời gian: Ngày 15 tháng 2024 năm 10 00:XNUMX sáng

Vào cuối năm 2023, tôi đã viết một bài so sánh mức độ tốt ChatGPT và Google Bard xử lý việc viết chính sách bảo mật. Vì ChatGPT 4.0 đã có sẵn dưới dạng phiên bản trả phí, được gọi là ChatGPT Plus, và Google gần đây đã đổi tên Google Bard thành Gemini (với Gemini Advanced có sẵn dưới dạng phiên bản trả phí), đây là thời điểm tốt để so sánh cách cả hai hoạt động trong đối đầu với 10 trường hợp sử dụng hàng đầu dành cho các chuyên gia bảo mật thông tin.

Trước khi chúng ta bắt đầu, hãy áp dụng những lưu ý về trí tuệ nhân tạo (AI) tổng quát thông thường: Hãy cẩn thận với dữ liệu bạn nhập vào và hãy nhớ rằng kết quả đầu ra có thể không phải lúc nào cũng đáng tin cậy.

1. Tạo sơ đồ hoặc luồng khái niệm

Cả hai công cụ đều tuyên bố có thể tạo sơ đồ và luồng khái niệm. Tuy nhiên, Gemini thừa nhận nó chỉ có thể tạo sơ đồ ASCII, chỉ cho bạn các công cụ chuyên nghiệp hơn nếu bạn muốn thứ gì đó tốt hơn. Tôi đã yêu cầu cả hai công cụ tạo ra một sơ đồ để giải thích OAuth luồng xác thực.

Gemini khi được biểu thị bằng ASCII, thực hiện công việc và chia nó thành các danh mục có thể sử dụng được.

ChatGPT gây ảo giác tệ. Thoạt nhìn, tuy hình ảnh trông có vẻ chuyên nghiệp nhưng nó hoàn toàn không đại diện cho OAuth. Từ ngữ vô nghĩa, sai chính tả hoặc hoàn toàn không đọc được: Xác thực và Athoricazt bất kỳ ai?

ChatGPT xuất ra khi được yêu cầu tạo sơ đồ về OAuth

2. Giải thích sơ đồ kiến ​​trúc

Cả hai công cụ đều có thể sử dụng sơ đồ và giải thích những gì đang diễn ra. Kết quả tốt hơn nhiều so với những gì xảy ra khi bạn yêu cầu họ tạo sơ đồ. Là đầu vào, tôi đã sử dụng một ví dụ Tường lửa ứng dụng web (WAF) kiến trúc từ Edgenexus.

Google Gemini giải thích sơ đồ kiến ​​trúc tốt hơn nhiều vì nó ngắn gọn. ChatGPT sẽ thực hiện tốt công việc này; nó chỉ là một chút từ ngữ.

3. Giải thích mã khai thác

Một hoạt động hoạt động bảo mật phổ biến (SecOps) đang cố gắng tìm ra chức năng của một phần mềm độc hại hoặc mã khai thác cụ thể. Tôi đã lấy một khai thác công khai tràn ngăn xếp Elaticsearch gần đây và đưa nó vào từng công cụ để xem nó hiểu gì. Không có người chiến thắng rõ ràng: Cả hai công cụ đều xác định cách khai thác một cách chính xác và giải thích kết quả cuối cùng, chức năng của từng phần mã và cách thức hoạt động của mã.

4. Giải thích tệp nhật ký

Các chuyên gia SecOps thường cần tìm hiểu xem chuyện gì đang xảy ra trong các tệp nhật ký. Tôi đã cho cả hai công cụ vào ví dụ tệp nhật ký định dạng CEF về một nỗ lực vi phạm và yêu cầu mỗi người giải thích chuyện gì đang xảy ra. Song Tử giải thích rõ hơn, tóm tắt hay và thậm chí đề xuất các bước tiếp theo. Nó cũng nêu rõ điều gì đã xảy ra (cố gắng truy cập /etc/passwd) ngay từ đầu và giải thích chi tiết về cách đi đến kết luận đó. Mặc dù ChatGPT cũng đi đến kết luận tương tự nhưng nó quá dài dòng.

5. Viết chính sách và tài liệu bảo mật

Tôi sẽ không giải thích quá nhiều về vấn đề này và thay vào đó sẽ giới thiệu bạn với bài viết trước về chủ đề này Tôi đã chạy thử nghiệm lại với Gemini và kết quả phù hợp với Bard: Gemini hiểu rõ và tạo tài liệu bảo mật tốt hơn ChatGPT.

6. Xác định mã dễ bị tổn thương

Mặc dù những công cụ này không được thiết kế để (và không nên sử dụng) để xác định mã dễ bị tấn công nhưng chúng vẫn có thể thực hiện công việc thích hợp. Tôi quyết định thử nghiệm nó bằng cách cho cả hai công cụ vào tham chiếu đối tượng trực tiếp không an toàn (IDOR) dễ bị tổn thương ví dụ trong Python, cũng chứa phần chèn SQL.

ChatGPT đã xác định chính xác cả lỗ hổng và việc thiếu xác thực. Gemini đã bỏ lỡ IDOR nhưng đã chỉ ra hành vi chèn SQL và tiến thêm một bước nữa là đề xuất mã sửa đổi để khắc phục lỗ hổng. ChatGPT cũng có thể thực hiện việc này nhưng phải được nhắc thực hiện.

7. Viết kịch bản và mã

Hoạt động phổ biến của trung tâm điều hành bảo mật (SOC) là viết các tập lệnh để phân tích cú pháp nhật ký hoặc thao tác dữ liệu. Tôi đã đưa ra lời nhắc sau cho cả hai công cụ:

“Hãy viết cho tôi một tập lệnh Python trích xuất tất cả các địa chỉ IPv6 từ tệp đầu vào txt, xóa tất cả các bản sao, tra cứu để định vị địa lý và xác định chủ sở hữu IP và xuất kết quả vào tệp CSV”

Không có người chiến thắng rõ ràng ở đây; cả hai công cụ đều tạo ra mã rõ ràng, dễ đọc, hoạt động và giải thích chức năng của nó.

8. Phân tích dữ liệu và số liệu

Tôi cũng đã kiểm tra xem những công cụ này có thể giúp phân tích dữ liệu hoặc số liệu bảo mật hay không. Gemini là kẻ thua cuộc lớn ở đây vì nó hoàn toàn không làm được điều đó — nó chỉ có thể hướng dẫn bạn cách thực hiện điều này trong Excel và Power BI. ChatGPT có lợi thế nhờ plugin Phân tích dữ liệu, sử dụng các tệp Excel để tạo bất kỳ biểu đồ nào bạn muốn. Nó thậm chí còn gợi ý các kiểu trực quan hóa và bạn có thể sửa đổi thiết kế của biểu đồ, bao gồm màu sắc, trục và nhãn thông qua lời nhắc. 

Ví dụ về kết quả biểu đồ bằng plug-in Data Analyst của ChatGPT

9. Viết thông báo nâng cao nhận thức của người dùng

Cả hai công cụ này cũng có thể tạo email cho các chiến dịch nâng cao nhận thức về bảo mật. Tôi đã đưa ra cả hai lời nhắc sau: “Tạo một email dùng cho chiến dịch nâng cao nhận thức về bảo mật. Hãy hài hước và mỉa mai. Nhắc nhở mọi người tại sao họ không nên nhấp vào email ngẫu nhiên từ những người ngẫu nhiên.”

Ở đây, Gemini thắng - email của họ ngắn gọn, có giọng điệu phù hợp và (mặc dù sự hài hước mang tính chủ quan) nhưng tôi thấy nó hài hước hơn một chút. ChatGPT vẫn tạo ra âm thanh phù hợp và một email tốt, nhưng tôi thấy nó hơi dài đối với một email nhận thức. Dù bằng cách nào, cả hai công cụ đều làm rất tốt.

Gemini gửi email nhận thức của người dùng sau khi được nhắc

10. Giải thích các khuôn khổ tuân thủ

Nếu bạn có câu hỏi nhanh về cách triển khai khung tuân thủ, những công cụ này chắc chắn có thể hữu ích. Mặc dù bạn có thể không làm điều này thường xuyên nhưng chúng rất hữu ích khi bạn cần.

Nếu bạn đã từng tranh luận với ai đó về điều gì tạo nên một sự thay đổi “đáng kể” theo PCI-DSS và cách áp dụng nó, thì bạn không đơn độc. Tôi đã nhắc từng công cụ bằng: 

“Giải thích khái niệm 'thay đổi đáng kể' trong bối cảnh PCI-DSS. Điều gì tạo nên một sự thay đổi lớn thường? Liệt kê các yêu cầu chính xác từ tiêu chuẩn”

Song Tử chiếm thế thượng phong: Nó liệt kê chính xác các yêu cầu chính xác từ tiêu chuẩn (chẳng hạn như 6.4.5 và 6.4.6) và cách diễn giải xem liệu điều gì đó có phải là một thay đổi đáng kể hay không. ChatGPT không đề cập chính xác vị trí thông tin này xuất hiện trong tiêu chuẩn. 

AI nào tốt hơn, ChatGPT hay Gemini?

Ở đó bạn có nó. Tùy thuộc vào trường hợp sử dụng của bạn, một trong hai công cụ có thể là đồng minh hữu ích trong việc tăng năng suất và hỗ trợ bạn trong các hoạt động hàng ngày trong lĩnh vực an toàn thông tin.

Dấu thời gian:

Thêm từ Đọc tối