ChatGPT vs. Gemini: Mana yang Lebih Baik untuk 10 Tugas Umum Infosec?

Pada akhir tahun 2023, saya menulis artikel yang membandingkan seberapa baik ChatGPT dan Google Bard menangani kebijakan keamanan penulisan. Mengingat ChatGPT 4.0 telah tersedia sebagai versi berbayar, yang disebut ChatGPT Plus, untuk beberapa waktu sekarang, dan Google baru-baru ini mengganti nama Google Bard menjadi Gemini (dengan Gemini Advanced tersedia sebagai penawaran berbayar), inilah saat yang tepat untuk membandingkan kinerja keduanya di 10 kasus penggunaan teratas untuk profesional keamanan informasi.

Sebelum kita membahasnya, peringatan umum mengenai kecerdasan buatan (AI) generatif berlaku: Berhati-hatilah dengan data yang Anda masukkan dan ingat bahwa keluarannya mungkin tidak selalu dapat diandalkan.

1. Menghasilkan Diagram atau Alur Konsep

Kedua alat tersebut diklaim mampu menghasilkan diagram dan alur konsep. Namun, Gemini mengakui bahwa ia hanya dapat menghasilkan diagram ASCII, mengarahkan Anda ke alat yang lebih profesional jika Anda menginginkan sesuatu yang lebih baik. Saya meminta kedua alat tersebut untuk membuat diagram untuk menjelaskannya OAuth aliran otentikasi.

Gemini saat terwakili di ASCII, melakukan pekerjaan dan memecahnya ke dalam kategori yang dapat digunakan.

ChatGPT berhalusinasi sangat. Sekilas, meskipun gambarnya terlihat profesional, namun tidak mewakili OAuth sama sekali. Kata-katanya tidak masuk akal, salah eja, atau benar-benar tidak terbaca: Otentikasi dan Athoricazt siapa?

2. Menjelaskan Diagram Arsitektur

Kedua alat tersebut dapat menyerap diagram dan menjelaskan apa yang terjadi. Hasilnya jauh lebih baik daripada apa yang terjadi ketika Anda meminta mereka membuat diagram. Sebagai masukan, saya menggunakan sebuah contoh Firewall aplikasi web (WAF) arsitektur dari Edgenexus.

Google Gemini jauh lebih baik dalam menjelaskan diagram arsitektur karena ringkas. ChatGPT akan melakukan tugasnya dengan baik; itu hanya sedikit bertele-tele.

3. Menafsirkan Kode Eksploitasi

Aktivitas operasi keamanan umum (SecOps) mencoba mencari tahu apa yang dilakukan malware atau kode eksploitasi tertentu. Saya mengambil eksploitasi publik Elasticsearch stack overflow baru-baru ini dan memasukkannya ke setiap alat untuk melihat apa yang dipahaminya. Tidak ada pemenang yang jelas: Kedua alat tersebut mengidentifikasi eksploitasi dengan benar dan menjelaskan hasil akhirnya, fungsi setiap bagian kode, dan cara kerjanya.

4. Menafsirkan File Log

Profesional SecOps sering kali perlu mencari tahu apa yang terjadi di file log. Saya memberi makan kedua alat dan contoh file log format CEF dari percobaan pelanggaran dan meminta masing-masing untuk menjelaskan apa yang terjadi. Gemini menjelaskannya dengan lebih baik, merangkumnya dengan baik, dan bahkan menyarankan langkah tindak lanjut. Ini juga dengan jelas menyatakan apa yang terjadi (percobaan akses /etc/passwd) tepat di awal dan menguraikan bagaimana sampai pada kesimpulan tersebut. Meskipun ChatGPT sampai pada kesimpulan yang sama, kesimpulannya terlalu bertele-tele.

5. Penulisan Kebijakan dan Dokumentasi Keamanan

Saya tidak akan menjelaskan terlalu banyak tentang hal ini dan malah akan merujuk Anda ke saya Artikel sebelumnya pada topik ini. Saya menjalankan pengujian lagi dengan Gemini, dan hasilnya konsisten dengan hasil Bard: Gemini memahami dengan jelas dan menghasilkan dokumentasi keamanan yang lebih baik daripada ChatGPT.

6. Mengidentifikasi Kode yang Rentan

Meskipun alat-alat ini tidak dirancang untuk (dan tidak boleh digunakan untuk) mengidentifikasi kode yang rentan, alat-alat ini masih dapat melakukan pekerjaan yang memadai. Saya memutuskan untuk mengujinya dengan memberi makan kedua alat tersebut referensi objek langsung tidak aman (IDOR) kerentanan contoh dengan Python, yang juga berisi injeksi SQL.

ChatGPT dengan benar mengidentifikasi kerentanan dan kurangnya otentikasi. Gemini melewatkan IDOR tetapi menunjukkan injeksi SQL dan melangkah lebih jauh dengan mengusulkan kode yang diubah untuk memperbaiki kerentanan. ChatGPT juga dapat melakukan hal ini, namun harus diminta untuk melakukannya.

7. Penulisan Naskah dan Kode

Aktivitas pusat operasi keamanan (SOC) yang umum adalah menulis skrip untuk penguraian log atau manipulasi data. Saya memberikan kedua alat tersebut prompt berikut:

“Tuliskan saya skrip Python yang mengekstrak semua alamat IPv6 dari file input txt, menghapus semua duplikat, melakukan pencarian untuk menemukan lokasi geografis dan mengidentifikasi pemilik IP, dan menampilkan hasilnya dalam file CSV”

Tidak ada pemenang yang jelas di sini; kedua alat tersebut menghasilkan kode yang jelas dan mudah dibaca serta berfungsi dan menjelaskan fungsinya.

8. Menganalisis Data dan Metrik

Saya juga menguji apakah alat ini dapat membantu menganalisis data atau metrik keamanan. Gemini adalah pecundang besar di sini karena tidak melakukannya sama sekali — Gemini hanya dapat memandu Anda melakukan hal ini di Excel dan Power BI. ChatGPT memiliki keunggulan melalui plug-in Analis Data, yang menyerap file Excel untuk menghasilkan grafik apa pun yang Anda inginkan. Ia bahkan menyarankan jenis visualisasi, dan Anda dapat memodifikasi desain grafik, termasuk warna, sumbu, dan label, melalui perintah. 

9. Menulis Pesan Kesadaran Pengguna

Kedua alat tersebut juga dapat menghasilkan email untuk kampanye kesadaran keamanan. Saya memberikan keduanya prompt berikut: “Buat email yang digunakan untuk kampanye kesadaran keamanan. Bersikaplah lucu dan sarkastik. Ingatkan orang-orang mengapa mereka tidak boleh mengklik email acak dari orang sembarangan.”

Gemini menang di sini — emailnya singkat, memiliki nada yang tepat, dan (meskipun humor bersifat subjektif) menurut saya itu sedikit lebih lucu. ChatGPT masih menghasilkan nada yang tepat dan email yang bagus, tapi menurut saya ini agak terlalu panjang untuk email kesadaran. Apa pun pilihannya, kedua alat tersebut berfungsi dengan baik.

10. Menafsirkan Kerangka Kepatuhan

Jika Anda memiliki pertanyaan singkat tentang bagaimana menerapkan kerangka kepatuhan, alat-alat ini pasti dapat membantu. Meskipun Anda mungkin tidak sering melakukan ini, hal ini sangat berguna saat Anda membutuhkannya.

Jika Anda pernah berdebat dengan seseorang tentang apa yang dimaksud dengan perubahan “signifikan” dalam PCI-DSS dan bagaimana hal itu harus diterapkan, Anda tidak sendirian. Saya meminta setiap alat dengan: 

“Jelaskan konsep 'perubahan signifikan' dalam konteks PCI-DSS. Biasanya apa yang dimaksud dengan perubahan besar? Cantumkan juga persyaratan pasti dari standar”

Gemini lebih unggul: Gemini mencantumkan dengan benar persyaratan yang tepat dari standar (seperti 6.4.5 dan 6.4.6) dan bagaimana menafsirkan apakah ada perubahan yang signifikan. ChatGPT tidak menyebutkan secara pasti di mana informasi ini muncul dalam standar. 

AI Mana yang Lebih Baik, ChatGPT atau Gemini?

Itu dia. Tergantung pada kasus penggunaan Anda, salah satu alat dapat menjadi alat yang membantu dalam meningkatkan produktivitas dan membantu Anda dalam aktivitas sehari-hari di parit infosec.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks