ChatGPT กับ Gemini: ไหนดีกว่าสำหรับงาน Infosec ทั่วไป 10 งาน?

ช่วงปลายปี 2023 ผมได้เขียนบทความเปรียบเทียบว่าทำได้ดีแค่ไหน ChatGPT และ Google Bard จัดการการเขียนนโยบายความปลอดภัย. เนื่องจาก ChatGPT 4.0 มีให้บริการเป็นเวอร์ชันที่ต้องชำระเงินเรียกว่า ChatGPT Plus มาระยะหนึ่งแล้ว และ Google เพิ่งเปลี่ยนชื่อ Google Bard เป็น Gemini (โดย Gemini Advanced มีให้บริการแบบชำระเงิน) จึงเป็นเวลาที่ดีที่จะเปรียบเทียบประสิทธิภาพของทั้งสองใน รวมกรณีการใช้งาน 10 อันดับแรกสำหรับผู้เชี่ยวชาญด้านความปลอดภัยของข้อมูล

ก่อนที่เราจะเริ่มต้น คำเตือนเกี่ยวกับปัญญาประดิษฐ์ (AI) แบบทั่วไปจะถูกนำมาใช้: โปรดระวังข้อมูลที่คุณเจาะเข้าไป และจำไว้ว่าผลลัพธ์อาจไม่น่าเชื่อถือเสมอไป

1. การสร้างไดอะแกรมหรือโฟลว์แนวคิด

เครื่องมือทั้งสองอ้างว่าสามารถสร้างไดอะแกรมและโฟลว์แนวคิดได้ อย่างไรก็ตาม Gemini ยอมรับว่าสามารถสร้างไดอะแกรม ASCII เท่านั้น ซึ่งจะนำคุณไปสู่เครื่องมือระดับมืออาชีพเพิ่มเติมหากคุณต้องการสิ่งที่ดีกว่า ฉันขอให้เครื่องมือทั้งสองสร้างไดอะแกรมเพื่ออธิบาย OAuth ขั้นตอนการรับรองความถูกต้อง

ในขณะที่ราศีเมถุนแสดงในรูปแบบ ASCII ทำหน้าที่และแบ่งมันออกเป็นหมวดหมู่ที่ใช้งานได้

ChatGPT เกิดอาการประสาทหลอน ไม่ดี. เมื่อมองแวบแรก แม้ว่ารูปภาพจะดูเป็นมืออาชีพ แต่ก็ไม่ได้แสดงถึง OAuth เลย ข้อความนี้ไร้สาระ สะกดผิด หรืออ่านไม่ออกเลย: การรับรองความถูกต้อง และ  อโธริกาซท์ ใคร?

2. การอธิบายไดอะแกรมสถาปัตยกรรม

เครื่องมือทั้งสองสามารถนำเข้าไดอะแกรมและอธิบายสิ่งที่เกิดขึ้นได้ ผลลัพธ์จะดีกว่าสิ่งที่เกิดขึ้นเมื่อคุณขอให้พวกเขาสร้างไดอะแกรม ฉันใช้ตัวอย่าง ไฟร์วอลล์แอปพลิเคชันเว็บ (WAF) สถาปัตยกรรมจาก Edgenexus.

Google Gemini อธิบายไดอะแกรมสถาปัตยกรรมได้ดีกว่ามากเพราะมีความกระชับ ChatGPT จะทำงานได้เป็นอย่างดี มันเป็นแค่คำพูดนิดหน่อย

3. การตีความรหัสการหาประโยชน์

กิจกรรมการดำเนินการรักษาความปลอดภัยทั่วไป (SecOps) กำลังพยายามค้นหาว่ามัลแวร์หรือโค้ดเจาะจงทำอะไรได้บ้าง ฉันใช้สแต็ก Elasticsearch ล่าสุดที่ล้นการหาประโยชน์สาธารณะและป้อนเข้าไปในแต่ละเครื่องมือเพื่อดูว่าเข้าใจอะไร ไม่มีผู้ชนะที่ชัดเจน: เครื่องมือทั้งสองระบุช่องโหว่ได้อย่างถูกต้องและอธิบายผลลัพธ์ที่ได้ แต่ละส่วนของโค้ดทำหน้าที่อะไร และวิธีการทำงาน

4. การตีความไฟล์บันทึก

ผู้เชี่ยวชาญด้าน SecOps มักจะต้องค้นหาว่าเกิดอะไรขึ้นในไฟล์บันทึก ฉันป้อนเครื่องมือทั้งสองอัน ตัวอย่างไฟล์บันทึกรูปแบบ CEF ของการพยายามละเมิดและขอให้แต่ละคนอธิบายว่าเกิดอะไรขึ้น ราศีเมถุนอธิบายได้ดีกว่า สรุปได้ดี และแนะนำขั้นตอนติดตามผลด้วย นอกจากนี้ยังระบุอย่างชัดเจนว่าเกิดอะไรขึ้น (พยายามเข้าถึง /etc/passwd) ในตอนเริ่มต้น และอธิบายอย่างละเอียดว่าสรุปได้อย่างไร แม้ว่า ChatGPT จะได้ข้อสรุปเดียวกัน แต่ก็มีรายละเอียดมากเกินไป

5. การเขียนนโยบายและเอกสารความปลอดภัย

ฉันจะไม่อธิบายรายละเอียดมากเกินไปเกี่ยวกับเรื่องนี้และจะแนะนำคุณให้รู้จักกับของฉันแทน บทความก่อนหน้านี้ ในหัวข้อนี้ ฉันรันการทดสอบอีกครั้งกับ Gemini และผลลัพธ์ก็สอดคล้องกับของ Bard: Gemini เข้าใจอย่างชัดเจนและสร้างเอกสารความปลอดภัยที่ดีกว่า ChatGPT

6. การระบุรหัสที่มีช่องโหว่

แม้ว่าเครื่องมือเหล่านี้ไม่ได้ออกแบบมาเพื่อ (และไม่ควรใช้สำหรับ) การระบุโค้ดที่มีช่องโหว่ แต่เครื่องมือเหล่านี้ก็ยังสามารถทำงานได้อย่างเพียงพอ ฉันตัดสินใจทดสอบโดยป้อนเครื่องมือทั้งสองอัน การอ้างอิงวัตถุโดยตรงที่ไม่ปลอดภัย (IDOR) ความอ่อนแอ ตัวอย่างใน Pythonซึ่งมีการฉีด SQL ด้วย

ChatGPT ระบุทั้งช่องโหว่และการขาดการตรวจสอบสิทธิ์อย่างถูกต้อง Gemini พลาด IDOR แต่ชี้ให้เห็นถึงการแทรก SQL และก้าวไปอีกขั้นเพื่อเสนอรหัสที่แก้ไขเพื่อแก้ไขช่องโหว่ ChatGPT ก็ทำเช่นนี้ได้เช่นกัน แต่ต้องได้รับแจ้งให้ดำเนินการดังกล่าว

7. การเขียนสคริปต์และโค้ด

กิจกรรมของศูนย์ปฏิบัติการด้านความปลอดภัย (SOC) ทั่วไปคือการเขียนสคริปต์สำหรับการแยกวิเคราะห์บันทึกหรือการจัดการข้อมูล ฉันให้พรอมต์กับเครื่องมือทั้งสองดังต่อไปนี้:

“เขียนสคริปต์ Python ให้ฉันซึ่งจะแยกที่อยู่ IPv6 ทั้งหมดออกจากไฟล์อินพุต txt ลบรายการที่ซ้ำกันทั้งหมด ค้นหาตำแหน่งทางภูมิศาสตร์และระบุเจ้าของ IP และส่งออกผลลัพธ์เป็นไฟล์ CSV”

ไม่มีผู้ชนะที่ชัดเจนที่นี่ เครื่องมือทั้งสองสร้างโค้ดที่ชัดเจนและอ่านง่ายซึ่งใช้งานได้และอธิบายการทำงานของมัน

8. การวิเคราะห์ข้อมูลและตัวชี้วัด

ฉันยังทดสอบด้วยว่าเครื่องมือเหล่านี้สามารถช่วยในการวิเคราะห์ข้อมูลหรือตัวชี้วัดความปลอดภัยได้หรือไม่ Gemini เป็นผู้แพ้ครั้งใหญ่ที่นี่เพราะมันไม่ได้ทำเลย — มันสามารถแนะนำคุณตลอดวิธีการดำเนินการใน Excel และ Power BI เท่านั้น ChatGPT มีข้อได้เปรียบผ่านปลั๊กอิน Data Analyst ซึ่งนำเข้าไฟล์ Excel เพื่อสร้างกราฟที่คุณต้องการ มันยังแนะนำประเภทการแสดงภาพ และคุณสามารถปรับเปลี่ยนการออกแบบของกราฟ รวมถึงสี แกน และป้ายกำกับได้ผ่านข้อความแจ้ง 

9. การเขียนข้อความการรับรู้ของผู้ใช้

เครื่องมือทั้งสองยังสามารถสร้างอีเมลสำหรับแคมเปญการรับรู้ด้านความปลอดภัยได้ ฉันให้พรอมต์ทั้งสองต่อไปนี้: “สร้างอีเมลที่ใช้สำหรับแคมเปญการรับรู้ด้านความปลอดภัย เป็นคนตลกและเสียดสี. เตือนผู้คนว่าทำไมพวกเขาไม่ควรคลิกอีเมลสุ่มจากคนสุ่ม”

Gemini ชนะที่นี่ — อีเมลของมันสั้น มีน้ำเสียงที่เหมาะสม และ (แม้ว่าอารมณ์ขันจะเป็นอัตวิสัยก็ตาม) ฉันพบว่ามันสนุกกว่าเล็กน้อย ChatGPT ยังคงสร้างแนวทางที่เหมาะสมและเป็นอีเมลที่ดี แต่ฉันพบว่ามันยาวเกินไปสำหรับอีเมลการรับรู้ ไม่ว่าจะด้วยวิธีใด เครื่องมือทั้งสองก็ทำงานได้ดีมาก

10. การตีความกรอบการปฏิบัติตามข้อกำหนด

หากคุณมีคำถามสั้นๆ เกี่ยวกับวิธีการนำกรอบการปฏิบัติตามกฎระเบียบไปใช้ เครื่องมือเหล่านี้สามารถช่วยได้อย่างแน่นอน แม้ว่าคุณจะไม่ได้ทำเช่นนี้บ่อยนัก แต่ก็มีประโยชน์มากเมื่อคุณต้องการ

หากคุณเคยโต้เถียงกับใครบางคนเกี่ยวกับสิ่งที่ถือเป็นการเปลี่ยนแปลงที่ “สำคัญ” ภายใต้ PCI-DSS และวิธีที่ควรนำไปใช้ คุณไม่ได้อยู่คนเดียว ฉันแจ้งแต่ละเครื่องมือด้วย: 

“อธิบายแนวคิดของ 'การเปลี่ยนแปลงที่สำคัญ' ในบริบทของ PCI-DSS อะไรทำให้เกิดการเปลี่ยนแปลงครั้งใหญ่? รายการข้อกำหนดที่แน่นอนจากมาตรฐานด้วย”

ราศีเมถุนมีความได้เปรียบ: แสดงรายการข้อกำหนดที่ถูกต้องจากมาตรฐาน (เช่น 6.4.5 และ 6.4.6) อย่างถูกต้อง และวิธีตีความว่ามีการเปลี่ยนแปลงที่สำคัญหรือไม่ ChatGPT ไม่ได้ระบุอย่างชัดเจนว่าข้อมูลนี้ปรากฏในส่วนใดของมาตรฐาน 

AI ไหนดีกว่า ChatGPT หรือราศีเมถุน?

ที่นั่นคุณมีมัน เครื่องมืออย่างใดอย่างหนึ่งสามารถเป็นพันธมิตรที่มีประโยชน์ในการเพิ่มผลผลิตและช่วยเหลือคุณในกิจกรรมในแต่ละวันในร่องลึกของ infosec ทั้งนี้ขึ้นอยู่กับกรณีการใช้งานของคุณ

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks