ChatGPT לעומת מזל תאומים: מה עדיף עבור 10 משימות Infosec נפוצות?

הועלה מחדש על ידי אפלטון

עוקב: 0

בסוף 2023, כתבתי מאמר שמשווה כמה טוב ChatGPT ו-Google Bard מטפלים בכתיבת מדיניות אבטחה. בהתחשב בכך ש-ChatGPT 4.0 זמין כגרסה בתשלום, הנקראת ChatGPT Plus, מזה זמן מה, וגוגל מיתגה לאחרונה את Google Bard כ-Gemini (עם Gemini Advanced זמין כהצעה בתשלום), זה זמן טוב להשוות את הביצועים של השניים ב- ראש בראש של 10 מקרי השימוש המובילים לאנשי אבטחת מידע.

לפני שאנחנו קופצים פנימה, האזהרות הרגילות של בינה מלאכותית (AI) חלות: היזהר מהנתונים שאתה מכניס וזכור שהפלט לא תמיד אמין.

1. יצירת דיאגרמות או זרימות קונספט

שני הכלים טוענים שהם מסוגלים ליצור דיאגרמות וזרימות מושגים. עם זאת, Gemini מודה שהוא יכול ליצור רק דיאגרמות ASCII, ומפנה אותך לכלים מקצועיים יותר אם אתה רוצה משהו טוב יותר. ביקשתי משני הכלים ליצור דיאגרמה כדי להסביר את OAuth זרימת אימות.

תאומים בעודם מיוצגים ב-ASCII, עושים את העבודה ומחלקים אותו לקטגוריות שמישות.

ChatGPT הוזה רע. במבט ראשון, למרות שהתמונה נראית מקצועית, היא כלל לא מייצגת OAuth. הניסוח הוא חסר היגיון, כתיב שגוי או בלתי קריא בעליל: אישור ו אתוריקט כֹּל אֶחָד?

פלט ChatGPT כאשר מתבקש לייצר דיאגרמה על OAuth

2. הסבר דיאגרמות אדריכלות

שני הכלים יכולים להטמיע דיאגרמות ולהסביר מה קורה. התוצאות טובות בהרבה ממה שקורה כשאתה מבקש מהם ליצור דיאגרמות. כקלט, השתמשתי בדוגמה חומת אש של יישומי אינטרנט (WAF) אדריכלות מ Edgenexus.

Google Gemini הרבה יותר טוב בהסבר דיאגרמות ארכיטקטורה מכיוון שהוא תמציתי. ChatGPT יעשה את העבודה בסדר גמור; זה רק קצת ממולח.

3. פירוש קוד ניצול

פעילות פעולות אבטחה נפוצות (SecOps) מנסה להבין מה עושה תוכנה זדונית או קוד ניצול ספציפי. לקחתי ניצול ציבורי של Elasticsearch לאחרונה והכנסתי אותו לכל כלי כדי לראות מה הוא הבין. אין מנצח ברור: שני הכלים מזהים את הניצול בצורה נכונה ומסבירים את התוצאה הסופית, מה כל חלק של הקוד עושה ואיך הוא עובד.

4. פירוש קובצי יומן

אנשי מקצוע של SecOps צריכים לעתים קרובות להבין מה לעזאזל קורה בקובצי יומן. האכלתי את שני הכלים א קובץ יומן בפורמט CEF לדוגמה של ניסיון פריצה וביקש מכל אחד להסביר מה קורה. מזל תאומים מסביר זאת טוב יותר, מסכם היטב ואף מציע שלבי המשך. זה גם מציין בבירור מה קרה (ניסיון גישה של /etc/passwd) ממש בהתחלה ומפרט כיצד הגיע למסקנה הזו. בעוד ש-ChatGPT מגיע לאותה מסקנה, זה יותר מדי מילולי.

5. כתיבת מדיניות ותיעוד אבטחה

אני לא ארחיב יותר מדי על זה ובמקום זאת אפנה אותך אל שלי מאמר קודם בנושא זה. הרצתי את הבדיקה שוב עם Gemini, והתוצאות עולות בקנה אחד עם בארד: Gemini מבין בבירור ומייצר תיעוד אבטחה טוב יותר מאשר ChatGPT.

6. זיהוי קוד פגיע

אמנם הכלים האלה לא נועדו (ולא אמורים לשמש עבור) זיהוי קוד פגיע, הם עדיין יכולים לעשות עבודה נאותה. החלטתי לבדוק את זה על ידי האכלה של שני הכלים הפניה ישירה לאובייקט לא מאובטחת (IDOR) פגיעות דוגמה בפייתון, שמכיל גם הזרקת SQL.

ChatGPT זיהה בצורה נכונה גם את הפגיעויות וגם את היעדר האימות. Gemini החמיצה את ה-IDOR אבל הצביע על הזרקת SQL והלך צעד קדימה כדי להציע קוד מתוקן לתיקון הפגיעות. ChatGPT יכול גם לעשות זאת, אך יש לבקש ממנו לעשות זאת.

7. כתיבת סקריפטים וקוד

פעילות נפוצה של מרכז פעולות אבטחה (SOC) היא כתיבת סקריפטים לניתוח יומנים או מניפולציה של נתונים. נתתי לשני הכלים את ההנחיה הבאה:

"כתוב לי סקריפט Python שמחלץ את כל כתובות ה-IPv6 מקובץ קלט txt, מסיר את כל הכפילויות, מבצע חיפוש לאיתור גיאוגרפי וזיהוי הבעלים של ה-IP, ומוציא את התוצאה בקובץ CSV"

אין כאן מנצח ברור; שני הכלים מייצרים קוד ברור וקריא שעובד ומסביר מה הוא עושה.

8. ניתוח נתונים ומדדים

בדקתי גם אם הכלים האלה יכולים לעזור בניתוח נתונים או מדדי אבטחה. מזל תאומים הוא מפסיד גדול כאן כי הוא לא עושה את זה בכלל - הוא יכול רק להדריך אותך כיצד לעשות זאת ב-Excel וב-Power BI. ל-ChatGPT יש את היתרון באמצעות תוסף ה-Data Analyst שלו, אשר בולע קבצי Excel כדי ליצור כל גרפים שתרצו. זה אפילו מציע סוגי הדמיה, ואתה יכול לשנות עיצוב של גרף, כולל צבע, צירים ותוויות, דרך ההנחיה.

דוגמה לפלט גרף על ידי תוסף Data Analyst של ChatGPT

9. כתיבת הודעות מודעות למשתמש

שני הכלים יכולים גם ליצור מיילים עבור קמפיינים למודעות אבטחה. נתתי לשניהם את ההנחיה הבאה: "צור דוא"ל המשמש למסע פרסום למודעות אבטחה. תהיה מצחיק וסרקסטי. תזכיר לאנשים למה הם לא צריכים ללחוץ על מיילים אקראיים מאנשים אקראיים."

מזל תאומים מנצח כאן - האימייל שלו קצר, יש לו את הטון הנכון, ולמרות שההומור הוא סובייקטיבי, מצאתי אותו קצת יותר מצחיק. ChatGPT עדיין מייצר את הטון הנכון ודוא"ל טוב, אבל מצאתי שזה טיפה ארוך מדי עבור דוא"ל מודעות. כך או כך, שני הכלים עושים עבודה מצוינת.

Gemini מוציא דוא"ל למודעות משתמש לאחר קבלת הנחיה

10. פירוש מסגרות תאימות

אם יש לך שאלה מהירה על איך ליישם מסגרת תאימות, הכלים האלה בהחלט יכולים לעזור. אמנם אתה לא יכול לעשות את זה לעתים קרובות, הם מאוד שימושיים כאשר אתה צריך את זה.

אם אי פעם התווכחת עם מישהו על מהו שינוי "משמעותי" במסגרת PCI-DSS וכיצד יש ליישם אותו, אתה לא לבד. שלחתי כל כלי עם:

"הסבירו את המושג 'שינוי משמעותי' בהקשר של PCI-DSS. מהו שינוי מהותי בדרך כלל? רשום גם את הדרישה המדויקת מהתקן"

יד תאומים על העליונה: הוא מפרט נכון את הדרישות המדויקות מהתקן (כגון 6.4.5 ו-6.4.6) וכיצד לפרש אם משהו הוא שינוי משמעותי. ChatGPT לא מזכיר בדיוק היכן המידע הזה מופיע בתקן.