ChatGPT εναντίον Gemini: Τι είναι καλύτερο για 10 κοινές εργασίες Infosec;

Στα τέλη του 2023, έγραψα ένα άρθρο συγκρίνοντας πόσο καλά Το ChatGPT και το Google Bard χειρίζονται τη συγγραφή πολιτικών ασφαλείας. Δεδομένου ότι το ChatGPT 4.0 είναι διαθέσιμο ως πληρωμένη έκδοση, που ονομάζεται ChatGPT Plus, εδώ και αρκετό καιρό και η Google πρόσφατα μετονομάστηκε στο Google Bard σε Gemini (με το Gemini Advanced διαθέσιμο ως επί πληρωμή προσφορά), είναι καλή στιγμή να συγκρίνετε την απόδοση των δύο ένα πρόσωπο με πρόσωπο από τις 10 κορυφαίες περιπτώσεις χρήσης για επαγγελματίες ασφάλειας πληροφοριών.

Πριν ξεκινήσουμε, ισχύουν οι συνήθεις προειδοποιήσεις για τη γενετική τεχνητή νοημοσύνη (AI): Να είστε προσεκτικοί με τα δεδομένα που εισάγετε και να θυμάστε ότι η έξοδος μπορεί να μην είναι πάντα αξιόπιστη.

1. Δημιουργία διαγραμμάτων ή ροών εννοιών

Και τα δύο εργαλεία ισχυρίζονται ότι μπορούν να δημιουργήσουν διαγράμματα και ροές εννοιών. Ωστόσο, ο Gemini παραδέχεται ότι μπορεί να δημιουργήσει μόνο διαγράμματα ASCII, υποδεικνύοντάς σας σε πιο επαγγελματικά εργαλεία εάν θέλετε κάτι καλύτερο. Ζήτησα και από τα δύο εργαλεία να δημιουργήσουν ένα διάγραμμα για να το εξηγήσουν OAuth ροή ελέγχου ταυτότητας.

Ο Δίδυμος ενώ εκπροσωπείται στο ASCII, κάνει τη δουλειά και τη χωρίζει σε κατηγορίες που μπορούν να χρησιμοποιηθούν.

Το ChatGPT έχει παραισθήσεις κακώς. Με την πρώτη ματιά, ενώ η εικόνα φαίνεται επαγγελματική, δεν αντιπροσωπεύει καθόλου το OAuth. Η διατύπωση είναι ανόητη, ανορθόγραφη ή εντελώς δυσανάγνωστη: Εξουσιοδότηση και  Athoricazt κανείς;

2. Επεξήγηση Αρχιτεκτονικών Διαγραμμάτων

Και τα δύο εργαλεία μπορούν να απορροφήσουν διαγράμματα και να εξηγήσουν τι συμβαίνει. Τα αποτελέσματα είναι πολύ καλύτερα από αυτό που συμβαίνει όταν τους ζητάτε να δημιουργήσουν διαγράμματα. Ως εισαγωγή, χρησιμοποίησα ένα παράδειγμα Τείχος προστασίας εφαρμογών Ιστού (WAF) αρχιτεκτονική από Edgenexus.

Το Google Gemini είναι πολύ καλύτερο στο να εξηγεί τα διαγράμματα αρχιτεκτονικής επειδή είναι συνοπτικό. Το ChatGPT θα κάνει τη δουλειά μια χαρά. είναι λίγο λογικό.

3. Ερμηνεία του Κώδικα Exploit

Μια κοινή δραστηριότητα λειτουργιών ασφαλείας (SecOps) προσπαθεί να καταλάβει τι κάνει ένα συγκεκριμένο κακόβουλο λογισμικό ή κώδικας εκμετάλλευσης. Πήρα μια πρόσφατη δημόσια εκμετάλλευση υπερχείλισης στοίβας Elasticsearch και την τροφοδότησα σε κάθε εργαλείο για να δω τι κατανοούσε. Δεν υπάρχει ξεκάθαρος νικητής: Και τα δύο εργαλεία αναγνωρίζουν σωστά το exploit και εξηγούν το τελικό αποτέλεσμα, τι κάνει κάθε τμήμα του κώδικα και πώς λειτουργεί.

4. Ερμηνεία αρχείων καταγραφής

Οι επαγγελματίες του SecOps συχνά πρέπει να καταλάβουν τι στο καλό συμβαίνει στα αρχεία καταγραφής. Ταΐσα και τα δύο εργαλεία ένα παράδειγμα αρχείου καταγραφής μορφής CEF απόπειρας παραβίασης και ζήτησε από τον καθένα να εξηγήσει τι συμβαίνει. Ο Δίδυμος το εξηγεί καλύτερα, συνοψίζοντας καλά και μάλιστα προτείνοντας βήματα συνέχειας. Επίσης δηλώνει ξεκάθαρα τι συνέβη (απόπειρα πρόσβασης στο /etc/passwd) στην αρχή και εξηγεί πώς κατέληξε σε αυτό το συμπέρασμα. Ενώ το ChatGPT καταλήγει στο ίδιο συμπέρασμα, είναι υπερβολικά περιεκτικό.

5. Συγγραφή πολιτικών και τεκμηρίωσης ασφαλείας

Δεν θα το αναλύσω πολύ αυτό και θα σας παραπέμψω στο δικό μου προηγούμενο άρθρο πανω σε αυτο το θεμα. Έκανα ξανά το τεστ με το Gemini και τα αποτελέσματα είναι σύμφωνα με του Bard: Το Gemini κατανοεί σαφώς και δημιουργεί καλύτερη τεκμηρίωση ασφαλείας από το ChatGPT.

6. Προσδιορισμός Κώδικα Ευάλωτων

Αν και αυτά τα εργαλεία δεν σχεδιάστηκαν για (και δεν θα έπρεπε να χρησιμοποιούνται) για τον εντοπισμό ευάλωτων κωδικών, μπορούν να κάνουν μια επαρκή δουλειά. Αποφάσισα να το δοκιμάσω τροφοδοτώντας και τα δύο εργαλεία μη ασφαλής αναφορά άμεσου αντικειμένου (IDOR) ευπάθεια παράδειγμα στην Python, το οποίο περιέχει επίσης μια ένεση SQL.

Το ChatGPT εντόπισε σωστά τόσο τα τρωτά σημεία όσο και την έλλειψη ελέγχου ταυτότητας. Ο Gemini έχασε το IDOR, αλλά επεσήμανε την ένεση SQL και προχώρησε ένα βήμα παραπέρα για να προτείνει τροποποιημένο κώδικα για να διορθώσει την ευπάθεια. Το ChatGPT μπορεί επίσης να το κάνει αυτό, αλλά πρέπει να του ζητηθεί να το κάνει.

7. Συγγραφή Σεναρίων και Κώδικα

Μια κοινή δραστηριότητα του κέντρου λειτουργιών ασφαλείας (SOC) είναι η σύνταξη σεναρίων για ανάλυση αρχείων καταγραφής ή χειρισμό δεδομένων. Έδωσα και στα δύο εργαλεία την εξής προτροπή:

"Γράψτε μου ένα σενάριο Python που εξάγει όλες τις διευθύνσεις IPv6 από ένα αρχείο εισόδου txt, αφαιρεί όλα τα διπλότυπα, κάνει αναζήτηση για γεωγραφικό εντοπισμό και αναγνώριση του κατόχου της IP και εξάγει το αποτέλεσμα σε ένα αρχείο CSV"

Δεν υπάρχει ξεκάθαρος νικητής εδώ. Και τα δύο εργαλεία παράγουν σαφή, ευανάγνωστο κώδικα που λειτουργεί και εξηγεί τι κάνει.

8. Ανάλυση δεδομένων και μετρήσεων

Έλεγξα επίσης αν αυτά τα εργαλεία θα μπορούσαν να βοηθήσουν στην ανάλυση δεδομένων ή μετρήσεων ασφαλείας. Το Gemini είναι ένας μεγάλος χαμένος εδώ επειδή δεν το κάνει καθόλου — μπορεί μόνο να σας καθοδηγήσει πώς να το κάνετε αυτό στο Excel και το Power BI. Το ChatGPT έχει το πλεονέκτημα μέσω της προσθήκης Data Analyst, η οποία απορροφά αρχεία Excel για να δημιουργήσει όσα γραφήματα θέλετε. Προτείνει ακόμη και τύπους οπτικοποίησης και μπορείτε να τροποποιήσετε τη σχεδίαση ενός γραφήματος, συμπεριλαμβανομένων των χρωμάτων, των αξόνων και των ετικετών, μέσω της προτροπής. 

9. Σύνταξη μηνυμάτων ευαισθητοποίησης χρήστη

Και τα δύο εργαλεία μπορούν επίσης να δημιουργήσουν μηνύματα ηλεκτρονικού ταχυδρομείου για εκστρατείες ευαισθητοποίησης σχετικά με την ασφάλεια. Έδωσα και στα δύο την εξής προτροπή: «Δημιουργήστε ένα email που χρησιμοποιείται για μια εκστρατεία ευαισθητοποίησης για την ασφάλεια. Να είστε αστείοι και σαρκαστικοί. Υπενθυμίστε στους ανθρώπους γιατί δεν πρέπει να κάνουν κλικ σε τυχαία μηνύματα ηλεκτρονικού ταχυδρομείου από τυχαία άτομα."

Το Gemini κερδίζει εδώ — το email του είναι σύντομο, έχει τον σωστό τόνο και (αν και το χιούμορ είναι υποκειμενικό) το βρήκα λίγο πιο αστείο. Το ChatGPT εξακολουθεί να παράγει τον σωστό τόνο και ένα καλό μήνυμα ηλεκτρονικού ταχυδρομείου, αλλά το βρήκα πολύ μεγάλο για ένα μήνυμα ηλεκτρονικού ταχυδρομείου ευαισθητοποίησης. Είτε έτσι είτε αλλιώς, και τα δύο εργαλεία κάνουν εξαιρετική δουλειά.

10. Ερμηνεία Πλαισίου Συμμόρφωσης

Εάν έχετε μια γρήγορη ερώτηση σχετικά με το πώς να εφαρμόσετε ένα πλαίσιο συμμόρφωσης, αυτά τα εργαλεία μπορούν σίγουρα να σας βοηθήσουν. Αν και μπορεί να μην το κάνετε συχνά, είναι πολύ χρήσιμα όταν το χρειάζεστε.

Εάν έχετε διαφωνήσει ποτέ με κάποιον σχετικά με το τι συνιστά μια «σημαντική» αλλαγή στο πλαίσιο του PCI-DSS και πώς πρέπει να εφαρμόζεται, δεν είστε μόνοι. Ζήτησα σε κάθε εργαλείο: 

«Εξηγήστε την έννοια της «σημαντικής αλλαγής» στο πλαίσιο του PCI-DSS. Τι αποτελεί συνήθως μια σημαντική αλλαγή; Καταγράψτε επίσης την ακριβή απαίτηση από το πρότυπο"

Ο Δίδυμος έχει το πάνω χέρι: Παραθέτει σωστά τις ακριβείς απαιτήσεις από το πρότυπο (όπως το 6.4.5 και το 6.4.6) και πώς να ερμηνεύσει αν κάτι είναι μια σημαντική αλλαγή. Το ChatGPT δεν αναφέρει ακριβώς πού εμφανίζονται αυτές οι πληροφορίες στο πρότυπο. 

Ποιο AI είναι καλύτερο, ChatGPT ή Gemini;

Ορίστε το έχετε. Ανάλογα με την περίπτωση χρήσης σας, οποιοδήποτε εργαλείο μπορεί να είναι ένας χρήσιμος σύμμαχος για την ενίσχυση της παραγωγικότητας και για να σας βοηθήσει στις καθημερινές σας δραστηριότητές στις τάφρους του infosec.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks