Οι ερευνητές Jimmy OpenAI και κλειστά μοντέλα της Google

Οι Boffins κατάφεραν να ανοίξουν κλειστές υπηρεσίες τεχνητής νοημοσύνης από την OpenAI και την Google με μια επίθεση που ανακτά ένα κατά τα άλλα κρυφό τμήμα μοντέλων μετασχηματιστών.

Η επίθεση φωτίζει εν μέρει έναν συγκεκριμένο τύπο μοντέλου του λεγόμενου «μαύρου κουτιού», αποκαλύπτοντας το ενσωματωμένο επίπεδο προβολής ενός μοντέλου μετασχηματιστή μέσω ερωτημάτων API. Το κόστος για να γίνει αυτό κυμαίνεται από μερικά δολάρια έως αρκετές χιλιάδες, ανάλογα με το μέγεθος του μοντέλου που δέχεται επίθεση και τον αριθμό των ερωτημάτων.

Τουλάχιστον 13 επιστήμονες υπολογιστών από το Google DeepMind, το ETH Zurich, το Πανεπιστήμιο της Ουάσιγκτον, το OpenAI και το Πανεπιστήμιο McGill έχουν γράψει ένα χαρτί περιγράφοντας την επίθεση, η οποία βασίζεται σε ένα μοντέλο τεχνικής επίθεσης εξαγωγής προτείνεται στο 2016.

«Για κάτω από $20 USD, η επίθεσή μας εξάγει ολόκληρη τη μήτρα προβολής των μοντέλων γλώσσας ada και babbage του OpenAI», αναφέρουν οι ερευνητές στο έγγραφό τους. «Επιβεβαιώνουμε έτσι, για πρώτη φορά, ότι αυτά τα μοντέλα μαύρου κουτιού έχουν κρυφή διάσταση 1024 και 2048, αντίστοιχα. Ανακτούμε επίσης το ακριβές μέγεθος κρυφής διάστασης του μοντέλου gpt-3.5-turbo και υπολογίζουμε ότι θα κοστίσει λιγότερο από 2,000 $ σε ερωτήματα για την ανάκτηση ολόκληρου του πίνακα προβολής.»

Οι ερευνητές έχουν αποκαλύψει τα ευρήματά τους στο OpenAI και την Google, οι οποίες λέγεται ότι έχουν εφαρμόσει αμυντικά μέτρα για να μετριάσουν την επίθεση. Επέλεξαν να μην δημοσιεύσουν το μέγεθος δύο μοντέλων OpenAI gpt-3.5-turbo, τα οποία εξακολουθούν να χρησιμοποιούνται. Τα μοντέλα ada και babbage είναι και τα δύο καταργημένα, επομένως η αποκάλυψη των αντίστοιχων μεγεθών τους θεωρήθηκε αβλαβής.

Ενώ η επίθεση δεν εκθέτει πλήρως ένα μοντέλο, οι ερευνητές λένε ότι μπορεί να αποκαλύψει τον τελικό του μοντέλου μήτρα βάρους – ή το πλάτος του, που συχνά σχετίζεται με το πλήθος των παραμέτρων – και παρέχει πληροφορίες σχετικά με τις δυνατότητες του μοντέλου που θα μπορούσαν να βοηθήσουν στην περαιτέρω διερεύνηση. Εξηγούν ότι η δυνατότητα λήψης οποιωνδήποτε παραμέτρων από ένα μοντέλο παραγωγής είναι εκπληκτική και ανεπιθύμητη, επειδή η τεχνική επίθεσης μπορεί να είναι επεκτάσιμη για να ανακτήσει ακόμη περισσότερες πληροφορίες.

«Εάν έχετε τα βάρη, τότε έχετε απλώς το πλήρες μοντέλο», εξήγησε ο Edouard Harris, CTO στο Gladstone AI, σε ένα email στο Το μητρώο. «Αυτό που έκανε η Google [et al.] ήταν να ανακατασκευάσει ορισμένες παραμέτρους του πλήρους μοντέλου ρωτώντας το, όπως θα έκανε ένας χρήστης. Έδειχναν ότι μπορείτε να ανακατασκευάσετε σημαντικές πτυχές του μοντέλου χωρίς να έχετε καθόλου πρόσβαση στα βάρη».

Η πρόσβαση σε αρκετές πληροφορίες σχετικά με ένα ιδιόκτητο μοντέλο μπορεί να επιτρέψει σε κάποιον να το αναπαράγει – ένα σενάριο που εξέτασε η Gladstone AI στο να αναφέρουν που ανατέθηκε από το Υπουργείο Εξωτερικών των ΗΠΑ με τίτλο «Defense in Depth: An Action Plan to Increase the Safety and Security of Advanced AI».

Η έκθεση, κυκλοφόρησε χθες, παρέχει αναλύσεις και συστάσεις για τον τρόπο με τον οποίο η κυβέρνηση πρέπει να αξιοποιήσει την τεχνητή νοημοσύνη και να προφυλαχθεί από τους τρόπους με τους οποίους αποτελεί πιθανή απειλή για την εθνική ασφάλεια.

Μία από τις συστάσεις της έκθεσης είναι «η κυβέρνηση των ΗΠΑ να διερευνήσει επειγόντως προσεγγίσεις για τον περιορισμό της κυκλοφορίας ή πώλησης προηγμένων μοντέλων τεχνητής νοημοσύνης ανοικτής πρόσβασης πάνω από τα βασικά όρια ικανότητας ή συνολικής κατάρτισης». Αυτό περιλαμβάνει «[θέσπιση] επαρκών μέτρων ασφαλείας για την προστασία της κρίσιμης IP, συμπεριλαμβανομένων των βαρών του μοντέλου».

Ερωτηθείς σχετικά με τις συστάσεις της έκθεσης Gladstone υπό το φως των ευρημάτων της Google, ο Χάρις βασίστηκε: «Βασικά, για να εκτελέσετε επιθέσεις σαν αυτές, χρειάζεται – τουλάχιστον προς το παρόν – να εκτελέσετε ερωτήματα σε μοτίβα που μπορεί να είναι ανιχνεύσιμα από την εταιρεία που εξυπηρετεί το μοντέλο , που είναι το OpenAI στην περίπτωση του GPT-4. Συνιστούμε την παρακολούθηση μοτίβων χρήσης υψηλού επιπέδου, τα οποία θα πρέπει να γίνονται με τρόπο διατήρησης του απορρήτου, προκειμένου να εντοπιστούν προσπάθειες ανακατασκευής των παραμέτρων του μοντέλου χρησιμοποιώντας αυτές τις προσεγγίσεις."

«Φυσικά αυτού του είδους η άμυνα με το πρώτο πέρασμα μπορεί να γίνει επίσης ανέφικτο, και ίσως χρειαστεί να αναπτύξουμε πιο εξελιγμένα αντίμετρα (π.χ. ελαφρώς τυχαιοποίηση των μοντέλων που εξυπηρετούν ποιες αποκρίσεις κάθε δεδομένη στιγμή ή άλλες προσεγγίσεις). Ωστόσο, δεν μπαίνουμε σε αυτό το επίπεδο λεπτομέρειας στο ίδιο το σχέδιο». ®

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://go.theregister.com/feed/www.theregister.com/2024/03/13/researchers_pry_open_closed_models/