Τα LLM όπως το ChatGPT διαρρέουν επίμονα ευαίσθητα δεδομένα

Τα LLM όπως το ChatGPT διαρρέουν επίμονα ευαίσθητα δεδομένα

Χρονική σήμανση: 3 Οκτωβρίου 2023 3:39 μ.μ.
Στα LLM αρέσει το ChatGPT Διαρροή μόνιμα ευαίσθητων δεδομένων PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Σε μια πρωτοποριακή μελέτη, μια ομάδα από το Πανεπιστήμιο της Βόρειας Καρολίνας, Chapel Hill, έριξε φως στο πιεστικό ζήτημα της διατήρησης δεδομένων σε μεγάλα γλωσσικά μοντέλα (LLM) όπως το ChatGPT του OpenAI και το Bard της Google.

Παρά τις προσπάθειες διαγραφής, οι περιπλοκές αυτών των μοντέλων τεχνητής νοημοσύνης συνεχίζουν να αναβοσβήνουν ευαίσθητα δεδομένα, πυροδοτώντας μια σοβαρή συζήτηση για την ασφάλεια των πληροφοριών και την ηθική της τεχνητής νοημοσύνης.

Το αίνιγμα των «μη διαγραφών» δεδομένων

Οι ερευνητές ξεκίνησαν μια αναζήτηση για να διερευνήσουν την εξάλειψη ευαίσθητων πληροφοριών από LLMs. Ωστόσο, έπεσαν πάνω σε μια αποκάλυψη. Η διαγραφή τέτοιων δεδομένων είναι επίπονη, αλλά η επαλήθευση της διαγραφής αποτελεί εξίσου πρόκληση. Μόλις εκπαιδευτούν σε εκτεταμένα σύνολα δεδομένων, αυτά τα μεγαθήρια τεχνητής νοημοσύνης φιλοξενούν τα δεδομένα στον περίπλοκο λαβύρινθο των παραμέτρων και των βαρών τους.

Αυτή η δυσάρεστη κατάσταση γίνεται δυσοίωνη όταν το Μοντέλα AI διαχέουν ακούσια ευαίσθητα δεδομένα, όπως προσωπικά αναγνωριστικά ή οικονομικά αρχεία, θέτοντας ενδεχομένως τις βάσεις για κακόβουλες χρήσεις.

Επιπλέον, ο πυρήνας του ζητήματος βρίσκεται στο σχεδιαστικό σχέδιο αυτών των μοντέλων. Η προκαταρκτική φάση περιλαμβάνει εκπαίδευση σε τεράστιες βάσεις δεδομένων και τελειοποίηση για την εξασφάλιση συνεκτικών αποτελεσμάτων. Η ορολογία "Generative Pretrained Transformer", ενσωματωμένη σε GPT, προσφέρει μια ματιά σε αυτόν τον μηχανισμό.

Οι μελετητές του UNC διευκρίνισαν ένα υποθετικό σενάριο όπου ένας LLM, έχοντας τροφοδοτήσει έναν θησαυρό ευαίσθητων τραπεζικών δεδομένων, γίνεται μια πιθανή απειλή. Τα σύγχρονα προστατευτικά κιγκλιδώματα που χρησιμοποιούνται από τους προγραμματιστές τεχνητής νοημοσύνης δεν μπορούν να κατευνάσουν αυτήν την ανησυχία.

Αυτά τα προστατευτικά μέτρα, όπως τα σκληρά κωδικοποιημένα μηνύματα προτροπής ή ένα παράδειγμα γνωστό ως Ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση (RLHF), διαδραματίζουν ζωτικό ρόλο στον περιορισμό των ανεπιθύμητων αποτελεσμάτων. Ωστόσο, εξακολουθούν να αφήνουν τα δεδομένα να κρύβονται στην άβυσσο του μοντέλου, έτοιμα να κληθούν με μια απλή αναδιατύπωση μιας προτροπής.

Γεφύρωση του Κενού Ασφαλείας

Παρά την ανάπτυξη μεθόδων επεξεργασίας μοντέλων αιχμής, όπως το Rank-One Model Editing, η ομάδα του UNC ανακάλυψε ότι εξακολουθούσαν να είναι προσβάσιμες ουσιαστικές πραγματικές πληροφορίες. Τα ευρήματά τους αποκάλυψαν ότι τα γεγονότα θα μπορούσαν να αναστηθούν γύρω στο 38% και το 29% των περιπτώσεων μέσω επιθέσεων whitebox και blackbox, αντίστοιχα.

Στην αναζήτησή τους, οι ερευνητές χρησιμοποίησαν ένα μοντέλο γνωστό ως GPT-J. Με τις 6 δισεκατομμύρια παραμέτρους του, είναι νάνος σε σύγκριση με το κολοσσιαίο GPT-3.5, ένα βασικό μοντέλο για το ChatGPT με 170 δισεκατομμύρια παραμέτρους. Αυτή η έντονη αντίθεση υποδηλώνει τη μνημειώδη πρόκληση της απολύμανσης μεγαλύτερων μοντέλων όπως το GPT-3.5 από αδικαιολόγητα δεδομένα.

Επιπλέον, οι μελετητές του UNC δημιούργησαν νέες αμυντικές μεθόδους για να προστατεύσουν τα LLM από συγκεκριμένες «επιθέσεις εξαγωγής». Αυτά τα άθλια σχέδια εκμεταλλεύονται τα προστατευτικά κιγκλιδώματα του μοντέλου για να εξαλείψουν ευαίσθητα δεδομένα. Ωστόσο, η εφημερίδα υπαινίχθηκε δυσοίωνα για ένα διαρκές παιχνίδι γάτας και ποντικιού, όπου οι αμυντικές στρατηγικές θα κυνηγούσαν για πάντα τις εξελισσόμενες επιθετικές τακτικές.

Η Microsoft αναθέτει μια πυρηνική ομάδα για την ενίσχυση της τεχνητής νοημοσύνης

Σε μια σχετική σημείωση, το αναπτυσσόμενο βασίλειο της τεχνητής νοημοσύνης έχει ωθήσει τεχνολογικούς μεγαθήρια όπως η Microsoft να επιχειρήσουν σε αχαρτογράφητες περιοχές. Ο πρόσφατος σχηματισμός μιας ομάδας πυρηνικής ενέργειας από τη Microsoft για την ενίσχυση των πρωτοβουλιών τεχνητής νοημοσύνης υπογραμμίζει τις κλιμακούμενες απαιτήσεις και το αλληλένδετο μέλλον της τεχνητής νοημοσύνης και των ενεργειακών πόρων. Καθώς τα μοντέλα τεχνητής νοημοσύνης εξελίσσονται, η όρεξή τους για ενέργεια αυξάνεται, ανοίγοντας το δρόμο για καινοτόμες λύσεις για την ικανοποίηση αυτής της αυξανόμενης ζήτησης.

Η συζήτηση γύρω από τη διατήρηση και τη διαγραφή δεδομένων στα LLMs ξεπερνά τους ακαδημαϊκούς διαδρόμους. Υπενθυμίζει μια ενδελεχή εξέταση και έναν διάλογο σε όλο τον κλάδο για την προώθηση ενός ισχυρού πλαισίου που διασφαλίζει την ασφάλεια των δεδομένων, ενώ παράλληλα καλλιεργεί την ανάπτυξη και τις δυνατότητες της τεχνητής νοημοσύνης.

Αυτό το εγχείρημα των ερευνητών του UNC είναι ένα σημαντικό βήμα προς την κατανόηση και τελικά την επίλυση του προβλήματος των «μη διαγράψιμων» δεδομένων, ένα βήμα πιο κοντά στο να γίνει η τεχνητή νοημοσύνη ασφαλέστερο εργαλείο στην ψηφιακή εποχή.

Σφραγίδα ώρας:

Περισσότερα από MetaNews