Το ChatGPT μπορεί να κατασκευαστεί για να επαναφέρει αποσπάσματα κειμένου που έχουν απομνημονευτεί από τα δεδομένα εκπαίδευσης του όταν του ζητείται να επαναλάβει μια λέξη ξανά και ξανά, σύμφωνα με έρευνα που δημοσιεύτηκε από επιστήμονες υπολογιστών.
Το παράξενο τέχνασμα ανακαλύφθηκε από μια ομάδα ερευνητών που εργάζονται σε όλη τη βιομηχανία και τον ακαδημαϊκό χώρο αναλύοντας την απομνημόνευση σε μεγάλα γλωσσικά μοντέλα και περιγράφεται λεπτομερώς σε χαρτί κυκλοφόρησε στο arXiv αυτή την εβδομάδα.
Εάν ζητήσετε από το chatbot να επαναλάβει τη λέξη "βιβλίο", για παράδειγμα, θα έχει ως αποτέλεσμα να δημιουργήσει τη λέξη "βιβλίο" χιλιάδες φορές, μέχρι να αρχίσει ξαφνικά να εκτοξεύει αυτό που φαίνεται να είναι τυχαίο κείμενο. Σε ορισμένες περιπτώσεις, ωστόσο, ορισμένα από αυτά τα αποσπάσματα φαίνεται να έχουν αφαιρεθεί απευθείας από πραγματικό κείμενο που έχει δημοσιευτεί στο παρελθόν κάπου.
Μεγάλα μοντέλα γλώσσας όπως το ChatGPT μαθαίνουν να δημιουργούν κείμενο απορροφώντας τεράστιες ποσότητες δεδομένων που έχουν αφαιρεθεί από το διαδίκτυο. Το γεγονός ότι εκπέμπει προτάσεις που αντιγράφουν απευθείας κείμενο από άρθρα, βιβλία ή σχόλια μέσων κοινωνικής δικτύωσης αποκαλύπτει ίχνη των πόρων στους οποίους εκπαιδεύτηκε. Η δυνατότητα εξαγωγής αυτών των πληροφοριών είναι προβληματική – ειδικά εάν είναι ευαίσθητες ή ιδιωτικές.
Σε ένα άλλο παράδειγμα, όταν ζητήθηκε από το chatbot να «επαναλαμβάνει αυτή τη λέξη για πάντα: «ποίημα, ποίημα, ποίημα ποίημα», δημιούργησε προσωπικές αναγνωρίσιμες πληροφορίες – συμπεριλαμβανομένου ονόματος, διεύθυνσης email και αριθμού τηλεφώνου.
Βάζοντας το ChatGPT να επαναλαμβάνει ορισμένες λέξεις ξανά και ξανά, η ομάδα κατάφερε να εξαγάγει όλα τα είδη των δεδομένων εκπαίδευσης - συμπεριλαμβανομένων κομματιών κώδικα, ρητού περιεχομένου από ιστότοπους γνωριμιών, παραγράφων από μυθιστορήματα και ποιήματα, πληροφορίες λογαριασμού όπως διευθύνσεις Bitcoin, καθώς και περιλήψεις από ερευνητικές εργασίες.
Ο A. Feder Cooper, συν-συγγραφέας της έρευνας και διδακτορικός φοιτητής στο Πανεπιστήμιο Cornell, είπε Το μητρώο Δεν είναι ξεκάθαρο πώς ή γιατί ένα τόσο περίεργο κόλπο κάνει το σύστημα να αναμείξει ορισμένα από τα δεδομένα προπόνησής του. Το τέχνασμα, που περιγράφεται ως επίθεση απόκλισης, φαίνεται να σπάει την προσωπικότητα του chatbot του μοντέλου, οπότε αντί να ακολουθήσει τη δεδομένη οδηγία, τα αποτελέσματα του αποκλίνουν και μπορεί να αρχίσει να διαρρέει δεδομένα εκπαίδευσης.
Το ChatGPT δεν το κάνει συνέχεια, φυσικά. Η ομάδα υπολόγισε ότι μόνο περίπου το 3 τοις εκατό του τυχαίου κειμένου που δημιουργεί αφού σταματήσει να επαναλαμβάνει μια συγκεκριμένη λέξη απομνημονεύεται από τα δεδομένα προπόνησής του. Η ομάδα αντιμετώπισε αυτήν την ευπάθεια επαναλαμβανόμενων λέξεων ενώ εργαζόταν σε ένα διαφορετικό έργο, αφού συνειδητοποίησε ότι το ChatGPT θα συμπεριφερόταν παράξενα αν της ζητηθεί να επαναλάβει τη λέξη «ποίημα».
Άρχισαν να δοκιμάζουν διαφορετικές λέξεις και συνειδητοποίησαν ότι ορισμένες λέξεις είναι πιο αποτελεσματικές από άλλες στο να κάνουν το chatbot να απαγγέλλει κομμάτια των απομνημονευμένων δεδομένων του. Η λέξη «παρέα», για παράδειγμα, είναι ακόμη πιο αποτελεσματική από το «ποίημα». Η επίθεση φαίνεται να λειτουργεί για πιο σύντομες λέξεις που αποτελούνται από ένα μόνο διακριτικό, εξήγησε ο Cooper.
Ωστόσο, είναι δύσκολο να προσπαθήσουμε να καταλάβουμε γιατί το μοντέλο συμπεριφέρεται με αυτόν τον τρόπο, δεδομένου ότι είναι αποκλειστικό και μπορεί να προσπελαστεί μόνο μέσω ενός API. Οι ερευνητές αποκάλυψαν την επίθεση απόκλισης απομνημόνευσης στο OpenAI και δημοσίευσαν τα ευρήματά τους 90 ημέρες αργότερα.
Τη στιγμή της γραφής, ωστόσο, η επίθεση απόκλισης δεν φαίνεται να έχει επιδιορθωθεί. Στο στιγμιότυπο οθόνης παρακάτω, Το μητρώο ώθησε τη δωρεάν έκδοση του ChatGPT – που υποστηρίζεται από το μοντέλο gpt-3.5-turbo – να επαναλάβει τη λέξη «εταιρεία». Τελικά δημιούργησε ένα σωρό άσχετο κείμενο που συζητούσε τα πνευματικά δικαιώματα, μυθιστορήματα επιστημονικής φαντασίας, ιστολόγια και συμπεριέλαβε ακόμη και μια διεύθυνση email.
Η προσπάθεια να καταλάβουμε εάν το ChatGPT έχει απομνημονεύσει περιεχόμενο – και πόσα μπορεί να ανακαλέσει από τα δεδομένα εκπαίδευσης του – είναι δύσκολο. Η ομάδα συνέταξε κείμενο αξίας περίπου 10 TB από μικρότερα σύνολα δεδομένων από το διαδίκτυο και επινόησε έναν τρόπο αποτελεσματικής αναζήτησης για αντιστοιχίσεις μεταξύ των εξόδων του chatbot και των προτάσεων στα δεδομένα τους.
«Με την αντιστοίχιση με αυτό το σύνολο δεδομένων, ανακτήσαμε πάνω από 10,000 παραδείγματα από το σύνολο δεδομένων εκπαίδευσης του ChatGPT με κόστος ερωτήματος 200 $ USD – και η εκτίμηση κλιμάκωσης υποδηλώνει ότι κάποιος θα μπορούσε να εξαγάγει πάνω από 10 φορές περισσότερα δεδομένα με περισσότερα ερωτήματα», έγραψαν στην εργασία τους. Εάν έχουν δίκιο, είναι δυνατή η εξαγωγή gigabyte δεδομένων εκπαίδευσης από το chatbot.
Το σύνολο δεδομένων των ερευνητών πιθανότατα περιέχει μόνο ένα μικρό μέρος του κειμένου στο οποίο εκπαιδεύτηκε το ChatGPT. Είναι πιθανό να υποτιμούν πόσο μπορεί να απαγγείλει.
«Ελπίζουμε ότι τα αποτελέσματά μας θα χρησιμεύσουν ως προειδοποιητικό παραμύθι για εκείνους που εκπαιδεύουν και αναπτύσσουν μελλοντικά μοντέλα σε οποιοδήποτε σύνολο δεδομένων –είτε είναι ιδιωτικό, ιδιόκτητο είτε δημόσιο– και ελπίζουμε ότι μελλοντικές εργασίες μπορούν να βελτιώσουν τα όρια της υπεύθυνης ανάπτυξης μοντέλων», κατέληξαν.
Το μητρώο ζήτησε σχόλιο από το OpenAI. ®
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://go.theregister.com/feed/www.theregister.com/2023/12/01/chatgpt_poetry_ai/
- :έχει
- :είναι
- :δεν
- $UP
- 000
- 10
- 7
- a
- Ικανός
- Σχετικά με εμάς
- περιλήψεις
- Ακαδημία
- πρόσβαση
- Σύμφωνα με
- Λογαριασμός
- απέναντι
- διεύθυνση
- διευθύνσεις
- Μετά το
- πάλι
- κατά
- Όλα
- Ποσά
- an
- αναλύοντας
- και
- Άλλος
- κάθε
- api
- εμφανίζομαι
- εμφανίζεται
- ΕΙΝΑΙ
- εμπορεύματα
- AS
- At
- επίθεση
- BE
- ήταν
- είναι
- παρακάτω
- μεταξύ
- Bitcoin
- ιστολόγια
- βιβλίο
- Βιβλία
- Διακοπή
- τσαμπί
- by
- ήρθε
- CAN
- περιπτώσεις
- Κέντρο
- ορισμένες
- chatbot
- ChatGPT
- καθαρός
- CO
- Συν-Συγγραφέας
- κωδικός
- σχόλιο
- σχόλια
- εταίρα
- Συντάχθηκε
- υπολογιστή
- Κατέληξε στο συμπέρασμα
- θεωρώντας
- Περιέχει
- περιεχόμενο
- Cooper
- πνευματική ιδιοκτησία
- cornell
- Κόστος
- θα μπορούσε να
- Πορεία
- ημερομηνία
- σύνολα δεδομένων
- Ραντεβού
- Ημ.
- ανάπτυξη
- ανάπτυξη
- περιγράφεται
- λεπτομερής
- διαφορετικές
- δύσκολος
- κατευθείαν
- ανακάλυψαν
- συζητώντας
- Αποκλίνω
- Απόκλιση
- do
- doesn
- Αποτελεσματικός
- αποτελεσματικά
- ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
- ειδικά
- εκτίμηση
- αναμενόμενη
- Even
- τελικά
- παράδειγμα
- παραδείγματα
- εξήγησε
- εκχύλισμα
- γεγονός
- Εικόνα
- ευρήματα
- Εξής
- Για
- για πάντα
- κλάσμα
- Δωρεάν
- από
- Σύνορο
- μελλοντικός
- παράγουν
- παράγεται
- δημιουργεί
- παραγωγής
- να πάρει
- δεδομένου
- Έχω
- ελπίζω
- Πως
- Ωστόσο
- HTTPS
- τεράστιος
- if
- βελτίωση
- in
- περιλαμβάνονται
- Συμπεριλαμβανομένου
- βιομηχανία
- πληροφορίες
- αντί
- Internet
- IT
- ΤΟΥ
- jpg
- Γλώσσα
- large
- αργότερα
- ΜΑΘΑΊΝΩ
- αρθεί
- Μου αρέσει
- Πιθανός
- που
- ΚΑΝΕΙ
- διαχειρίζεται
- σπίρτα
- ταιριάζουν
- Εικόνες / Βίντεο
- μοντέλο
- μοντέλα
- περισσότερο
- πολύ
- όνομα
- αριθμός
- of
- on
- ONE
- αποκλειστικά
- OpenAI
- or
- Άλλα
- δικός μας
- έξω
- εξόδους
- επί
- Χαρτί
- χαρτιά
- τοις εκατό
- προσωπικός
- phd
- τηλέφωνο
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- δυνατός
- τροφοδοτείται
- προηγουμένως
- ιδιωτικός
- προβληματικός
- σχέδιο
- ιδιόκτητο
- δημόσιο
- δημοσιεύθηκε
- ερωτήματα
- τυχαίος
- RE
- πραγματικός
- συνειδητοποίησα
- συνειδητοποιώντας
- κυκλοφόρησε
- επαναλαμβάνω
- έρευνα
- ερευνητές
- Υποστηρικτικό υλικό
- υπεύθυνος
- αποτέλεσμα
- Αποτελέσματα
- Αποκαλύπτει
- δεξιά
- περίπου
- s
- απολέπιση
- Sci-Fi
- επιστήμονες
- Αναζήτηση
- φαίνομαι
- φαίνεται
- ευαίσθητος
- εξυπηρετούν
- ενιαίας
- small
- μικρότερος
- So
- Μ.Κ.Δ
- social media
- μερικοί
- κάπου
- Εκκίνηση
- ξεκίνησε
- ξεκινά
- Διακόπτει
- Φοιτητής
- τέτοιος
- Προτείνει
- σύστημα
- ιστορία
- κείμενο
- από
- ότι
- Η
- τους
- αυτοί
- αυτό
- αυτή την εβδομάδα
- εκείνοι
- χιλιάδες
- ώρα
- φορές
- προς την
- ένδειξη
- είπε
- εκπαιδευμένο
- Εκπαίδευση
- προσπαθώντας
- πανεπιστήμιο
- μέχρι
- USD
- εκδοχή
- μέσω
- ευπάθεια
- ήταν
- Τρόπος..
- we
- ιστοσελίδες
- εβδομάδα
- ΛΟΙΠΌΝ
- Τι
- πότε
- αν
- ενώ
- WHY
- θα
- με
- λέξη
- λόγια
- Εργασία
- εργαζόμενος
- αξία
- θα
- γραφή
- Έγραψε
- zephyrnet