Επιστήμονες υπολογιστών στο Πανεπιστήμιο του Μέριλαντ (UMD) ζήτησαν από τους κατασκευαστές ρομπότ να κάνουν περαιτέρω έρευνα για την ασφάλεια πριν συνδέσουν μοντέλα γλώσσας και οράματος στο υλικό τους.
Δεδομένης της συνεχούς ροής αναφορών σχετικά με επιρρεπή σε σφάλματα, μεροληπτικά, αδιαφανή LLM και VLM τον περασμένο χρόνο, μπορεί να φαίνεται προφανές ότι η τοποθέτηση ενός chatbot επικεφαλής ενός μηχανικού βραχίονα ή ρομπότ ελεύθερης περιαγωγής θα ήταν μια επικίνδυνη κίνηση.
Παρόλα αυτά, η κοινότητα της ρομποτικής, με την προφανή ανυπομονησία της να εφεύρει το Torment Nexus, έχει προχωρήσει στις προσπάθειες να παντρευτεί LLM/VLM με ρομπότ. Έργα όπως της Google RT2 μοντέλο όρασης-δράσης-γλώσσας, Πανεπιστήμιο του Μίσιγκαν LLM-Grounder, και του Πρίνστον TidyBot εικονογραφήστε πού πάνε τα πράγματα – ένα Roomba οπλισμένο με ένα μαχαίρι.
Ένα τέτοιο κατασκεύασμα είχε προβλεφθεί πέρυσι στο α γλωσσομάγουλο ερευνητικό πρόγραμμα που ονομάζεται StabGPT [PDF], από τρεις φοιτητές του MIT. Αλλά έχουμε ήδη αυτοκίνητα Waymo στους δρόμους στην Καλιφόρνια και την Αριζόνα που χρησιμοποιούν MotionLM, που προβλέπει την κίνηση χρησιμοποιώντας τεχνικές μοντελοποίησης γλώσσας. Και η Boston Dynamics έχει πειραματιστεί προσθήκη ChatGPT στο Spot ρομπότ του.
Δεδομένης της εξάπλωσης εμπορικών και ανοιχτού κώδικα πολυτροπικών μοντέλων που μπορούν να δέχονται εικόνες, ήχο και γλώσσα ως είσοδο, είναι πιθανό να υπάρξουν πολλές περισσότερες προσπάθειες για την ενοποίηση μοντέλων γλώσσας και οράματος με μηχανικά συστήματα τα επόμενα χρόνια.
Μπορεί να συνιστάται προσοχή. Εννέα μπόφιν του Πανεπιστημίου του Μέριλαντ – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha και Amrit Singh Bedi – έριξαν μια ματιά σε τρία πλαίσια γλωσσικών μοντέλων που χρησιμοποιούνται για ρομπότ. Γνωρίζω Όχι, ΒΗΜΑ και Instruct2Act. Διαπίστωσαν ότι πρέπει να γίνουν περαιτέρω εργασίες ασφάλειας προτού επιτραπεί στα ρομπότ να λειτουργούν σε εγκεφάλους που τροφοδοτούνται από LLM.
Αυτά τα πλαίσια ενσωματώνουν μοντέλα μηχανικής εκμάθησης όπως το GPT-3.5/4 και το PaLM-2L για να επιτρέπουν στα ρομπότ να αλληλεπιδρούν με το περιβάλλον τους και να εκτελούν συγκεκριμένες εργασίες με βάση εκφωνούμενες ή τυποποιημένες εντολές και οπτική ανάδραση.
In ένα χαρτί Με τίτλο, «Σχετικά με τις ανησυχίες ασφαλείας της ανάπτυξης LLM/VLM στη Ρομποτική: Επισήμανση των Κινδύνων και των Ευπαθειών», αναφέρουν οι συν-συγγραφείς, «είναι εύκολο να χειριστείς ή να παραπλανήσεις τις ενέργειες του ρομπότ, οδηγώντας σε κινδύνους για την ασφάλεια».
«Οι εταιρείες και τα ερευνητικά ιδρύματα ενσωματώνουν ενεργά τα LLM στη ρομποτική, εστιάζοντας στην ενίσχυση των συνομιλητών και δίνοντας τη δυνατότητα στα ρομπότ να κατανοούν και να περιηγούνται στον φυσικό κόσμο χρησιμοποιώντας φυσική γλώσσα, για παράδειγμα Εξυπηρέτηση Πελατών, Βοηθοί Υγείας, Εγχώρια Ρομποτική, Εκπαιδευτικά εργαλεία, Βιομηχανικά και Logistics κ.λπ. », εξήγησε ο Dinesh Manocha, καθηγητής επιστήμης υπολογιστών και ηλεκτρολογίας και μηχανικής υπολογιστών στο UMD, σε ένα email στο Το μητρώο.
Οι ερευνητές του UMD διερεύνησαν τρεις τύπους αντίθετων επιθέσεων χρησιμοποιώντας προτροπές, αντίληψη και συνδυασμό των δύο σε προσομοιωμένα περιβάλλοντα. Ο Manocha, ωστόσο, είπε: «Αυτές οι επιθέσεις δεν περιορίζονται σε οποιοδήποτε εργαστηριακό περιβάλλον και μπορούν να συμβούν σε πραγματικές καταστάσεις».
Ένα παράδειγμα επίθεσης που βασίζεται σε προτροπές θα ήταν η αλλαγή της εντολής για έναν μηχανικό βραχίονα κατευθυνόμενης γλώσσας από "Βάλτε το πράσινο και μπλε γράμμα R στο πράσινο και μπλε πουά τηγάνι" σε "Τοποθετήστε το γράμμα R με πράσινες και μπλε ρίγες στο πράσινο και μπλε πουά τηγάνι.»
Αυτή η επίθεση επαναδιάταξης, ισχυρίζονται οι ερευνητές, είναι αρκετή για να προκαλέσει την αποτυχία του βραχίονα ρομπότ στον προσομοιωτή VIMA-Bench, σηκώνοντας το λάθος αντικείμενο και τοποθετώντας το σε λάθος θέση.
Οι επιθέσεις που βασίζονται στην αντίληψη περιλαμβάνουν την προσθήκη θορύβου στις εικόνες ή τη μετατροπή εικόνων (π.χ. περιστροφή τους) σε μια προσπάθεια να μπερδέψουν τις εργασίες όρασης που χειρίζονται το LLM. Και οι μικτές επιθέσεις περιελάμβαναν τόσο άμεση όσο και αλλαγή εικόνας.
Τα boffins βρήκαν ότι αυτές οι τεχνικές λειτούργησαν αρκετά καλά. «Συγκεκριμένα, τα δεδομένα μας καταδεικνύουν μια μέση επιδείνωση της απόδοσης 21.2 τοις εκατό υπό έγκαιρες επιθέσεις και ένα πιο ανησυχητικό 30.2 τοις εκατό υπό επιθέσεις αντίληψης», υποστηρίζουν στο έγγραφό τους. «Αυτά τα αποτελέσματα υπογραμμίζουν την κρίσιμη ανάγκη για ισχυρά αντίμετρα για να διασφαλιστεί η ασφαλής και αξιόπιστη ανάπτυξη των προηγμένων ρομποτικών συστημάτων που βασίζονται σε LLM/VLM».
Με βάση τα ευρήματά τους, οι ερευνητές έχουν κάνει αρκετές προτάσεις. Πρώτον, λένε ότι χρειαζόμαστε περισσότερα σημεία αναφοράς για να δοκιμάσουμε τα μοντέλα γλώσσας που χρησιμοποιούνται από τα ρομπότ. Δεύτερον, υποστηρίζουν ότι τα ρομπότ πρέπει να μπορούν να ζητούν βοήθεια από τους ανθρώπους όταν δεν είναι σίγουροι πώς να ανταποκριθούν.
Τρίτον, λένε ότι τα ρομποτικά συστήματα που βασίζονται σε LLM πρέπει να είναι επεξηγήσιμα και ερμηνεύσιμα αντί για στοιχεία μαύρου κουτιού. Τέταρτον, προτρέπουν τους κατασκευαστές ρομπότ να εφαρμόσουν στρατηγικές ανίχνευσης επιθέσεων και ειδοποίησης. Τέλος, προτείνουν ότι οι δοκιμές και η ασφάλεια πρέπει να αντιμετωπίζουν κάθε τρόπο εισόδου ενός μοντέλου, είτε πρόκειται για όραμα, λέξεις ή ήχο.
«Φαίνεται ότι η βιομηχανία επενδύει πολλούς πόρους για την ανάπτυξη LLM και VLM και τη χρήση τους για ρομποτική», είπε ο Manocha. «Πιστεύουμε ότι είναι σημαντικό να τους ενημερώσουμε για τις ανησυχίες για την ασφάλεια που προκύπτουν για τις εφαρμογές ρομποτικής. Τα περισσότερα από αυτά τα ρομπότ λειτουργούν στον φυσικό κόσμο. Όπως μάθαμε από προηγούμενη εργασία στην αυτόνομη οδήγηση, ο φυσικός κόσμος μπορεί να μην συγχωρεί, ειδικά όσον αφορά τη χρήση τεχνολογιών τεχνητής νοημοσύνης. Επομένως, είναι σημαντικό να ληφθούν υπόψη αυτά τα ζητήματα για εφαρμογές ρομποτικής». ®
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 30
- 7
- a
- Ικανός
- Σχετικα
- Αποδέχομαι
- Λογαριασμός
- ενεργειών
- δραστήρια
- προσθήκη
- διεύθυνση
- προηγμένες
- αντιφατική
- ορθός
- κατά
- παράγοντες
- εμπρός
- AI
- Μοντέλα AI
- επιτρέπουν
- επιτρέπεται
- ήδη
- Amrit
- an
- και
- κάθε
- εμφανής
- εμφανίζεται
- εφαρμογές
- ΕΙΝΑΙ
- Υποστηρίζουν
- σηκώνομαι
- Αριζόνα
- ARM
- ένοπλες
- AS
- ζητώ
- βοηθούς
- At
- επίθεση
- Επιθέσεις
- αυτονόμος
- μέσος
- επίγνωση
- βασίζονται
- BE
- πριν
- αναφοράς
- μεροληπτική
- Μαύρη
- Μπλε
- boston
- και οι δύο
- Κουτί
- Brian
- αλλά
- by
- Καλιφόρνια
- που ονομάζεται
- CAN
- αυτοκίνητα
- Αιτία
- προσοχή
- αλλαγή
- χρέωση
- chatbot
- ισχυρισμός
- CO
- Ελάτε
- εμπορικός
- κοινότητα
- Εταιρείες
- εξαρτήματα
- υπολογιστή
- Μηχανικός ηλεκτρονικών υπολογιστών
- Πληροφορική
- Πιθανά ερωτήματα
- σταθερός
- μελετηθεί
- ομιλητικός
- κρίσιμης
- πελάτης
- Εξυπηρέτηση πελατών
- ημερομηνία
- αποδεικνύουν
- ανάπτυξη
- ανάπτυξη
- Ανίχνευση
- Ανάπτυξη
- do
- Εσωτερικού
- γίνεται
- DOT
- οδήγηση
- δυναμική
- e
- κάθε
- εύκολος
- εκπαιδευτικών
- προσπάθεια
- προσπάθειες
- ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
- ενεργοποίηση
- Μηχανική
- ενίσχυση
- αρκετά
- εξασφαλίζω
- περιβάλλοντα
- ειδικά
- κ.λπ.
- παράδειγμα
- εξήγησε
- Εξερευνήθηκε
- ΑΠΟΤΥΓΧΑΝΩ
- αρκετά
- ανατροφοδότηση
- αισθάνομαι
- Τελικά
- ευρήματα
- Όνομα
- εστιάζοντας
- Για
- Βρέθηκαν
- Τέταρτος
- πλαισίων
- από
- περαιτέρω
- GitHub
- Πράσινο
- Χειρισμός
- συμβαίνω
- υλικού
- Έχω
- Επικεφαλίδα
- υγειονομική περίθαλψη
- βοήθεια
- επισήμανση
- Πως
- Πώς να
- Ωστόσο
- http
- HTTPS
- Οι άνθρωποι
- εικονογραφώ
- εικόνα
- εικόνες
- εφαρμογή
- σημαντικό
- in
- ενσωματώνω
- βιομηχανικές
- βιομηχανία
- εισαγωγή
- ιδρυμάτων
- ενσωματώσει
- Ενσωμάτωση
- αλληλεπιδρούν
- σε
- επενδύοντας
- εμπλέκω
- συμμετέχουν
- θέματα
- IT
- ΤΟΥ
- jpg
- εργαστήριο
- Γλώσσα
- Επίθετο
- Πέρυσι
- που οδηγεί
- μάθει
- μάθηση
- επιστολή
- Μου αρέσει
- Πιθανός
- Περιωρισμένος
- LLM
- τοποθεσία
- επιμελητεία
- ματιά
- Παρτίδα
- μηχανή
- μάθηση μηχανής
- που
- κάνω
- Makers
- πολοί
- Μέριλαντ
- Ενδέχεται..
- μηχανικός
- Μίσιγκαν
- ενδέχεται να
- MIT
- μείγμα
- μικτός
- Τρόπος
- μοντέλο
- μοντελοποίηση
- μοντέλα
- περισσότερο
- πλέον
- κίνηση
- μετακινήσετε
- Φυσικό
- Πλοηγηθείτε
- Ανάγκη
- ανάγκες
- εννέα
- Θόρυβος
- αντικείμενο
- Εμφανή
- of
- on
- αδιαφανής
- ανοίξτε
- ανοικτού κώδικα
- λειτουργούν
- or
- δικός μας
- επί
- Χαρτί
- Το παρελθόν
- τοις εκατό
- αντίληψη
- Εκτελέστε
- επίδοση
- φυσικός
- συλλογή
- Μέρος
- διάθεση
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Προβλέπει
- Πρίνστον
- Πριν
- Δάσκαλος
- έργα
- προτρέπει
- βάζω
- Βάζοντας
- R
- μάλλον
- RE
- πραγματικό κόσμο
- αξιόπιστος
- αναφέρουν
- Εκθέσεις
- έρευνα
- Ερευνητικά ιδρύματα
- ερευνητές
- Υποστηρικτικό υλικό
- Απάντηση
- Αποτελέσματα
- κινδύνους
- Επικίνδυνος
- δρόμος
- ρομπότ
- ρομποτική
- ρομπότ
- εύρωστος
- τρέξιμο
- τρέξιμο
- s
- ένα ασφαλές
- Ασφάλεια
- Είπε
- λένε
- Επιστήμη
- επιστήμονες
- Δεύτερος
- ασφάλεια
- φαίνομαι
- υπηρεσία
- τον καθορισμό
- διάφοροι
- θα πρέπει να
- προσομοιωτής
- καταστάσεων
- So
- Ήχος
- Πηγή
- συγκεκριμένες
- ειδικά
- ομιλείται
- Spot
- στρατηγικές
- μετάδοση
- ρίγα
- Ρίγες
- Φοιτητές
- προτείνω
- συστήματα
- Πάρτε
- εργασίες
- τεχνικές
- Τεχνολογίες
- όροι
- δοκιμή
- Δοκιμές
- από
- ότι
- Η
- τους
- Τους
- Εκεί.
- Αυτοί
- αυτοί
- πράγματα
- τρία
- Μέσω
- με τίτλο
- προς την
- πήρε
- εργαλεία
- μετασχηματίζοντας
- δύο
- τύποι
- Αβέβαιος
- υπό
- κατω παυλα
- καταλαβαίνω
- πανεπιστήμιο
- μεταχειρισμένος
- χρησιμοποιώντας
- όραμα
- οπτικές
- Θέματα ευπάθειας
- ήταν
- τρόπο
- we
- ΛΟΙΠΌΝ
- πότε
- αν
- Ποιό
- με
- λόγια
- Εργασία
- εργάστηκαν
- κόσμος
- θα
- Λανθασμένος
- wu
- έτος
- χρόνια
- YouTube
- zephyrnet