Des informaticiens de l'Université du Maryland (UMD) ont demandé aux fabricants de robots d'effectuer des recherches plus approfondies en matière de sécurité avant de connecter des modèles de langage et de vision à leur matériel.
Compte tenu du flux constant de rapports sur les LLM et VLM sujets aux erreurs, biaisés et opaques au cours de l’année écoulée, il peut sembler évident que confier à un chatbot la responsabilité d’un bras mécanique ou d’un robot en liberté serait une décision risquée.
Néanmoins, la communauté robotique, dans son apparente volonté d'inventer le Nexus Tourment, a poursuivi ses efforts visant à marier les LLM/VLM avec des robots. Des projets comme celui de Google RT2 modèle vision-action-langage, Université du Michigan LLM-Grounder, et celui de Princeton TidyBot illustre la direction que prennent les choses – un Roomba armé d’un couteau.
Un tel engin a été envisagé l'année dernière dans un projet de recherche ironique appelé StabGPT [PDF], de trois étudiants du MIT. Mais nous avons déjà des voitures Waymo sur les routes en Californie et en Arizona qui utilisent MouvementLM, qui prédit le mouvement à l'aide de techniques de modélisation du langage. Et Boston Dynamics a expérimenté ajout de ChatGPT à son robot Spot.
Compte tenu de la prolifération de modèles multimodaux commerciaux et open source pouvant accepter des images, du son et du langage en entrée, de nombreux efforts supplémentaires seront probablement déployés pour intégrer des modèles de langage et de vision aux systèmes mécaniques dans les années à venir.
La prudence peut être recommandée. Neuf chercheurs de l'Université du Maryland – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha et Amrit Singh Bedi – ont examiné trois cadres de modèles de langage utilisés pour les robots, SavoirNon, VIMA ainsi que Instruire2Acter. Ils ont constaté que des travaux supplémentaires en matière de sécurité doivent être effectués avant que les robots puissent fonctionner sur des cerveaux alimentés par LLM.
Ces frameworks intègrent des modèles d'apprentissage automatique tels que GPT-3.5/4 et PaLM-2L pour permettre aux robots d'interagir avec leur environnement et d'effectuer des tâches spécifiques basées sur des commandes vocales ou modélisées et sur un retour visuel.
In un document Intitulé « Sur les problèmes de sécurité liés au déploiement de LLM/VLM en robotique : mise en évidence des risques et des vulnérabilités », rapportent les co-auteurs, « il est facile de manipuler ou de mal orienter les actions du robot, ce qui entraîne des risques pour la sécurité ».
« Les entreprises et les instituts de recherche intègrent activement les LLM dans la robotique, en se concentrant sur l'amélioration des agents conversationnels et en permettant aux robots de comprendre et de naviguer dans le monde physique en utilisant le langage naturel, par exemple le service client, les assistants de santé, la robotique domestique, les outils pédagogiques, l'industrie et la logistique, etc. ", a expliqué Dinesh Manocha, professeur d'informatique et de génie électrique et informatique à l'UMD, dans un e-mail adressé à Le registre.
Les chercheurs de l'UMD ont exploré trois types d'attaques contradictoires en utilisant des invites, la perception et un mélange des deux dans des environnements simulés. Manocha a cependant déclaré : « Ces attaques ne se limitent pas à un laboratoire et peuvent se produire dans des situations réelles. »
Un exemple d'attaque basée sur des invites consisterait à modifier la commande d'un bras mécanique dirigé par le langage de "Mettez la lettre R à rayures vertes et bleues dans le moule à pois verts et bleus" en "Placez la lettre R avec des rayures vertes et bleues". dans la poêle à pois verts et bleus.
Selon les chercheurs, cette attaque de rephasage est suffisante pour faire échouer le bras du robot dans le simulateur VIMA-Bench en ramassant le mauvais objet et en le plaçant au mauvais endroit.
Les attaques basées sur la perception impliquent d'ajouter du bruit aux images ou de transformer les images (par exemple en les faisant pivoter) dans le but de confondre les tâches de vision gérées par LLM. Et les attaques mixtes impliquaient à la fois une modification de l’invite et de l’image.
Les experts ont trouvé que ces techniques fonctionnaient plutôt bien. « Plus précisément, nos données démontrent une détérioration moyenne des performances de 21.2 % en cas d'attaques rapides et une détérioration plus alarmante de 30.2 % en cas d'attaques de perception », affirment-ils dans leur article. « Ces résultats soulignent le besoin critique de contre-mesures robustes pour garantir le déploiement sûr et fiable des systèmes robotiques avancés basés sur LLM/VLM. »
Sur la base de leurs découvertes, les chercheurs ont fait plusieurs suggestions. Premièrement, ils affirment que nous avons besoin de davantage de points de référence pour tester les modèles de langage utilisés par les robots. Deuxièmement, ils soutiennent que les robots doivent être capables de demander de l’aide aux humains lorsqu’ils ne savent pas comment réagir.
Troisièmement, ils affirment que les systèmes robotiques basés sur le LLM doivent être explicables et interprétables plutôt que des composants de boîte noire. Quatrièmement, ils exhortent les fabricants de robots à mettre en œuvre des stratégies de détection et d’alerte des attaques. Enfin, ils suggèrent que les tests et la sécurité doivent prendre en compte chaque mode d'entrée d'un modèle, qu'il s'agisse de la vision, des mots ou du son.
"Il semble que l'industrie investisse beaucoup de ressources dans le développement de LLM et de VLM et dans leur utilisation pour la robotique", a déclaré Manocha. « Nous pensons qu'il est important de les sensibiliser aux problèmes de sécurité que posent les applications robotiques. La plupart de ces robots opèrent dans le monde physique. Comme nous l’ont appris des travaux antérieurs sur la conduite autonome, le monde physique peut être impitoyable, notamment en termes d’utilisation des technologies d’IA. Il est donc important de prendre en compte ces enjeux pour les applications robotiques. » ®
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :possède
- :est
- :ne pas
- :où
- $UP
- 30
- 7
- a
- Capable
- A Propos
- Accepter
- Compte
- actes
- activement
- ajoutant
- propos
- Avancée
- contradictoire
- conseillé
- à opposer à
- agents
- devant
- AI
- Modèles AI
- permettre
- permis
- déjà
- Amrit
- an
- ainsi que
- tous
- apparent
- apparaît
- applications
- SONT
- argumenter
- survenir
- Arizona
- BRAS
- armé
- AS
- demander
- assistants
- At
- attaquer
- Attaques
- autonome
- moyen
- conscients
- basé
- BE
- before
- repères
- biaisé
- Noir
- Bleu
- boston
- tous les deux
- Box
- Brian
- mais
- by
- Californie
- appelé
- CAN
- voitures
- Causes
- prudence
- en changeant
- charge
- Chatbot
- réclamer
- CO
- comment
- commercial
- Communautés
- Sociétés
- composants électriques
- ordinateur
- Ingénierie informatique
- Informatique
- Préoccupations
- constant
- envisagé
- de la conversation
- critique
- des clients
- Service à la clientèle
- données
- démontrer
- déployer
- déploiement
- Détection
- Développement
- do
- Domestique
- fait
- DOT
- conduite
- dynamique
- e
- chacun
- Easy
- pédagogique
- effort
- efforts
- permettant
- ENGINEERING
- améliorer
- assez
- assurer
- environnements
- notamment
- etc
- exemple
- expliqué
- Exploré
- FAIL
- équitablement
- Réactions
- ressentir
- finalement
- résultats
- Prénom
- mettant l'accent
- Pour
- trouvé
- Quatrièmement
- cadres
- De
- plus
- GitHub
- Vert
- Maniabilité
- arriver
- Matériel
- Vous avez
- Titre
- la médecine
- vous aider
- Soulignant
- Comment
- How To
- Cependant
- http
- HTTPS
- Les êtres humains
- illustrer
- image
- satellite
- Mettre en oeuvre
- important
- in
- intégrer
- industriel
- industrie
- contribution
- les établissements privés
- intégrer
- Intégration
- interagir
- développement
- sueñortiendo
- impliquer
- impliqué
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- SES
- jpg
- laboratoire
- langue
- Nom de famille
- L'année dernière
- conduisant
- savant
- apprentissage
- lettre
- comme
- Probable
- limité
- LLM
- emplacement
- logistique
- Style
- Lot
- click
- machine learning
- LES PLANTES
- a prendre une
- Décideurs
- de nombreuses
- Maryland
- Mai..
- mécanique
- Michigan
- pourrait
- MIT
- mélanger
- mixte
- Mode
- modèle
- modélisation statistique
- numériques jumeaux (digital twin models)
- PLUS
- (en fait, presque toutes)
- mouvement
- Bougez
- Nature
- NAVIGUER
- Besoin
- Besoins
- neuf
- Bruit
- objet
- évident
- of
- on
- opaque
- ouvert
- open source
- fonctionner
- or
- nos
- plus de
- Papier
- passé
- pour cent
- perception
- Effectuer
- performant
- Physique
- cueillette
- Place
- placement
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Prévoit
- Princeton
- Avant
- Professeur
- projets
- instructions
- mettre
- Putting
- R
- plutôt
- RE
- monde réel
- fiable
- rapport
- Rapports
- un article
- Institutions de recherche
- chercheurs
- Resources
- Réagir
- Résultats
- risques
- Risqué
- routières
- systèmes de robot
- robotique
- Collaboratif
- robuste
- Courir
- pour le running
- s
- des
- Sécurité
- Saïd
- dire
- Sciences
- scientifiques
- Deuxièmement
- sécurité
- sembler
- service
- mise
- plusieurs
- devrait
- simulateur
- situations
- So
- Son
- Identifier
- groupe de neurones
- spécifiquement
- parlé
- Spot
- les stratégies
- courant
- bande
- Bandes
- Étudiante
- suggérer
- Système
- Prenez
- tâches
- techniques
- Les technologies
- conditions
- tester
- Essais
- que
- qui
- La
- leur
- Les
- Là.
- Ces
- l'ont
- des choses
- trois
- Avec
- titré
- à
- a
- les outils
- transformer
- deux
- types
- Incertain
- sous
- souligner
- comprendre
- université
- d'utiliser
- en utilisant
- vision
- visuel
- vulnérabilités
- était
- waymo
- we
- WELL
- quand
- que
- qui
- comprenant
- des mots
- activités principales
- travaillé
- world
- pourra
- faux
- wu
- an
- années
- Youtube
- zéphyrnet