Los científicos informáticos de la Universidad de Maryland (UMD) han pedido a los fabricantes de robots que realicen más investigaciones de seguridad antes de conectar modelos de lenguaje y visión a su hardware.
Dado el flujo constante de informes sobre LLM y VLM opacos, sesgados y propensos a errores durante el año pasado, podría parecer obvio que poner un chatbot a cargo de un brazo mecánico o un robot itinerante sería una medida arriesgada.
Sin embargo, la comunidad de la robótica, en su aparente afán por inventar el Tormento Nexo, ha seguido adelante con sus esfuerzos para unir los LLM/VLM con robots. Proyectos como el de Google RT2 modelo visión-acción-lenguaje, Universidad de Michigan LLM-Grounder, y Princeton TidyBot ilustra hacia dónde se dirigen las cosas: un Roomba armado con un cuchillo.
Tal artilugio fue contemplado el año pasado en un proyecto de investigación irónico , que son PuñaladaGPT [PDF], de tres estudiantes del MIT. Pero ya tenemos autos Waymo en las carreteras de California y Arizona usando MovimientoLM, que predice el movimiento utilizando técnicas de modelado del lenguaje. Y Boston Dynamics ha experimentado con agregando ChatGPT a su robot Spot.
Dada la proliferación de modelos multimodales comerciales y de código abierto que pueden aceptar imágenes, sonido y lenguaje como entradas, es probable que en los próximos años se realicen muchos más esfuerzos para integrar modelos de lenguaje y visión con sistemas mecánicos.
Puede ser aconsejable tener precaución. Nueve expertos de la Universidad de Maryland (Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha y Amrit Singh Bedi) analizaron tres marcos de modelos de lenguaje utilizados para robots. No conocen, VIMA y Instruir2Actuar. Descubrieron que es necesario realizar más trabajos de seguridad antes de permitir que los robots funcionen con cerebros impulsados por LLM.
Estos marcos incorporan modelos de aprendizaje automático como GPT-3.5/4 y PaLM-2L para permitir que los robots interactúen con sus entornos y realicen tareas específicas basadas en comandos hablados o basados en plantillas y en retroalimentación visual.
In un papel Titulado "Sobre las preocupaciones de seguridad al implementar LLM/VLM en robótica: resaltar los riesgos y vulnerabilidades", informan los coautores, "es fácil manipular o desviar las acciones del robot, lo que genera peligros para la seguridad".
“Las empresas y las instituciones de investigación están integrando activamente los LLM en la robótica, centrándose en mejorar los agentes conversacionales y permitir que los robots comprendan y naveguen por el mundo físico utilizando el lenguaje natural, por ejemplo, servicio al cliente, asistentes sanitarios, robótica doméstica, herramientas educativas, industria y logística, etc. ”, explicó Dinesh Manocha, profesor de informática e ingeniería eléctrica e informática en la UMD, en un correo electrónico a El registro.
Los investigadores de la UMD exploraron tres tipos de ataques adversarios utilizando indicaciones, percepción y una combinación de ambos en entornos simulados. Manocha, sin embargo, dijo: "Estos ataques no se limitan a ningún laboratorio y pueden ocurrir en situaciones del mundo real".
Un ejemplo de un ataque basado en indicaciones sería cambiar el comando de un brazo mecánico dirigido por lenguaje de "Coloque la letra R con franjas verdes y azules en el molde de lunares verde y azul" a "Coloque la letra R con franjas verdes y azules". en la sartén de lunares verde y azul”.
Este ataque de reprogramación, afirman los investigadores, es suficiente para provocar que el brazo robótico del simulador VIMA-Bench falle al recoger el objeto equivocado y colocarlo en el lugar equivocado.
Los ataques basados en la percepción implican agregar ruido a las imágenes o transformarlas (por ejemplo, rotarlas) en un esfuerzo por confundir al LLM que maneja tareas de visión. Y los ataques mixtos implicaron alteración tanto de la información como de la imagen.
Los expertos descubrieron que estas técnicas funcionaban bastante bien. "Específicamente, nuestros datos demuestran un deterioro promedio del rendimiento del 21.2 por ciento bajo ataques rápidos y un más alarmante 30.2 por ciento bajo ataques de percepción", afirman en su artículo. "Estos resultados subrayan la necesidad crítica de contramedidas sólidas para garantizar la implementación segura y confiable de los sistemas robóticos avanzados basados en LLM/VLM".
Basándose en sus hallazgos, los investigadores han hecho varias sugerencias. En primer lugar, dicen que necesitamos más puntos de referencia para probar los modelos de lenguaje utilizados por los robots. En segundo lugar, argumentan que los robots deben poder pedir ayuda a los humanos cuando no están seguros de cómo responder.
En tercer lugar, dicen que los sistemas robóticos basados en LLM deben ser explicables e interpretables en lugar de componentes de caja negra. En cuarto lugar, instan a los fabricantes de robots a implementar estrategias de alerta y detección de ataques. Finalmente, sugieren que las pruebas y la seguridad deben abordar cada modo de entrada de un modelo, ya sea visión, palabras o sonido.
"Parece que la industria está invirtiendo muchos recursos en el desarrollo de LLM y VLM y utilizándolos para la robótica", dijo Manocha. “Creemos que es importante concienciarlos sobre los problemas de seguridad que surgen en las aplicaciones robóticas. La mayoría de estos robots operan en el mundo físico. Como hemos aprendido de trabajos anteriores sobre conducción autónoma, el mundo físico puede ser implacable, especialmente en términos del uso de tecnologías de inteligencia artificial. Por eso es importante tener en cuenta estas cuestiones para las aplicaciones de robótica”. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :posee
- :es
- :no
- :dónde
- $ UP
- 30
- 7
- a
- Poder
- Nuestra Empresa
- Aceptar
- Mi Cuenta
- acciones
- activamente
- la adición de
- dirección
- avanzado
- adversario
- aconsejable
- en contra
- agentes
- adelante
- AI
- Modelos AI
- permitir
- permitido
- ya haya utilizado
- Amrit
- an
- y
- cualquier
- aparente
- aparece
- aplicaciones
- somos
- argumentar
- surgir
- Arizona
- ARM
- armado
- AS
- contacta
- asistentes
- At
- atacar
- ataques
- autónomo
- promedio
- conscientes
- basado
- BE
- antes
- los puntos de referencia
- parcial
- Negro
- Azul
- Boston
- ambas
- Box
- Brian
- pero
- by
- California
- , que son
- PUEDEN
- carros
- Causa
- precaución
- cambio
- CHARGE
- chatterbot
- reclamo
- CO
- cómo
- completo
- vibrante e inclusiva
- Empresas
- componentes
- computadora
- Ingeniería Informática
- Ciencias de la Computación
- Inquietudes
- constante
- contemplado
- conversacional
- crítico
- cliente
- Servicio al Cliente
- datos
- demostrar
- Desplegando
- despliegue
- Detección
- Desarrollo
- do
- Nacional
- hecho
- DOT
- conducción
- dinámica
- e
- cada una
- de forma sencilla
- educativo
- esfuerzo
- esfuerzos
- permitiendo
- Ingeniería
- mejorar
- suficientes
- garantizar
- ambientes
- especialmente
- etc.
- ejemplo
- explicado
- explorado
- FALLO
- bastante
- realimentación
- sentir
- Finalmente
- Los resultados
- Nombre
- enfoque
- encontrado
- Cuarto
- marcos
- Desde
- promover
- GitHub
- Verde
- Manejo
- suceder
- Materiales
- Tienen
- Título
- la salud
- ayuda
- destacando
- Cómo
- Como Hacer
- Sin embargo
- http
- HTTPS
- Humanos
- ilustrar
- imagen
- imágenes
- implementar
- importante
- in
- incorporar
- industrial
- energético
- Las opciones de entrada
- instituciones
- integrar
- Integración
- interactuar
- dentro
- metas de
- involucrar
- involucra
- cuestiones
- IT
- SUS
- jpg
- laboratorio
- idioma
- Apellidos
- El año pasado
- líder
- aprendido
- aprendizaje
- carta
- como
- que otros
- Limitada
- LLM
- Ubicación
- Logística
- Mira
- Lote
- máquina
- máquina de aprendizaje
- hecho
- para lograr
- Makers
- muchos
- Maryland
- Puede..
- mecánico
- Michigan
- podría
- MIT
- mezcla
- mezclado
- Moda
- modelo
- modelado
- modelos
- más,
- MEJOR DE TU
- movimiento
- movimiento
- Natural
- Navegar
- ¿ Necesita ayuda
- nueve
- ruido
- objeto
- obvio
- of
- on
- opaco
- habiertos
- de código abierto
- funcionar
- or
- nuestros
- Más de
- Papel
- pasado
- (PDF)
- por ciento
- percepción
- Realizar
- actuación
- los libros físicos
- recolección
- Colocar
- colocación
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Predice
- Princeton
- Anterior
- Profesor
- proyecta
- ideas
- poner
- Poniendo
- R
- más bien
- RE
- mundo real
- confianza
- reporte
- Informes
- la investigación
- Instituciones de investigación
- investigadores
- Recursos
- Responder
- Resultados
- riesgos
- Arriesgado
- carretera
- robot
- robótica
- los robots
- robusto
- Ejecutar
- correr
- s
- ambiente seguro
- Safety
- Said
- dices
- Ciencia:
- los científicos
- Segundo
- EN LINEA
- parecer
- de coches
- pólipo
- Varios
- tienes
- simulador
- circunstancias
- So
- Aislamiento de Sonido
- Fuente
- soluciones y
- específicamente
- habla
- Spot
- estrategias
- stream
- raya
- Rayas
- Estudiantes
- sugieren
- Todas las funciones a su disposición
- ¡Prepárate!
- tareas
- técnicas
- Tecnologías
- términos
- test
- Pruebas
- que
- esa
- La
- su
- Les
- Ahí.
- Estas
- ellos
- cosas
- Tres
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- titulada
- a
- se
- transformadora
- dos
- tipos
- Incierto
- bajo
- guion bajo
- entender
- universidad
- usado
- usando
- visión
- visual
- Vulnerabilidades
- fue
- waymo
- we
- WELL
- cuando
- sean
- que
- palabras
- Actividades:
- trabajado
- mundo
- se
- Mal
- wu
- año
- años
- Youtube
- zephyrnet