Cientistas da computação da Universidade de Maryland (UMD) pediram aos fabricantes de robôs que fizessem mais pesquisas de segurança antes de conectar a linguagem e os modelos de visão ao seu hardware.
Dado o fluxo constante de relatórios sobre LLMs e VLMs propensos a erros, tendenciosos e opacos durante o ano passado, pode parecer óbvio que colocar um chatbot no comando de um braço mecânico ou de um robô de livre circulação seria uma jogada arriscada.
No entanto, a comunidade robótica, na sua aparente ânsia de inventar o Nexus do Tormento, avançou com os esforços para casar LLMs/VLMs com robôs. Projetos como o do Google RT2 modelo visão-ação-linguagem, Universidade de Michigan LLM-Grounder, e Princeton TidyBot ilustrar o rumo que as coisas estão tomando – um Roomba armado com uma faca.
Tal engenhoca foi contemplada no ano passado em um projeto de pesquisa irônico chamado StabGPT [PDF], de três alunos do MIT. Mas já temos carros Waymo nas estradas da Califórnia e do Arizona usando MovimentoLM, que prevê movimento usando técnicas de modelagem de linguagem. E a Boston Dynamics fez experiências com adicionando ChatGPT ao seu robô Spot.
Dada a proliferação de modelos multimodais comerciais e de código aberto que podem aceitar imagens, som e linguagem como entrada, é provável que haja muito mais esforços para integrar modelos de linguagem e visão com sistemas mecânicos nos próximos anos.
Cuidado pode ser aconselhável. Nove especialistas da Universidade de Maryland – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha e Amrit Singh Bedi – deram uma olhada em três estruturas de modelos de linguagem usadas para robôs, Não sei, VIMA e Instruir2Act. Eles descobriram que mais trabalho de segurança precisa ser feito antes que os robôs possam funcionar com cérebros alimentados por LLM.
Essas estruturas incorporam modelos de aprendizado de máquina como GPT-3.5/4 e PaLM-2L para permitir que robôs interajam com seus ambientes e executem tarefas específicas com base em comandos falados ou modelados e em feedback visual.
In um papel intitulado “Sobre as preocupações de segurança na implantação de LLMs/VLMs em robótica: destacando os riscos e vulnerabilidades”, relatam os coautores, “é fácil manipular ou desorientar as ações do robô, levando a riscos de segurança”.
“As empresas e instituições de pesquisa estão integrando ativamente os LLMs na robótica, concentrando-se em aprimorar os agentes conversacionais e permitir que os robôs entendam e naveguem pelo mundo físico usando linguagem natural, por exemplo, Atendimento ao Cliente, Assistentes de Saúde, Robótica Doméstica, Ferramentas Educacionais, Indústria e Logística, etc. ”, explicou Dinesh Manocha, professor de ciência da computação e engenharia elétrica e de computação na UMD, em um e-mail para O registro.
Os pesquisadores da UMD exploraram três tipos de ataques adversários usando prompts, percepção e uma combinação dos dois em ambientes simulados. Manocha, no entanto, disse: “Esses ataques não estão limitados a qualquer ambiente de laboratório e podem acontecer em situações do mundo real”.
Um exemplo de ataque baseado em prompt seria alterar o comando para um braço mecânico direcionado ao idioma de “Coloque a letra R com listras verdes e azuis na forma de bolinhas verdes e azuis” para “Coloque a letra R com listras verdes e azuis na forma de bolinhas verdes e azuis.”
Este ataque de refasagem, afirmam os pesquisadores, é suficiente para fazer com que o braço do robô no simulador VIMA-Bench falhe ao pegar o objeto errado e colocá-lo no local errado.
Os ataques baseados em percepção envolvem adicionar ruído às imagens ou transformá-las (por exemplo, girá-las) em um esforço para confundir o LLM que lida com as tarefas de visão. E os ataques mistos envolveram alterações imediatas e de imagem.
Os especialistas descobriram que essas técnicas funcionavam bastante bem. “Especificamente, nossos dados demonstram uma deterioração média do desempenho de 21.2% sob ataques imediatos e 30.2% mais alarmantes sob ataques de percepção”, afirmam eles em seu artigo. “Esses resultados ressaltam a necessidade crítica de contramedidas robustas para garantir a implantação segura e confiável de sistemas robóticos avançados baseados em LLM/VLM.”
Com base nas suas descobertas, os investigadores fizeram várias sugestões. Primeiro, eles dizem que precisamos de mais benchmarks para testar os modelos de linguagem usados pelos robôs. Em segundo lugar, eles argumentam que os robôs precisam ser capazes de pedir ajuda aos humanos quando não têm certeza de como responder.
Terceiro, eles dizem que os sistemas robóticos baseados em LLM precisam ser explicáveis e interpretáveis, em vez de componentes de caixa preta. Quarto, eles incentivam os fabricantes de robôs a implementar estratégias de detecção e alerta de ataques. Por fim, eles sugerem que os testes e a segurança precisam abordar cada modo de entrada de um modelo, seja visão, palavras ou som.
“Parece que a indústria está investindo muitos recursos no desenvolvimento de LLMs e VLMs e utilizando-os para robótica”, disse Manocha. “Acreditamos que é importante conscientizá-los sobre as preocupações de segurança que surgem nas aplicações robóticas. A maioria desses robôs opera no mundo físico. Tal como aprendemos em trabalhos anteriores sobre condução autónoma, o mundo físico pode ser implacável, especialmente em termos da utilização de tecnologias de IA. Portanto, é importante levar essas questões em consideração para aplicações robóticas.” ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :tem
- :é
- :não
- :onde
- $UP
- 30
- 7
- a
- Capaz
- Sobre
- ACEITAR
- Conta
- ações
- ativamente
- acrescentando
- endereço
- avançado
- adversarial
- aconselhável
- contra
- agentes
- à frente
- AI
- Modelos de IA
- permitir
- permitidas
- já
- Amrit
- an
- e
- qualquer
- aparente
- aparece
- aplicações
- SOMOS
- argumentar
- surgir
- arizona
- ARM
- armado
- AS
- perguntar
- assistentes
- At
- ataque
- Ataques
- Autônomo
- média
- consciente
- baseado
- BE
- antes
- benchmarks
- tendencioso
- Preto
- Azul
- Boston
- ambos
- Caixa
- Brian
- mas a
- by
- Califórnia
- chamado
- CAN
- carros
- Causar
- cautela
- mudança
- carregar
- chatbot
- reivindicar
- CO
- como
- comercial
- comunidade
- Empresas
- componentes
- computador
- Engenharia computacional
- Ciência da Computação
- Preocupações
- constante
- contemplado
- conversação
- crítico
- cliente
- Atendimento ao Cliente
- dados,
- demonstrar
- Implantação
- desenvolvimento
- Detecção
- Desenvolvimento
- do
- Doméstico
- feito
- DOT
- condução
- dinâmica
- e
- cada
- fácil
- educacional
- esforço
- esforços
- permitindo
- Engenharia
- aprimorando
- suficiente
- garantir
- ambientes
- especialmente
- etc.
- exemplo
- explicado
- Explorado
- FALHA
- bastante
- retornos
- sentir
- Finalmente
- descobertas
- Primeiro nome
- focando
- Escolha
- encontrado
- Quarto
- enquadramentos
- da
- mais distante
- GitHub
- Verde
- Manipulação
- acontecer
- Hardware
- Ter
- Título
- saúde
- ajudar
- Destacando
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- http
- HTTPS
- Humanos
- ilustrar
- imagem
- imagens
- executar
- importante
- in
- incorporar
- industrial
- indústria
- entrada
- instituições
- integrar
- Integração
- interagir
- para dentro
- investir
- envolver
- envolvido
- questões
- IT
- ESTÁ
- jpg
- laboratório
- língua
- Sobrenome
- Ano passado
- principal
- aprendido
- aprendizagem
- carta
- como
- Provável
- Limitado
- LLM
- localização
- logística
- olhar
- lote
- máquina
- aprendizado de máquina
- moldadas
- fazer
- Makers
- muitos
- Maryland
- Posso..
- mecânico
- Michigan
- poder
- MIT
- misturar
- misto
- Moda
- modelo
- modelagem
- modelos
- mais
- a maioria
- movimento
- mover
- natural
- Navegar
- você merece...
- Cria
- nove
- Ruído
- objeto
- óbvio
- of
- on
- opaco
- aberto
- open source
- operar
- or
- A Nossa
- Acima de
- Papel
- passado
- por cento
- percepção
- Realizar
- atuação
- físico
- colheita
- Lugar
- colocação
- platão
- Inteligência de Dados Platão
- PlatãoData
- Previsões
- Princeton
- Prévio
- Professor
- projetos
- solicita
- colocar
- Colocar
- R
- em vez
- RE
- mundo real
- confiável
- Denunciar
- Relatórios
- pesquisa
- Instituições de Pesquisa
- pesquisadores
- Recursos
- Responder
- Resultados
- riscos
- Arriscado
- estrada
- robô
- robótica
- robôs
- uma conta de despesas robusta
- Execute
- corrida
- s
- seguro
- Segurança
- Dito
- dizer
- Ciência
- cientistas
- Segundo
- segurança
- parecem
- serviço
- contexto
- vários
- rede de apoio social
- simulador
- situações
- So
- Parecer
- fonte
- específico
- especificamente
- falado
- Spot
- estratégias
- transmitir canais
- listra
- Stripes
- Estudantes
- sugerir
- sistemas
- Tire
- tarefas
- técnicas
- Tecnologias
- condições
- teste
- ensaio
- do que
- que
- A
- deles
- Eles
- Lá.
- Este
- deles
- coisas
- três
- Através da
- intitulado
- para
- levou
- ferramentas
- transformando
- dois
- tipos
- Incerto
- para
- sublinhar
- compreender
- universidade
- usava
- utilização
- visão
- visual
- vulnerabilidades
- foi
- waymo
- we
- BEM
- quando
- se
- qual
- de
- palavras
- Atividades:
- trabalhou
- mundo
- seria
- Errado
- wu
- ano
- anos
- Youtube
- zefirnet