Gli informatici dell'Università del Maryland (UMD) hanno chiesto ai produttori di robot di svolgere ulteriori ricerche sulla sicurezza prima di collegare i modelli linguistici e visivi al loro hardware.
Dato il flusso costante di rapporti su LLM e VLM soggetti a errori, parziali e opachi nell’ultimo anno, potrebbe sembrare ovvio che affidare a un chatbot la responsabilità di un braccio meccanico o di un robot in free roaming sarebbe una mossa rischiosa.
Ciononostante, la comunità della robotica, nella sua apparente impazienza di inventare il Nesso Tormento, ha portato avanti gli sforzi per coniugare LLM/VLM con i robot. Progetti come quello di Google RT2 modello visione-azione-linguaggio, Università del Michigan LLM-Grounder, e quello di Princeton TidyBot illustrare dove stanno andando le cose: un Roomba armato di coltello.
Un simile aggeggio era stato contemplato l'anno scorso in a progetto di ricerca ironico detto StabGPT [PDF], da tre studenti del MIT. Ma abbiamo già le auto Waymo in circolazione in California e Arizona MovimentoLM, che prevede il movimento utilizzando tecniche di modellazione del linguaggio. E Boston Dynamics ha sperimentato aggiungendo ChatGPT al suo robot Spot.
Data la proliferazione di modelli multimodali commerciali e open source in grado di accettare immagini, suoni e linguaggio come input, è probabile che negli anni a venire verranno compiuti molti più sforzi per integrare modelli linguistici e visivi con sistemi meccanici.
Potrebbe essere consigliabile cautela. Nove esperti dell’Università del Maryland – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha e Amrit Singh Bedi – hanno dato un’occhiata a tre modelli linguistici utilizzati per i robot, Non sapere, VIMA ed Istruire2Act. Hanno scoperto che è necessario svolgere ulteriori lavori di sicurezza prima che ai robot venga consentito di funzionare su cervelli alimentati da LLM.
Questi framework incorporano modelli di apprendimento automatico come GPT-3.5/4 e PaLM-2L per consentire ai robot di interagire con i loro ambienti ed eseguire compiti specifici basati su comandi vocali o basati su modelli e su feedback visivo.
In un documento intitolato "Sulle preoccupazioni per la sicurezza dell'implementazione di LLM/VLM nella robotica: evidenziare i rischi e le vulnerabilità", riferiscono i coautori, "è facile manipolare o fuorviare le azioni del robot, portando a rischi per la sicurezza".
"Le aziende e gli istituti di ricerca stanno integrando attivamente gli LLM nella robotica, concentrandosi sul miglioramento degli agenti conversazionali e consentendo ai robot di comprendere e navigare nel mondo fisico utilizzando il linguaggio naturale, ad esempio servizio clienti, assistenti sanitari, robotica domestica, strumenti educativi, industria e logistica, ecc. ", ha spiegato Dinesh Manocha, professore di informatica e ingegneria elettrica e informatica all'UMD, in un'e-mail a Il registro.
I ricercatori dell'UMD hanno esplorato tre tipi di attacchi avversari utilizzando suggerimenti, percezione e un mix dei due in ambienti simulati. Manocha, tuttavia, ha affermato: “Questi attacchi non si limitano a qualsiasi ambiente di laboratorio e possono verificarsi in situazioni del mondo reale”.
Un esempio di attacco basato su prompt potrebbe essere la modifica del comando per un braccio meccanico comandato dal linguaggio da "Metti la lettera R a strisce verdi e blu nel piatto a pois verdi e blu" a "Posiziona la lettera R con strisce verdi e blu" nella padella a pois verde e blu."
Questo attacco di rifasatura, sostengono i ricercatori, è sufficiente a causare il fallimento del braccio robotico nel simulatore VIMA-Bench, raccogliendo l'oggetto sbagliato e posizionandolo nella posizione sbagliata.
Gli attacchi basati sulla percezione implicano l'aggiunta di rumore alle immagini o la trasformazione delle immagini (ad esempio ruotandole) nel tentativo di confondere il LLM che gestisce i compiti di visione. E gli attacchi misti hanno coinvolto sia l'immediatezza che l'alterazione dell'immagine.
Gli scienziati hanno scoperto che queste tecniche funzionavano abbastanza bene. "Nello specifico, i nostri dati dimostrano un deterioramento medio delle prestazioni del 21.2% in caso di attacchi tempestivi e un più allarmante 30.2% in caso di attacchi di percezione", affermano nel loro articolo. “Questi risultati sottolineano la necessità fondamentale di contromisure robuste per garantire l’implementazione sicura e affidabile dei sistemi robotici avanzati basati su LLM/VLM”.
Sulla base dei loro risultati, i ricercatori hanno avanzato diversi suggerimenti. Innanzitutto, dicono che abbiamo bisogno di più parametri di riferimento per testare i modelli linguistici utilizzati dai robot. In secondo luogo, sostengono che i robot debbano essere in grado di chiedere aiuto agli esseri umani quando sono incerti su come rispondere.
In terzo luogo, affermano che i sistemi robotici basati sul LLM devono essere spiegabili e interpretabili piuttosto che componenti a scatola nera. In quarto luogo, esortano i produttori di robot a implementare strategie di rilevamento e allerta degli attacchi. Infine, suggeriscono che i test e la sicurezza devono affrontare ogni modalità di input di un modello, che si tratti di visione, parole o suono.
"Sembra che l'industria stia investendo molte risorse nello sviluppo di LLM e VLM e nel loro utilizzo per la robotica", ha affermato Manocha. “Riteniamo che sia importante renderli consapevoli dei problemi di sicurezza che sorgono per le applicazioni di robotica. La maggior parte di questi robot opera nel mondo fisico. Come abbiamo imparato dal lavoro precedente sulla guida autonoma, il mondo fisico può essere spietato, soprattutto in termini di utilizzo delle tecnologie di intelligenza artificiale. Quindi è importante tenere conto di questi problemi per le applicazioni di robotica”. ®
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :ha
- :È
- :non
- :Dove
- $ SU
- 30
- 7
- a
- capace
- WRI
- Accetta
- Il mio account
- azioni
- attivamente
- l'aggiunta di
- indirizzo
- Avanzate
- contraddittorio
- consigliabile
- contro
- agenti
- avanti
- AI
- Modelli AI
- consentire
- permesso
- già
- Amrit
- an
- ed
- in qualsiasi
- apparente
- appare
- applicazioni
- SONO
- discutere
- sorgere
- Arizona
- ARM
- armato
- AS
- chiedere
- assistenti
- At
- attacco
- attacchi
- autonomo
- media
- consapevole
- basato
- BE
- prima
- parametri di riferimento
- parziale
- Nero
- Blu
- Boston
- entrambi
- Scatola
- Brian
- ma
- by
- California
- detto
- Materiale
- auto
- Causare
- cautela
- cambiando
- carica
- chatbot
- rivendicare
- CO
- Venire
- comunità
- Aziende
- componenti
- computer
- Ingegneria Informatica
- Informatica
- preoccupazioni
- costante
- contemplato
- discorsivo
- critico
- cliente
- Servizio clienti
- dati
- dimostrare
- distribuzione
- deployment
- rivelazione
- Mercato
- do
- Domestico
- fatto
- DOT
- guida
- dinamica
- e
- ogni
- facile
- educativo
- sforzo
- sforzi
- consentendo
- Ingegneria
- migliorando
- abbastanza
- garantire
- ambienti
- particolarmente
- eccetera
- esempio
- ha spiegato
- Esplorazione
- FAIL
- abbastanza
- feedback
- sentire
- Infine
- I risultati
- Nome
- messa a fuoco
- Nel
- essere trovato
- Quarto
- quadri
- da
- ulteriormente
- GitHub
- Green
- Manovrabilità
- accadere
- Hardware
- Avere
- Titolo
- assistenza sanitaria
- Aiuto
- mettendo in evidenza
- Come
- Tutorial
- Tuttavia
- http
- HTTPS
- Gli esseri umani
- illustrare
- Immagine
- immagini
- realizzare
- importante
- in
- incorporare
- industriale
- industria
- ingresso
- istituzioni
- integrare
- Integrazione
- interagire
- ai miglioramenti
- investire
- coinvolgere
- coinvolto
- sicurezza
- IT
- SUO
- jpg
- di laboratorio
- Lingua
- Cognome
- L'anno scorso
- principale
- imparato
- apprendimento
- lettera
- piace
- probabile
- Limitato
- LLM
- località
- logistica
- Guarda
- lotto
- macchina
- machine learning
- fatto
- make
- Makers
- molti
- Maryland
- Maggio..
- meccanico
- Michigan
- forza
- CON
- scelta
- misto
- Moda
- modello
- modellismo
- modelli
- Scopri di più
- maggior parte
- movimento
- cambiano
- Naturale
- Navigare
- Bisogno
- esigenze
- nove
- Rumore
- oggetto
- ovvio
- of
- on
- opaco
- aprire
- open source
- operare
- or
- nostro
- ancora
- Carta
- passato
- per cento
- pubblica
- Eseguire
- performance
- Fisico
- raccolta
- posto
- sistemazione
- Platone
- Platone Data Intelligence
- PlatoneDati
- predice
- Princeton
- Precedente
- Insegnante
- progetti
- istruzioni
- metti
- Mettendo
- R
- piuttosto
- RE
- mondo reale
- affidabile
- rapporto
- Report
- riparazioni
- Istituti di ricerca
- ricercatori
- Risorse
- Rispondere
- Risultati
- rischi
- Rischioso
- strada
- robot
- robotica
- robot
- robusto
- Correre
- running
- s
- sicura
- Sicurezza
- Suddetto
- dire
- Scienze
- scienziati
- Secondo
- problemi di
- sembrare
- servizio
- regolazione
- alcuni
- dovrebbero
- simulatore
- situazioni
- So
- Suono
- Fonte
- specifico
- in particolare
- parlato
- Spot
- strategie
- ruscello
- striscia
- strisce
- Gli studenti
- suggerire
- SISTEMI DI TRATTAMENTO
- Fai
- task
- tecniche
- Tecnologie
- condizioni
- test
- Testing
- di
- che
- Il
- loro
- Li
- Là.
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- cose
- tre
- Attraverso
- titolato
- a
- ha preso
- strumenti
- trasformazione
- seconda
- Tipi di
- Incerto
- per
- sottolineare
- capire
- Università
- utilizzato
- utilizzando
- visione
- visivo
- vulnerabilità
- Prima
- waymo
- we
- WELL
- quando
- se
- quale
- con
- parole
- Lavora
- lavorato
- mondo
- sarebbe
- Wrong
- wu
- anno
- anni
- youtube
- zefiro