Oamenii de știință în domeniul informaticii de la Universitatea din Maryland (UMD) le-au cerut producătorilor de roboți să facă cercetări suplimentare privind siguranța înainte de a conecta modelele de limbaj și viziune la hardware-ul lor.
Având în vedere fluxul constant de rapoarte despre LLM-uri și VLM-uri predispuse la erori, părtinitoare, opace din ultimul an, ar putea părea evident că punerea unui chatbot la conducerea unui braț mecanic sau a unui robot de roaming liber ar fi o mișcare riscantă.
Cu toate acestea, comunitatea robotică, în aparenta ei dorință de a inventa Torment Nexus, a continuat eforturile de a căsători LLM/VLM cu roboți. Proiecte precum Google RT2 model viziune-acțiune-limbaj, Universitatea din Michigan LLM-Grounder, și a lui Princeton TidyBot ilustrați încotro se îndreaptă lucrurile – un Roomba înarmat cu un cuțit.
Un astfel de instrument a fost luat în considerare anul trecut într-un proiect de cercetare idiot denumit StabGPT [PDF], de la trei studenți MIT. Dar avem deja mașini Waymo pe drum în California și Arizona MotionLM, care prezice mișcarea folosind tehnici de modelare a limbajului. Și Boston Dynamics a experimentat adăugarea ChatGPT la robotul său Spot.
Având în vedere proliferarea modelelor multimodale comerciale și open source care pot accepta imagini, sunet și limbaj ca intrare, este probabil să fie mult mai multe eforturi pentru a integra modelele de limbaj și viziune cu sistemele mecanice în anii următori.
Se recomandă prudență. Nouă boffins de la Universitatea din Maryland – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha și Amrit Singh Bedi – au analizat trei modele lingvistice utilizate pentru roboți, CunoscNu, VIMA și Instruct2Act. Ei au descoperit că trebuie făcute mai multe lucrări de siguranță înainte ca roboții să li se permită să ruleze pe creiere alimentate de LLM.
Aceste cadre încorporează modele de învățare automată precum GPT-3.5/4 și PaLM-2L pentru a permite roboților să interacționeze cu mediile lor și să efectueze sarcini specifice pe baza comenzilor vorbite sau tip șablon și pe feedback vizual.
In o hartie intitulat „Cu privire la problemele de siguranță ale implementării LLM-urilor/VLM-urilor în robotică: evidențierea riscurilor și vulnerabilităților”, raportează coautorii, „este ușor să manipulați sau să ghidați greșit acțiunile robotului, ceea ce duce la pericole de siguranță.”
„Companiile și instituțiile de cercetare integrează activ LLM-urile în robotică, concentrându-se pe îmbunătățirea agenților conversaționali și permițând roboților să înțeleagă și să navigheze prin lumea fizică folosind limbajul natural, de exemplu Serviciul Clienți, Asistenți în domeniul sănătății, Robotică domestică, Instrumente educaționale, Industrială și Logistică etc. ”, a explicat Dinesh Manocha, profesor de informatică și inginerie electrică și informatică la UMD, într-un e-mail către Registrul.
Cercetătorii UMD au explorat trei tipuri de atacuri adverse folosind prompturi, percepție și o combinație a celor două în medii simulate. Cu toate acestea, Manocha a spus: „Aceste atacuri nu se limitează la niciun cadru de laborator și se pot întâmpla în situații din lumea reală”.
Un exemplu de atac bazat pe prompt ar fi schimbarea comenzii pentru un braț mecanic direcționat în limbaj de la „Puneți litera R cu dungi verde și albastră în panoul cu buline verzi și albastre” la „Puneți litera R cu dungi verzi și albastre”. în tava cu buline verzi și albastre.”
Acest atac de refazare, susțin cercetătorii, este suficient pentru ca brațul robotului din simulatorul VIMA-Bench să eșueze, ridicând obiectul greșit și plasându-l într-o locație greșită.
Atacurile bazate pe percepție implică adăugarea de zgomot la imagini sau transformarea imaginilor (de exemplu, rotirea lor) într-un efort de a încurca LLM care gestionează sarcinile de vedere. Și atacurile mixte au implicat atât modificarea promptă, cât și modificarea imaginii.
Boffins au descoperit că aceste tehnici au funcționat destul de bine. „Mai exact, datele noastre demonstrează o deteriorare medie a performanței de 21.2% în cazul atacurilor prompte și cu 30.2% mai alarmantă în cazul atacurilor de percepție”, susțin ei în lucrarea lor. „Aceste rezultate subliniază nevoia critică de contramăsuri robuste pentru a asigura implementarea sigură și fiabilă a sistemelor robotice avansate bazate pe LLM/VLM.”
Pe baza constatărilor lor, cercetătorii au făcut mai multe sugestii. În primul rând, ei spun că avem nevoie de mai multe puncte de referință pentru a testa modelele de limbaj utilizate de roboți. În al doilea rând, ei susțin că roboții trebuie să fie capabili să ceară ajutor oamenilor atunci când nu sunt siguri cum să răspundă.
În al treilea rând, ei spun că sistemele robotizate bazate pe LLM trebuie să fie explicabile și interpretabile, mai degrabă decât componentele cutiei negre. În al patrulea rând, ei îndeamnă producătorii de roboți să implementeze strategii de detectare și alertă a atacurilor. În cele din urmă, ei sugerează că testarea și securitatea trebuie să abordeze fiecare mod de intrare al unui model, indiferent dacă este vorba de viziune, cuvinte sau sunet.
„Se pare că industria investește o mulțime de resurse în dezvoltarea LLM-urilor și VLM-urilor și le folosește pentru robotică”, a spus Manocha. „Considerăm că este important să îi facem conștienți de preocupările legate de siguranță care apar pentru aplicațiile robotice. Majoritatea acestor roboți operează în lumea fizică. După cum am învățat din munca anterioară în conducerea autonomă, lumea fizică poate fi neiertătoare, mai ales în ceea ce privește utilizarea tehnologiilor AI. Prin urmare, este important să luăm în considerare aceste aspecte pentru aplicațiile robotice.” ®
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :are
- :este
- :nu
- :Unde
- $UP
- 30
- 7
- a
- Capabil
- Despre Noi
- Accept
- Cont
- acțiuni
- activ
- adăugare
- adresa
- avansat
- contradictorialității
- recomandabil
- împotriva
- agenţi
- înainte
- AI
- Modele AI
- permite
- permis
- deja
- Amrit
- an
- și
- Orice
- aparent
- apare
- aplicatii
- SUNT
- argumenta
- apărea
- Arizona
- ARM
- armat
- AS
- cere
- asistenți
- At
- ataca
- Atacuri
- autonom
- in medie
- conştient
- bazat
- BE
- înainte
- valori de referință
- părtinitor
- Negru
- Albastru
- boston
- atât
- Cutie
- Brian
- dar
- by
- California
- denumit
- CAN
- masini
- Provoca
- prudenţă
- schimbarea
- taxă
- chatbot
- pretinde
- CO
- cum
- comercial
- comunitate
- Companii
- componente
- calculator
- Inginerie calculator
- Informatică
- preocupările
- constant
- contemplat
- de conversaţie
- critic
- client
- Serviciu clienți
- de date
- demonstra
- Implementarea
- desfășurarea
- Detectare
- Dezvoltare
- do
- Intern
- făcut
- DOT
- conducere
- dinamică
- e
- fiecare
- uşor
- de învăţământ
- efort
- Eforturile
- permițând
- Inginerie
- consolidarea
- suficient de
- asigura
- medii
- mai ales
- etc
- exemplu
- a explicat
- explorat
- FAIL
- destul de
- feedback-ul
- simţi
- În cele din urmă
- constatările
- First
- concentrându-se
- Pentru
- găsit
- Al patrulea
- cadre
- din
- mai mult
- GitHub
- Verde
- Manipularea
- întâmpla
- Piese metalice
- Avea
- Rubrică
- de asistență medicală
- ajutor
- subliniind
- Cum
- Cum Pentru a
- Totuși
- http
- HTTPS
- Oamenii
- ilustra
- imagine
- imagini
- punerea în aplicare a
- important
- in
- incorpora
- industrial
- industrie
- intrare
- instituții
- integra
- integrarea
- interacţiona
- în
- investind
- implica
- implicat
- probleme de
- IT
- ESTE
- jpg
- laborator
- limbă
- Nume
- Anul trecut
- conducere
- învățat
- învăţare
- scrisoare
- ca
- Probabil
- Limitat
- LLM
- locaţie
- logistică
- Uite
- Lot
- maşină
- masina de învățare
- făcut
- face
- factorii de decizie
- multe
- Maryland
- Mai..
- mecanic
- Michigan
- ar putea
- MIT
- amesteca
- mixt
- mod
- model
- modelare
- Modele
- mai mult
- cele mai multe
- mişcare
- muta
- Natural
- Navigaţi
- Nevoie
- nevoilor
- nouă
- Zgomot
- obiect
- evident
- of
- on
- opac
- deschide
- open-source
- funcionar
- or
- al nostru
- peste
- Hârtie
- trecut
- la sută
- percepţie
- Efectua
- performanță
- fizic
- cules
- Loc
- plasare
- Plato
- Informații despre date Platon
- PlatoData
- prezice
- Princeton
- anterior
- Profesor
- Proiecte
- solicitări
- pune
- Punând
- R
- mai degraba
- RE
- lumea reală
- de încredere
- raportează
- Rapoarte
- cercetare
- Instituții de cercetare
- cercetători
- Resurse
- Răspunde
- REZULTATE
- Riscurile
- Riscant
- drum
- robot
- robotica
- roboţi
- robust
- Alerga
- funcţionare
- s
- sigur
- Siguranţă
- Said
- Spune
- Ştiinţă
- oamenii de stiinta
- Al doilea
- securitate
- părea
- serviciu
- instalare
- câteva
- să
- Simulator
- situații
- So
- Suna
- Sursă
- specific
- specific
- vorbit
- Loc
- strategii
- curent
- dungă
- dungi
- Elevi
- sugera
- sisteme
- Lua
- sarcini
- tehnici de
- Tehnologii
- termeni
- test
- Testarea
- decât
- acea
- lor
- Lor
- Acolo.
- Acestea
- ei
- lucruri
- trei
- Prin
- cu denumirea
- la
- a luat
- Unelte
- transformare
- Două
- Tipuri
- Nesigur
- în
- sublinia
- înţelege
- universitate
- utilizat
- folosind
- viziune
- vizual
- Vulnerabilitățile
- a fost
- waymo
- we
- BINE
- cand
- dacă
- care
- cu
- cuvinte
- Apartamente
- a lucrat
- lume
- ar
- Greșit
- wu
- an
- ani
- youtube
- zephyrnet