Marylandi ülikooli (UMD) arvutiteadlased on palunud robotitootjatel teha täiendavaid ohutusuuringuid enne keele- ja nägemismudelite ühendamist oma riistvaraga.
Arvestades viimase aasta pidevat veaohtlike, kallutatud, läbipaistmatute LLM-ide ja VLM-ide aruannete voogu, võib tunduda ilmne, et vestlusroboti panemine mehaanilise käe või vabalt rändava roboti eest vastutama oleks riskantne.
Sellegipoolest on robootikakogukond oma näilises innukuses leiutada Piina Nexust, on jätkanud jõupingutusi abielluda LLM-idega/VLM-idega robotitega. Projektid nagu Google RT2 visiooni-tegevuse-keele mudel, Michigani Ülikool LLM-maandaja, ja Princetoni oma TidyBot illustreerige, kuhu asjad liiguvad – noaga relvastatud Roomba.
Sellist värki mõeldi eelmisel aastal a keel-põses uurimisprojekt kutsutud StabGPT [PDF], kolmelt MIT-i üliõpilaselt. Kuid meil on Californias ja Arizonas juba teedel Waymo autod MotionLM, mis ennustab liikumist keele modelleerimise tehnikate abil. Ja Boston Dynamics on sellega katsetanud ChatGPT lisamine oma Spot robotile.
Arvestades kommerts- ja avatud lähtekoodiga multimodaalsete mudelite levikut, mis suudavad sisendina aktsepteerida pilti, heli ja keelt, tehakse lähiaastatel tõenäoliselt palju rohkem jõupingutusi keele- ja nägemusmudelite integreerimiseks mehaaniliste süsteemidega.
Ettevaatus võib olla soovitatav. Üheksa Marylandi ülikooli boffinit – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha ja Amrit Singh Bedi – vaatasid kolme robotite jaoks kasutatavat keelemudeli raamistikku. Tea Ei, VIMA ja Instruct2Act. Nad leidsid, et enne, kui robotitel lubatakse töötada LLM-i jõul töötavatel ajudel, tuleb teha täiendavat ohutustööd.
Need raamistikud hõlmavad masinõppemudeleid, nagu GPT-3.5/4 ja PaLM-2L, et võimaldada robotitel oma keskkondadega suhelda ja täita konkreetseid ülesandeid häälkäskluste või mallikäskude ning visuaalse tagasiside põhjal.
In paber Pealkirjaga "LLM-ide/VLM-ide juurutamise ohutusprobleemidest robootikas: riskide ja haavatavuse esiletõstmine," väidavad kaasautorid, "roboti tegevust on lihtne manipuleerida või eksitada, mis põhjustab ohutusriske."
"Ettevõtted ja teadusasutused integreerivad aktiivselt LLM-e robootikasse, keskendudes vestlusagentide täiustamisele ja võimaldades robotitel mõista ja navigeerida füüsilises maailmas, kasutades loomulikku keelt, näiteks klienditeenindus, tervishoiuassistendid, kodurobootika, õppevahendid, tööstus ja logistika jne. ,” selgitas UMD arvutiteaduse ning elektri- ja arvutitehnika professor Dinesh Manocha e-kirjas aadressile Register.
UMD teadlased uurisid kolme tüüpi vastandlikke rünnakuid, kasutades viipasid, taju ja nende kahe kombinatsiooni simuleeritud keskkondades. Manocha aga ütles: "Need rünnakud ei piirdu mis tahes laboritingimustega ja võivad juhtuda reaalsetes olukordades."
Viipapõhise rünnaku näide oleks keelepõhise mehaanilise käe käsu muutmine käsust "Pane rohelise ja sinise triibuga täht R rohelisele ja sinisele täpilisele pannile" asemel "Paigutage täht R roheliste ja siniste triipudega rohelisele ja sinisele täpilisele pannile.
Teadlaste väitel on see ümberkujundamisrünnak piisav selleks, et VIMA-Benchi simulaatoris robotkäe tõrge peaks üles võtma ja asetama selle valesse kohta.
Tajupõhised rünnakud hõlmavad piltidele müra lisamist või kujutiste muutmist (nt nende pööramist), et ajada segadusse LLM-i, mis käsitleb nägemisülesandeid. Ja segarünnakud hõlmasid nii kiiret kui ka pildi muutmist.
Boffinid leidsid, et need tehnikad töötasid üsna hästi. "Konkreetselt näitavad meie andmed, et kiirete rünnakute korral on keskmine jõudlus halvenenud 21.2 protsenti ja tajurünnakute korral murettekitavam 30.2 protsenti," väidavad nad oma dokumendis. "Need tulemused rõhutavad kriitilist vajadust tugevate vastumeetmete järele, et tagada täiustatud LLM/VLM-põhiste robotsüsteemide ohutu ja usaldusväärne kasutuselevõtt."
Nende leidude põhjal on teadlased teinud mitmeid ettepanekuid. Esiteks väidavad nad, et robotite kasutatavate keelemudelite testimiseks vajame rohkem võrdlusaluseid. Teiseks väidavad nad, et robotid peavad saama inimestelt abi paluda, kui nad pole kindlad, kuidas reageerida.
Kolmandaks väidavad nad, et LLM-põhised robotsüsteemid peavad olema pigem seletatavad ja tõlgendatavad kui musta kasti komponendid. Neljandaks kutsuvad nad robotitootjaid üles rakendama rünnakute tuvastamise ja hoiatamise strateegiaid. Lõpuks viitavad nad sellele, et testimine ja turvalisus peavad käsitlema mudeli iga sisendrežiimi, olgu see siis nägemus, sõnad või heli.
"Näib, et tööstus investeerib palju ressursse LLM-ide ja VLM-ide arendamisse ning nende robootika kasutamiseks," ütles Manocha. "Leiame, et on oluline neid teadvustada robootikarakenduste ohutusprobleemidest. Enamik neist robotitest tegutseb füüsilises maailmas. Nagu oleme õppinud varasemast tööst autonoomse sõidu alal, võib füüsiline maailm olla andestamatu, eriti tehisintellekti tehnoloogiate kasutamise osas. Seega on oluline robootikarakenduste puhul neid probleeme arvesse võtta. ®
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :on
- :on
- :mitte
- : kus
- $ UP
- 30
- 7
- a
- Võimalik
- MEIST
- aktsepteerima
- konto
- meetmete
- aktiivselt
- lisades
- aadress
- edasijõudnud
- võistlev
- soovitatav
- vastu
- ained
- eespool
- AI
- AI mudelid
- võimaldama
- lubatud
- juba
- Amrit
- an
- ja
- mistahes
- ilmne
- ilmub
- rakendused
- OLEME
- vaielda
- tekkima
- arizona
- ARM
- relvastatud
- AS
- küsima
- assistendid
- At
- rünnak
- Reageerib
- autonoomne
- keskmine
- teadlik
- põhineb
- BE
- enne
- kriteeriumid
- erapooletu
- Must
- sinine
- boston
- mõlemad
- Kast
- Brian
- kuid
- by
- California
- kutsutud
- CAN
- autod
- Põhjus
- ettevaatust
- muutuv
- tasu
- chatbot
- nõudma
- CO
- Tulema
- kaubandus-
- kogukond
- Ettevõtted
- komponendid
- arvuti
- Arvutitehnika
- Arvutiteadus
- Murettekitav
- pidev
- kaalutakse
- jutukas
- kriitiline
- klient
- Kasutajatugi
- andmed
- näitama
- juurutamine
- kasutuselevõtu
- Detection
- & Tarkvaraarendus
- do
- Kodu-
- tehtud
- DOT
- sõidu
- dünaamika
- e
- iga
- lihtne
- haridus-
- jõupingutusi
- jõupingutusi
- võimaldades
- Inseneriteadus
- suurendamine
- piisavalt
- tagama
- keskkondades
- eriti
- jms
- näide
- selgitas
- uurida
- FAIL
- õiglaselt
- tagasiside
- tundma
- Lõpuks
- järeldused
- esimene
- keskendumine
- eest
- avastatud
- Neljas
- raamistikud
- Alates
- edasi
- GitHub
- Green
- Käsitsemine
- juhtuda
- riistvara
- Olema
- Rubriik
- tervishoid
- aitama
- esiletõstmine
- Kuidas
- Kuidas
- aga
- http
- HTTPS
- Inimestel
- Illustreerima
- pilt
- pildid
- rakendada
- oluline
- in
- lisada
- tööstus-
- tööstus
- sisend
- institutsioonid
- integreerima
- Integreerimine
- suhelda
- sisse
- investeerimine
- kaasama
- seotud
- küsimustes
- IT
- ITS
- jpg
- labor
- keel
- viimane
- Eelmisel aastal
- juhtivate
- õppinud
- õppimine
- kiri
- nagu
- Tõenäoliselt
- piiratud
- LLM
- liising
- logistika
- Vaata
- Partii
- masin
- masinõpe
- tehtud
- tegema
- Tegijad
- palju
- Maryland
- mai..
- mehaaniline
- Michigan
- võib
- MIT
- segu
- segatud
- viis
- mudel
- modelleerimine
- mudelid
- rohkem
- kõige
- liikumine
- liikuma
- Natural
- Navigate
- Vajadus
- vajadustele
- üheksa
- müra
- objekt
- Ilmne
- of
- on
- läbipaistmatu
- avatud
- avatud lähtekoodiga
- töötama
- or
- meie
- üle
- Paber
- minevik
- protsent
- taju
- täitma
- jõudlus
- füüsiline
- korjamine
- Koht
- paigutamine
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Ennustab
- Princeton
- Eelnev
- Õpetaja
- projektid
- küsib
- panema
- Putting
- R
- pigem
- RE
- päris maailm
- usaldusväärne
- aru
- Aruanded
- teadustöö
- Teadusasutused
- Teadlased
- Vahendid
- Reageerida
- Tulemused
- riskide
- Riskantne
- tee
- robot
- robootika
- robotid
- jõuline
- jooks
- jooksmine
- s
- ohutu
- ohutus
- Ütlesin
- ütlema
- teadus
- teadlased
- Teine
- turvalisus
- tundub
- teenus
- kehtestamine
- mitu
- peaks
- simulaator
- olukordades
- So
- heli
- allikas
- konkreetse
- eriti
- räägitud
- Kaubandus-
- strateegiad
- oja
- triip
- Stripes
- Õpilased
- soovitama
- süsteemid
- Võtma
- ülesanded
- tehnikat
- Tehnoloogiad
- tingimused
- test
- Testimine
- kui
- et
- .
- oma
- Neile
- Seal.
- Need
- nad
- asjad
- kolm
- Läbi
- pealkirjaga
- et
- võttis
- töövahendid
- transformeerivate
- kaks
- liigid
- ebakindel
- all
- alakriips
- mõistma
- Ülikool
- Kasutatud
- kasutamine
- nägemus
- visuaalne
- Haavatavused
- oli
- waymo
- we
- Hästi
- millal
- kas
- mis
- koos
- sõnad
- Töö
- töötas
- maailm
- oleks
- Vale
- wu
- aasta
- aastat
- youtube
- sephyrnet