Datavetare vid University of Maryland (UMD) har bett robottillverkare att göra ytterligare säkerhetsforskning innan de kopplar språk- och synmodeller till sin hårdvara.
Med tanke på den ständiga strömmen av rapporter om felbenägna, partiska, ogenomskinliga LLM:er och VLM:er under det senaste året, kan det tyckas uppenbart att det skulle vara ett riskabelt drag att sätta en chatbot som ansvarar för en mekanisk arm eller fri-roaming-robot.
Icke desto mindre, robotsamhället, i sin uppenbara iver att uppfinna Torment Nexus, har gått vidare med ansträngningarna att gifta LLMs/VLMs med robotar. Projekt som Googles RT2 vision-action-språkmodell, University of Michigan's LLM-Grounder, och Princetons TidyBot illustrera vart saker är på väg – en Roomba beväpnad med en kniv.
En sådan grej övervägdes förra året i en tungan på kinden forskningsprojekt kallas StabGPT [PDF], från tre MIT-studenter. Men vi har redan Waymo-bilar på vägen i Kalifornien och Arizona som använder MotionLM, som förutsäger rörelse med hjälp av språkmodelleringstekniker. Och Boston Dynamics har experimenterat med lägga till ChatGPT till sin Spot-robot.
Med tanke på spridningen av kommersiella och multimodala modeller med öppen källkod som kan acceptera bilder, ljud och språk som input, kommer det sannolikt att göras många fler ansträngningar för att integrera språk- och visionmodeller med mekaniska system under de kommande åren.
Försiktighet kan vara tillrådligt. Nio University of Maryland boffins – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha och Amrit Singh Bedi – tog en titt på tre språkmodellramar som används för robotar, Vet Nej, VIMA och Instruct2Act. De fann att ytterligare säkerhetsarbete måste göras innan robotar bör tillåtas köra på LLM-drivna hjärnor.
Dessa ramverk innehåller maskininlärningsmodeller som GPT-3.5/4 och PaLM-2L för att tillåta robotar att interagera med sina miljöer och utföra specifika uppgifter baserat på talade eller mallade kommandon och visuell feedback.
In ett papper med titeln, "Om säkerhetsfrågorna för att distribuera LLMs/VLMs in Robotics: Highlighting the Risks and Vulnerabilities", rapporterar medförfattarna, "det är lätt att manipulera eller missrikta robotens handlingar, vilket leder till säkerhetsrisker."
"Företag och forskningsinstitutioner integrerar aktivt LLM i robotik, fokuserar på att förbättra konversationsagenter och gör det möjligt för robotar att förstå och navigera genom den fysiska världen med hjälp av naturligt språk, till exempel kundtjänst, sjukvårdsassistenter, inhemsk robotik, utbildningsverktyg, industri och logistik etc. ”, förklarade Dinesh Manocha, professor i datavetenskap och el- och datateknik vid UMD, i ett mejl till Registret.
UMD-forskarna undersökte tre typer av kontradiktoriska attacker med hjälp av uppmaningar, perception och en blandning av de två i simulerade miljöer. Manocha sa dock: "Dessa attacker är inte begränsade till någon laboratoriemiljö och kan hända i verkliga situationer."
Ett exempel på en promptbaserad attack skulle vara att ändra kommandot för en språkstyrd mekanisk arm från "Placera den gröna och blå randen bokstaven R i den gröna och blå prickiga pannan" till "Placera bokstaven R med gröna och blå ränder i den gröna och blå prickiga pannan."
Denna omfasningsattack, hävdar forskarna, är tillräckligt för att få robotarmen i VIMA-Bench-simulatorn att misslyckas genom att plocka upp fel föremål och placera det på fel plats.
Perceptionsbaserade attacker involverar att lägga till brus till bilder eller omvandla bilder (t.ex. rotera dem) i ett försök att förvirra LLM-hanteringens synuppgifter. Och blandade attacker involverade både snabba och bildförändringar.
Boffinerna fann att dessa tekniker fungerade ganska bra. "Särskilt visar våra data en genomsnittlig prestandaförsämring på 21.2 procent under snabba attacker och mer alarmerande 30.2 procent under perceptionsattacker", hävdar de i sin tidning. "Dessa resultat understryker det kritiska behovet av robusta motåtgärder för att säkerställa en säker och pålitlig distribution av de avancerade LLM/VLM-baserade robotsystemen."
Baserat på sina rön har forskarna kommit med flera förslag. Först säger de att vi behöver fler riktmärken för att testa språkmodellerna som används av robotar. För det andra hävdar de att robotar måste kunna be människor om hjälp när de är osäkra på hur de ska svara.
För det tredje säger de att robotbaserade LLM-baserade system måste kunna förklaras och tolkas snarare än black box-komponenter. För det fjärde uppmanar de robottillverkare att implementera attackdetektering och varningsstrategier. Slutligen föreslår de att testning och säkerhet måste adressera varje inmatningsläge i en modell, oavsett om det är vision, ord eller ljud.
"Det verkar som att branschen investerar mycket resurser på utvecklingen av LLM och VLM och använder dem för robotik", säger Manocha. "Vi anser att det är viktigt att göra dem medvetna om de säkerhetsproblem som uppstår för robotapplikationer. De flesta av dessa robotar verkar i den fysiska världen. Som vi har lärt oss från tidigare arbete med autonom körning kan den fysiska världen vara oförlåtande, särskilt när det gäller att använda AI-teknik. Så det är viktigt att ta hänsyn till dessa frågor för robotapplikationer." ®
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- : har
- :är
- :inte
- :var
- $UPP
- 30
- 7
- a
- Able
- Om oss
- Acceptera
- Konto
- åtgärder
- aktivt
- tillsats
- adress
- avancerat
- kontradiktoriskt
- tillrådligt
- mot
- medel
- framåt
- AI
- AI-modeller
- tillåter
- tillåts
- redan
- Amrit
- an
- och
- vilken som helst
- skenbar
- visas
- tillämpningar
- ÄR
- argumenterar
- stiga upp
- arizona
- ARM
- beväpnad
- AS
- be
- assistenter
- At
- attackera
- Attacker
- autonom
- genomsnitt
- medveten
- baserat
- BE
- innan
- riktmärken
- partisk
- Svart
- Blå
- boston
- båda
- Box
- Brian
- men
- by
- kalifornien
- kallas
- KAN
- bilar
- Orsak
- försiktighet
- byte
- laddning
- chatbot
- patentkrav
- CO
- komma
- kommersiella
- samfundet
- Företag
- komponenter
- dator
- Datorteknik
- Datavetenskap
- oro
- konstant
- vägs
- konversera
- kritisk
- kund
- Kundservice
- datum
- demonstrera
- utplacera
- utplacering
- Detektering
- Utveckling
- do
- Inrikes
- gjort
- DOT
- drivande
- Dynamiken
- e
- varje
- lätt
- pedagogiska
- ansträngning
- ansträngningar
- möjliggör
- Teknik
- förbättra
- tillräckligt
- säkerställa
- miljöer
- speciellt
- etc
- exempel
- förklarade
- utforskas
- MISSLYCKAS
- ganska
- återkoppling
- känna
- Slutligen
- resultat
- Förnamn
- fokusering
- För
- hittade
- Fjärde
- ramar
- från
- ytterligare
- GitHub
- Grön
- Arbetsmiljö
- hända
- hårdvara
- Har
- Rubrik
- hälso-och sjukvård
- hjälpa
- belysa
- Hur ser din drömresa ut
- How To
- Men
- http
- HTTPS
- Människa
- illustrera
- bild
- bilder
- genomföra
- med Esport
- in
- införliva
- industriell
- industrin
- ingång
- institutioner
- integrera
- Integrera
- interagera
- in
- investera
- engagera
- involverade
- problem
- IT
- DESS
- jpg
- laboratorium
- språk
- Efternamn
- Förra året
- ledande
- lärt
- inlärning
- brev
- tycka om
- sannolikt
- Begränsad
- LLM
- läge
- logistik
- se
- Lot
- Maskinen
- maskininlärning
- gjord
- göra
- Beslutsfattare
- många
- Maryland
- Maj..
- mekanisk
- Michigan
- kanske
- MIT
- Blanda
- blandad
- Mode
- modell
- modellering
- modeller
- mer
- mest
- rörelse
- flytta
- Natural
- Navigera
- Behöver
- behov
- nio
- Brus
- objektet
- Uppenbara
- of
- on
- opak
- öppet
- öppen källkod
- driva
- or
- vår
- över
- Papper
- Tidigare
- procent
- varseblivning
- Utföra
- prestanda
- fysisk
- plockning
- Plats
- placering
- plato
- Platon Data Intelligence
- PlatonData
- Förutspår
- Princeton
- Innan
- Professor
- projekt
- prompter
- sätta
- sätta
- R
- snarare
- RE
- verkliga världen
- pålitlig
- rapport
- Rapport
- forskning
- Forskningsinstitutioner
- forskare
- Resurser
- Svara
- Resultat
- risker
- Riskabel
- väg
- Roboten
- robotik
- robotar
- robusta
- Körning
- rinnande
- s
- säker
- Säkerhet
- Nämnda
- säga
- Vetenskap
- vetenskapsmän
- Andra
- säkerhet
- verka
- service
- inställning
- flera
- skall
- Simulatorn
- situationer
- So
- ljud
- Källa
- specifik
- specifikt
- talat
- Spot
- strategier
- ström
- rand
- Stripes
- Studenter
- föreslå
- System
- Ta
- uppgifter
- tekniker
- Tekniken
- villkor
- testa
- Testning
- än
- den där
- Smakämnen
- deras
- Dem
- Där.
- Dessa
- de
- saker
- tre
- Genom
- betitlad
- till
- tog
- verktyg
- omvandla
- två
- typer
- Osäker
- under
- understreck
- förstå
- universitet
- Begagnade
- med hjälp av
- syn
- visuell
- sårbarheter
- var
- waymo
- we
- VÄL
- när
- om
- som
- med
- ord
- Arbete
- arbetade
- världen
- skulle
- Fel
- wu
- år
- år
- Youtube
- zephyrnet