Dataloger ved University of Maryland (UMD) har bedt robotproducenter om at lave yderligere sikkerhedsforskning, før de forbinder sprog- og synsmodeller til deres hardware.
I betragtning af den konstante strøm af rapporter om fejltilbøjelige, forudindtaget, uigennemsigtige LLM'er og VLM'er i løbet af det sidste år, kan det virke indlysende, at det ville være et risikabelt træk at sætte en chatbot til ansvar for en mekanisk arm eller frit-roamende robot.
Ikke desto mindre er robotsamfundet i sin tilsyneladende iver efter at opfinde Torment Nexus, har presset på med bestræbelserne på at gifte LLM'er/VLM'er med robotter. Projekter som Googles RT2 vision-action-sprogmodel, University of Michigan's LLM-Grounder, og Princetons TidyBot illustrere, hvor tingene er på vej hen – en Roomba bevæbnet med en kniv.
En sådan anordning blev overvejet sidste år i en tunge-i-kind-forskningsprojekt kaldet StabGPT [PDF], fra tre MIT-studerende. Men vi har allerede Waymo-biler på vejen i Californien og Arizona, der bruger MotionLM, som forudsiger bevægelse ved hjælp af sprogmodelleringsteknikker. Og Boston Dynamics har eksperimenteret med tilføjer ChatGPT til sin Spot-robot.
I betragtning af udbredelsen af kommercielle og open source multimodale modeller, der kan acceptere billeder, lyd og sprog som input, vil der sandsynligvis være mange flere bestræbelser på at integrere sprog- og synsmodeller med mekaniske systemer i de kommende år.
Forsigtighed kan være tilrådeligt. Ni University of Maryland boffins – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha og Amrit Singh Bedi – tog et kig på tre sprogmodelrammer, der bruges til robotter, VedNr, VIMA , Instruct2Act. De fandt ud af, at der skal udføres yderligere sikkerhedsarbejde, før robotter skulle have lov til at køre på LLM-drevne hjerner.
Disse rammer inkorporerer maskinlæringsmodeller som GPT-3.5/4 og PaLM-2L for at tillade robotter at interagere med deres miljøer og udføre specifikke opgaver baseret på talte eller skabelonkommandoer og visuel feedback.
In et papir med titlen, "Om sikkerhedsbekymringerne ved at implementere LLM'er/VLM'er i robotteknologi: Fremhævelse af risici og sårbarheder," rapporterer medforfatterne, "det er let at manipulere eller vildlede robottens handlinger, hvilket fører til sikkerhedsrisici."
"Virksomheder og forskningsinstitutioner integrerer aktivt LLM'er i robotteknologi, med fokus på at forbedre samtaleagenter og gøre det muligt for robotter at forstå og navigere gennem den fysiske verden ved hjælp af naturligt sprog, for eksempel kundeservice, sundhedsassistenter, indenrigsrobotik, uddannelsesværktøjer, industri og logistik osv. ,” forklarede Dinesh Manocha, professor i datalogi og el- og computerteknik ved UMD, i en e-mail til Registret.
UMD-forskerne udforskede tre typer af modstridende angreb ved hjælp af prompter, perception og en blanding af de to i simulerede miljøer. Manocha sagde imidlertid: "Disse angreb er ikke begrænset til nogen laboratoriemiljøer og kan ske i virkelige situationer."
Et eksempel på et promptbaseret angreb ville være at ændre kommandoen for en sprogstyret mekanisk arm fra "Placer det grønne og blå stribe bogstav R i den grønne og blå prikkede pan" til "Placer bogstavet R med grønne og blå striber i den grønne og blå prikkede pande."
Dette omfasningsangreb, hævder forskerne, er nok til at få robotarmen i VIMA-Bench-simulatoren til at svigte ved at samle den forkerte genstand op og placere den på det forkerte sted.
Perception-baserede angreb involverer tilføjelse af støj til billeder eller transformation af billeder (f.eks. rotation af dem) i et forsøg på at forvirre LLM, der håndterer synsopgaver. Og blandede angreb involverede både hurtige og billedændringer.
Boffinerne fandt, at disse teknikker fungerede ret godt. "Specifikt viser vores data en gennemsnitlig ydeevneforringelse på 21.2 procent under prompte angreb og mere alarmerende 30.2 procent under perceptionsangreb," hævder de i deres papir. "Disse resultater understreger det kritiske behov for robuste modforanstaltninger for at sikre sikker og pålidelig implementering af de avancerede LLM/VLM-baserede robotsystemer."
På baggrund af deres resultater har forskerne fremsat flere forslag. For det første siger de, at vi har brug for flere benchmarks for at teste de sprogmodeller, der bruges af robotter. For det andet hævder de, at robotter skal være i stand til at bede mennesker om hjælp, når de er usikre på, hvordan de skal reagere.
For det tredje siger de, at robot-LLM-baserede systemer skal kunne forklares og fortolkes snarere end black box-komponenter. For det fjerde opfordrer de robotproducenter til at implementere angrebsdetektering og alarmeringsstrategier. Endelig foreslår de, at test og sikkerhed skal adressere hver inputtilstand i en model, hvad enten det er syn, ord eller lyd.
"Det ser ud til, at industrien investerer mange ressourcer i udviklingen af LLM'er og VLM'er og bruger dem til robotteknologi," sagde Manocha. "Vi føler, at det er vigtigt at gøre dem opmærksomme på de sikkerhedsproblemer, der opstår for robotapplikationer. De fleste af disse robotter opererer i den fysiske verden. Som vi har lært fra tidligere arbejde med autonom kørsel, kan den fysiske verden være utilgivelig, især med hensyn til at bruge AI-teknologier. Så det er vigtigt at tage højde for disse problemer for robotapplikationer." ®
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :har
- :er
- :ikke
- :hvor
- $OP
- 30
- 7
- a
- I stand
- Om
- Acceptere
- Konto
- aktioner
- aktivt
- tilføje
- adresse
- fremskreden
- kontradiktorisk
- tilrådeligt
- mod
- midler
- forude
- AI
- AI modeller
- tillade
- tilladt
- allerede
- Amrit
- an
- ,
- enhver
- tilsyneladende
- kommer til syne
- applikationer
- ER
- argumentere
- opstå
- arizona
- ARM
- væbnet
- AS
- spørg
- assistenter
- At
- angribe
- Angreb
- autonom
- gennemsnit
- opmærksom på
- baseret
- BE
- før
- Benchmarks
- forudindtaget
- Sort
- Blå
- boston
- både
- Boks
- Brian
- men
- by
- california
- kaldet
- CAN
- biler
- Årsag
- forsigtighed
- skiftende
- afgift
- chatbot
- krav
- CO
- Kom
- kommerciel
- samfund
- Virksomheder
- komponenter
- computer
- Computer Engineering
- Datalogi
- Bekymringer
- konstant
- påtænkt
- konversation
- kritisk
- kunde
- Kundeservice
- data
- demonstrere
- implementering
- implementering
- Detektion
- Udvikling
- do
- Indenlandsk
- færdig
- DOT
- kørsel
- dynamik
- e
- hver
- let
- uddannelsesmæssige
- indsats
- indsats
- muliggør
- Engineering
- styrke
- nok
- sikre
- miljøer
- især
- etc.
- eksempel
- forklarede
- udforsket
- FAIL
- retfærdigt
- tilbagemeldinger
- føler sig
- Endelig
- fund
- Fornavn
- fokusering
- Til
- fundet
- Fjerde
- rammer
- fra
- yderligere
- GitHub
- Grøn
- Håndtering
- ske
- Hardware
- Have
- Overskrift
- sundhedspleje
- hjælpe
- fremhæve
- Hvordan
- How To
- Men
- http
- HTTPS
- Mennesker
- illustrere
- billede
- billeder
- gennemføre
- vigtigt
- in
- indarbejde
- industrielle
- industrien
- indgang
- institutioner
- integrere
- Integration
- interagere
- ind
- investere
- involvere
- involverede
- spørgsmål
- IT
- ITS
- jpg
- laboratorium
- Sprog
- Efternavn
- Sidste år
- førende
- lærte
- læring
- brev
- ligesom
- Sandsynlig
- Limited
- LLM
- placering
- Logistik
- Se
- Lot
- maskine
- machine learning
- lavet
- lave
- Makers
- mange
- Maryland
- Kan..
- mekanisk
- Michigan
- måske
- MIT
- blande
- blandet
- tilstand
- model
- modellering
- modeller
- mere
- mest
- bevægelse
- bevæge sig
- Natural
- Naviger
- Behov
- behov
- ni
- Støj
- objekt
- Obvious
- of
- on
- uigennemsigtig
- åbent
- open source
- betjene
- or
- vores
- i løbet af
- Papir
- forbi
- procent
- opfattelsen
- Udfør
- ydeevne
- fysisk
- plukke
- Place
- anbringelse
- plato
- Platon Data Intelligence
- PlatoData
- forudser
- Princeton
- Forud
- Professor
- projekter
- prompter
- sætte
- Sætte
- R
- hellere
- RE
- virkelige verden
- pålidelig
- indberette
- Rapporter
- forskning
- Forskningsinstitutioner
- forskere
- Ressourcer
- Svar
- Resultater
- risici
- Risikabel
- vej
- robot
- robotteknik
- robotter
- robust
- Kør
- kører
- s
- sikker
- Sikkerhed
- Said
- siger
- Videnskab
- forskere
- Anden
- sikkerhed
- synes
- tjeneste
- indstilling
- flere
- bør
- simulator
- situationer
- So
- Lyd
- Kilde
- specifikke
- specifikt
- talt
- Spot
- strategier
- strøm
- stribe
- Striber
- Studerende
- tyder
- Systemer
- Tag
- opgaver
- teknikker
- Teknologier
- vilkår
- prøve
- Test
- end
- at
- deres
- Them
- Der.
- Disse
- de
- ting
- tre
- Gennem
- titlen
- til
- tog
- værktøjer
- omdanne
- to
- typer
- Uncertain
- under
- understrege
- forstå
- universitet
- anvendte
- ved brug af
- vision
- visuel
- Sårbarheder
- var
- waymo
- we
- GODT
- hvornår
- hvorvidt
- som
- med
- ord
- Arbejde
- arbejdede
- world
- ville
- Forkert
- wu
- år
- år
- youtube
- zephyrnet