Informatycy z Uniwersytetu Maryland (UMD) poprosili twórców robotów o przeprowadzenie dalszych badań nad bezpieczeństwem przed podłączeniem modeli językowych i wizyjnych do ich sprzętu.
Biorąc pod uwagę ciągły napływ raportów na temat podatnych na błędy, stronniczych i nieprzejrzystych LLM i VLM w ciągu ostatniego roku, może wydawać się oczywiste, że powierzenie chatbotowi kontroli mechanicznego ramienia lub robota swobodnie poruszającego się byłoby ryzykownym posunięciem.
Niemniej jednak społeczność robotyki, w swej widocznej chęci wynalezienia Nexus Udręki, kontynuował wysiłki mające na celu połączenie LLM/VLM z robotami. Projekty takie jak Google RT2 model wizja-działanie-język, Uniwersytet Michigan LLM-Uziemiacz, i Princetona TidyBot zilustrować, dokąd zmierza wszystko – Roomba uzbrojona w nóż.
Rozwiązanie takie rozważano w zeszłym roku w m.in żartobliwy projekt badawczy nazywa StabGPT [PDF], od trzech studentów MIT. Ale mamy już samochody Waymo na drogach w Kalifornii i Arizonie RuchLM, który przewiduje ruch przy użyciu technik modelowania językowego. I Boston Dynamics eksperymentowało dodanie ChatGPT do robota Spot.
Biorąc pod uwagę rozprzestrzenianie się komercyjnych i multimodalnych modeli typu open source, które mogą przyjmować obrazy, dźwięk i język jako dane wejściowe, w nadchodzących latach prawdopodobnie zostanie podjętych znacznie więcej wysiłków na rzecz integracji modeli języka i widzenia z systemami mechanicznymi.
Zalecana może być ostrożność. Dziewięciu specjalistów z Uniwersytetu Maryland – Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha i Amrit Singh Bedi – przyjrzało się trzem frameworkom modeli językowych używanych w robotach, WiemNie, WIMA i Instrukcja 2Akt. Odkryli, że zanim roboty będą mogły działać na mózgach zasilanych LLM, należy podjąć dalsze prace w zakresie bezpieczeństwa.
Struktury te obejmują modele uczenia maszynowego, takie jak GPT-3.5/4 i PaLM-2L, aby umożliwić robotom interakcję ze środowiskiem i wykonywanie określonych zadań w oparciu o polecenia mówione lub szablonowe oraz informacje wizualne.
In papier zatytułowany „O obawach związanych z bezpieczeństwem wdrażania LLM/VLM w robotyce: podkreślanie zagrożeń i luk” – podają współautorzy – „łatwo jest manipulować robotem lub wprowadzać go w błąd, co prowadzi do zagrożeń bezpieczeństwa”.
„Firmy i instytucje badawcze aktywnie integrują LLM z robotyką, koncentrując się na ulepszaniu agentów konwersacyjnych i umożliwianiu robotom rozumienia świata fizycznego i poruszania się po nim przy użyciu języka naturalnego, na przykład obsługa klienta, asystenci opieki zdrowotnej, robotyka domowa, narzędzia edukacyjne, przemysł i logistyka itp. ”- wyjaśnił Dinesh Manocha, profesor informatyki oraz inżynierii elektrycznej i komputerowej na UMD, w e-mailu do Rejestr.
Badacze z UMD zbadali trzy typy ataków kontradyktoryjnych, wykorzystując podpowiedzi, percepcję i kombinację obu w symulowanych środowiskach. Manocha powiedział jednak: „Ataki te nie ograniczają się do warunków laboratoryjnych i mogą mieć miejsce w sytuacjach w świecie rzeczywistym”.
Przykładem ataku opartego na podpowiedziach może być zmiana polecenia dla mechanicznego ramienia sterowanego językiem z „Włóż literę R w zielono-niebieskie paski do miski w zielone i niebieskie kropki” na „Umieść literę R w zielone i niebieskie paski do miski w zielone i niebieskie kropki.”
Naukowcy twierdzą, że ten atak zmiany fazy wystarczy, aby ramię robota w symulatorze VIMA-Bench uległo awarii w wyniku podniesienia niewłaściwego obiektu i umieszczenia go w niewłaściwym miejscu.
Ataki oparte na percepcji polegają na dodawaniu szumu do obrazów lub przekształcaniu obrazów (np. ich obracaniu) w celu zmylenia LLM zajmującego się zadaniami wzrokowymi. Ataki mieszane obejmowały zarówno szybką zmianę, jak i zmianę wizerunku.
Boffinowie odkryli, że te techniki działają całkiem dobrze. „W szczególności nasze dane wskazują, że w przypadku ataków natychmiastowych średnie pogorszenie wydajności wynosi 21.2 procent, a w przypadku ataków percepcyjnych – o bardziej alarmujące 30.2 procent” – twierdzą w swoim artykule. „Wyniki te podkreślają krytyczną potrzebę zastosowania solidnych środków zaradczych, aby zapewnić bezpieczne i niezawodne wdrażanie zaawansowanych systemów robotycznych opartych na LLM/VLM”.
Na podstawie swoich ustaleń naukowcy wysunęli kilka sugestii. Po pierwsze, mówią, że potrzebujemy więcej testów porównawczych, aby przetestować modele językowe używane przez roboty. Po drugie, twierdzą, że roboty muszą mieć możliwość proszenia ludzi o pomoc, gdy nie są pewni, jak zareagować.
Po trzecie, twierdzą, że zrobotyzowane systemy oparte na LLM muszą być łatwe do wyjaśnienia i interpretacji, a nie elementy czarnej skrzynki. Po czwarte, wzywają twórców robotów do wdrożenia strategii wykrywania ataków i ostrzegania. Na koniec sugerują, że testowanie i bezpieczeństwo muszą uwzględniać każdy tryb wejściowy modelu, niezależnie od tego, czy jest to wizja, słowa czy dźwięk.
„Wygląda na to, że branża inwestuje dużo zasobów w rozwój LLM i VLM oraz wykorzystuje je w robotyce” – stwierdził Manocha. „Uważamy, że ważne jest, aby uświadomić im zagrożenia związane z bezpieczeństwem, jakie pojawiają się w zastosowaniach robotyki. Większość tych robotów działa w świecie fizycznym. Jak nauczyliśmy się z wcześniejszych prac nad jazdą autonomiczną, świat fizyczny może być bezlitosny, szczególnie jeśli chodzi o wykorzystanie technologii sztucznej inteligencji. Dlatego ważne jest, aby wziąć te kwestie pod uwagę w przypadku zastosowań robotyki”. ®
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 30
- 7
- a
- Zdolny
- O nas
- Akceptuj
- Konto
- działania
- aktywnie
- dodanie
- adres
- zaawansowany
- przeciwny
- wskazany
- przed
- agentów
- przed
- AI
- Modele AI
- dopuszczać
- dozwolony
- już
- Amrit
- an
- i
- każdy
- pozorny
- pojawia się
- aplikacje
- SĄ
- argumentować
- powstać
- Arizona
- ARM
- uzbrojony
- AS
- zapytać
- asystenci
- At
- atakować
- Ataki
- autonomiczny
- średni
- świadomy
- na podstawie
- BE
- zanim
- Benchmarki
- stronniczy
- Czarny
- Niebieski
- boston
- obie
- Pudełko
- Brian
- ale
- by
- California
- nazywa
- CAN
- samochody
- Spowodować
- ostrożność
- wymiana pieniędzy
- opłata
- chatbot
- roszczenie
- CO
- jak
- handlowy
- społeczność
- Firmy
- składniki
- komputer
- Inżynieria komputerowa
- Computer Science
- Obawy
- stały
- kontemplowane
- konwersacyjny
- krytyczny
- klient
- Obsługa klienta
- dane
- wykazać
- wdrażanie
- Wdrożenie
- Wykrywanie
- oprogramowania
- do
- Krajowy
- zrobić
- DOT
- jazdy
- dynamika
- e
- każdy
- łatwo
- edukacyjny
- wysiłek
- starania
- umożliwiając
- Inżynieria
- wzmocnienie
- dość
- zapewnić
- środowiska
- szczególnie
- itp
- przykład
- wyjaśnione
- zbadane
- FAIL
- dość
- informacja zwrotna
- czuć
- W końcu
- Ustalenia
- i terminów, a
- skupienie
- W razie zamówieenia projektu
- znaleziono
- Czwarty
- Ramy
- od
- dalej
- GitHub
- Zielony
- Prowadzenie
- zdarzyć
- sprzęt komputerowy
- Have
- Nagłówek
- opieki zdrowotnej
- pomoc
- podświetlanie
- W jaki sposób
- How To
- Jednak
- http
- HTTPS
- Ludzie
- zilustrować
- obraz
- zdjęcia
- wdrożenia
- ważny
- in
- włączać
- przemysłowy
- przemysł
- wkład
- instytucje
- integrować
- Integracja
- interakcji
- najnowszych
- inwestowanie
- angażować
- zaangażowany
- problemy
- IT
- JEGO
- jpg
- laboratorium
- język
- Nazwisko
- Ostatni rok
- prowadzący
- dowiedziałem
- nauka
- list
- lubić
- Prawdopodobnie
- Ograniczony
- LLM
- lokalizacja
- logistyka
- Popatrz
- Partia
- maszyna
- uczenie maszynowe
- zrobiony
- robić
- Makers
- wiele
- Maryland
- Może..
- mechaniczny
- Michigan
- może
- MIT
- mieszać
- mieszany
- Moda
- model
- modelowanie
- modele
- jeszcze
- większość
- ruch
- ruch
- Naturalny
- Nawigacja
- Potrzebować
- wymagania
- dziewięć
- Hałas
- przedmiot
- oczywista
- of
- on
- nieprzezroczysty
- koncepcja
- open source
- działać
- or
- ludzkiej,
- koniec
- Papier
- Przeszłość
- procent
- postrzeganie
- wykonać
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- fizyczny
- zbierając
- Miejsce
- wprowadzanie
- plato
- Analiza danych Platona
- PlatoDane
- Prognozy
- Princeton
- Wcześniejszy
- Profesor
- projektowanie
- monity
- położyć
- Putting
- R
- raczej
- RE
- Prawdziwy świat
- rzetelny
- raport
- Raporty
- Badania naukowe
- Instytucje badawcze
- Badacze
- Zasoby
- Odpowiadać
- Efekt
- ryzyko
- ryzykowny
- droga
- robot
- robotyka
- roboty
- krzepki
- run
- bieganie
- s
- "bezpiecznym"
- Bezpieczeństwo
- Powiedział
- powiedzieć
- nauka
- Naukowcy
- druga
- bezpieczeństwo
- wydać się
- usługa
- ustawienie
- kilka
- powinien
- symulator
- sytuacje
- So
- Dźwięk
- Źródło
- specyficzny
- swoiście
- mówiony
- Spot
- strategie
- strumień
- pas
- Paski
- Studenci
- sugerować
- systemy
- Brać
- zadania
- Techniki
- Technologies
- REGULAMIN
- test
- Testowanie
- niż
- że
- Połączenia
- ich
- Im
- Tam.
- Te
- one
- rzeczy
- trzy
- Przez
- pod tytulem
- do
- wziął
- narzędzia
- transformatorowy
- drugiej
- typy
- Niepewny
- dla
- podkreślać
- zrozumieć
- uniwersytet
- używany
- za pomocą
- wizja
- wizualny
- Luki w zabezpieczeniach
- była
- waymo
- we
- DOBRZE
- jeśli chodzi o komunikację i motywację
- czy
- który
- w
- słowa
- Praca
- pracował
- świat
- by
- Źle
- wu
- rok
- lat
- youtube
- zefirnet