Informatiker der University of Maryland (UMD) haben Roboterhersteller gebeten, weitere Sicherheitsforschung durchzuführen, bevor sie Sprach- und Bildmodelle mit ihrer Hardware verbinden.
Angesichts der ständigen Meldungen über fehleranfällige, voreingenommene und undurchsichtige LLMs und VLMs im vergangenen Jahr könnte es offensichtlich erscheinen, dass es ein riskantes Unterfangen wäre, einem Chatbot die Leitung eines mechanischen Arms oder eines frei beweglichen Roboters zu übertragen.
Nichtsdestotrotz ist die Robotik-Community in ihrem offensichtlichen Eifer, das zu erfinden Qual-Nexus, hat die Bemühungen vorangetrieben, LLMs/VLMs mit Robotern zu verbinden. Projekte wie das von Google RT2 Vision-Aktion-Sprachmodell, University of Michigan LLM-Grounder, und Princetons TidyBot veranschaulichen, wohin die Reise geht – ein mit einem Messer bewaffneter Roomba.
Eine solche Vorrichtung wurde letztes Jahr in einem ironisches Forschungsprojekt namens StabGPT [PDF], von drei MIT-Studenten. Aber wir haben bereits Waymo-Autos in Kalifornien und Arizona im Einsatz MotionLM, das Bewegungen mithilfe von Sprachmodellierungstechniken vorhersagt. Und Boston Dynamics hat damit experimentiert Hinzufügen von ChatGPT zu seinem Spot-Roboter.
Angesichts der Verbreitung kommerzieller und Open-Source-Multimodalmodelle, die Bilder, Ton und Sprache als Eingabe akzeptieren können, wird es in den kommenden Jahren wahrscheinlich noch viele weitere Bemühungen geben, Sprach- und Bildmodelle in mechanische Systeme zu integrieren.
Vorsicht kann angebracht sein. Neun Forscher der University of Maryland – Xiyang Wu, Ruiqi KnowNo, VIMA und Instruct2Act. Sie fanden heraus, dass weitere Sicherheitsarbeiten durchgeführt werden müssen, bevor Roboter auf LLM-betriebenen Gehirnen laufen dürfen.
Diese Frameworks integrieren Modelle des maschinellen Lernens wie GPT-3.5/4 und PaLM-2L, um Robotern die Interaktion mit ihrer Umgebung und die Ausführung spezifischer Aufgaben auf der Grundlage gesprochener oder vorgegebener Befehle und visuellen Feedbacks zu ermöglichen.
In ein Papier Mit dem Titel „Zu den Sicherheitsbedenken beim Einsatz von LLMs/VLMs in der Robotik: Hervorhebung der Risiken und Schwachstellen“ berichten die Mitautoren: „Es ist leicht, die Aktionen des Roboters zu manipulieren oder fehlzuleiten, was zu Sicherheitsrisiken führt.“
„Unternehmen und Forschungseinrichtungen integrieren LLMs aktiv in die Robotik und konzentrieren sich dabei auf die Verbesserung von Konversationsagenten und die Befähigung von Robotern, die physische Welt mithilfe natürlicher Sprache zu verstehen und durch sie zu navigieren, beispielsweise im Kundendienst, bei Assistenten im Gesundheitswesen, in der Haushaltsrobotik, in Bildungsinstrumenten, in der Industrie und in der Logistik usw „, erklärte Dinesh Manocha, Professor für Informatik und Elektro- und Computertechnik an der UMD, in einer E-Mail an Das Register.
Die UMD-Forscher untersuchten drei Arten gegnerischer Angriffe mithilfe von Eingabeaufforderungen, Wahrnehmung und einer Mischung aus beiden in simulierten Umgebungen. Manocha sagte jedoch: „Diese Angriffe sind nicht auf Laborumgebungen beschränkt und können in realen Situationen auftreten.“
Ein Beispiel für einen auf Eingabeaufforderungen basierenden Angriff wäre die Änderung des Befehls für einen sprachgesteuerten mechanischen Arm von „Lege den grün-blau gestreiften Buchstaben R in die grün-blau gepunktete Pfanne“ in „Platziere den Buchstaben R mit grün-blauen Streifen“. in die grün-blau gepunktete Pfanne.“
Dieser Rephasierungsangriff, so behaupten die Forscher, reicht aus, um den Roboterarm im VIMA-Bench-Simulator zum Scheitern zu bringen, indem er das falsche Objekt aufnimmt und an der falschen Stelle platziert.
Bei wahrnehmungsbasierten Angriffen wird den Bildern Rauschen hinzugefügt oder Bilder transformiert (z. B. gedreht), um den LLM, der die Sehaufgaben übernimmt, zu verwirren. Und gemischte Angriffe umfassten sowohl sofortige als auch Bildveränderungen.
Die Forscher stellten fest, dass diese Techniken ziemlich gut funktionierten. „Konkret zeigen unsere Daten eine durchschnittliche Leistungsverschlechterung von 21.2 Prozent bei sofortigen Angriffen und alarmierendere 30.2 Prozent bei Wahrnehmungsangriffen“, behaupten sie in ihrem Papier. „Diese Ergebnisse unterstreichen den dringenden Bedarf an robusten Gegenmaßnahmen, um den sicheren und zuverlässigen Einsatz der fortschrittlichen LLM/VLM-basierten Robotersysteme zu gewährleisten.“
Basierend auf ihren Erkenntnissen haben die Forscher mehrere Vorschläge gemacht. Erstens sagen sie, dass wir mehr Benchmarks brauchen, um die von Robotern verwendeten Sprachmodelle zu testen. Zweitens argumentieren sie, dass Roboter in der Lage sein müssen, Menschen um Hilfe zu bitten, wenn sie unsicher sind, wie sie reagieren sollen.
Drittens sagen sie, dass robotische LLM-basierte Systeme erklärbar und interpretierbar sein müssen und keine Black-Box-Komponenten. Viertens fordern sie Roboterhersteller dazu auf, Angriffserkennungs- und Alarmierungsstrategien zu implementieren. Schließlich schlagen sie vor, dass Tests und Sicherheit jeden Eingabemodus eines Modells berücksichtigen müssen, sei es Vision, Worte oder Ton.
„Es scheint, dass die Industrie viele Ressourcen in die Entwicklung von LLMs und VLMs und deren Nutzung für die Robotik investiert“, sagte Manocha. „Wir halten es für wichtig, sie auf die Sicherheitsbedenken aufmerksam zu machen, die bei Robotikanwendungen auftreten. Die meisten dieser Roboter agieren in der physischen Welt. Wie wir aus früheren Arbeiten zum autonomen Fahren gelernt haben, kann die physische Welt gnadenlos sein, insbesondere im Hinblick auf den Einsatz von KI-Technologien. Daher ist es wichtig, diese Aspekte bei Robotikanwendungen zu berücksichtigen.“ ®
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :hast
- :Ist
- :nicht
- :Wo
- $UP
- 30
- 7
- a
- Fähig
- Über Uns
- Akzeptieren
- Konto
- Aktionen
- aktiv
- Hinzufügen
- Adresse
- advanced
- widersprüchlich
- ratsam
- gegen
- Agenten
- voraus
- AI
- KI-Modelle
- erlauben
- erlaubt
- bereits
- Amrit
- an
- und
- jedem
- ersichtlich
- erscheint
- Anwendungen
- SIND
- argumentieren
- entstehen
- Arizona
- ARM
- bewaffnet
- AS
- fragen
- Assistenten
- At
- Attacke
- Anschläge
- Autonom
- durchschnittlich
- bewusst
- basierend
- BE
- Bevor
- Benchmarks
- voreingenommen
- Schwarz
- Blau
- Boston
- beide
- Box
- Norbert
- aber
- by
- Kalifornien
- namens
- CAN
- Autos
- Verursachen
- Vorsicht
- Ändern
- berechnen
- Chatbot
- Anspruch
- CO
- wie die
- kommerziell
- community
- Unternehmen
- Komponenten
- Computer
- Informationstechnik
- Computerwissenschaften
- Bedenken
- konstante
- betrachtet
- Konversations
- kritischem
- Kunde
- Kundenservice
- technische Daten
- zeigen
- Bereitstellen
- Einsatz
- Entdeckung
- Entwicklung
- do
- Inländische
- erledigt
- DOT
- Fahren
- Dynamik
- e
- jeder
- Einfache
- Bildungs-
- Anstrengung
- Bemühungen
- ermöglichen
- Entwicklung
- Eine Verbesserung der
- genug
- gewährleisten
- Umgebungen
- insbesondere
- etc
- Beispiel
- erklärt
- Erkundet
- FAIL
- ziemlich
- Feedback
- fühlen
- Endlich
- Befund
- Vorname
- Fokussierung
- Aussichten für
- gefunden
- Vierte
- Gerüste
- für
- weiter
- GitHub
- Grün
- Handling
- passieren
- Hardware
- Haben
- Überschrift
- Gesundheitswesen
- Hilfe
- Hervorheben
- Ultraschall
- Hilfe
- aber
- http
- HTTPS
- Humans
- veranschaulichen
- Image
- Bilder
- implementieren
- wichtig
- in
- integrieren
- industriell
- Energiegewinnung
- Varianten des Eingangssignals:
- Institutionen
- integrieren
- Integration
- interagieren
- in
- Investitionen
- beteiligen
- beteiligt
- Probleme
- IT
- SEINE
- jpg
- Labor
- Sprache
- Nachname
- Letztes Jahr
- führenden
- gelernt
- lernen
- Brief
- Gefällt mir
- wahrscheinlich
- Limitiert
- LLM
- Standorte
- Logistik
- aussehen
- Los
- Maschine
- Maschinelles Lernen
- gemacht
- um
- Makers
- viele
- Maryland
- Kann..
- mechanisch
- Michigan
- könnte
- MIT
- mischen
- gemischt
- Model
- Modell
- Modellieren
- für
- mehr
- vor allem warme
- Bewegung
- schlauer bewegen
- Natürliche
- Navigieren
- Need
- Bedürfnisse
- neun
- Lärm
- Objekt
- offensichtlich
- of
- on
- undurchsichtig
- XNUMXh geöffnet
- Open-Source-
- betreiben
- or
- UNSERE
- übrig
- Papier
- passt
- Prozent
- Wahrnehmung
- Ausführen
- Leistung
- physikalisch
- Kommissionierung
- Ort
- Platzierung
- Plato
- Datenintelligenz von Plato
- PlatoData
- sagt voraus,
- Princeton
- Vor
- Professor
- Projekte
- Eingabeaufforderungen
- setzen
- Putting
- R
- lieber
- RE
- realen Welt
- zuverlässig
- berichten
- Meldungen
- Forschungsprojekte
- Forschungseinrichtungen
- Forscher
- Downloads
- Reagieren
- Die Ergebnisse
- Risiken
- Riskant
- Straße
- Roboter
- Robotik
- Roboter
- robust
- Führen Sie
- Laufen
- s
- Safe
- Sicherheit
- Said
- Wissenschaft
- Wissenschaftler
- Zweite
- Sicherheitdienst
- scheinen
- Einstellung
- mehrere
- sollte
- Simulator
- Umstände
- So
- Klingen
- Quelle
- spezifisch
- speziell
- gesprochen
- Spot
- Strategien
- Strom
- Streifen
- Stripes
- Die Kursteilnehmer
- vorschlagen
- Systeme und Techniken
- Nehmen
- und Aufgaben
- Techniken
- Technologies
- AGB
- Test
- Testen
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- ihr
- Sie
- Dort.
- Diese
- vom Nutzer definierten
- nach drei
- Durch
- betitelt
- zu
- nahm
- Werkzeuge
- Transformieren
- XNUMX
- Typen
- Unsicher
- für
- unterstreichen
- verstehen
- Universität
- benutzt
- Verwendung von
- Seh-
- visuell
- Sicherheitslücken
- wurde
- Waymo
- we
- GUT
- wann
- ob
- welche
- mit
- Worte
- Arbeiten
- gearbeitet
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- würde
- Falsch
- wu
- Jahr
- Jahr
- Youtube
- Zephyrnet