Ученые-компьютерщики из Университета Мэриленда (UMD) попросили производителей роботов провести дальнейшие исследования безопасности, прежде чем подключать модели языка и зрения к их оборудованию.
Учитывая постоянный поток сообщений о склонных к ошибкам, предвзятых, непрозрачных LLM и VLM за последний год, может показаться очевидным, что поручить чат-боту управлять механической рукой или свободно перемещающимся роботом было бы рискованным шагом.
Тем не менее, сообщество робототехники, в своем явном стремлении изобрести Нексус мучений, продолжает попытки объединить LLM/VLM с роботами. Такие проекты, как Google RT2 модель «видение-действие-язык», Мичиганский университет LLM-Grounder, и Принстона TidyBot проиллюстрируйте, к чему идут дела: Roomba, вооруженный ножом.
Такое изобретение было задумано в прошлом году ироничный исследовательский проект под названием СтабGPT [PDF], от трех студентов Массачусетского технологического института. Но у нас уже есть автомобили Waymo на дорогах Калифорнии и Аризоны, использующие ДвижениеLM, который предсказывает движение, используя методы языкового моделирования. Компания Boston Dynamics экспериментировала с добавление ChatGPT своему роботу Spot.
Учитывая распространение коммерческих мультимодальных моделей и моделей с открытым исходным кодом, которые могут принимать изображения, звук и язык в качестве входных данных, в ближайшие годы, вероятно, будет предпринято гораздо больше усилий по интеграции моделей языка и зрения с механическими системами.
Может оказаться целесообразным соблюдать осторожность. Девять ученых из Университета Мэриленда – Сиянг Ву, Жуйци Сянь, Тяньруй Гуань, Цзин Лян, Сурадип Чакраборти, Фусяо Лю, Брайан Сэдлер, Динеш Маноча и Амрит Сингх Беди – рассмотрели три структуры языковых моделей, используемых для роботов: ЗнатьНет, ВИМА и Инструкт2Акт. Они обнаружили, что необходимо провести дополнительную работу по обеспечению безопасности, прежде чем роботам будет разрешено работать на мозге, работающем на основе LLM.
Эти платформы включают модели машинного обучения, такие как GPT-3.5/4 и PaLM-2L, которые позволяют роботам взаимодействовать с окружающей средой и выполнять конкретные задачи на основе устных или шаблонных команд и визуальной обратной связи.
In бумага под названием «Проблемы безопасности при развертывании LLM/VLM в робототехнике: выявление рисков и уязвимостей», сообщают соавторы, «легко манипулировать или неправильно направлять действия робота, что приводит к угрозе безопасности».
«Компании и исследовательские институты активно интегрируют LLM в робототехнику, уделяя особое внимание совершенствованию диалоговых агентов и предоставлению роботам возможности понимать физический мир и перемещаться по нему, используя естественный язык, например, служба поддержки клиентов, медицинские помощники, бытовая робототехника, образовательные инструменты, промышленность и логистика и т. д. — объяснил Динеш Маноча, профессор информатики, электротехники и компьютерной инженерии в UMD, в электронном письме на адрес Регистр.
Исследователи UMD исследовали три типа состязательных атак, используя подсказки, восприятие и их сочетание в смоделированных средах. Маноча, однако, сказал: «Эти атаки не ограничиваются какими-либо лабораторными условиями и могут происходить в реальных ситуациях».
Примером атаки на основе подсказок может быть изменение команды для механической руки с языковым управлением с «Поместите букву R с зеленой и синей полосой в кастрюлю в зелено-синий горошек» на «Поместите букву R с зелеными и синими полосами». в зелено-синий горошек».
Исследователи утверждают, что этой атаки перефазировки достаточно, чтобы заставить робота-манипулятора в симуляторе VIMA-Bench выйти из строя, взяв неправильный объект и поместив его в неправильное место.
Атаки, основанные на восприятии, включают добавление шума к изображениям или преобразование изображений (например, их вращение) с целью запутать LLM, выполняющий задачи зрения. А смешанные атаки включали как оперативную атаку, так и изменение изображения.
Ученые обнаружили, что эти методы работают довольно хорошо. «В частности, наши данные демонстрируют среднее ухудшение производительности на 21.2 процента при оперативных атаках и еще более тревожные 30.2 процента при атаках на основе восприятия», — утверждают они в своей статье. «Эти результаты подчеркивают острую необходимость в надежных контрмерах для обеспечения безопасного и надежного развертывания передовых роботизированных систем на основе LLM/VLM».
Основываясь на своих выводах, исследователи сделали несколько предположений. Во-первых, они говорят, что нам нужно больше тестов для проверки языковых моделей, используемых роботами. Во-вторых, они утверждают, что роботы должны иметь возможность обращаться к людям за помощью, когда они не уверены, как ответить.
В-третьих, они говорят, что роботизированные системы на основе LLM должны быть объяснимыми и интерпретируемыми, а не компонентами черного ящика. В-четвертых, они призывают производителей роботов внедрять стратегии обнаружения атак и оповещения. Наконец, они предполагают, что тестирование и безопасность должны учитывать каждый режим ввода модели, будь то изображение, слова или звук.
«Похоже, что отрасль вкладывает много ресурсов в развитие LLM и VLM и использует их для робототехники», — сказал Маноча. «Мы считаем, что важно донести до них проблемы безопасности, возникающие при использовании робототехники. Большинство этих роботов действуют в физическом мире. Как мы узнали из предыдущих исследований в области автономного вождения, физический мир может быть неумолим, особенно с точки зрения использования технологий искусственного интеллекта. Поэтому важно учитывать эти проблемы при разработке робототехнических приложений». ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :имеет
- :является
- :нет
- :куда
- $UP
- 30
- 7
- a
- в состоянии
- О нас
- Принять
- Учетная запись
- действия
- активно
- добавить
- адрес
- продвинутый
- состязательный
- рекомендуемый
- против
- агенты
- впереди
- AI
- AI модели
- позволять
- разрешено
- уже
- Амрит
- an
- и
- любой
- очевидный
- появляется
- Приложения
- МЫ
- спорить
- возникать
- Аризона
- ARM
- вооруженный
- AS
- спросить
- помощники
- At
- атаковать
- нападки
- автономный
- в среднем
- знать
- основанный
- BE
- до
- тесты
- пристрастный
- Черный
- Синии
- Бостон
- изоферменты печени
- Коробка
- Брайан
- но
- by
- Калифорния
- под названием
- CAN
- легковые автомобили
- Вызывать
- осторожность
- изменения
- заряд
- Chatbot
- утверждать
- CO
- как
- коммерческая
- сообщество
- Компании
- компоненты
- компьютер
- Компьютерная инженерия
- Информатика
- Обеспокоенность
- постоянная
- предполагается,
- диалоговый
- критической
- клиент
- Служба поддержки игроков
- данным
- демонстрировать
- развертывание
- развертывание
- обнаружение
- Развитие
- do
- домашняя дела
- сделанный
- DOT
- вождение
- динамика
- e
- каждый
- легко
- образовательных
- усилие
- усилия
- позволяет
- Проект и
- повышение
- достаточно
- обеспечивать
- средах
- особенно
- и т.д
- пример
- объяснены
- Разведанный
- FAIL
- достаточно
- Обратная связь
- чувствовать
- в заключение
- результаты
- Во-первых,
- фокусировка
- Что касается
- найденный
- Четвертый
- каркасы
- от
- далее
- GitHub
- Зелёная
- Управляемость
- происходить
- Аппаратные средства
- Есть
- Заголовок
- здравоохранение
- помощь
- выделив
- Как
- How To
- Однако
- HTTP
- HTTPS
- Людей
- иллюстрировать
- изображение
- изображений
- осуществлять
- важную
- in
- включать
- промышленность
- промышленность
- вход
- учреждения
- интегрировать
- Интегрируя
- взаимодействовать
- в
- инвестирование
- включать в себя
- вовлеченный
- вопросы
- IT
- ЕГО
- JPG
- лаборатория
- язык
- Фамилия
- В прошлом году
- ведущий
- узнали
- изучение
- письмо
- такое как
- Вероятно
- Ограниченный
- LLM
- расположение
- логистика
- посмотреть
- серия
- машина
- обучение с помощью машины
- сделанный
- сделать
- Makers
- многих
- Мэриленд
- Май..
- механический
- Мичиган
- может быть
- MIT
- смешивать
- смешанный
- режим
- модель
- моделирование
- Модели
- БОЛЕЕ
- самых
- движение
- двигаться
- натуральный
- Откройте
- Необходимость
- потребности
- 9
- Шум
- объект
- Очевидный
- of
- on
- непрозрачный
- открытый
- с открытым исходным кодом
- работать
- or
- наши
- за
- бумага & картон
- мимо
- процент
- восприятие
- Выполнять
- производительность
- физический
- сбор
- Часть
- размещение
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- предсказывает
- Princeton
- Предварительный
- Профессор
- проектов
- наводящие
- положил
- Полагая
- R
- скорее
- RE
- реальный мир
- складская
- отчету
- Отчеты
- исследованиям
- Научно-исследовательские учреждения
- исследователи
- Полезные ресурсы
- Реагируйте
- Итоги
- рисках,
- рискованный
- Дорога
- робот
- робототехника
- Роботы
- надежный
- Run
- Бег
- s
- безопасный
- Сохранность
- Сказал
- сообщили
- Наука
- Ученые
- Во-вторых
- безопасность
- казаться
- обслуживание
- установка
- несколько
- должен
- имитатор
- обстоятельства
- So
- Звук
- Источник
- конкретный
- конкретно
- говорят
- Спотовая торговля
- стратегий
- поток
- полоса
- полосы
- Студенты
- предлагать
- системы
- взять
- задачи
- снижения вреда
- технологии
- terms
- тестXNUMX
- Тестирование
- чем
- который
- Ассоциация
- их
- Их
- Там.
- Эти
- они
- вещи
- три
- Через
- титулованный
- в
- приняли
- инструменты
- превращение
- два
- Типы
- Неопределенный
- под
- подчеркивать
- понимать
- Университет
- используемый
- через
- видение
- визуальный
- Уязвимости
- законопроект
- waymo
- we
- ЧТО Ж
- когда
- будь то
- который
- слова
- Работа
- работавший
- Мир
- бы
- Неправильно
- wu
- год
- лет
- YouTube
- зефирнет