Комп’ютерні вчені з Університету Меріленда (UMD) попросили виробників роботів провести додаткові дослідження щодо безпеки, перш ніж підключати мовні та зорові моделі до свого обладнання.
Враховуючи постійний потік повідомлень про схильні до помилок, упереджені, непрозорі LLM і VLM за останній рік, може здатися очевидним, що доручити чат-боту керувати механічною рукою або вільно переміщуваним роботом було б ризикованим кроком.
Тим не менш, спільнота робототехніки, у своєму явному прагненні винайти Тормент Нексус, продовжив спроби поєднати LLM/VLM з роботами. Такі проекти, як Google RT2 модель бачення-дія-мова, Мічиганський університет LLM-Grounder, і Прінстона TidyBot проілюструйте, куди рухаються події – Roomba, озброєний ножем.
Таку штуковину задумали минулого року в нахабний дослідницький проект званий StabGPT [PDF], від трьох студентів MIT. Але ми вже використовуємо автомобілі Waymo на дорогах Каліфорнії та Арізони MotionLM, який передбачає рух за допомогою методів мовного моделювання. І Boston Dynamics експериментувала додавання ChatGPT до свого робота Spot.
Враховуючи поширення комерційних мультимодальних моделей із відкритим вихідним кодом, які можуть приймати зображення, звук і мову як вхідні дані, в найближчі роки, ймовірно, докладеться набагато більше зусиль для інтеграції мовних і візуальних моделей із механічними системами.
Обережність може бути рекомендованою. Дев’ять співробітників Університету Меріленда – Сіян Ву, Руйці Сіань, Тяньруй Гуань, Цзін Лян, Сурадіп Чакраборті, Фусяо Лю, Браян Садлер, Дінеш Маноча та Амріт Сінгх Беді – розглянули три мовні моделі фреймворків, які використовуються для роботів, знати ні, VIMA та Instruct2Act. Вони виявили, що необхідно провести додаткові роботи з безпеки, перш ніж роботам дозволять працювати на мозках, що працюють від LLM.
Ці структури включають моделі машинного навчання, такі як GPT-3.5/4 і PaLM-2L, щоб дозволити роботам взаємодіяти зі своїм середовищем і виконувати певні завдання на основі голосових або шаблонних команд і візуального зворотного зв’язку.
In папір під назвою «Про питання безпеки розгортання LLM/VLM у робототехніці: підкреслення ризиків і вразливостей», співавтори повідомляють, «легко маніпулювати діями робота або неправильно керувати ними, що призводить до загрози безпеці».
«Компанії та дослідницькі установи активно інтегрують LLMs у робототехніку, зосереджуючись на покращенні спілкування агентів і дозволі роботам розуміти фізичний світ і орієнтуватися в ньому за допомогою природної мови, наприклад, обслуговування клієнтів, асистенти охорони здоров’я, домашня робототехніка, освітні інструменти, промисловість і логістика тощо. ”, – пояснив Дінеш Маноча, професор інформатики та електротехніки та комп’ютерної інженерії в UMD, в електронному листі до Реєстр.
Дослідники UMD досліджували три типи змагальних атак за допомогою підказок, сприйняття та суміші двох у змодельованих середовищах. Маноча, однак, сказав: «Ці атаки не обмежуються будь-якими лабораторними умовами і можуть статися в реальних ситуаціях».
Прикладом оперативної атаки може бути зміна команди для мовно-керованої механічної руки з «Помістіть букву R із зеленою та синьою смугами в горошок зеленого та синього кольору» на «Помістіть літеру R із зеленими та синіми смугами на сковорідку в зелений і синій горошок».
Дослідники стверджують, що цієї атаки перефазування достатньо, щоб робота-рука в симуляторі VIMA-Bench вийшла з ладу, піднявши не той об’єкт і розмістивши його в неправильному місці.
Атаки, засновані на сприйнятті, включають додавання шуму до зображень або трансформацію зображень (наприклад, їх обертання) з метою заплутати LLM, що виконує завдання зору. І змішані атаки включали як підказку, так і зміну зображення.
Бофіни виявили, що ці методи спрацювали досить добре. «Зокрема, наші дані демонструють середнє погіршення продуктивності на 21.2 відсотка під час оперативних атак і тривожніші 30.2 відсотка під час атак сприйняття», — стверджують вони у своїй статті. «Ці результати підкреслюють критичну потребу в надійних контрзаходах для забезпечення безпечного та надійного розгортання передових роботизованих систем на основі LLM/VLM».
На основі своїх висновків дослідники зробили кілька пропозицій. По-перше, вони кажуть, що нам потрібно більше тестів для перевірки мовних моделей, які використовують роботи. По-друге, вони стверджують, що роботи повинні мати можливість просити людей про допомогу, коли ті не знають, як відповісти.
По-третє, вони кажуть, що роботизовані системи на основі LLM мають бути пояснювальними та інтерпретованими, а не компонентами чорної скриньки. По-четверте, вони закликають виробників роботів запровадити стратегії виявлення атак і оповіщення. Нарешті, вони припускають, що тестування та безпека мають стосуватися кожного режиму введення моделі, будь то зображення, слова чи звук.
«Схоже, що промисловість інвестує багато ресурсів у розробку LLM і VLM і використовує їх для робототехніки», — сказав Маноча. «Ми вважаємо, що важливо поінформувати їх про проблеми безпеки, які виникають у роботах. Більшість із цих роботів працюють у фізичному світі. Як ми дізналися з попередньої роботи з автономним водінням, фізичний світ може бути невблаганним, особливо з точки зору використання технологій ШІ. Тому важливо враховувати ці проблеми для додатків робототехніки». ®
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- : має
- :є
- : ні
- :де
- $UP
- 30
- 7
- a
- Здатний
- МЕНЮ
- Прийняти
- рахунки
- дії
- активно
- додати
- адреса
- просунутий
- змагальність
- доцільно
- проти
- агенти
- попереду
- AI
- Моделі AI
- дозволяти
- дозволено
- вже
- Amrit
- an
- та
- будь-який
- здається
- з'являється
- застосування
- ЕСТЬ
- сперечатися
- виникати
- Арізона
- ARM
- озброєний
- AS
- запитати
- помічники
- At
- атака
- нападки
- автономний
- середній
- знати
- заснований
- BE
- перед тим
- тести
- упереджений
- Black
- синій
- Бостон
- обидва
- Box
- Брайан
- але
- by
- Каліфорнія
- званий
- CAN
- автомобілів
- Викликати
- обережність
- заміна
- заряд
- Chatbot
- стверджувати
- CO
- Приходити
- комерційний
- співтовариство
- Компанії
- Компоненти
- комп'ютер
- Комп'ютерна інженерія
- Інформатика
- Турбота
- постійна
- передбачені
- діалоговий
- критичний
- клієнт
- Контакти
- дані
- демонструвати
- розгортання
- розгортання
- Виявлення
- розробка
- do
- Внутрішній
- зроблений
- DOT
- водіння
- динаміка
- e
- кожен
- легко
- освітній
- зусилля
- зусилля
- дозволяє
- Машинобудування
- підвищення
- досить
- забезпечувати
- середовищах
- особливо
- і т.д.
- приклад
- пояснені
- Розвіданий
- FAIL
- достатньо
- зворотний зв'язок
- почувати
- в кінці кінців
- результати
- Перший
- фокусування
- для
- знайдений
- Четвертий
- каркаси
- від
- далі
- GitHub
- зелений
- Обробка
- траплятися
- апаратні засоби
- Мати
- Тема
- охорона здоров'я
- допомога
- виділивши
- Як
- How To
- Однак
- HTTP
- HTTPS
- Людей
- ілюструвати
- зображення
- зображень
- здійснювати
- важливо
- in
- включати
- промислові
- промисловість
- вхід
- установи
- інтегрувати
- Інтеграція
- взаємодіяти
- в
- інвестування
- залучати
- залучений
- питання
- IT
- ЙОГО
- JPG
- лабораторія
- мова
- останній
- Минулого року
- провідний
- вчений
- вивчення
- лист
- як
- Ймовірно
- обмеженою
- LLM
- розташування
- логістика
- подивитися
- серія
- машина
- навчання за допомогою машини
- made
- зробити
- Makers
- багато
- Меріленд
- Може..
- механічний
- Мічиган
- може бути
- MIT
- змішувати
- змішаний
- режим
- модель
- моделювання
- Моделі
- більше
- найбільш
- рух
- рухатися
- Природний
- Переміщення
- Необхідність
- потреби
- дев'ять
- шум
- об'єкт
- Очевидний
- of
- on
- непрозорий
- відкрити
- з відкритим вихідним кодом
- працювати
- or
- наші
- над
- Папір
- Минуле
- відсотків
- сприйняття
- Виконувати
- продуктивність
- фізичний
- збір
- місце
- розміщення
- plato
- Інформація про дані Платона
- PlatoData
- Прогнози
- Princeton
- попередній
- Професор
- проектів
- підказок
- put
- Поклавши
- R
- швидше
- RE
- Реальний світ
- надійний
- звітом
- Звіти
- дослідження
- Науково-дослідні установи
- Дослідники
- ресурси
- Реагувати
- результати
- ризики
- Ризикований
- дорога
- робот
- робототехніка
- роботи
- міцний
- прогін
- біг
- s
- сейф
- Безпека
- Зазначений
- say
- наука
- Вчені
- другий
- безпеку
- здається
- обслуговування
- установка
- кілька
- Повинен
- симулятор
- ситуацій
- So
- Звучати
- Source
- конкретний
- конкретно
- говорять
- Spot
- стратегії
- потік
- полоса
- Смуги
- Студентам
- пропонувати
- Systems
- Приймати
- завдання
- методи
- Технології
- terms
- тест
- Тестування
- ніж
- Що
- Команда
- їх
- Їх
- Там.
- Ці
- вони
- речі
- три
- через
- під назвою
- до
- прийняли
- інструменти
- перетворення
- два
- Типи
- Невизначений
- при
- підкреслювати
- розуміти
- університет
- використовуваний
- використання
- бачення
- візуальний
- Уразливості
- було
- waymo
- we
- ДОБРЕ
- коли
- Чи
- який
- з
- слова
- Work
- працював
- світ
- б
- Неправильно
- wu
- рік
- років
- YouTube
- зефірнет