دانشمندان کامپیوتر در دانشگاه مریلند (UMD) از سازندگان رباتها خواستهاند قبل از سیمکشی زبان و مدلهای بینایی به سختافزارشان تحقیقات ایمنی بیشتری انجام دهند.
با توجه به جریان مداوم گزارشها در مورد LLMها و VLMهای مستعد خطا، مغرضانه، غیرشفاف در سال گذشته، ممکن است بدیهی به نظر برسد که قرار دادن یک ربات چت مسئول یک بازوی مکانیکی یا ربات رومینگ آزاد، یک حرکت خطرناک است.
با این وجود، جامعه روباتیک، در اشتیاق ظاهری خود برای اختراع عذاب نکسوس، تلاش های خود را برای ازدواج LLM/VLM با روبات ها ادامه داده است. پروژه هایی مثل گوگل RT2 مدل بینایی-عمل-زبان، دانشگاه میشیگان LLM-Grounder، و پرینستون TidyBot نشان دهید که همه چیز به کجا می رود - یک رومبا مسلح به چاقو.
چنین تدبیری در سال گذشته در نظر گرفته شد پروژه تحقیقاتی زبان در گونه نام StabGPT [PDF]، از سه دانشجوی MIT. اما ما در حال حاضر خودروهای Waymo را در جاده های کالیفرنیا و آریزونا داریم که از آنها استفاده می کنند MotionLM، که حرکت را با استفاده از تکنیک های مدل سازی زبان پیش بینی می کند. و Boston Dynamics آزمایش کرده است اضافه کردن ChatGPT به ربات نقطه ای خود.
با توجه به گسترش مدلهای چند وجهی تجاری و منبع باز که میتوانند تصاویر، صدا و زبان را به عنوان ورودی بپذیرند، احتمالاً در سالهای آینده تلاشهای بیشتری برای ادغام مدلهای زبان و بینایی با سیستمهای مکانیکی انجام خواهد شد.
ممکن است احتیاط توصیه شود. نه نفر از دانشگاه مریلند - Xiyang Wu، Ruiqi Xian، Tianrui Guan، Jing Liang، Souradip Chakraborty، Fuxiao Liu، Brian Sadler، Dinesh Manocha و Amrit Singh Bedi - نگاهی به سه چارچوب مدل زبانی مورد استفاده برای روباتها انداختند. بدون, VIMA و Instruct2Act. آنها دریافتند که قبل از اینکه روباتها بتوانند روی مغزهای LLM کار کنند، باید کارهای ایمنی بیشتری انجام شود.
این چارچوبها از مدلهای یادگیری ماشینی مانند GPT-3.5/4 و PaLM-2L استفاده میکنند تا به روباتها اجازه دهند تا با محیط خود تعامل داشته باشند و وظایف خاصی را بر اساس دستورات گفتاری یا قالببندی شده و بازخورد بصری انجام دهند.
In یک کاغذ نویسندگان همکار گزارش میدهند که با عنوان «در مورد نگرانیهای ایمنی استقرار LLM/VLM در رباتیک: برجسته کردن خطرات و آسیبپذیریها»، «به راحتی میتوان اعمال ربات را دستکاری یا نادرست کرد که منجر به خطرات ایمنی میشود».
شرکت ها و موسسات تحقیقاتی به طور فعال LLM ها را در رباتیک ادغام می کنند و بر تقویت عوامل مکالمه تمرکز می کنند و ربات ها را قادر می سازند تا دنیای فیزیکی را با استفاده از زبان طبیعی درک کنند و در آن حرکت کنند، به عنوان مثال خدمات مشتری، دستیاران مراقبت های بهداشتی، رباتیک خانگی، ابزارهای آموزشی، صنعتی و لجستیک و غیره. دینش منوچا، استاد علوم کامپیوتر و مهندسی برق و کامپیوتر در UMD، در ایمیلی به ثبت نام.
محققان UMD سه نوع حمله خصمانه را با استفاده از دستورات، ادراک و ترکیبی از این دو در محیط های شبیه سازی شده بررسی کردند. با این حال، Manocha گفت: "این حملات به هیچ محیط آزمایشگاهی محدود نمی شود و می تواند در موقعیت های دنیای واقعی رخ دهد."
یک مثال از یک حمله مبتنی بر سریع، تغییر دستور برای بازوی مکانیکی هدایتشده به زبان از «حروف سبز و آبی R را در قالب سبز و آبی لهستانی قرار دهید» به «حرف R را با نوارهای سبز و آبی قرار دهید». داخل تابه خال خالی سبز و آبی.»
محققان ادعا میکنند که این حمله تغییر شکل کافی است تا بازوی ربات در شبیهساز VIMA-Bench با برداشتن شی اشتباه و قرار دادن آن در مکان اشتباه از کار بیفتد.
حملات مبتنی بر ادراک شامل اضافه کردن نویز به تصاویر یا تغییر شکل تصاویر (به عنوان مثال چرخش آنها) در تلاش برای گیج کردن وظایف بینایی مدیریت LLM است. و حملات مختلط شامل تغییر سریع و تصویر میشد.
بوفین ها دریافتند که این تکنیک ها نسبتاً خوب کار می کنند. آنها در مقاله خود ادعا میکنند: «به طور خاص، دادههای ما نشاندهنده کاهش متوسط عملکرد 21.2 درصدی تحت حملات فوری و 30.2 درصدی هشداردهندهتر تحت حملات ادراکی است». "این نتایج بر نیاز حیاتی به اقدامات متقابل قوی برای اطمینان از استقرار ایمن و قابل اعتماد سیستم های روباتیک پیشرفته مبتنی بر LLM/VLM تاکید می کند."
بر اساس یافته های خود، محققان چندین پیشنهاد ارائه کرده اند. اول، آنها می گویند که ما به معیارهای بیشتری برای آزمایش مدل های زبان مورد استفاده توسط روبات ها نیاز داریم. دوم، آنها استدلال میکنند که رباتها باید بتوانند وقتی از انسانها کمک بخواهند، در صورتی که مطمئن نیستند چگونه پاسخ دهند.
سوم، آنها می گویند که سیستم های مبتنی بر LLM رباتیک به جای اجزای جعبه سیاه، باید قابل توضیح و تفسیر باشند. چهارم، آنها از سازندگان ربات می خواهند که استراتژی های تشخیص حمله و هشدار را اجرا کنند. در نهایت، آنها پیشنهاد میکنند که تست و امنیت باید به هر حالت ورودی یک مدل، اعم از دید، کلمات یا صدا، رسیدگی شود.
Manocha گفت: "به نظر می رسد که صنعت منابع زیادی را برای توسعه LLM ها و VLM ها و استفاده از آنها برای روباتیک سرمایه گذاری می کند." ما احساس می کنیم که مهم است که آنها را از نگرانی های ایمنی که برای برنامه های روباتیک ایجاد می شود آگاه کنیم. بیشتر این ربات ها در دنیای فیزیکی کار می کنند. همانطور که از کار قبلی در رانندگی خودران آموخته ایم، دنیای فیزیکی می تواند نابخشودنی باشد، به خصوص از نظر استفاده از فناوری های هوش مصنوعی. بنابراین مهم است که این مسائل را برای کاربردهای روباتیک در نظر بگیریم." ®
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 30
- 7
- a
- قادر
- درباره ما
- پذیرفتن
- حساب
- اقدامات
- فعالانه
- اضافه کردن
- نشانی
- پیشرفته
- دشمن
- مستحب
- در برابر
- عاملان
- پیش
- AI
- مدل های هوش مصنوعی
- اجازه دادن
- مجاز
- قبلا
- آمریت
- an
- و
- هر
- ظاهر
- ظاهر می شود
- برنامه های کاربردی
- هستند
- استدلال
- بوجود می آیند
- آریزونا
- ARM
- مسلح
- AS
- پرسیدن
- دستیاران
- At
- حمله
- حمله
- خود مختار
- میانگین
- مطلع
- مستقر
- BE
- قبل از
- معیار
- جانبدارانه
- سیاه پوست
- آبی
- بوستون
- هر دو
- جعبه
- برایان
- اما
- by
- کالیفرنیا
- نام
- CAN
- اتومبیل
- علت
- احتیاط
- متغیر
- بار
- chatbot
- ادعا
- CO
- بیا
- تجاری
- انجمن
- شرکت
- اجزاء
- کامپیوتر
- مهندسی رایانه
- علم کامپیوتر
- نگرانی ها
- ثابت
- در نظر گرفته شده
- محاورهای
- بحرانی
- مشتری
- خدمات مشتری
- داده ها
- نشان دادن
- استقرار
- گسترش
- کشف
- پروژه
- do
- داخلی
- انجام شده
- DOT
- رانندگی
- دینامیک
- e
- هر
- ساده
- آموزش
- تلاش
- تلاش
- پست الکترونیک
- را قادر می سازد
- مهندسی
- افزایش
- کافی
- اطمینان حاصل شود
- محیط
- به خصوص
- و غیره
- مثال
- توضیح داده شده
- کشف
- FAIL
- منصفانه
- باز خورد
- احساس
- سرانجام
- یافته ها
- نام خانوادگی
- تمرکز
- برای
- یافت
- چهارم
- چارچوب
- از جانب
- بیشتر
- GitHub
- گوگل
- سبز
- اداره
- رخ دادن
- سخت افزار
- آیا
- عنوان
- بهداشت و درمان
- کمک
- مشخص کردن
- چگونه
- چگونه
- اما
- HTTP
- HTTPS
- انسان
- نشان دادن
- تصویر
- تصاویر
- انجام
- مهم
- in
- ترکیب کردن
- صنعتی
- صنعت
- ورودی
- موسسات
- ادغام
- ادغام
- تعامل
- به
- سرمایه گذاری
- شامل
- گرفتار
- مسائل
- IT
- ITS
- JPG
- لابراتوار
- زبان
- نام
- پارسال
- برجسته
- آموخته
- یادگیری
- نامه
- پسندیدن
- احتمالا
- محدود شده
- LLM
- محل
- تدارکات
- نگاه کنيد
- خیلی
- دستگاه
- فراگیری ماشین
- ساخته
- ساخت
- سازندگان
- بسیاری
- مریلند
- ممکن است..
- مکانیکی
- میشیگان
- قدرت
- MIT
- مخلوط
- مخلوط
- حالت
- مدل
- مدل سازی
- مدل
- بیش
- اکثر
- حرکت
- حرکت
- طبیعی
- هدایت
- نیاز
- نیازهای
- نه نفر
- سر و صدا
- هدف
- واضح
- of
- on
- مات
- باز کن
- منبع باز
- کار
- or
- ما
- روی
- مقاله
- گذشته
- در صد
- ادراک
- انجام
- کارایی
- فیزیکی
- پس مانده
- محل
- دادن
- افلاطون
- هوش داده افلاطون
- PlatoData
- پیش بینی می کند
- پرینستون
- قبلا
- معلم
- پروژه ها
- پرسیدن
- قرار دادن
- قرار دادن
- R
- نسبتا
- RE
- دنیای واقعی
- قابل اعتماد
- گزارش
- گزارش ها
- تحقیق
- مؤسسات تحقیقاتی
- محققان
- منابع
- پاسخ
- نتایج
- خطرات
- خطرناک
- جاده
- ربات
- رباتیک
- ربات ها
- تنومند
- دویدن
- در حال اجرا
- s
- امن
- ایمنی
- سعید
- گفتن
- علم
- دانشمندان
- دوم
- تیم امنیت لاتاری
- به نظر می رسد
- سرویس
- محیط
- چند
- باید
- شبیه ساز
- شرایط
- So
- صدا
- منبع
- خاص
- به طور خاص
- گفته شده
- Spot
- استراتژی ها
- جریان
- پارچه راه راه
- راه راه
- دانشجویان
- نشان می دهد
- سیستم های
- گرفتن
- وظایف
- تکنیک
- فن آوری
- قوانین و مقررات
- آزمون
- تست
- نسبت به
- که
- La
- شان
- آنها
- آنجا.
- اینها
- آنها
- اشیاء
- سه
- از طریق
- با عنوان
- به
- در زمان
- ابزار
- تبدیل شدن
- دو
- انواع
- مردد
- زیر
- تاکید
- فهمیدن
- دانشگاه
- استفاده
- با استفاده از
- دید
- بصری
- آسیب پذیری ها
- بود
- شیوه
- we
- خوب
- چه زمانی
- چه
- که
- با
- کلمات
- مهاجرت کاری
- مشغول به کار
- جهان
- خواهد بود
- اشتباه
- wu
- سال
- سال
- یوتیوب
- زفیرنت