طلب علماء الكمبيوتر في جامعة ميريلاند (UMD) من صانعي الروبوتات إجراء المزيد من أبحاث السلامة قبل توصيل نماذج اللغة والرؤية بأجهزتهم.
نظرًا للتدفق المستمر للتقارير حول دورات LLM وVLMs المعرضة للأخطاء والمتحيزة والمبهمة خلال العام الماضي، قد يبدو من الواضح أن تعيين روبوت الدردشة مسؤولاً عن ذراع ميكانيكية أو روبوت متجول حر سيكون خطوة محفوفة بالمخاطر.
ومع ذلك، فإن مجتمع الروبوتات، في حرصه الواضح على اختراع الروبوتات رابطة العذاب، مضت قدمًا في جهودها الرامية إلى دمج LLMs/VLMs مع الروبوتات. مشاريع مثل جوجل RT2 نموذج الرؤية والعمل واللغة، جامعة ميشيغان إل إل إم-جراوندر، وبرينستون TidyBot وضّح إلى أين تتجه الأمور - جهاز Roomba مسلح بسكين.
تم التفكير في مثل هذه الأداة الغريبة في العام الماضي في مشروع بحث اللسان في الخد تسمى StabGPT [PDF]، من ثلاثة طلاب من معهد ماساتشوستس للتكنولوجيا. ولكن لدينا بالفعل سيارات Waymo على الطريق في كاليفورنيا وأريزونا موشنLM، الذي يتنبأ بالحركة باستخدام تقنيات النمذجة اللغوية. وقد جربت شركة بوسطن ديناميكس إضافة ChatGPT إلى روبوت Spot الخاص به.
ونظرًا لانتشار النماذج التجارية والمفتوحة المصدر متعددة الوسائط التي يمكنها قبول الصور والصوت واللغة كمدخلات، فمن المحتمل أن يكون هناك المزيد من الجهود لدمج نماذج اللغة والرؤية مع الأنظمة الميكانيكية في السنوات القادمة.
الحذر قد يكون من المستحسن. قام تسعة من طلاب جامعة ميريلاند - شيانغ وو، ورويكي شيان، وتيانروي جوان، وجينغ ليانغ، وسوراديب تشاكرابورتي، وفوكسياو ليو، وبريان سادلر، ودينيش مانوتشا، وأمريت سينغ بيدي - بإلقاء نظرة على ثلاثة أطر لنماذج اللغة المستخدمة في الروبوتات، لا أعرف, فيما و Instruct2Act. ووجدوا أنه يجب القيام بمزيد من أعمال السلامة قبل السماح للروبوتات بالعمل على أدمغة تعمل بالطاقة LLM.
تتضمن هذه الأطر نماذج التعلم الآلي مثل GPT-3.5/4 وPaLM-2L للسماح للروبوتات بالتفاعل مع بيئاتها وتنفيذ مهام محددة بناءً على الأوامر المنطوقة أو المقولبة وعلى التعليقات المرئية.
In ورقة تقرير المؤلفين المشاركين بعنوان "حول المخاوف المتعلقة بالسلامة لنشر LLMs/VLMs في الروبوتات: تسليط الضوء على المخاطر ونقاط الضعف"، "من السهل التلاعب أو تضليل تصرفات الروبوت، مما يؤدي إلى مخاطر تتعلق بالسلامة".
"تقوم الشركات والمؤسسات البحثية بدمج ماجستير إدارة الأعمال بشكل نشط في الروبوتات، مع التركيز على تعزيز وكلاء المحادثة وتمكين الروبوتات من فهم العالم المادي والتنقل عبره باستخدام اللغة الطبيعية، على سبيل المثال خدمة العملاء، ومساعدي الرعاية الصحية، والروبوتات المنزلية، والأدوات التعليمية، والصناعية واللوجستية وما إلى ذلك. "، أوضح دينيش مانوتشا، أستاذ علوم الكمبيوتر والهندسة الكهربائية وهندسة الكمبيوتر في UMD، في رسالة بالبريد الإلكتروني إلى السجل.
استكشف باحثو UMD ثلاثة أنواع من الهجمات العدائية باستخدام المطالبات والإدراك ومزيج من الاثنين في بيئات محاكاة. ومع ذلك، قال مانوتشا: "هذه الهجمات لا تقتصر على أي بيئة معملية، ويمكن أن تحدث في مواقف العالم الحقيقي".
أحد الأمثلة على الهجوم الفوري هو تغيير الأمر الخاص بذراع ميكانيكية موجهة باللغة من "ضع حرف R ذو الشريط الأخضر والأزرق في لوحة البولكا المنقطة باللونين الأخضر والأزرق" إلى "ضع الحرف R مع خطوط خضراء وزرقاء" في المقلاة المنقطة باللونين الأخضر والأزرق."
ويزعم الباحثون أن هجوم إعادة الطور هذا كافٍ لتسبب فشل ذراع الروبوت في جهاز محاكاة VIMA-Bench عن طريق التقاط الجسم الخطأ ووضعه في المكان الخطأ.
تتضمن الهجمات القائمة على الإدراك إضافة ضوضاء إلى الصور أو تحويل الصور (على سبيل المثال تدويرها) في محاولة للتشويش على مهام الرؤية في التعامل مع LLM. وتضمنت الهجمات المختلطة التغيير السريع وتغيير الصورة.
وجد الباحثون أن هذه التقنيات تعمل بشكل جيد إلى حد ما. "على وجه التحديد، تظهر بياناتنا تدهورًا متوسطًا في الأداء بنسبة 21.2% في ظل الهجمات السريعة، ونسبة أكثر إثارة للقلق تبلغ 30.2% في ظل هجمات الإدراك"، كما يزعمون في ورقتهم البحثية. "تؤكد هذه النتائج الحاجة الماسة لاتخاذ تدابير مضادة قوية لضمان النشر الآمن والموثوق للأنظمة الروبوتية المتقدمة المستندة إلى LLM/VLM."
وبناء على النتائج التي توصلوا إليها، قدم الباحثون عدة اقتراحات. أولاً، يقولون إننا بحاجة إلى المزيد من المعايير لاختبار نماذج اللغة التي تستخدمها الروبوتات. ثانيًا، يجادلون بأن الروبوتات يجب أن تكون قادرة على طلب المساعدة من البشر عندما يكونون غير متأكدين من كيفية الاستجابة.
ثالثًا، يقولون إن الأنظمة الروبوتية المعتمدة على ماجستير إدارة الأعمال يجب أن تكون قابلة للتفسير والتفسير بدلاً من مكونات الصندوق الأسود. رابعاً، يحثون صانعي الروبوتات على تنفيذ استراتيجيات الكشف عن الهجمات والتنبيه بها. أخيرًا، يقترحون أن الاختبار والأمن يحتاجان إلى معالجة كل وضع إدخال للنموذج، سواء كان ذلك الرؤية أو الكلمات أو الصوت.
قال مانوتشا: "يبدو أن الصناعة تستثمر الكثير من الموارد في تطوير LLMs وVLMs واستخدامها في الروبوتات". "نشعر أنه من المهم توعيتهم بمخاوف السلامة التي تنشأ بالنسبة لتطبيقات الروبوتات. تعمل معظم هذه الروبوتات في العالم المادي. وكما تعلمنا من عملنا السابق في مجال القيادة الذاتية، فإن العالم المادي يمكن أن يكون لا يرحم، خاصة فيما يتعلق باستخدام تقنيات الذكاء الاصطناعي. لذلك من المهم أن نأخذ هذه القضايا بعين الاعتبار في تطبيقات الروبوتات. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 30
- 7
- a
- ماهرون
- من نحن
- استمر
- حسابي
- الإجراءات
- بنشاط
- مضيفا
- العنوان
- متقدم
- الخصومة
- مستحسن
- ضد
- عملاء
- قدما
- AI
- نماذج الذكاء الاصطناعى
- السماح
- سمح
- سابقا
- عمريت
- an
- و
- أي وقت
- واضح
- يبدو
- التطبيقات
- هي
- تجادل
- تنشأ
- أريزونا
- ARM
- مسلح
- AS
- تطلب
- مساعدين
- At
- مهاجمة
- الهجمات
- مستقل
- المتوسط
- علم
- على أساس
- BE
- قبل
- المعايير
- انحيازا
- اسود
- الأزرق
- بوسطن
- على حد سواء
- صندوق
- بريان
- لكن
- by
- كاليفورنيا
- تسمى
- CAN
- cars
- سبب
- الحذر
- متغير
- تهمة
- chatbot
- مطالبة
- CO
- تأتي
- تجاري
- مجتمع
- الشركات
- مكونات
- الكمبيوتر
- هندسة الكمبيوتر
- علوم الكمبيوتر
- اهتمامات
- ثابت
- التفكير
- تحادثي
- حرج
- زبون
- خدمة العملاء
- البيانات
- شرح
- نشر
- نشر
- كشف
- التطوير التجاري
- do
- المحلية
- فعل
- DOT
- قيادة
- دينامية
- e
- كل
- سهل
- تربوي
- جهد
- جهود
- البريد الإلكتروني
- تمكين
- الهندسة
- تعزيز
- كاف
- ضمان
- البيئات
- خاصة
- إلخ
- مثال
- شرح
- استكشاف
- يفشلون
- بإنصاف
- ردود الفعل
- شعور
- أخيرا
- النتائج
- الاسم الأول
- التركيز
- في حالة
- وجدت
- رابع
- الأطر
- تبدأ من
- إضافي
- GitHub جيثب:
- شراء مراجعات جوجل
- أخضر
- معالجة
- يحدث
- أجهزة التبخير
- يملك
- عنوان
- الرعاية الصحية
- مساعدة
- تسليط الضوء
- كيفية
- كيفية
- لكن
- HTTP
- HTTPS
- البشر
- توضيح
- صورة
- صور
- تنفيذ
- أهمية
- in
- دمج
- صناعي
- العالمية
- إدخال
- المؤسسات
- دمج
- دمج
- تفاعل
- إلى
- الاستثمار
- تنطوي
- المشاركة
- مسائل
- IT
- انها
- JPG
- مختبر
- لغة
- اسم العائلة
- العام الماضي
- قيادة
- تعلم
- تعلم
- خطاب
- مثل
- على الأرجح
- محدود
- LLM
- موقع
- الخدمات اللوجستية
- بحث
- الكثير
- آلة
- آلة التعلم
- صنع
- جعل
- صناع
- كثير
- ميريلاند
- مايو..
- ميكانيكي
- ميشيغان
- ربما
- معهد ماساتشوستس للتكنولوجيا
- مزيج
- مختلط
- موضة
- نموذج
- تصميم
- عارضات ازياء
- الأكثر من ذلك
- أكثر
- اقتراح
- خطوة
- طبيعي
- التنقل
- حاجة
- إحتياجات
- تسعة
- ضجيج
- موضوع
- واضح
- of
- on
- غير شفاف
- جاكيت
- المصدر المفتوح
- طريقة التوسع
- or
- لنا
- على مدى
- ورق
- الماضي
- فى المائة
- الإدراك
- نفذ
- أداء
- مادي
- اختيار
- المكان
- وضع
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- تتوقع
- برينستون
- قبل
- البروفيسور
- مشروع ناجح
- مطالبات
- وضع
- وضع
- R
- بدلا
- RE
- العالم الحقيقي
- الخدمة الموثوقة
- تقرير
- التقارير
- بحث
- والمؤسسات البحثية
- الباحثين
- الموارد
- الرد
- النتائج
- المخاطر
- محفوف بالمخاطر
- طريق
- رجل الالي
- الروبوتات
- الروبوتات
- قوي
- يجري
- تشغيل
- s
- خزنة
- السلامة
- قال
- قول
- علوم
- العلماء
- الثاني
- أمن
- بدا
- الخدمة
- ضبط
- عدة
- ينبغي
- محاكاة
- حالات
- So
- مصدر
- محدد
- على وجه التحديد
- تحدث
- بقعة
- استراتيجيات
- مجرى
- شريط
- شرائط
- عدد الطلبة
- اقترح
- أنظمة
- أخذ
- المهام
- تقنيات
- التكنولوجيا
- سياسة الحجب وتقييد الوصول
- تجربه بالعربي
- الاختبار
- من
- أن
- •
- من مشاركة
- منهم
- هناك.
- تشبه
- هم
- الأشياء
- ثلاثة
- عبر
- بعنوان
- إلى
- استغرق
- أدوات
- تحويل
- اثنان
- أنواع
- غير مؤكد
- مع
- أكد
- فهم
- جامعة
- مستعمل
- استخدام
- رؤيتنا
- بصري
- نقاط الضعف
- وكان
- waymo
- we
- حسن
- متى
- سواء
- التي
- مع
- كلمات
- للعمل
- عمل
- العالم
- سوف
- خاطئ
- wu
- عام
- سنوات
- موقع YouTube
- زفيرنت