מדעני מחשבים מאוניברסיטת מרילנד (UMD) ביקשו מיצרני הרובוטים לבצע מחקר בטיחות נוסף לפני חיבור מודלים של שפות וראייה לחומרה שלהם.
בהתחשב בזרם הקבוע של דיווחים על LLMs ו-VLMs מועדים לשגיאות, מוטים ואטומים במהלך השנה האחרונה, זה עשוי להיראות מובן מאליו שהצבת צ'אט בוט אחראי על זרוע מכנית או רובוט שמסתובב חופשי יהיה מהלך מסוכן.
אף על פי כן, קהילת הרובוטיקה, בלהיטותה לכאורה להמציא את ייסורים נקסוס, המשיכה במאמצים להתחתן עם LLMs/VLMs עם רובוטים. פרויקטים כמו של גוגל RT2 מודל חזון-פעולה-שפה, של אוניברסיטת מישיגן LLM-Grounder, ושל פרינסטון TidyBot להמחיש לאן הדברים הולכים - רומבה חמושה בסכין.
מתקן כזה עלה על דעתו בשנה שעברה בשנת א פרויקט מחקר לשון בלחי נקרא StabGPT [PDF], משלושה סטודנטים ב-MIT. אבל כבר יש לנו מכוניות Waymo על הכביש בקליפורניה ובאריזונה באמצעות MotionLM, אשר מנבא תנועה באמצעות טכניקות מודל שפה. ובוסטון דינמיקס התנסתה הוספת ChatGPT לרובוט הספוט שלו.
בהתחשב בריבוי של מודלים מסחריים וקוד פתוח רב-מודאליים שיכולים לקבל תמונות, צליל ושפה כקלט, צפויים להיות מאמצים רבים נוספים לשלב מודלים של שפה וראייה עם מערכות מכניות בשנים הבאות.
זהירות עשויה להיות מומלצת. תשעה מחוזות של אוניברסיטת מרילנד - Xiyang Wu, Ruiqi Xian, Tianrui Guan, Jing Liang, Souradip Chakraborty, Fuxiao Liu, Brian Sadler, Dinesh Manocha, Amrit Singh Bedi - הסתכלו על שלוש מסגרות מודל שפה המשמשות לרובוטים, לא יודע, VIMA ו Instruct2Act. הם גילו שיש צורך לבצע עבודת בטיחות נוספת לפני שיש לאפשר לרובוטים לפעול על מוחות המונעים על ידי LLM.
מסגרות אלו משלבות מודלים של למידת מכונה כמו GPT-3.5/4 ו-PaLM-2L כדי לאפשר לרובוטים לקיים אינטראקציה עם הסביבה שלהם ולבצע משימות ספציפיות המבוססות על פקודות מדוברות או בתבנית ועל משוב חזותי.
In נייר תחת הכותרת, "על דאגות הבטיחות של פריסת LLMs/VLMs ברובוטיקה: הדגשת הסיכונים והפגיעויות", מדווחים השותפים, "קל לתמרן או להטעות את פעולות הרובוט, מה שמוביל לסכנות בטיחותיות."
"חברות ומוסדות מחקר משלבים באופן פעיל LLMs ברובוטיקה, מתמקדים בשיפור סוכני שיחה ומאפשרים לרובוטים להבין ולנווט את העולם הפיזי באמצעות שפה טבעית, למשל שירות לקוחות, עוזרי בריאות, רובוטיקה ביתית, כלים חינוכיים, תעשייה ולוגיסטיקה וכו' ", הסביר דינש מנוכה, פרופסור למדעי המחשב והנדסת חשמל ומחשבים ב-UMD, באימייל אל הקופה.
חוקרי UMD חקרו שלושה סוגים של התקפות יריבות תוך שימוש בהנחיות, תפיסה ושילוב של השניים בסביבות מדומה. מנוצ'ה, לעומת זאת, אמר, "התקפות אלו אינן מוגבלות לכל תנאי מעבדה ויכולות להתרחש במצבים בעולם האמיתי".
דוגמה להתקפה המבוססת על הנחיה תהיה שינוי הפקודה עבור זרוע מכנית מכוונת שפה מ"הכנס את האות R עם הפס הירוק והכחול לתוך מחבת הנקודות הירוקה והכחולה" ל"הצב את האות R עם פסים ירוקים וכחולים לתוך מחבת הנקודות הירוקה והכחולה."
התקפת השלב מחדש הזו, טוענים החוקרים, מספיקה כדי לגרום לזרוע הרובוט בסימולטור VIMA-Bench להיכשל על ידי איסוף החפץ הלא נכון והצבתו במיקום הלא נכון.
התקפות מבוססות תפיסה כוללות הוספת רעש לתמונות או שינוי תמונות (למשל סיבובן) במאמץ לבלבל את משימות הראייה של ה-LLM. והתקפות מעורבות כללו גם שינוי מהיר וגם שינוי תמונה.
הבופינים מצאו שהטכניקות הללו עבדו די טוב. "באופן ספציפי, הנתונים שלנו מראים הידרדרות ממוצעת של ביצועים של 21.2% בהתקפות מיידיות ו-30.2% יותר מדאיג בהתקפות תפיסה", הם טוענים במאמרם. "תוצאות אלו מדגישות את הצורך הקריטי באמצעי נגד חזקים כדי להבטיח פריסה בטוחה ואמינה של המערכות הרובוטיות המתקדמות מבוססות LLM/VLM."
בהתבסס על ממצאיהם, החוקרים העלו מספר הצעות. ראשית, הם אומרים שאנחנו צריכים עוד אמות מידה כדי לבדוק את דגמי השפה המשמשים רובוטים. שנית, הם טוענים שרובוטים צריכים להיות מסוגלים לבקש עזרה מבני אדם כאשר הם לא בטוחים כיצד להגיב.
שלישית, הם אומרים שמערכות מבוססות LLM רובוטיות צריכות להיות ניתנות להסבר ולפירוש במקום רכיבי קופסה שחורה. רביעית, הם קוראים ליצרני רובוטים ליישם אסטרטגיות זיהוי והתרעה. לבסוף, הם מציעים שבדיקות ואבטחה צריכות להתייחס לכל מצב קלט של מודל, בין אם זה חזון, מילים או צליל.
"נראה שהתעשייה משקיעה משאבים רבים בפיתוח של LLMs ו-VLMs ומשתמשת בהם לרובוטיקה", אמר מנוצ'ה. "אנחנו מרגישים שחשוב לגרום להם להיות מודעים לחששות הבטיחות שעולים ליישומי רובוטיקה. רוב הרובוטים הללו פועלים בעולם הפיזי. כפי שלמדנו מעבודה קודמת בנהיגה אוטונומית, העולם הפיזי יכול להיות לא סלחן, במיוחד במונחים של שימוש בטכנולוגיות AI. אז חשוב לקחת בחשבון את הנושאים הללו עבור יישומי רובוטיקה." ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 30
- 7
- a
- יכול
- אודות
- לְקַבֵּל
- חֶשְׁבּוֹן
- פעולות
- באופן פעיל
- מוסיף
- כתובת
- מתקדם
- -
- רצוי
- נגד
- סוכנים
- קדימה
- AI
- דגמי AI
- להתיר
- מותר
- כְּבָר
- אמריט
- an
- ו
- כל
- לכאורה
- מופיע
- יישומים
- ARE
- לטעון
- לְהִתְעוֹרֵר
- אריזונה
- זרוע
- חמוש
- AS
- לשאול
- עוזרים
- At
- לתקוף
- המתקפות
- אוטונומי
- מְמוּצָע
- מודע
- מבוסס
- BE
- לפני
- מבחני ביצועים
- מְשׁוּחָד
- שחור
- כָּחוֹל
- בוסטון
- שניהם
- אריזה מקורית
- בריאן
- אבל
- by
- קליפורניה
- נקרא
- CAN
- מכוניות
- לגרום
- זהירות
- משתנה
- תשלום
- chatbot
- לטעון
- CO
- איך
- מסחרי
- קהילה
- חברות
- רכיבים
- המחשב
- הנדסת מחשבים
- מדעי מחשב
- דאגות
- קבוע
- מהורהר
- שיחה
- קריטי
- לקוח
- שירות לקוחות
- נתונים
- להפגין
- פריסה
- פריסה
- איתור
- צעצועי התפתחות
- do
- ביתי
- עשה
- נקודה
- נהיגה
- דינמיקה
- e
- כל אחד
- קל
- חינוך
- מאמץ
- מַאֲמָצִים
- אמייל
- מה שמאפשר
- הנדסה
- שיפור
- מספיק
- לְהַבטִיחַ
- סביבות
- במיוחד
- וכו '
- דוגמה
- מוסבר
- חקר
- FAIL
- למדי
- מָשׁוֹב
- להרגיש
- בסופו של דבר
- ממצאים
- ראשון
- התמקדות
- בעד
- מצא
- רביעית
- מסגרות
- החל מ-
- נוסף
- GitHub
- ירוק
- טיפול
- לקרות
- חומרה
- יש
- כותרת
- בריאות
- לעזור
- הדגשה
- איך
- איך
- אולם
- http
- HTTPS
- בני אדם
- להמחיש
- תמונה
- תמונות
- ליישם
- חשוב
- in
- בע"מ
- התעשייה
- תעשייה
- קלט
- מוסדות
- לשלב
- שילוב
- אינטראקציה
- אל תוך
- השקעה
- לערב
- מעורב
- בעיות
- IT
- שֶׁלָה
- jpg
- מעבדה
- שפה
- אחרון
- שנה שעברה
- מוביל
- למד
- למידה
- מכתב
- כמו
- סביר
- מוגבל
- LLM
- מיקום
- לוגיסטיקה
- נראה
- מגרש
- מכונה
- למידת מכונה
- עשוי
- לעשות
- קובעים
- רב
- מרילנד
- מאי..
- מֵכָנִי
- מישיגן
- יכול
- MIT
- לערבב
- מעורב
- מצב
- מודל
- דוגמנות
- מודלים
- יותר
- רוב
- תנועה
- המהלך
- טבעי
- נווט
- צורך
- צרכי
- תֵשַׁע
- רעש
- אובייקט
- ברור
- of
- on
- אטום
- לפתוח
- קוד פתוח
- להפעיל
- or
- שלנו
- יותר
- מאמר
- עבר
- אָחוּז
- תפיסה
- לְבַצֵעַ
- ביצועים
- גופני
- לקטוף
- מקום
- הַצָבָה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- תחזית
- פרינסטון
- קודם
- פרופסור
- פרויקטים
- הנחיות
- גם
- מכניס
- R
- במקום
- RE
- עולם אמיתי
- אָמִין
- לדווח
- דוחות לדוגמא
- מחקר
- מוסדות מחקר
- חוקרים
- משאבים
- להגיב
- תוצאות
- סיכונים
- מְסוּכָּן
- כביש
- רובוט
- רובוטיקה
- רובוטים
- חָסוֹן
- הפעלה
- ריצה
- s
- בטוח
- בְּטִיחוּת
- אמר
- לומר
- מדע
- מדענים
- שְׁנִיָה
- אבטחה
- נראה
- שרות
- הצבה
- כמה
- צריך
- מדמה
- מצבים
- So
- קול
- מָקוֹר
- ספציפי
- במיוחד
- דיבר
- מסחרי
- אסטרטגיות
- זרם
- פס
- פסים
- סטודנטים
- להציע
- מערכות
- לקחת
- משימות
- טכניקות
- טכנולוגיות
- מונחים
- מבחן
- בדיקות
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- שם.
- אלה
- הֵם
- דברים
- שְׁלוֹשָׁה
- דרך
- שכותרתו
- ל
- לקח
- כלים
- הפיכה
- שתיים
- סוגים
- לֹא בָּטוּחַ
- תחת
- מדגיש
- להבין
- אוניברסיטה
- מְשׁוּמָשׁ
- באמצעות
- חזון
- חזותי
- פגיעויות
- היה
- waymo
- we
- טוֹב
- מתי
- אם
- אשר
- עם
- מילים
- תיק עבודות
- עבד
- עוֹלָם
- היה
- טעות
- wu
- שנה
- שנים
- YouTube
- זפירנט