ראית פעם תינוק צבי לומד ללכת? פרון, שהוא בעצם אבא יונק רגליים ארוכות, מתרוצץ על רגליו, נופל, עומד ושוב נופל. בסופו של דבר, הוא עומד מספיק זמן כדי לטלטל את רגליו דמויות קיסם השיניים לסדרה של נפילות כמעט... אהממ, צעדים. למרבה הפלא, כמה דקות אחרי התצוגה החביבה הזו, הפאון מקפץ כמו מקצוען ותיק.
ובכן, עכשיו יש לנו גרסת רובוט של סצינת הסרנגטי הקלאסית הזו.
הפונה במקרה הזה הוא כלב רובוטי באוניברסיטת קליפורניה, ברקלי. וזה גם לומד מהיר להפתיע (יחסית לשאר רובוטים). הרובוט מיוחד גם מכיוון שבניגוד לרובוטים מבריקים אחרים שאולי ראיתם באינטרנט, הוא משתמש בבינה מלאכותית כדי ללמד את עצמו ללכת.
החל על גבו, רגליים מתנופפות, הרובוט לומד להתהפך, לקום וללכת תוך שעה. מספיקות עשר דקות נוספות של הטרדה עם גליל קרטון כדי ללמד אותו איך לעמוד ולהתאושש מהדחף על ידי המטפלים בו.
זו לא הפעם הראשונה רובוט השתמש בבינה מלאכותית כדי ללמוד ללכת. אבל בעוד שרובוטים קודמים למדו את המיומנות בניסוי וטעייה על פני אינספור איטרציות בסימולציות, הבוט של ברקלי למד לחלוטין בעולם האמיתי.
[תוכן מוטבע]
ב מאמר שפורסם בשרת arXiv preprint, החוקרים - Danijar Hafner, Alejandro Escontrela ו- Philipp Wu - אומרים שהעברת אלגוריתמים שלמדו בסימולציה לעולם האמיתי אינה פשוטה. פרטים קטנים והבדלים בין העולם האמיתי לסימולציה יכולים להכשיל רובוטים צעירים. מצד שני, אימון אלגוריתמים בעולם האמיתי אינו מעשי: זה ייקח יותר מדי זמן ובלאי.
לפני ארבע שנים, למשל, הראתה OpenAI יד רובוטית המאפשרת AI שיכולה לתמרן קובייה. אלגוריתם הבקרה, Dactyl, נזקק לניסיון של כ-100 שנים בסימולציה המופעלת על ידי 6,144 מעבדים ו-8 Nvidia V100 GPUs כדי לבצע משימה פשוטה יחסית זו. דברים התקדמו מאז, אבל הבעיה נותרה בעינה. אלגוריתמי לימוד חיזוק טהורים צריכים יותר מדי ניסוי וטעייה כדי ללמוד מיומנויות כדי שיוכלו להתאמן בעולם האמיתי. במילים פשוטות, תהליך הלמידה ישבור את החוקרים ו רובוטים לפני ביצוע התקדמות משמעותית.
צוות ברקלי יצא לפתור בעיה זו באמצעות אלגוריתם בשם Dreamer. בניית מה שנקרא "מודל עולמי"דרימר יכול להקרין את ההסתברות שפעולה עתידית תשיג את מטרתה. עם הניסיון, הדיוק של תחזיותיו משתפר. על ידי סינון מראש של פעולות פחות מוצלחות, המודל העולמי מאפשר לרובוט להבין בצורה יעילה יותר מה עובד.
"לימוד מודלים של עולם מניסיון העבר מאפשר לרובוטים לדמיין את התוצאות העתידיות של פעולות פוטנציאליות, ולהפחית את כמות הניסוי והטעייה בסביבה האמיתית הדרושה ללימוד התנהגויות מוצלחות", כותבים החוקרים. "על ידי חיזוי תוצאות עתידיות, מודלים עולמיים מאפשרים תכנון ולמידה של התנהגות בהינתן כמויות קטנות בלבד של אינטראקציה בעולם האמיתי."
במילים אחרות, מודל עולמי יכול לצמצם את המקבילה של שנים של זמן אימון בסימולציה ללא יותר משעה מביכה בעולם האמיתי.
לגישה עשויה להיות רלוונטיות רחבה יותר גם מכלבי רובוט. הצוות גם החיל את Dreamer על זרוע רובוטית לבחירה ורובוט עם גלגלים. בשני המקרים, הם גילו שדרימר אפשרה לרובוטים שלהם ללמוד ביעילות מיומנויות רלוונטיות, ללא צורך בזמן סים. יישומים עתידיים שאפתניים יותר עשויים לכלול מכוניות ללא נהג.
כמובן, עדיין יש אתגרים להתמודד. למרות שלמידת החיזוק הופכת חלק מהקידוד הידני המורכב שמאחורי הרובוטים המתקדמים ביותר של ימינו, היא עדיין דורשת מהנדסים להגדיר את מטרות הרובוט ומה מהווה הצלחה - תרגיל שהוא גם גוזל זמן וגם פתוח עבור סביבות בעולם האמיתי. כמו כן, למרות שהרובוט שרד את הניסויים של הצוות כאן, אימון ארוך יותר על מיומנויות מתקדמות יותר עשוי להוכיח יותר מדי עבור בוטים עתידיים לשרוד ללא נזק. החוקרים אומרים שזה עשוי להיות פורה לשלב אימון סימולטור עם למידה מהירה בעולם האמיתי.
ובכל זאת, התוצאות מקדמות את הבינה המלאכותית ברובוטיקה שלב נוסף. דרימר מחזק את המקרה ש"למידת חיזוק תהיה כלי אבן יסוד בעתיד של בקרת רובוטים", ג'ונתן הרסט, פרופסור לרובוטיקה באוניברסיטת אורגון סטייט אמר לי MIT טכנולוגיה סקירה.
תמונת אשראי: Danijar Hafner / YouTube
