هل رأيت طفل غزال يتعلم المشي؟ يتدافع الظبي ، وهو في الأساس رجل ثديي طويل الأرجل ، إلى قدميه ، ويسقط ، ويقف ، ويسقط مرة أخرى. في النهاية ، يقف طويلاً بما يكفي لقلب ساقيه الشبيهة بعود الأسنان في سلسلة من السقوط القريب ... خطوات. بشكل مثير للدهشة ، بعد بضع دقائق من هذا العرض المحبب ، يقفز الظبي مثل المحترفين القدامى.
حسنًا ، لدينا الآن نسخة آلية من مشهد Serengeti الكلاسيكي هذا.
الظبي في هذه الحالة هو كلب آلي في جامعة كاليفورنيا ، بيركلي. وهو أيضًا متعلم سريع بشكل مدهش (مقارنة بباقي أنواع الروبوتات). يعتبر الروبوت أيضًا مميزًا لأنه ، على عكس الروبوتات الأخرى الأكثر بهرجة التي قد تكون شاهدتها على الإنترنت ، فإنه يستخدم الذكاء الاصطناعي لتعليم نفسه كيفية المشي.
يبدأ الروبوت على ظهره ، وهو يلوح بساقيه ، ويتعلم أن يقلب نفسه ويقف ويمشي في غضون ساعة. عشر دقائق أخرى من المضايقات بلفافة من الورق المقوى تكفي لتعليمها كيفية الصمود والتعافي من التعرض للدفع من قبل معالجيها.
إنها ليست المرة الأولى استخدم الروبوت الذكاء الاصطناعي لتعلم المشي. ولكن بينما تعلمت الروبوتات السابقة المهارة عن طريق التجربة والخطأ على عدد لا يحصى من التكرارات في المحاكاة ، تعلم روبوت بيركلي بالكامل في العالم الحقيقي.
[المحتوى جزءا لا يتجزأ]
في باقة ورقة نشرت على خادم arXiv قبل الطباعة ، يقول الباحثون - Danijar Hafner و Alejandro Escontrela و Philipp Wu - إن نقل الخوارزميات التي تعلمت في المحاكاة إلى العالم الحقيقي ليس بالأمر السهل. القليل من التفاصيل والاختلافات بين العالم الحقيقي والمحاكاة يمكن أن تتسبب في تعثر الروبوتات الوليدة. من ناحية أخرى ، فإن خوارزميات التدريب في العالم الحقيقي غير عملية: سوف يستغرق الأمر الكثير من الوقت والتلف.
قبل أربع سنوات ، على سبيل المثال ، عرضت شركة OpenAI يدًا آلية تعمل بالذكاء الاصطناعي يمكنها التلاعب بمكعب. احتاجت خوارزمية التحكم ، Dactyl ، إلى ما يقرب من 100 عام من الخبرة في محاكاة مدعومة بـ 6,144 وحدة معالجة مركزية و 8 وحدات معالجة رسومات Nvidia V100 لإنجاز هذه المهمة البسيطة نسبيًا. تقدمت الأمور منذ ذلك الحين ، لكن المشكلة لا تزال قائمة إلى حد كبير. تحتاج خوارزميات التعلم المعزز الخالص إلى الكثير من التجربة والخطأ لتعلم المهارات اللازمة لتدريبها في العالم الحقيقي. ببساطة ، فإن عملية التعلم ستكسر الباحثين و الروبوتات قبل إحراز أي تقدم ذي مغزى.
شرع فريق بيركلي في حل هذه المشكلة باستخدام خوارزمية تسمى Dreamer. بناء ما يسمى "النموذج العالمي، "يستطيع Dreamer توقع احتمالية أن يحقق الإجراء المستقبلي هدفه. مع الخبرة ، تتحسن دقة توقعاتها. من خلال تصفية الإجراءات الأقل نجاحًا مسبقًا ، يسمح النموذج العالمي للروبوت بمعرفة ما ينجح بشكل أكثر كفاءة.
كتب الباحثون: "تعلم نماذج العالم من التجارب السابقة تمكن الروبوتات من تخيل النتائج المستقبلية للإجراءات المحتملة ، مما يقلل من مقدار التجربة والخطأ في البيئة الحقيقية اللازمة لتعلم السلوكيات الناجحة". "من خلال التنبؤ بالنتائج المستقبلية ، تسمح النماذج العالمية بالتخطيط وتعلم السلوك مع توفير قدر ضئيل فقط من التفاعل في العالم الحقيقي."
بمعنى آخر ، يمكن للنموذج العالمي أن يقلل ما يعادل سنوات من وقت التدريب في المحاكاة إلى ما لا يزيد عن ساعة محرجة في العالم الحقيقي.
قد يكون لهذا النهج أهمية أكبر من الكلاب الآلية أيضًا. قام الفريق أيضًا بتطبيق Dreamer على ذراع آلية الالتقاط والمكان وروبوت بعجلات. في كلتا الحالتين ، وجدوا أن Dreamer سمح لروبوتاتهم بتعلم المهارات ذات الصلة بكفاءة ، دون الحاجة إلى وقت سيم. قد تتضمن التطبيقات المستقبلية الأكثر طموحًا سيارات ذاتية القيادة.
بالطبع ، لا تزال هناك تحديات يجب معالجتها. على الرغم من أن التعلم المعزز يقوم بأتمتة بعض الترميز اليدوي المعقد وراء الروبوتات الأكثر تقدمًا اليوم ، إلا أنه لا يزال يتطلب من المهندسين تحديد أهداف الروبوت وما يشكل النجاح - وهو تمرين يستغرق وقتًا طويلاً ومفتوح النهاية لبيئات العالم الحقيقي. أيضًا ، على الرغم من أن الروبوت نجا من تجارب الفريق هنا ، إلا أن التدريب الأطول على المهارات الأكثر تقدمًا قد يكون أكثر من اللازم بالنسبة للروبوتات المستقبلية للبقاء على قيد الحياة دون ضرر. يقول الباحثون إنه قد يكون من المفيد الجمع بين تدريب المحاكاة والتعلم السريع في العالم الحقيقي.
ومع ذلك ، فإن النتائج تقدم الذكاء الاصطناعي في الروبوتات خطوة أخرى. يعزز Dreamer الحالة القائلة بأن "التعلم المعزز سيكون أداة أساسية في مستقبل التحكم في الروبوتات" ، كما قال جوناثان هيرست ، أستاذ الروبوتات في جامعة ولاية أوريغون قال معهد ماساتشوستس للتكنولوجيا تكنولوجي ريفيو.
الصورة الائتمان: دانيجار هافنر / يوتيوب
