Вы когда-нибудь видели, как детёныш газели учится ходить? Олененок, который в основном представляет собой длинноногого папу млекопитающего, вскакивает на ноги, падает, встает и снова падает. В конце концов, он стоит достаточно долго, чтобы размахивать своими похожими на зубочистки ногами в серии почти падений… гм, шагов. Удивительно, но через несколько минут после этого очаровательного представления олененок прыгает, как старый профессионал.
Что ж, теперь у нас есть роботизированная версия этой классической сцены Серенгети.
Олененок в данном случае — робот-собака из Калифорнийского университета в Беркли. И он также удивительно быстро учится (по сравнению с остальными роботами). Робот также особенный, потому что, в отличие от других более ярких роботов, которые вы, возможно, видели в Интернете, он использует искусственный интеллект, чтобы научиться ходить.
Начав на спину, размахивая ногами, робот учится переворачиваться, вставать и ходить за час. Еще десяти минут издевательств с рулоном картона достаточно, чтобы научить его выдерживать и восстанавливаться после того, как его дрессировщики помыкают.
Это не в первый раз Робот использовал искусственный интеллект, чтобы научиться ходить. Но в то время как предыдущие роботы обучались этому навыку путем проб и ошибок в ходе бесчисленных итераций моделирования, бот Беркли полностью обучался в реальном мире.
[Встраиваемое содержимое]
В опубликованная статья На сервере препринтов arXiv исследователи — Данияр Хафнер, Алехандро Эсконтрела и Филипп Ву — говорят, что перенести в реальный мир алгоритмы, полученные в ходе моделирования, непросто. Мелкие детали и различия между реальным миром и симуляцией могут сбить с толку начинающих роботов. С другой стороны, обучать алгоритмы в реальном мире нецелесообразно: это займет слишком много времени и износа.
Например, четыре года назад OpenAI продемонстрировала роботизированную руку с искусственным интеллектом, которая могла манипулировать кубом. Алгоритму управления, Dactyl, потребовался около 100 лет опыта моделирования на базе 6,144 процессоров и 8 графических процессоров Nvidia V100, чтобы выполнить эту относительно простую задачу. С тех пор дела пошли лучше, но проблема в основном остается. Алгоритмы обучения с чистым подкреплением требуют слишком много проб и ошибок, чтобы выучить навыки, чтобы тренироваться в реальном мире. Проще говоря, процесс обучения сломал бы исследователей. и роботов, прежде чем добиться какого-либо значимого прогресса.
Команда Беркли решила решить эту проблему с помощью алгоритма Dreamer. Создание так называемого «мировая модель” Мечтатель может спрогнозировать вероятность того, что будущее действие достигнет своей цели. С опытом точность его проекций улучшается. Заранее отфильтровывая менее успешные действия, модель мира позволяет роботу более эффективно определять, что работает.
«Изучение моделей мира на основе прошлого опыта позволяет роботам представлять будущие результаты потенциальных действий, уменьшая количество проб и ошибок в реальной среде, необходимых для обучения успешному поведению», — пишут исследователи. «Предсказывая будущие результаты, модели мира позволяют планировать и изучать поведение, учитывая лишь небольшое количество взаимодействия с реальным миром».
Другими словами, модель мира может сократить эквивалент лет обучения в симуляции до не более чем одного неудобного часа в реальном мире.
Этот подход может иметь более широкое значение, чем роботы-собаки. Команда также применила Dreamer к роботу-манипулятору и колесному роботу. В обоих случаях они обнаружили, что Dreamer позволяет их роботам эффективно изучать соответствующие навыки, не требуя времени на симуляцию. Более амбициозные будущие приложения могут включать самостоятельного вождения автомобилей.
Конечно, есть еще проблемы, которые нужно решать. Хотя обучение с подкреплением автоматизирует часть сложного ручного кодирования, лежащего в основе самых продвинутых современных роботов, оно по-прежнему требует от инженеров определения целей робота и того, что представляет собой успех — упражнение, которое отнимает много времени и не имеет ограничений для реальных сред. Кроме того, хотя робот пережил эксперименты команды здесь, более длительное обучение более продвинутым навыкам может оказаться слишком сложным для будущих ботов, чтобы выжить без повреждений. Исследователи говорят, что было бы полезно сочетать обучение на симуляторе с быстрым обучением в реальном мире.
Тем не менее, результаты продвигают ИИ в робототехнике еще на один шаг. Dreamer подтверждает, что «обучение с подкреплением станет краеугольным камнем в управлении роботами в будущем», — говорит Джонатан Херст, профессор робототехники в Университете штата Орегон. заявил MIT Technology Review.
Изображение Фото: Данияр Хафнер / YouTube
