Har du någonsin sett en gasellbebis lära sig gå? En fawn, som i grunden är en däggdjurspappa med långa ben, klättrar på fötterna, faller, står och faller igen. Så småningom står den tillräckligt länge för att svänga sina tandpetarliknande ben i en serie nära fall ... ahem, steg. Otroligt nog, några minuter efter denna förtjusande visning, hoppar fawn runt som ett gammalt proffs.
Nåväl, nu har vi en robotversion av denna klassiska Serengeti-scen.
Fawn i det här fallet är en robothund vid University of California, Berkeley. Och det är också en förvånansvärt snabb inlärning (i förhållande till resten av robot-typ). Roboten är också speciell eftersom den, till skillnad från andra flashigare robotar du kanske har sett på nätet, använder artificiell intelligens för att lära sig att gå.
Med början på rygg, med benen viftande, lär sig roboten att vända sig, ställa sig upp och gå på en timme. Ytterligare tio minuters trakasserier med en kartongrulle räcker för att lära den hur den ska stå emot och återhämta sig från att bli knuffad av sina förare.
Det är inte första gången en robot har använt artificiell intelligens för att lära sig gå. Men medan tidigare robotar lärde sig färdigheten genom att trial and error över otaliga iterationer i simuleringar, lärde sig Berkeley-boten helt och hållet i den verkliga världen.
[Inbäddat innehåll]
I en publicerat papper på arXiv preprint-servern säger forskarna – Danijar Hafner, Alejandro Escontrela och Philipp Wu – att det inte är enkelt att överföra algoritmer som har lärt sig i simulering till den verkliga världen. Små detaljer och skillnader mellan den verkliga världen och simulering kan snubbla upp spirande robotar. Å andra sidan är träningsalgoritmer i den verkliga världen opraktisk: det skulle ta för mycket tid och slitage.
För fyra år sedan, till exempel, visade OpenAI upp en AI-aktiverad robothand som kunde manipulera en kub. Kontrollalgoritmen, Dactyl, behövde cirka 100 års erfarenhet i en simulering som drivs av 6,144 8 processorer och 100 Nvidia VXNUMX GPU:er för att utföra denna relativt enkla uppgift. Saker och ting har gått framåt sedan dess, men problemet kvarstår till stor del. Rena förstärkningsinlärningsalgoritmer behöver för mycket försök och misstag för att lära sig färdigheter för att de ska kunna träna i den verkliga världen. Enkelt uttryckt skulle inlärningsprocessen knäcka forskare och robotar innan du gör några meningsfulla framsteg.
Berkeley-teamet satte sig för att lösa detta problem med en algoritm som heter Dreamer. Konstruera vad som kallas en "världsmodell" Dreamer kan projicera sannolikheten för att en framtida åtgärd kommer att uppnå sitt mål. Med erfarenhet förbättras noggrannheten i dess prognoser. Genom att filtrera bort mindre lyckade handlingar i förväg, låter världsmodellen roboten mer effektivt ta reda på vad som fungerar.
"Att lära sig världsmodeller från tidigare erfarenheter gör det möjligt för robotar att föreställa sig de framtida resultaten av potentiella åtgärder, vilket minskar mängden försök och misstag i den verkliga miljön som behövs för att lära sig framgångsrika beteenden", skriver forskarna. "Genom att förutsäga framtida utfall tillåter världsmodeller planering och beteendeinlärning givet endast små mängder verklig interaktion."
Med andra ord kan en världsmodell minska motsvarande år av träningstid i en simulering till inte mer än en besvärlig timme i den verkliga världen.
Tillvägagångssättet kan också ha större relevans än robothundar. Teamet applicerade också Dreamer på en plock-and-place robotarm och en hjulförsedd robot. I båda fallen fann de att Dreamer tillät deras robotar att effektivt lära sig relevanta färdigheter, ingen simtid krävdes. Mer ambitiösa framtida ansökningar kan inkludera själv köra bil.
Naturligtvis finns det fortfarande utmaningar att ta itu med. Även om förstärkningsinlärning automatiserar en del av den intrikata handkodningen bakom dagens mest avancerade robotar, kräver det fortfarande ingenjörer att definiera en robots mål och vad som utgör framgång – en övning som är både tidskrävande och öppen för verkliga miljöer. Även om roboten överlevde teamets experiment här, kan längre träning på mer avancerade färdigheter visa sig vara för mycket för framtida bots att överleva utan skada. Forskarna säger att det kan vara fruktbart att kombinera simulatorträning med snabb inlärning i verkligheten.
Ändå ger resultaten AI inom robotik ytterligare ett steg. Dreamer stärker argumentet att "förstärkningsinlärning kommer att vara ett hörnstensverktyg i framtiden för robotstyrning," Jonathan Hurst, professor i robotik vid Oregon State University berättade MIT Technology Review.
Image Credit: Danijar Hafner / YouTube
