Ste že kdaj videli mladiča gazele, ki se je učil hoditi? Srneč, ki je v bistvu sesalski očka z dolgimi nogami, se dvigne na noge, pade, vstane in spet pade. Sčasoma stoji dovolj dolgo, da zamahne s svojimi zobotrebcem podobnimi nogami v vrsto skorajšnjih padcev ... hm, korakov. Presenetljivo je, da nekaj minut po tem prisrčnem prikazu mladiček skače naokoli kot stari profesionalec.
No, zdaj imamo robotsko različico te klasične scene iz Serengetija.
Srnjak je v tem primeru robotski pes na kalifornijski univerzi Berkeley. Prav tako se presenetljivo hitro uči (v primerjavi z ostalimi roboti). Robot je poseben tudi zato, ker za razliko od drugih bolj bleščečih robotov, ki ste jih morda videli na spletu, uporablja umetno inteligenco, da se nauči hoditi.
Robot začne na hrbtu, maha z nogami, v eni uri se nauči prevrniti, vstati in hoditi. Nadaljnjih deset minut nadlegovanja z zvitkom kartona je dovolj, da se nauči, kako zdržati in si opomore od porivanja s strani vodnikov.
Ni prvič robot je uporabil umetno inteligenco, da se je naučil hoditi. Toda medtem ko so se predhodni roboti spretnosti učili s poskusi in napakami v neštetih ponovitvah v simulacijah, se je bot Berkeley v celoti učil v resničnem svetu.
[Vgrajeni vsebina]
V objavljen prispevek na strežniku za prednatis arXiv raziskovalci – Danijar Hafner, Alejandro Escontrela in Philipp Wu – pravijo, da prenos algoritmov, ki so se jih naučili v simulaciji, v resnični svet ni preprost. Majhne podrobnosti in razlike med resničnim svetom in simulacijo lahko mlade robote spotaknejo. Po drugi strani pa je usposabljanje algoritmov v resničnem svetu nepraktično: vzelo bi preveč časa in bi se obrabilo.
Pred štirimi leti je na primer OpenAI pokazal robotsko roko z umetno inteligenco, ki lahko manipulira s kocko. Nadzorni algoritem, Dactyl, je potreboval približno 100 let izkušenj v simulaciji, ki jo je poganjalo 6,144 procesorjev in 8 grafičnih procesorjev Nvidia V100, da je izpolnil to relativno preprosto nalogo. Od takrat so stvari napredovale, vendar problem v veliki meri ostaja. Algoritmi za čisto ojačitveno učenje potrebujejo preveč poskusov in napak, da se naučijo spretnosti, da bi jih lahko urili v resničnem svetu. Preprosto povedano, učni proces bi raziskovalce zlomil in roboti, preden dosežejo smiseln napredek.
Ekipa Berkeley se je odločila rešiti ta problem z algoritmom, imenovanim Dreamer. Konstruiranje tega, kar se imenuje "svetovni model,« Sanjač lahko napove verjetnost, da bo prihodnje dejanje doseglo svoj cilj. Z izkušnjami se natančnost njegovih projekcij izboljša. Z vnaprejšnjim filtriranjem manj uspešnih dejanj svetovni model omogoča robotu, da učinkoviteje ugotovi, kaj deluje.
"Učenje svetovnih modelov iz preteklih izkušenj omogoča robotom, da si predstavljajo prihodnje rezultate potencialnih dejanj, kar zmanjša količino poskusov in napak v resničnem okolju, ki je potrebno za učenje uspešnega vedenja," pišejo raziskovalci. "Z napovedovanjem prihodnjih rezultatov svetovni modeli omogočajo načrtovanje in učenje vedenja glede na le majhne količine interakcije v resničnem svetu."
Z drugimi besedami, svetovni model lahko zmanjša ekvivalent let časa usposabljanja v simulaciji na največ eno neprijetno uro v resničnem svetu.
Pristop ima morda širši pomen kot robotski psi. Ekipa je Dreamer uporabila tudi za robotsko roko za pobiranje in namestitev in robota na kolesih. V obeh primerih so ugotovili, da Dreamer omogoča njihovim robotom, da se učinkovito naučijo ustreznih veščin, brez potrebe po simulacijskem času. Bolj ambiciozne prihodnje aplikacije lahko vključujejo samostojno vožnjo avtomobilov.
Seveda so še vedno izzivi, s katerimi se je treba spoprijeti. Čeprav okrepljeno učenje avtomatizira nekaj zapletenega ročnega kodiranja za današnjimi najnaprednejšimi roboti, še vedno zahteva, da inženirji definirajo robotove cilje in kaj predstavlja uspeh – vaja, ki je hkrati zamudna in odprta za okolja resničnega sveta. Tudi, čeprav je robot preživel eksperimente ekipe tukaj, se lahko daljše usposabljanje za naprednejše spretnosti izkaže za preveč, da bi bodoči roboti preživeli brez poškodb. Raziskovalci pravijo, da bi bilo morda koristno kombinirati usposabljanje na simulatorju s hitrim učenjem v resničnem svetu.
Kljub temu rezultati napredujejo AI v robotiki še korak naprej. Jonathan Hurst, profesor robotike na državni univerzi Oregon, Dreamer poudarja, da bo "okrepljeno učenje temeljno orodje v prihodnosti nadzora robotov". Rekel Pregled tehnologije MIT.
Kreditno slike: Danijar Hafner / YouTube
