Oletko koskaan nähnyt gasellivauvan oppivan kävelemään? Vasara, joka on pohjimmiltaan pitkäjalkainen nisäkäs isä, rypistyy jaloilleen, kaatuu, seisoo ja kaatuu uudelleen. Lopulta se seisoo riittävän pitkään räjäyttääkseen hammastikkuja muistuttavia jalkojaan sarjaan lähellä putoamista… heh, askeleita. Hämmästyttävää kyllä, muutama minuutti tämän ihastuttavan esityksen jälkeen vasara hyppää ympäriinsä kuin vanha ammattilainen.
No, nyt meillä on robottiversio tästä klassisesta Serengetin kohtauksesta.
Fawn tässä tapauksessa on robottikoira Kalifornian yliopistossa Berkeleyssä. Ja se on myös yllättävän nopea oppija (verrattuna muuhun robottityyppiin). Robotti on myös erityinen, koska toisin kuin muut verkossa näkemäsi kirkkaammat robotit, se käyttää tekoälyä kävelemiseen.
Selällään ja jalat heiluttaen robotti oppii kääntymään, seisomaan ja kävelemään tunnissa. Kymmenen minuuttia lisää pahvirullaa häirintää riittää opettamaan sille, kuinka se kestää ja toipuu ohjaajien työntämisestä.
Se ei ole ensimmäinen kerta robotti on oppinut kävelemään tekoälyn avulla. Mutta vaikka aikaisemmat robotit oppivat taidon yrityksen ja erehdyksen avulla useiden simulaatioiden iteraatioiden kautta, Berkeley-botti oppi kokonaan todellisessa maailmassa.
[Upotetun sisällön]
Jonkin sisällä julkaistu arXiv preprint -palvelimella tutkijat – Danijar Hafner, Alejandro Escontrela ja Philipp Wu – sanovat, että simuloinnissa opittujen algoritmien siirtäminen todelliseen maailmaan ei ole yksinkertaista. Pienet yksityiskohdat ja erot todellisen maailman ja simulaation välillä voivat saada aloittelevia robotteja. Toisaalta harjoitusalgoritmit todellisessa maailmassa ovat epäkäytännöllisiä: se veisi liikaa aikaa ja kuluisi.
Esimerkiksi neljä vuotta sitten OpenAI esitteli tekoälyllä toimivaa robottikättä, joka pystyi manipuloimaan kuutiota. Ohjausalgoritmi, Dactyl, tarvitsi noin 100 vuoden kokemuksen simuloinnista, jossa oli 6,144 8 CPU:ta ja 100 Nvidia VXNUMX GPU:ta tämän suhteellisen yksinkertaisen tehtävän suorittamiseksi. Asiat ovat edenneet sen jälkeen, mutta ongelma on suurelta osin edelleen olemassa. Puhtaat vahvistusoppimisalgoritmit vaativat liikaa yritystä ja erehdystä oppiakseen taitoja voidakseen harjoitella todellisessa maailmassa. Yksinkertaisesti sanottuna oppimisprosessi rikkoisi tutkijat ja robotteja ennen merkittävää edistystä.
Berkeley-tiimi päätti ratkaista tämän ongelman Dreamer-nimisellä algoritmilla. Rakentaa niin sanottua "maailman malli”, Dreamer voi ennakoida todennäköisyyttä, että tuleva toiminta saavuttaa tavoitteensa. Kokemuksen myötä sen ennusteiden tarkkuus paranee. Suodattamalla vähemmän onnistuneet toiminnot etukäteen, maailmanmalli antaa robotille mahdollisuuden selvittää tehokkaammin, mikä toimii.
"Maailmamallien oppiminen aikaisemman kokemuksen perusteella antaa roboteille mahdollisuuden kuvitella mahdollisten toimien tulevaisuuden tuloksia, mikä vähentää yrityksen ja erehdyksen määrää todellisessa ympäristössä, jota tarvitaan onnistuneen käyttäytymisen oppimiseen", tutkijat kirjoittavat. "Ennustamalla tulevia tuloksia maailmanmallit mahdollistavat suunnittelun ja käyttäytymisen oppimisen, kun otetaan huomioon vain pienet määrät reaalimaailman vuorovaikutusta."
Toisin sanoen maailmanmalli voi lyhentää simulaation vuosien harjoitteluajan vain kiusalliseen tuntiin todellisessa maailmassa.
Lähestymistavalla voi olla laajempi merkitys kuin myös robottikoirilla. Tiimi sovelsi Dreameria myös poiminta- ja paikka-robottikäsivarteen ja pyörillä varustettuun robottiin. Molemmissa tapauksissa he havaitsivat, että Dreamer antoi robottiensa oppia tehokkaasti asiaankuuluvia taitoja ilman sim-aikaa. Tulevaisuuden kunnianhimoisempia sovelluksia voivat olla itse ajaa autoa.
Tietysti haasteita on vielä ratkaistava. Vaikka vahvistusoppiminen automatisoi osan monimutkaisista käsinkoodauksista nykypäivän edistyneimpien robottien takana, se vaatii silti insinöörejä määrittelemään robotin tavoitteet ja sen, mikä on menestys – harjoitus, joka on sekä aikaa vievää että avointa tosielämän ympäristöissä. Lisäksi, vaikka robotti selviytyi joukkueen kokeista täällä, pidempi harjoittelu edistyneemmillä taidoilla voi osoittautua liian raskaaksi, jotta tulevat robotit selviäisivät ilman vaurioita. Tutkijoiden mukaan saattaa olla hedelmällistä yhdistää simulaattorikoulutus nopeaan tosielämän oppimiseen.
Silti tulokset edistävät tekoälyä robotiikassa toisen askeleen. Dreamer vahvistaa väitettä, että "vahvistusoppiminen tulee olemaan robotin ohjauksen tulevaisuuden kulmakivi", Jonathan Hurst, robotiikan professori Oregon State Universitystä kertoi MIT-teknologian katsaus.
Kuva pistetilanne: Danijar Hafner / YouTube
