Raziskovalci odkrivajo bolj prilagodljiv pristop k strojnemu učenju

Raziskovalci umetne inteligence so proslavili niz uspehov z nevronske mreže, računalniški programi, ki približno posnemajo, kako so organizirani naši možgani. Toda kljub hitremu napredku ostajajo nevronske mreže relativno neprilagodljive, z malo zmožnostjo spreminjanja na letenju ali prilagajanja neznanim okoliščinam.

Leta 2020 sta dva raziskovalca na Tehnološkem inštitutu Massachusetts vodila ekipo, ki je predstavila novo vrsto nevronske mreže temelji na inteligenci iz resničnega življenja - vendar ne naši lastni. Namesto tega so črpali navdih iz majhnega okroglega črva, Caenorhabditis elegans, za izdelavo tako imenovanih tekočih nevronskih mrež. Po lanskem preboju so nova omrežja morda zdaj dovolj vsestranska, da bodo za nekatere aplikacije nadomestila tradicionalna omrežja.

Tekoče nevronske mreže ponujajo "elegantno in kompaktno alternativo", je dejal Ken Goldberg, robotik na kalifornijski univerzi Berkeley. Dodal je, da poskusi že kažejo, da lahko ta omrežja delujejo hitreje in natančneje kot druge tako imenovane nevronske mreže z neprekinjenim časom, ki modelirajo sisteme, ki se spreminjajo skozi čas.

Ramin Hasani in Mathias Lechner, gonilo novega dizajna, je pred leti spoznal, da C.elegans bi lahko bil idealen organizem za odkrivanje, kako narediti prožne nevronske mreže, ki se lahko prilagodijo presenečenjem. Milimeter dolg spodnji hranilec je med redkimi bitji s popolnoma razčlenjenim živčnim sistemom in je sposoben vrste naprednih vedenj: premikanja, iskanja hrane, spanja, parjenja in celo učenja iz izkušenj. "Živi v resničnem svetu, kjer se spremembe vedno dogajajo, in se lahko dobro obnese v skoraj vseh pogojih," je dejal Lechner.

Spoštovanje do skromnega črva ga je s Hasanijem pripeljalo do njunih novih tekočih mrež, kjer vsak nevron ureja enačba, ki napoveduje njegovo vedenje skozi čas. In tako kot so nevroni med seboj povezani, so te enačbe odvisne ena od druge. Omrežje v bistvu rešuje celotno skupino povezanih enačb, kar mu omogoča, da označi stanje sistema v danem trenutku – odmik od tradicionalnih nevronskih mrež, ki dajejo rezultate samo v določenih trenutkih.

"[Oni] vam lahko povedo, kaj se dogaja šele v eni, dveh ali treh sekundah," je dejal Lechner. "Toda model z neprekinjenim časom, kot je naš, lahko opiše, kaj se dogaja pri 0.53 sekunde ali 2.14 sekunde ali katerem koli drugem času, ki ga izberete."

Tekoča omrežja se razlikujejo tudi po tem, kako obravnavajo sinapse, povezave med umetnimi nevroni. Moč teh povezav v standardni nevronski mreži je mogoče izraziti z eno samo številko, njeno težo. V tekočih omrežjih je izmenjava signalov med nevroni verjetnostni proces, ki ga ureja "nelinearna" funkcija, kar pomeni, da odzivi na vnose niso vedno sorazmerni. Podvojitev vnosa, na primer, bi lahko povzročila veliko večji ali manjši premik v izhodu. Ta vgrajena variabilnost je razlog, zakaj se omrežja imenujejo "tekoča". Način, kako se nevron odzove, se lahko razlikuje glede na vnos, ki ga prejme.

Medtem ko so algoritmi v središču tradicionalnih omrežij nastavljeni med usposabljanjem, so tekoče nevronske mreže bolj prilagodljive, ko se ti sistemi napajajo s kopicami podatkov za umerjanje najboljših vrednosti za njihove uteži. "Lahko spremenijo svoje temeljne enačbe na podlagi vnosa, ki ga opazujejo," zlasti spremenijo, kako hitro se nevroni odzivajo, je dejal Daniela rus, direktor Laboratorija za računalništvo in umetno inteligenco MIT.

Eden zgodnjih testov za predstavitev te sposobnosti je vključeval poskus krmiljenja avtonomnega avtomobila. Običajna nevronska mreža je lahko analizirala samo vizualne podatke iz avtomobilske kamere v določenih intervalih. Tekoča mreža – sestavljena iz 19 nevronov in 253 sinaps (zaradi česar je majhna po standardih strojnega učenja) – bi lahko bila veliko bolj odziven. "Naš model lahko vzorči pogosteje, na primer, ko je cesta zavita," je dejal Rus, soavtor tega in več drugih člankov o tekočih omrežjih.

Model je uspešno držal avto na pravi poti, vendar je imel eno napako, je dejal Lechner: "Bil je res počasen." Težava je izhajala iz nelinearnih enačb, ki predstavljajo sinapse in nevrone - enačb, ki jih običajno ni mogoče rešiti brez ponavljajočih se izračunov na računalniku, ki gre skozi več iteracij, preden se končno konvergira k rešitvi. To delo je običajno dodeljeno namenskim programskim paketom, imenovanim reševalci, ki bi jih bilo treba uporabiti ločeno za vsako sinapso in nevron.

V papir lani, je ekipa razkrila novo tekočo nevronsko mrežo, ki je obšla to ozko grlo. To omrežje je temeljilo na isti vrsti enačb, vendar je bil ključni napredek Hasanijevo odkritje, da teh enačb ni bilo treba reševati z napornimi računalniškimi izračuni. Namesto tega bi lahko omrežje delovalo z uporabo skoraj natančne ali "zaprte oblike" rešitve, ki bi jo načeloma lahko izdelali s svinčnikom in papirjem. Običajno te nelinearne enačbe nimajo rešitev zaprte oblike, vendar je Hasani našel približno rešitev, ki je bila dovolj dobra za uporabo.

"Imeti rešitev zaprte oblike pomeni, da imate enačbo, za katero lahko vključite vrednosti njenih parametrov in izvedete osnovno matematiko, in dobite odgovor," je dejal Rus. "Odgovor dobite v enem samem posnetku," namesto da bi pustili računalniku, da melje stran, dokler se ne odloči, da je dovolj blizu. To zmanjša računski čas in energijo ter znatno pospeši proces.

"Njihova metoda premaga konkurenco za več vrst velikosti, ne da bi pri tem žrtvovala natančnost," je dejal Sayan Mitra, računalniški znanstvenik na Univerzi Illinois, Urbana-Champaign.

Poleg tega, da so hitrejša, je dejal Hasani, so njihova najnovejša omrežja tudi neobičajno stabilna, kar pomeni, da lahko sistem prenese ogromne vnose, ne da bi se zapletlo. "Glavni prispevek tukaj je, da so stabilnost in druge lepe lastnosti vpete v te sisteme zaradi njihove čiste strukture," je dejal Sriram Sankaranarayanan, računalniški znanstvenik na univerzi Colorado, Boulder. Zdi se, da tekoča omrežja delujejo na tem, kar je imenoval "sladka točka": so dovolj zapletena, da omogočajo zanimive stvari, vendar niso tako zapletena, da bi vodila v kaotično vedenje.

Trenutno skupina MIT preizkuša svoje najnovejše omrežje na avtonomnem zračnem dronu. Čeprav je bil dron usposobljen za navigacijo v gozdu, so ga premaknili v urbano okolje Cambridgea, da bi videli, kako se spopada z novimi pogoji. Lechner je predhodne rezultate označil za spodbudne.

Poleg izpopolnjevanja trenutnega modela si ekipa prizadeva tudi za izboljšanje arhitekture svojega omrežja. Naslednji korak, je dejal Lechner, "je ugotoviti, koliko ali koliko nevronov dejansko potrebujemo za izvedbo določene naloge." Skupina želi oblikovati tudi optimalen način povezovanja nevronov. Trenutno je vsak nevron povezan z vsakim drugim nevronom, vendar to ne deluje tako C.elegans, kjer so sinaptične povezave bolj selektivne. Z nadaljnjimi študijami sistema ožičenja valjastih črvov upajo, da bodo ugotovili, katere nevrone v njihovem sistemu je treba povezati skupaj.

Poleg aplikacij, kot sta avtonomna vožnja in let, se tekoča omrežja zdijo zelo primerna za analizo elektroenergetskih omrežij, finančnih transakcij, vremena in drugih pojavov, ki nihajo skozi čas. Poleg tega je Hasani dejal, da se najnovejša različica tekočih omrežij lahko uporablja "za izvajanje simulacij možganske aktivnosti v obsegu, ki ga prej ni bilo mogoče izvesti."

Ta možnost še posebej zanima Mitra. "Na nek način je nekako poetično, saj kaže, da se ta raziskava morda konča," je dejal. "Nevronske mreže se razvijajo do te mere, da nam lahko same ideje, ki smo jih črpali iz narave, kmalu pomagajo bolje razumeti naravo."