A kutatók a gépi tanulás rugalmasabb megközelítését fedezték fel

A mesterséges intelligencia kutatói számos sikert ünnepeltek neurális hálózatok, számítógépes programok, amelyek nagyjából utánozzák agyunk szervezetét. De a gyors fejlődés ellenére a neurális hálózatok viszonylag rugalmatlanok maradnak, és alig tudnak menet közben változni vagy alkalmazkodni az ismeretlen körülményekhez.

2020-ban a Massachusetts Institute of Technology két kutatója vezetett egy csoportot, amely bemutatta egy újfajta neurális hálózat valós intelligencia alapján – de nem a sajátunkon. Ehelyett az apró orsóféregtől merítettek ihletet, Caenorhabditis elegans, hogy létrehozzák az úgynevezett folyékony neurális hálózatokat. A tavalyi áttörést követően az új hálózatok már elég sokoldalúak lehetnek ahhoz, hogy bizonyos alkalmazásokban kiszorítsák hagyományos társaikat.

A folyékony neurális hálózatok „elegáns és kompakt alternatívát kínálnak” – mondta Ken Goldberg, a Berkeley-i Kaliforniai Egyetem robotikusa. Hozzátette: a kísérletek már azt mutatják, hogy ezek a hálózatok gyorsabban és pontosabban tudnak futni, mint más úgynevezett folyamatos idejű neurális hálózatok, amelyek idővel változó rendszereket modelleznek.

Ramin Hasani és a Mathias Lechner, az új dizájn mozgatórugói évekkel ezelőtt rájöttek, hogy C.elegans ideális organizmus lehet arra, hogy kitaláljuk, hogyan lehet rugalmas neurális hálózatokat létrehozni, amelyek képesek ellenállni a meglepetéseknek. A milliméter hosszú fenéketető azon kevés lények közé tartozik, amelyek teljesen feltérképezett idegrendszerrel rendelkeznek, és számos fejlett viselkedésre képes: mozogni, táplálékot találni, aludni, párosodni és még tanulni is a tapasztalatokból. „A valós világban él, ahol mindig változás történik, és szinte bármilyen körülmény között jól teljesít” – mondta Lechner.

Az alantas féreg iránti tisztelet elvezette őt és Hasanit az új folyékony hálózatukhoz, ahol minden idegsejtet egy egyenlet irányít, amely előrejelzi a viselkedését az idő múlásával. És ahogy a neuronok kapcsolódnak egymáshoz, ezek az egyenletek is függenek egymástól. A hálózat lényegében megoldja az összekapcsolt egyenletek teljes halmazát, lehetővé téve a rendszer állapotának egy adott pillanatban történő jellemzését – ami eltér a hagyományos neurális hálózatoktól, amelyek csak bizonyos időpillanatokban adják meg az eredményeket.

"[Ők] csak egy, két vagy három másodperc múlva tudják megmondani, mi történik" - mondta Lechner. „De egy olyan folyamatos idejű modell, mint a miénk, le tudja írni, mi történik 0.53 másodpercnél vagy 2.14 másodpercnél, vagy bármely más időpontban.

A folyékony hálózatok abban is különböznek, hogyan kezelik a szinapszisokat, a mesterséges neuronok közötti kapcsolatokat. Ezen kapcsolatok erőssége egy szabványos neurális hálózatban egyetlen számmal, annak súlyával fejezhető ki. A folyékony hálózatokban a neuronok közötti jelcsere valószínűségi folyamat, amelyet egy „nemlineáris” függvény irányít, ami azt jelenti, hogy a bemenetekre adott válaszok nem mindig arányosak. A bemenet megkétszerezése például sokkal nagyobb vagy kisebb eltolódást eredményezhet a kimenetben. Ez a beépített változékonyság az oka annak, hogy a hálózatokat „folyékonynak” nevezik. Egy neuron reakciója a kapott bemenettől függően változhat.

Míg a hagyományos hálózatok középpontjában álló algoritmusokat edzés közben állítják be, amikor ezeket a rendszereket adathalmazokkal táplálják a súlyuk legjobb értékeinek kalibrálása érdekében, a folyékony neurális hálók jobban alkalmazkodnak. "Képesek megváltoztatni a mögöttes egyenleteiket az általuk megfigyelt bemenet alapján", ami konkrétan megváltoztatja a neuronok reagálási sebességét. Daniela rus, az MIT Számítástechnikai és Mesterséges Intelligencia Laboratóriumának igazgatója.

Az egyik korai teszt ennek a képességnek a bemutatására egy autonóm autó kormányzásának kísérlete volt. Egy hagyományos neurális hálózat csak meghatározott időközönként tudta elemezni az autó kamerájából származó vizuális adatokat. A 19 neuronból és 253 szinapszisból álló folyékony hálózat (amely a gépi tanulás szabványai szerint kicsi) sokkal érzékenyebb. „Modellünk gyakrabban tud mintavételezni, például ha kanyargós az út” – mondta Rus, ennek és számos más, a folyékony hálózatokról szóló tanulmánynak a társszerzője.

A modell sikeresen tartotta az autót a pályán, de volt egy hibája, Lechner elmondta: "Nagyon lassú volt." A probléma a szinapszisokat és neuronokat reprezentáló nemlineáris egyenletekből ered – olyan egyenletek, amelyek általában nem oldhatók meg számítógépen végzett ismételt számítások nélkül, amelyek többszörös iteráción mennek keresztül, mielőtt végül konvergálnak a megoldáshoz. Ezt a feladatot általában a megoldónak nevezett dedikált szoftvercsomagokra delegálják, amelyeket minden szinapszisra és neuronra külön kell alkalmazni.

egy tavalyi papír, a csapat felfedett egy új folyékony neurális hálózatot, amely megkerülte ezt a szűk keresztmetszetet. Ez a hálózat ugyanilyen típusú egyenletekre támaszkodott, de a legfontosabb előrelépés Hasani felfedezése volt, miszerint ezeket az egyenleteket nem kell fáradságos számítógépes számításokkal megoldani. Ehelyett a hálózat működhetne egy szinte pontos, vagy „zárt formájú” megoldással, amely elvileg ceruzával és papírral is kidolgozható. Általában ezek a nemlineáris egyenletek nem tartalmaznak zárt formájú megoldásokat, de Hasani olyan közelítő megoldást talált, amely elég jó volt a használatra.

"A zárt formájú megoldás azt jelenti, hogy van egy egyenlete, amelyhez csatlakoztathatja a paramétereinek értékeit, és elvégezheti az alapvető matematikai műveleteket, és megkapja a választ" - mondta Rus. „Egyetlen lövés alatt megkapja a választ”, ahelyett, hogy hagyná, hogy a számítógép őröljön, amíg úgy nem dönti, hogy elég közel van. Ez csökkenti a számítási időt és energiát, és jelentősen felgyorsítja a folyamatot.

„Módszerük az, hogy több nagyságrenddel legyőzik a versenytársakat a pontosság feláldozása nélkül” – mondta Sayan Mitra, az Illinoisi Egyetem informatikusa, Urbana-Champaign.

Amellett, hogy gyorsabbak, Hasani elmondta, legújabb hálózataik szokatlanul stabilak is, ami azt jelenti, hogy a rendszer hatalmas bemeneteket tud kezelni anélkül, hogy tönkremenne. "A fő hozzájárulás itt az, hogy a stabilitást és más jó tulajdonságokat a puszta szerkezetük adja bele ezekbe a rendszerekbe" - mondta Sriram Sankaranarayanan, a Colorado Egyetem informatikusa, Boulder. Úgy tűnik, hogy a folyékony hálózatok az általa „édes helynek” nevezett helyen működnek: elég összetettek ahhoz, hogy érdekes dolgok történhessenek, de nem annyira bonyolultak, hogy kaotikus viselkedéshez vezessenek.

Az MIT csoport jelenleg egy autonóm légi drónon teszteli legújabb hálózatát. Noha a drónt erdőben való navigálásra képezték ki, áthelyezték Cambridge városi környezetébe, hogy lássák, hogyan kezeli az újszerű körülményeket. Lechner biztatónak nevezte az előzetes eredményeket.

A jelenlegi modell finomításán túl a csapat a hálózat architektúrájának fejlesztésén is dolgozik. Lechner szerint a következő lépés az, hogy kitaláljuk, hány vagy hány neuronra van szükségünk egy adott feladat elvégzéséhez. A csoport a neuronok összekapcsolásának optimális módját is szeretné kidolgozni. Jelenleg minden neuron minden más neuronhoz kapcsolódik, de ez nem így működik C.elegans, ahol a szinaptikus kapcsolatok szelektívebbek. A hengeres giliszta vezetékrendszerének további tanulmányozása révén azt remélik, hogy meghatározzák, hogy rendszerük mely neuronjait kell összekapcsolni.

Az olyan alkalmazásoktól eltekintve, mint az autonóm vezetés és a repülés, a folyékony hálózatok alkalmasnak tűnnek az elektromos hálózatok, a pénzügyi tranzakciók, az időjárás és egyéb, idővel ingadozó jelenségek elemzésére. Ezenkívül Hasani elmondta, hogy a folyékony hálózatok legújabb verziója felhasználható „olyan léptékű agyi aktivitás szimulációk végrehajtására, amelyek korábban nem valósíthatók meg”.

Mitra különösen érdekli ez a lehetőség. "Bizonyos értelemben ez költői, azt mutatja, hogy ez a kutatás a teljes körbe kerülhet" - mondta. "A neurális hálózatok olyan mértékben fejlődnek, hogy a természetből merített ötleteink hamarosan segíthetnek jobban megérteni a természetet."