Cercetătorii descoperă o abordare mai flexibilă a învățării automate

Cercetătorii în inteligența artificială au sărbătorit un șir de succese cu rețele neuronale, programe de calculator care imită aproximativ modul în care este organizat creierul nostru. Dar, în ciuda progresului rapid, rețelele neuronale rămân relativ inflexibile, cu o capacitate redusă de a se schimba din mers sau de a se adapta la circumstanțe nefamiliare.

În 2020, doi cercetători de la Institutul de Tehnologie din Massachusetts au condus o echipă care a prezentat un nou tip de rețea neuronală bazată pe inteligența din viața reală, dar nu pe a noastră. În schimb, s-au inspirat de la micul viermi rotunzi, Caenorhabditis elegans, pentru a produce ceea ce ei au numit rețele neuronale lichide. După o descoperire anul trecut, rețelele noi ar putea fi acum suficient de versatile pentru a înlocui omologii lor tradiționali pentru anumite aplicații.

Rețelele neuronale lichide oferă „o alternativă elegantă și compactă”, a spus Ken Goldberg, robotian la Universitatea din California, Berkeley. El a adăugat că experimentele arată deja că aceste rețele pot rula mai rapid și mai precis decât alte așa-numite rețele neuronale în timp continuu, care modelează sisteme care variază în timp.

Ramin Hasani și Mathias Lechner, forțele motrice din spatele noului design, și-au dat seama cu ani în urmă că C.elegans ar putea fi un organism ideal de folosit pentru a descoperi cum să faci rețele neuronale rezistente, care să găzduiască surpriza. Hrănitorul de jos, lung de milimetri, este printre puținele creaturi cu un sistem nervos complet cartografiat și este capabil de o serie de comportamente avansate: mișcare, găsire de hrană, dormit, împerechere și chiar învățare din experiență. „Trăiește în lumea reală, unde schimbarea are loc mereu și poate funcționa bine în aproape orice condiții,” a spus Lechner.

Respectul pentru viermele de jos l-a condus pe el și pe Hasani către noile lor rețele de lichide, unde fiecare neuron este guvernat de o ecuație care îi prezice comportamentul în timp. Și așa cum neuronii sunt legați între ei, aceste ecuații depind unul de celălalt. Rețeaua rezolvă în esență întregul ansamblu de ecuații legate, permițându-i să caracterizeze starea sistemului în orice moment - o abatere de la rețelele neuronale tradiționale, care dau rezultatele doar în anumite momente de timp.

„[Ei] vă pot spune ce se întâmplă doar la una, două sau trei secunde”, a spus Lechner. „Dar un model în timp continuu ca al nostru poate descrie ce se întâmplă la 0.53 secunde sau 2.14 secunde sau în orice alt moment pe care îl alegeți.”

Rețelele de lichide diferă și în modul în care tratează sinapsele, conexiunile dintre neuronii artificiali. Puterea acelor conexiuni într-o rețea neuronală standard poate fi exprimată printr-un singur număr, greutatea acestuia. În rețelele lichide, schimbul de semnale între neuroni este un proces probabilistic guvernat de o funcție „neliniară”, ceea ce înseamnă că răspunsurile la intrări nu sunt întotdeauna proporționale. O dublare a intrării, de exemplu, ar putea duce la o schimbare mult mai mare sau mai mică a ieșirii. Această variabilitate încorporată este motivul pentru care rețelele sunt numite „lichid”. Modul în care reacţionează un neuron poate varia în funcţie de intrarea pe care o primeşte.

În timp ce algoritmii din centrul rețelelor tradiționale sunt stabiliți în timpul antrenamentului, atunci când aceste sisteme sunt alimentate cu o mulțime de date pentru a calibra cele mai bune valori pentru greutățile lor, rețelele neuronale lichide sunt mai adaptabile. „Sunt capabili să-și schimbe ecuațiile de bază în funcție de intrarea pe care o observă”, modificând în mod special cât de repede răspund neuronii, a spus Daniela rus, directorul Laboratorului de Informatică și Inteligență Artificială al MIT.

Un test timpuriu pentru a demonstra această abilitate a implicat încercarea de a conduce o mașină autonomă. O rețea neuronală convențională ar putea analiza doar datele vizuale de la camera mașinii la intervale fixe. Rețeaua lichidă - constând din 19 neuroni și 253 de sinapse (făcând-o minusculă după standardele învățării automate) - ar putea fi mult mai receptiv. „Modelul nostru poate eșantiona mai frecvent, de exemplu atunci când drumul este întortocheat”, a spus Rus, coautor al acestei lucrări și al altor câteva lucrări despre rețelele lichide.

Modelul a menținut cu succes mașina pe drumul cel bun, dar avea un defect, a spus Lechner: „A fost foarte lent”. Problema a apărut din ecuațiile neliniare care reprezintă sinapsele și neuronii - ecuații care de obicei nu pot fi rezolvate fără calcule repetate pe un computer, care trece prin mai multe iterații înainte de a converge în cele din urmă către o soluție. Această sarcină este de obicei delegată unor pachete software dedicate numite soluții, care ar trebui aplicate separat fiecărei sinapse și neuron.

Într-o hârtie anul trecut, echipa a dezvăluit o nouă rețea neuronală lichidă care a ocolit acest blocaj. Această rețea s-a bazat pe același tip de ecuații, dar progresul cheie a fost descoperirea lui Hasani că aceste ecuații nu trebuiau rezolvate prin calcule dificile pe computer. În schimb, rețeaua ar putea funcționa folosind o soluție aproape exactă, sau „în formă închisă”, care ar putea, în principiu, să fie elaborată cu creion și hârtie. De obicei, aceste ecuații neliniare nu au soluții în formă închisă, dar Hasani a găsit o soluție aproximativă care a fost suficient de bună pentru a fi folosită.

„Având o soluție în formă închisă înseamnă că aveți o ecuație pentru care puteți introduce valorile parametrilor ei și puteți face matematica de bază și obțineți un răspuns”, a spus Rus. „Primiți un răspuns într-o singură lovitură”, în loc să lăsați un computer să se apropie până când decide că este suficient de aproape. Acest lucru reduce timpul și energia de calcul, accelerând procesul considerabil.

„Metoda lor învinge concurența cu mai multe ordine de mărime, fără a sacrifica acuratețea”, a spus Sayan Mitra, un informatician la Universitatea din Illinois, Urbana-Champaign.

Pe lângă faptul că sunt mai rapide, a spus Hasani, cele mai noi rețele ale lor sunt, de asemenea, neobișnuit de stabile, ceea ce înseamnă că sistemul poate gestiona intrări enorme fără a se deranja. „Contribuția principală aici este că stabilitatea și alte proprietăți frumoase sunt incluse în aceste sisteme prin structura lor pură”, a spus Sriram Sankaranarayanan, un informatician la Universitatea din Colorado, Boulder. Rețelele lichide par să funcționeze în ceea ce el a numit „punctul favorabil: sunt suficient de complexe pentru a permite lucruri interesante să se întâmple, dar nu atât de complexe încât să conducă la un comportament haotic”.

În acest moment, grupul MIT își testează cea mai recentă rețea pe o dronă aeriană autonomă. Deși drona a fost antrenată să navigheze într-o pădure, au mutat-o ​​în mediul urban din Cambridge pentru a vedea cum se descurcă în condiții noi. Lechner a numit rezultatele preliminare încurajatoare.

Dincolo de rafinarea modelului actual, echipa lucrează și la îmbunătățirea arhitecturii rețelei. Următorul pas, a spus Lechner, „este să ne dăm seama de câți sau de câți neuroni avem nevoie de fapt pentru a îndeplini o anumită sarcină”. De asemenea, grupul dorește să elaboreze o modalitate optimă de conectare a neuronilor. În prezent, fiecare neuron se leagă de orice alt neuron, dar nu așa funcționează C.elegans, unde conexiunile sinaptice sunt mai selective. Prin studii suplimentare ale sistemului de cablare al viermilor rotunzi, ei speră să determine ce neuroni din sistemul lor ar trebui să fie cuplati.

În afară de aplicații precum conducerea autonomă și zborul, rețelele lichide par bine potrivite pentru analiza rețelelor de energie electrică, tranzacții financiare, vreme și alte fenomene care fluctuează în timp. În plus, a spus Hasani, cea mai recentă versiune a rețelelor lichide poate fi folosită „pentru a efectua simulări ale activității creierului la o scară nerealizată înainte”.

Mitra este deosebit de intrigat de această posibilitate. „Într-un fel, este un fel de poetic, arătând că această cercetare s-ar putea să se finalizeze”, a spus el. „Rețelele neuronale se dezvoltă până în punctul în care chiar ideile pe care le-am extras din natură ne pot ajuta în curând să înțelegem natura mai bine.”