Arusaamine, kuidas aju ruumiinfot korraldab ja sellele juurde pääseb – kus me oleme, mis on nurga taga, kuidas sinna jõuda – on endiselt suurepärane väljakutse. Protsess hõlmab terve mälestuste võrgustiku ja salvestatud ruumiandmete meenutamist kümnetelt miljarditelt neuronitelt, millest igaüks on ühendatud tuhandete teistega. Neuroteadlased on tuvastanud sellised põhielemendid nagu võrgurakud, neuronid, mis kaardistavad asukohti. Kuid süvenemine osutub keeruliseks: teadlased ei saa eemaldada ja uurida inimese hallollust, et jälgida, kuidas asukohapõhised mälestused piltidest, helidest ja lõhnadest läbi voolavad ja üksteisega ühenduvad.
Tehisintellekt pakub veel ühe sissepääsu. Neuroteadlased on aastaid kasutanud mitut tüüpi närvivõrke – mootoreid, mis toidavad enamikku süvaõppe rakendusi –, et modelleerida neuronite süttimist ajus. Hiljutises töös on teadlased näidanud, et hipokampus, mälu jaoks kriitiline aju struktuur, on põhimõtteliselt eriline närvivõrk, mida nimetatakse trafo, maskeeritud. Nende uus mudel jälgib ruumiteavet viisil, mis on paralleelne aju sisemise tööga. Nad on näinud märkimisväärset edu.
"Asjaolu, et me teame, et need ajumudelid on samaväärsed trafoga, tähendab, et meie mudelid töötavad palju paremini ja neid on lihtsam treenida," ütles ta. James Whittington, kognitiivne neuroteadlane, kes jagab oma aja Stanfordi ülikooli ja labori vahel Tim Behrens Oxfordi ülikoolis.
Whittingtoni ja teiste uuringud viitavad sellele, et trafod võivad oluliselt parandada närvivõrgu mudelite võimet jäljendada võrgurakkude ja muude ajuosade arvutusi. Whittington ütles, et sellised mudelid võivad meie arusaama sellest, kuidas kunstlikud närvivõrgud töötavad, ja veelgi tõenäolisemalt, kuidas ajus arvutusi tehakse.
"Me ei ürita aju uuesti luua," ütles David Ha, Google Braini arvutiteadlane, kes töötab ka trafomudelite kallal. "Aga kas me saame luua mehhanismi, mis suudab teha seda, mida aju teeb?"
Transformerid ilmusid esmakordselt viis aastat tagasi kui uus viis AI-le keele töötlemiseks. Need on salakaste sellistes pealkirju haaravates lauselõpetamisprogrammides nagu BERT ja GPT-3, mis suudab luua veenvaid laulusõnu, koostada Shakespeare'i sonette ja kehastada klienditeenindajaid.
Trafod töötavad mehhanismi abil, mida nimetatakse enesetähelepanuks, mille puhul iga sisend – sõna, piksel, arv järjestuses – on alati ühendatud iga teise sisendiga. (Teised närvivõrgud ühendavad sisendeid ainult teatud muude sisenditega.) Kuigi trafod olid mõeldud keeleülesannete jaoks, on nad sellest ajast peale silma paistnud muude ülesannete, näiteks piltide klassifitseerimise ja nüüd ka aju modelleerimisega.
2020. aastal rühm, mida juhib Sepp Hochreiter, Austria Linzi Johannes Kepleri ülikooli arvutiteadlane, kasutas trafot võimsa ja kauaaegse mäluotsingu mudeli, mida nimetatakse Hopfieldi võrguks, ümbertöötlemiseks. Esmakordselt 40 aastat tagasi Princetoni füüsiku John Hopfieldi poolt kasutusele võetud võrgud järgivad üldreeglit: samal ajal aktiivsed neuronid loovad üksteisega tugevaid sidemeid.
Hochreiter ja tema kaastöötajad, märkides, et teadlased on otsinud paremaid mälu otsimise mudeleid, nägid seost selle vahel, kuidas Hopfieldi võrgud mälestusi toovad ja kuidas trafod tähelepanu juhivad. Nad uuendasid Hopfieldi võrku, muutes selle sisuliselt trafoks. See muudatus võimaldas mudelil salvestada ja hankida rohkem mälestusi tõhusamate ühenduste tõttu, ütles Whittington. Hopfield ise koos Dmitri Krotoviga MIT-IBM Watson AI Labis tõestas, et trafol põhinev Hopfieldi võrk on bioloogiliselt usutav.
Seejärel varem sel aastal, Whittington ja Behrens aitasid Hochreiteri lähenemisviisi veelgi kohandada, muutes transformaatorit nii, et selle asemel, et käsitleda mälestusi lineaarse jadana – nagu sõnade jada lauses – kodeeris see need koordinaatidena kõrgema mõõtmega ruumides. See "pööre", nagu teadlased seda nimetasid, parandas veelgi mudeli jõudlust neuroteaduslike ülesannete täitmisel. Samuti näitasid nad, et mudel oli matemaatiliselt samaväärne võrerakkude põletusmustrite mudelitega, mida neuroteadlased näevad fMRI-skaneeringutes.
"Võrgurakkudel on selline põnev, ilus, korrapärane struktuur ja silmatorkavate mustritega, mis tõenäoliselt juhuslikult ei ilmu," ütles Londoni ülikooli kolledži neuroteadlane Caswell Barry. Uus töö näitas, kuidas trafod kordavad täpselt hipokampuses täheldatud mustreid. "Nad mõistsid, et trafo suudab eelmiste olekute põhjal välja selgitada, kus see asub ja kuidas seda liigutatakse, ning viisil, mis on sisestatud traditsioonilistesse võrgurakkude mudelitesse."
Teised hiljutised tööd näitavad, et trafod võivad edendada meie arusaamist ka muudest ajufunktsioonidest. Eelmisel aastal tegi Massachusettsi Tehnoloogiainstituudi arvutuslik neuroteadlane Martin Schrimpf analüüsis 43 erinevat närvivõrgu mudelit et näha, kui hästi nad ennustasid fMRI ja elektrokortikograafia andmetel inimese närvitegevuse mõõtmisi. Ta leidis, et transformaatorid on praegused juhtivad nüüdisaegsed närvivõrgud, mis ennustavad peaaegu kõiki pildis leiduvaid variatsioone.
Ja Ha koos kolleegi arvutiteadlasega Yujin Tang, kavandas hiljuti mudeli, mis võiks tahtlikult saata suuri andmemahtusid läbi trafo juhuslikul ja järjestamata viisil, jäljendades seda, kuidas inimkeha sensoorseid vaatlusi ajju edastab. Nende trafo, nagu ka meie ajud, saaks edukalt hakkama segatud teabevooga.
"Närvivõrgud on kindla sisendi vastuvõtmiseks kõvasti ühendatud," ütles Tang. Kuid tegelikus elus muutuvad andmekogumid sageli kiiresti ja enamikul tehisintellektil pole kohandamisvõimalust. "Tahtsime katsetada arhitektuuriga, mis kohaneks väga kiiresti."
Hoolimata nendest edusammude märkidest näeb Behrens, et trafod on vaid samm täpse ajumudeli poole – mitte ülesande lõpp. "Ma pean siin olema skeptiline neuroteadlane," ütles ta. "Ma ei usu, et transformaatorid on sellised, nagu me näiteks ajus keelest mõtleme, kuigi neil on praegu parim lausemudel."
"Kas see on kõige tõhusam alus ennustada, kus ma olen ja mida ma järgmisena näen? Kui ma aus olen, siis on liiga vara öelda,” ütles Barry.
Ka Schrimpf märkis, et isegi kõige paremini toimivad transformaatorid on piiratud, toimides hästi näiteks sõnade ja lühikeste fraaside jaoks, kuid mitte suuremahuliste keeleülesannete jaoks, nagu lugude jutustamine.
"Minu arusaam on, et see arhitektuur, see trafo asetab teid aju struktuuri mõistmiseks õigesse ruumi ja seda saab treenides parandada," ütles Schrimpf. "See on hea suund, kuid valdkond on ülikeeruline."
