Ymmärtäminen, kuinka aivot järjestävät ja pääsevät käsiksi paikkatietoon – missä olemme, mitä kulman takana on, miten sinne pääsee – on edelleen hieno haaste. Prosessi sisältää kokonaisen verkoston muistoja ja tallennettuja spatiaalisia tietoja kymmenistä miljardeista neuroneista, joista jokainen on yhteydessä tuhansiin muihin. Neurotieteilijät ovat tunnistaneet keskeisiä elementtejä, kuten ruudukon soluja, neuronit, jotka kartoittavat sijainnit. Mutta syvemmälle meneminen osoittautuu hankalaksi: Tutkijat eivät voi poistaa ja tutkia viipaleita ihmisen harmaasta aineesta nähdäkseen, kuinka sijaintipohjaiset muistot kuvista, äänistä ja hajuista virtaavat ja yhdistyvät toisiinsa.
Tekoäly tarjoaa toisen tien sisään. Neurotieteilijät ovat vuosien ajan valjastaneet monenlaisia hermoverkkoja – moottoreita, jotka käyttävät useimpia syväoppimissovelluksia – mallintaakseen hermosolujen laukeamista aivoissa. Viimeaikaisissa töissä tutkijat ovat osoittaneet, että hippokampus, muistin kannalta kriittinen aivojen rakenne, on pohjimmiltaan erityinen hermoverkko, joka tunnetaan nimellä muuntaja, valepuvussa. Heidän uusi mallinsa seuraa spatiaalista tietoa tavalla, joka vastaa aivojen sisäistä toimintaa. He ovat nähneet huomattavaa menestystä.
"Se, että tiedämme, että nämä aivomallit vastaavat muuntajaa, tarkoittaa, että mallimme toimivat paljon paremmin ja niitä on helpompi kouluttaa", sanoi James Whittington, kognitiivinen neurotieteilijä, joka jakaa aikansa Stanfordin yliopiston ja laboratorion välillä Tim Behrens Oxfordin yliopistossa.
Whittingtonin ja muiden tutkimukset viittaavat siihen, että muuntajat voivat parantaa huomattavasti hermoverkkomallien kykyä matkia verkkosolujen ja muiden aivojen osien suorittamia laskelmia. Tällaiset mallit voisivat työntää ymmärrystämme keinotekoisten hermoverkkojen toiminnasta ja vielä todennäköisemmin siitä, kuinka aivoissa suoritetaan laskelmia, Whittington sanoi.
"Emme yritä luoda aivoja uudelleen", sanoi David Ha, Google Brainin tietojenkäsittelytieteilijä, joka työskentelee myös muuntajamallien parissa. "Mutta voimmeko luoda mekanismin, joka voi tehdä sen, mitä aivot tekevät?"
Transformers ilmestyi ensimmäisen kerran viisi vuotta sitten uutena keinona tekoälylle käsitellä kieltä. Ne ovat salainen kastike näissä otsikoita vangitsevissa lauseiden täydennysohjelmissa, kuten BERTI ja GPT-3, jotka voivat luoda vakuuttavia laulusanetteja, säveltää Shakespeare-sonetteja ja esiintyä asiakaspalvelun edustajina.
Muuntajat toimivat itse huomioimiseksi kutsutun mekanismin avulla, jossa jokainen syöte – sana, pikseli, numero sarjassa – on aina kytketty jokaiseen muuhun tuloon. (Muut hermoverkot yhdistävät tulot vain tiettyihin muihin tuloihin.) Mutta vaikka muuntajat suunniteltiin kielitehtäviin, ne ovat sittemmin menestyneet muissa tehtävissä, kuten kuvien luokittelussa - ja nyt aivojen mallintamisessa.
Vuonna 2020 ryhmä, jota johtaa Sepp Hochreiter, tietotekniikan tutkija Johannes Kepler -yliopistosta Linzissä Itävallassa, käytti muuntajaa työstääkseen uudelleen tehokkaan, pitkäaikaisen muistinhakumallin, nimeltään Hopfield-verkko. Princetonin fyysikko John Hopfield esitteli ensimmäisen kerran 40 vuotta sitten nämä verkot noudattavat yleissääntöä: Samaan aikaan aktiiviset neuronit muodostavat vahvoja yhteyksiä toisiinsa.
Hochreiter ja hänen työtoverinsa huomauttivat, että tutkijat ovat etsineet parempia malleja muistinhakuun, ja näkivät yhteyden sen välillä, kuinka Hopfield-verkot hakevat muistoja ja kuinka muuntajat suorittavat huomion. He päivittivät Hopfield-verkkoa ja muuttivat siitä olennaisesti muuntajan. Tämä muutos antoi mallille mahdollisuuden tallentaa ja hakea enemmän muistoja tehokkaampien yhteyksien ansiosta, Whittington sanoi. Hopfield itse yhdessä Dmitri Krotovin kanssa MIT-IBM Watson AI Labissa osoitti, että muuntajapohjainen Hopfield-verkko oli biologisesti uskottava.
Sitten aikaisemmin tänä vuonna, Whittington ja Behrens auttoivat edelleen säätämään Hochreiterin lähestymistapaa modifioimalla muuntajaa siten, että sen sijaan, että se käsitteli muistoja lineaarisena sekvenssinä - kuten sanajonona lauseessa - se koodasi ne koordinaatteiksi korkeamman ulottuvuuden tiloihin. Tämä "käänne", kuten tutkijat kutsuivat sitä, paransi mallin suorituskykyä neurotieteen tehtävissä entisestään. He osoittivat myös, että malli vastasi matemaattisesti malleja verkkosolujen laukaisukuvioista, joita neurotieteilijät näkevät fMRI-skannauksissa.
"Grid-soluilla on tällainen jännittävä, kaunis, säännöllinen rakenne, ja niissä on silmiinpistäviä kuvioita, joita ei todennäköisesti esiinny satunnaisesti", sanoi Caswell Barry, University College Londonin neurotieteilijä. Uusi työ osoitti, kuinka muuntajat toistavat täsmälleen hippokampuksessa havaitut kuviot. "He ymmärsivät, että muuntaja voi selvittää, missä se on aiempien tilojen perusteella ja miten sitä siirretään, ja tavalla, joka on yhdistetty perinteisiin verkkokennojen malleihin."
Muut viimeaikaiset työt viittaavat siihen, että muuntajat voisivat edistää ymmärrystämme myös muista aivojen toiminnoista. Viime vuonna Martin Schrimpf, laskennallinen neurotieteilijä Massachusetts Institute of Technologysta, analysoi 43 erilaista hermoverkkomallia nähdäkseen, kuinka hyvin he ennustivat ihmisen hermotoiminnan mittauksia fMRI:n ja elektrokortikografian raportoimana. Hän havaitsi, että muuntajat ovat tämän hetken johtavia, huippuluokan hermoverkkoja, jotka ennustavat lähes kaiken kuvantamisen vaihtelun.
Ja Ha, yhdessä tietotekniikan tutkijan kanssa Yujin Tang, suunnitteli äskettäin mallin, joka voisi tarkoituksella lähettää suuria määriä dataa muuntajan läpi satunnaisella, järjestäytymättömällä tavalla jäljittelemällä sitä, miten ihmiskeho välittää aistihavaintoja aivoihin. Heidän muuntajansa, kuten aivomme, pystyivät käsittelemään onnistuneesti epäjärjestynyttä tiedonkulkua.
"Neuraaliverkot on kiinteästi kytketty hyväksymään tietty syöte", sanoi Tang. Mutta tosielämässä tietojoukot muuttuvat usein nopeasti, eikä useimmilla tekoälyillä ole mitään tapaa säätää. "Halusimme kokeilla arkkitehtuuria, joka mukautuisi hyvin nopeasti."
Näistä edistyksen merkeistä huolimatta Behrens näkee muuntajat vain askeleena kohti tarkkaa aivomallia - ei tehtävän loppua. "Minun on oltava skeptinen neurotieteilijä täällä", hän sanoi. "En usko, että muuntajat päätyvät siihen, miten ajattelemme esimerkiksi kielestä aivoissa, vaikka niillä onkin paras nykyinen lausemalli."
"Onko tämä tehokkain perusta tehdä ennusteita siitä, missä olen ja mitä näen seuraavaksi? Jos olen rehellinen, on liian aikaista sanoa, Barry sanoi.
Myös Schrimpf huomautti, että jopa parhaiten suoriutuvia muuntajia on rajoitetusti, ne toimivat hyvin esimerkiksi sanoille ja lyhyille lauseille, mutta eivät laajempiin kielitehtäviin, kuten tarinoiden kertomiseen.
"Minun käsitykseni on, että tämä arkkitehtuuri, tämä muuntaja, vie sinut oikeaan tilaan ymmärtääksesi aivojen rakennetta, ja sitä voidaan parantaa harjoittelemalla", sanoi Schrimpf. "Tämä on hyvä suunta, mutta kenttä on erittäin monimutkainen."
