Mõned närvivõrgud õpivad keelt nagu inimesed | Ajakiri Quanta

Kuidas ajud õpivad? See on mõistatus, mis kehtib nii meie kolju käsnjas elundite kui ka nende digitaalsete kolleegide kohta meie masinates. Kuigi tehisnärvivõrgud (ANN-id) on üles ehitatud kunstlike neuronite keerukatest võrkudest, mis näiliselt jäljendavad seda, kuidas meie aju teavet töötleb, ei tea me, kas nad töötlevad sisendit sarnasel viisil.   

"Seal on pikaajaline arutelu selle üle, kas närvivõrgud õpivad samal viisil kui inimesed," ütles ta. Vsevolod Kapatsinski, Oregoni ülikooli keeleteadlane.

Nüüd uuring avaldatud Eelmine kuu viitab sellele, et looduslikud ja tehisvõrgud õpivad sarnaselt, vähemalt mis puudutab keelt. Teadlased - eesotsas Gašper BegušCalifornia Berkeley ülikooli arvutuslingvist võrdles lihtsat heli kuulavate inimeste ajulaineid signaaliga, mille tekitab sama heli analüüsiv närvivõrk. Tulemused olid üllatavalt sarnased. "Meile teadaolevalt," kirjutasid Beguš ja tema kolleegid, et täheldatud reaktsioonid samale stiimulile "on seni teatatud kõige sarnasemad aju- ja ANN-signaalid."

Kõige olulisem on see, et teadlased katsetasid võrgustikke, mis koosnesid üldotstarbelistest neuronitest, mis sobivad mitmesuguste ülesannete jaoks. "Need näitavad, et isegi väga-väga üldised võrgud, millel ei ole kõne või muude helide suhtes arenenud eelarvamusi, näitavad siiski vastavust inimese närvikodeerimisele," ütles ta. Gary Lupyan, Madisoni osariigi Wisconsini ülikooli psühholoog, kes ei osalenud töös. Tulemused mitte ainult ei aita demüstifitseerida, kuidas ANN-id õpivad, vaid viitavad ka sellele, et inimese ajud ei pruugi olla varustatud spetsiaalselt keele jaoks loodud riist- ja tarkvaraga.

Võrdluse inimliku poole lähtepunkti loomiseks mängisid teadlased 14 inglise ja 15 hispaania keele kõneleja jaoks kahe kaheksaminutilise plokiga korduvalt ühte silpi – “bah”. Mängimise ajal registreerisid teadlased neuronite keskmise elektrilise aktiivsuse kõikumised iga kuulaja ajutüves – selles ajuosas, kus helisid esmalt töödeldakse.

Lisaks andsid teadlased samu "bah"-helisid kahele erinevale närvivõrkude komplektile - üks õpetas inglise ja teine ​​hispaania keeles. Seejärel registreerisid teadlased närvivõrgu töötlemistegevuse, keskendudes tehisneuronitele võrgu kihis, kus helisid esmalt analüüsitakse (ajutüve näitude peegeldamiseks). Just need signaalid kattusid inimese ajulainetega.

Teadlased valisid kujutiste genereerimiseks 2014. aastal algselt leiutatud närvivõrgu arhitektuuri, mida tuntakse generatiivse võistleva võrguna (GAN). GAN koosneb kahest närvivõrgust - diskriminaatorist ja generaatorist -, mis konkureerivad üksteisega. Generaator loob näidise, mis võib olla pilt või heli. Diskriminaator määrab, kui lähedal see on treeningnäidisele ja pakub tagasisidet, mille tulemuseks on generaatori uus katse ja nii edasi, kuni GAN suudab soovitud väljundi anda..

Selles uuringus koolitati diskrimineerijat algselt kas inglise või hispaaniakeelsete helide kogumiga. Seejärel pidi generaator – kes neid helisid kunagi ei kuulnud – leidma viisi nende tekitamiseks. See algas juhuslike helide tegemisega, kuid pärast umbes 40,000 XNUMX interaktsiooni ringi diskriminaatoriga muutus generaator paremaks, tekitades lõpuks õiged helid. Selle koolituse tulemusena sai diskrimineerija ka paremini eristama tegelikku ja genereeritud.

Just sel hetkel, pärast seda, kui diskrimineerija oli täielikult välja õpetatud, mängisid teadlased selle "bah" helisid. Töörühm mõõtis diskrimineerija tehisneuronite keskmise aktiivsustaseme kõikumisi, mis tekitasid inimese ajulainetega nii sarnase signaali.

See inimese ja masina aktiivsuse taseme sarnasus viitas sellele, et need kaks süsteemi tegelevad sarnase tegevusega. "Nii nagu uuringud on näidanud, et hooldajate tagasiside kujundab imikute helide produktsiooni, kujundab diskriminaatorivõrgu tagasiside generaatorivõrgu heliproduktsiooni," ütles Kapatsinski, kes uuringus ei osalenud.

Katse käigus selgus ka teine ​​huvitav paralleel inimeste ja masinate vahel. Ajulained näitasid, et inglise ja hispaania keelt kõnelevad osalejad kuulsid “bah”-heli erinevalt (hispaania keele kõnelejad kuulsid rohkem “pah”) ning GAN-i signaalid näitasid ka, et inglise keeles koolitatud võrk töötles helisid mõnevõrra teisiti kui Hispaania koolitatud.

"Ja need erinevused töötavad samas suunas, " selgitas Beguš. Inglise keele kõnelejate ajutüvi reageerib "bah"-helile veidi varem kui hispaania keele kõnelejate ajutüvi ja inglise keeles koolitatud GAN reageeris sellele samale helile veidi varem kui hispaania keelega koolitatud mudel. Nii inimestel kui ka masinatel oli ajastuse erinevus peaaegu identne, ligikaudu sekundituhandik. See andis lisatõendeid, ütles Beguš, et inimesed ja tehisvõrgud "töötlevad asju tõenäoliselt sarnasel viisil".

Kuigi siiani pole täpselt selge, kuidas aju keelt töötleb ja õpib, tegi keeleteadlane Noam Chomsky 1950. aastatel ettepaneku, et inimestel on sünnipärane ja ainulaadne võime keelt mõista. Chomsky väitis, et see võime on sõna otseses mõttes inimese ajuga seotud.

Uus töö, mis kasutab üldotstarbelisi neuroneid, mis pole mõeldud keele jaoks, viitab teisiti. "Paber annab kindlasti tõendeid selle vastu, et kõne nõuab spetsiaalseid sisseehitatud masinaid ja muid eristavaid omadusi," ütles Kapatsinski.

Beguš tunnistab, et see arutelu ei ole veel lahendatud. Samal ajal uurib ta täiendavalt paralleele inimese aju ja närvivõrkude vahel, näiteks testides, kas ajukoorest (mis teostab kuulmistöötlust pärast seda, kui ajutüvi on oma osa täitnud) tulevad ajulained vastavad sügavamate poolt tekitatud signaalidele. GAN-i kihid.

Lõppkokkuvõttes loodavad Beguš ja tema meeskond välja töötada usaldusväärse keele omandamise mudeli, mis kirjeldab, kuidas nii masinad kui ka inimesed õpivad keeli, võimaldades katseid, mis oleksid inimestega võimatud. "Me võiksime näiteks luua ebasoodsa keskkonna [nagu tähelepanuta jäetud imikute puhul] ja näha, kas see toob kaasa midagi, mis sarnaneb keelehäiretega," ütles ta. Christina Zhao, Washingtoni ülikooli neuroteadlane, kes koostas uue artikli koos Beguši ja Alan Zhou, Johns Hopkinsi ülikooli doktorant.

"Püüame nüüd näha, kui kaugele saame minna, kui lähedale me üldotstarbeliste neuronitega inimkeelele jõuame," ütles Beguš. "Kas me saame olemasoleva arvutusarhitektuuriga jõuda inimliku jõudluse tasemele – lihtsalt muutes oma süsteemid suuremaks ja võimsamaks – või pole see kunagi võimalik?" Ehkki enne, kui saame kindlalt teada, on vaja rohkem tööd teha, ütles ta: "Oleme isegi selles suhteliselt varajases staadiumis üllatunud, kui sarnased nende süsteemide - inimese ja ANN-i - sisemised tööd näivad olevat."