Noen nevrale nettverk lærer språk som mennesker | Quanta Magazine

Hvordan lærer hjernen? Det er et mysterium, et som gjelder både for de svampaktige organene i hodeskallene våre og deres digitale motstykker i maskinene våre. Selv om kunstige nevrale nettverk (ANN) er bygget fra forseggjorte nett av kunstige nevroner, som tilsynelatende etterligner måten hjernen vår behandler informasjon på, vet vi ikke om de behandler input på lignende måter.   

"Det har vært en langvarig debatt om hvorvidt nevrale nettverk lærer på samme måte som mennesker gjør," sa Vsevolod Kapatsinski, en lingvist ved University of Oregon.

Nå, en studie publisert forrige måned antyder at naturlige og kunstige nettverk lærer på lignende måter, i hvert fall når det kommer til språk. Forskerne — ledet av Gašper Beguš, en datalingvist ved University of California, Berkeley - sammenlignet hjernebølgene til mennesker som lytter til en enkel lyd med signalet produsert av et nevralt nettverk som analyserer den samme lyden. Resultatene var uhyggelig like. "Så vidt vi vet," skrev Beguš og kollegene hans, er de observerte responsene på den samme stimulansen "de mest like hjerne- og ANN-signalene som er rapportert så langt."

Det viktigste er at forskerne testet nettverk som består av generelle nevroner som er egnet for en rekke oppgaver. "De viser at selv veldig, veldig generelle nettverk, som ikke har noen utviklede skjevheter for tale eller andre lyder, likevel viser samsvar med menneskelig nevral koding," sa Gary Lupyan, en psykolog ved University of Wisconsin, Madison som ikke var involvert i arbeidet. Resultatene hjelper ikke bare med å avmystifisere hvordan ANN-er lærer, men antyder også at menneskelige hjerner kanskje ikke allerede er utstyrt med maskinvare og programvare spesielt utviklet for språk.

For å etablere en grunnlinje for den menneskelige siden av sammenligningen, spilte forskerne en enkelt stavelse - "bah" - gjentatte ganger i to åtte-minutters blokker for 14 engelsktalende og 15 spansktalende. Mens den spilte, registrerte forskerne svingninger i den gjennomsnittlige elektriske aktiviteten til nevroner i hver lytters hjernestamme - den delen av hjernen der lyder først behandles.

I tillegg matet forskerne de samme "bah"-lydene til to forskjellige sett med nevrale nettverk - det ene trent på engelske lyder, det andre på spansk. Forskerne registrerte deretter prosesseringsaktiviteten til det nevrale nettverket, med fokus på de kunstige nevronene i laget av nettverket der lyder først analyseres (for å speile hjernestammeavlesningene). Det var disse signalene som tett samsvarte med de menneskelige hjernebølgene.

Forskerne valgte en slags nevrale nettverksarkitektur kjent som et generativt adversarialt nettverk (GAN), opprinnelig oppfunnet i 2014 for å generere bilder. En GAN er sammensatt av to nevrale nettverk - en diskriminator og en generator - som konkurrerer mot hverandre. Generatoren lager en prøve, som kan være et bilde eller en lyd. Diskriminatoren bestemmer hvor nær den er en treningsprøve og gir tilbakemelding, noe som resulterer i et nytt forsøk fra generatoren, og så videre til GAN ​​kan levere ønsket utgang.

I denne studien ble diskriminatoren opprinnelig trent på en samling av enten engelske eller spanske lyder. Da måtte generatoren – som aldri hørte disse lydene – finne en måte å produsere dem på. Det startet med å lage tilfeldige lyder, men etter rundt 40,000 XNUMX runder med interaksjoner med diskriminatoren, ble generatoren bedre, og produserte til slutt de riktige lydene. Som et resultat av denne opplæringen ble diskriminatoren også bedre til å skille mellom ekte og genererte.

Det var på dette tidspunktet, etter at diskriminatoren var ferdig opplært, at forskerne spilte "bah"-lydene. Teamet målte svingningene i det gjennomsnittlige aktivitetsnivået til diskriminatorens kunstige nevroner, som produserte signalet så likt de menneskelige hjernebølgene.

Denne likheten mellom menneskelige og maskinelle aktivitetsnivåer antydet at de to systemene driver med lignende aktiviteter. "Akkurat som forskning har vist at tilbakemeldinger fra omsorgspersoner former spedbarnsproduksjoner av lyder, former tilbakemeldinger fra diskriminatornettverket lydproduksjonene til generatornettverket," sa Kapatsinski, som ikke deltok i studien.

Eksperimentet avslørte også en annen interessant parallell mellom mennesker og maskiner. Hjernebølgene viste at de engelsk- og spansktalende deltakerne hørte «bah»-lyden annerledes (spansktalende hørte mer av en «pah»), og GANs signaler viste også at det engelsktrente nettverket behandlet lydene noe annerledes enn den spansktrente.

"Og disse forskjellene fungerer i samme retning," forklarte Beguš. Hjernestammen til engelsktalende reagerer på "bah"-lyden litt tidligere enn hjernestammen til spansktalende, og GAN som er trent på engelsk, reagerte på den samme lyden litt tidligere enn den spansktrente modellen. Både hos mennesker og maskiner var forskjellen i timing nesten identisk, omtrent en tusendels sekund. Dette ga ytterligere bevis, sa Beguš, at mennesker og kunstige nettverk "sannsynligvis behandler ting på lignende måte."

Mens det fortsatt er uklart nøyaktig hvordan hjernen behandler og lærer språk, foreslo lingvisten Noam Chomsky på 1950-tallet at mennesker er født med en medfødt og unik evne til å forstå språk. Den evnen, hevdet Chomsky, er bokstavelig talt hard-wired inn i den menneskelige hjernen.

Det nye verket, som bruker generelle nevroner som ikke er designet for språk, antyder noe annet. "Avisen gir definitivt bevis mot forestillingen om at tale krever spesielle innebygde maskiner og andre karakteristiske trekk," sa Kapatsinski.

Beguš erkjenner at denne debatten ennå ikke er avgjort. I mellomtiden utforsker han ytterligere parallellene mellom den menneskelige hjernen og nevrale nettverk ved å teste for eksempel om hjernebølger som kommer fra hjernebarken (som utfører auditiv prosessering etter at hjernestammen har gjort sitt) samsvarer med signalene som produseres av dypere lag av GAN.

Til syvende og sist håper Beguš og teamet hans å utvikle en pålitelig språktilegnelsesmodell som beskriver hvordan både maskiner og mennesker lærer språk, noe som gir mulighet for eksperimenter som ville være umulige med mennesker. "Vi kan for eksempel skape et ugunstig miljø [som de som sees med forsømte spedbarn] og se om det fører til noe som ligner språkforstyrrelser," sa Christina Zhao, en nevrovitenskapsmann ved University of Washington som var medforfatter av det nye papiret sammen med Beguš og Alan Zhou, doktorgradsstudent ved Johns Hopkins University.

"Vi prøver nå å se hvor langt vi kan gå, hvor nærme menneskelig språk vi kan komme med generelle nevroner," sa Beguš. "Kan vi komme til menneskelige ytelsesnivåer med de beregningsarkitekturene vi har - bare ved å gjøre systemene våre større og kraftigere - eller vil det aldri være mulig?" Selv om mer arbeid er nødvendig før vi kan vite sikkert, sa han, "vi er overrasket, selv på dette relativt tidlige stadiet, over hvor like de indre funksjonene til disse systemene - menneske og ANN - ser ut til å være."