Nogle neurale netværk lærer sprog som mennesker | Quanta Magasinet

Hvordan lærer hjerner? Det er et mysterium, der gælder både for de svampede organer i vores kranier og deres digitale modstykker i vores maskiner. Selvom kunstige neurale netværk (ANN'er) er bygget af kunstige net af kunstige neuroner, der tilsyneladende efterligner den måde, vores hjerner behandler information på, ved vi ikke, om de behandler input på lignende måder.   

"Der har været en langvarig debat om, hvorvidt neurale netværk lærer på samme måde, som mennesker gør," sagde Vsevolod Kapatsinski, en lingvist ved University of Oregon.

Nu et studie offentliggjort sidste måned tyder på, at naturlige og kunstige netværk lærer på lignende måder, i hvert fald når det kommer til sprog. Forskerne — ledet af Gašper Beguš, en computerlingvist ved University of California, Berkeley - sammenlignede hjernebølgerne hos mennesker, der lyttede til en simpel lyd, med signalet produceret af et neuralt netværk, der analyserer den samme lyd. Resultaterne var uhyggeligt ens. "Så vidt vi ved," skrev Beguš og hans kolleger, er de observerede reaktioner på den samme stimulus "de mest lignende hjerne- og ANN-signaler, der er rapporteret indtil videre."

Det vigtigste er, at forskerne testede netværk bestående af neuroner til generelle formål, der er egnede til en række forskellige opgaver. "De viser, at selv meget, meget generelle netværk, som ikke har nogen udviklede skævheder for tale eller andre lyde, ikke desto mindre viser en overensstemmelse med menneskelig neural kodning," sagde Gary Lupyan, en psykolog ved University of Wisconsin, Madison, som ikke var involveret i arbejdet. Resultaterne hjælper ikke kun med at afmystificere, hvordan ANN'er lærer, men antyder også, at menneskelige hjerner muligvis ikke allerede er udstyret med hardware og software, der er specielt designet til sprog.

For at etablere en baseline for den menneskelige side af sammenligningen spillede forskerne en enkelt stavelse - "bah" - gentagne gange i to otte-minutters blokke for 14 engelsktalende og 15 spansktalende. Mens det spillede, registrerede forskerne fluktuationer i den gennemsnitlige elektriske aktivitet af neuroner i hver lytters hjernestamme - den del af hjernen, hvor lyde først behandles.

Derudover tilførte forskerne de samme "bah"-lyde til to forskellige sæt neurale netværk - det ene trænet på engelske lyde, det andet på spansk. Forskerne registrerede derefter behandlingsaktiviteten af ​​det neurale netværk med fokus på de kunstige neuroner i det lag af netværket, hvor lyde først analyseres (for at afspejle hjernestammens aflæsninger). Det var disse signaler, der nøje matchede de menneskelige hjernebølger.

Forskerne valgte en slags neural netværksarkitektur kendt som et generativt adversarialt netværk (GAN), der oprindeligt blev opfundet i 2014 for at generere billeder. Et GAN er sammensat af to neurale netværk - en diskriminator og en generator - der konkurrerer mod hinanden. Generatoren skaber en sample, som kunne være et billede eller en lyd. Diskriminatoren bestemmer, hvor tæt den er på en træningsprøve og giver feedback, hvilket resulterer i endnu et forsøg fra generatoren, og så videre, indtil GAN ​​kan levere det ønskede output.

I denne undersøgelse blev diskriminatoren oprindeligt trænet i en samling af enten engelske eller spanske lyde. Så måtte generatoren - som aldrig hørte disse lyde - finde en måde at producere dem på. Det startede med at lave tilfældige lyde, men efter omkring 40,000 omgange med interaktioner med diskriminatoren blev generatoren bedre og producerede til sidst de rigtige lyde. Som et resultat af denne træning blev diskriminatoren også bedre til at skelne mellem reelle og genererede.

Det var på dette tidspunkt, efter at diskriminatoren var færdiguddannet, at forskerne spillede den "bah"-lyde. Holdet målte udsvingene i de gennemsnitlige aktivitetsniveauer for diskriminatorens kunstige neuroner, som producerede signalet så lig de menneskelige hjernebølger.

Denne lighed mellem menneskelige og maskinelle aktivitetsniveauer antydede, at de to systemer engagerer sig i lignende aktiviteter. "Ligesom forskning har vist, at feedback fra omsorgspersoner former spædbørns produktioner af lyde, former feedback fra diskriminatornetværket lydproduktionerne af generatornetværket," sagde Kapatsinski, der ikke deltog i undersøgelsen.

Eksperimentet afslørede også en anden interessant parallel mellem mennesker og maskiner. Hjernebølgerne viste, at de engelsk- og spansktalende deltagere hørte "bah"-lyden anderledes (spansktalende hørte mere en "pah"), og GAN's signaler viste også, at det engelsktrænede netværk behandlede lydene noget anderledes end den spansktrænede.

"Og disse forskelle virker i samme retning," forklarede Beguš. Engelsktalendes hjernestamme reagerer på "bah"-lyden lidt tidligere end hjernestammen hos spansktalende, og GAN, der er trænet i engelsk, reagerede på den samme lyd lidt tidligere end den spansktrænede model. Hos både mennesker og maskiner var forskellen i timing næsten identisk, omkring en tusindedel af et sekund. Dette gav yderligere beviser, sagde Beguš, at mennesker og kunstige netværk "sandsynligvis behandler ting på en lignende måde."

Selvom det stadig er uklart, præcis hvordan hjernen behandler og lærer sprog, foreslog sprogforskeren Noam Chomsky i 1950'erne, at mennesker er født med en medfødt og unik evne til at forstå sprog. Denne evne, hævdede Chomsky, er bogstaveligt talt forbundet med den menneskelige hjerne.

Det nye arbejde, der bruger neuroner til generelle formål, der ikke er designet til sprog, antyder noget andet. "Avisen giver afgjort beviser mod forestillingen om, at tale kræver særligt indbygget maskineri og andre karakteristiske træk," sagde Kapatsinski.

Beguš erkender, at denne debat endnu ikke er afgjort. I mellemtiden udforsker han yderligere parallellerne mellem den menneskelige hjerne og neurale netværk ved for eksempel at teste, om hjernebølger, der kommer fra hjernebarken (som udfører auditiv behandling, efter at hjernestammen har gjort sit) svarer til de signaler, der produceres af dybere lag af GAN.

I sidste ende håber Beguš og hans team på at udvikle en pålidelig sprogtilegnelsesmodel, der beskriver, hvordan både maskiner og mennesker lærer sprog, hvilket giver mulighed for eksperimenter, der ville være umulige med menneskelige emner. "Vi kunne for eksempel skabe et ugunstigt miljø [som dem, der ses med oversete spædbørn] og se, om det fører til noget, der ligner sprogforstyrrelser," sagde Christina Zhao, en neurovidenskabsmand ved University of Washington, der var medforfatter til det nye papir sammen med Beguš og Alan Zhou, en ph.d.-studerende ved Johns Hopkins University.

"Vi forsøger nu at se, hvor langt vi kan gå, hvor tæt på det menneskelige sprog vi kan komme med neuroner til generelle formål," sagde Beguš. "Kan vi nå menneskelige niveauer af ydeevne med de beregningsarkitekturer, vi har - bare ved at gøre vores systemer større og mere kraftfulde - eller vil det aldrig være muligt?" Mens mere arbejde er nødvendigt, før vi kan vide det med sikkerhed, sagde han, "vi er overraskede, selv på dette relativt tidlige stadium, over hvor ens de indre funktioner i disse systemer - mennesket og ANN - ser ud til at være."