Sommige neurale netwerken leren taal zoals mensen | Quanta-tijdschrift

Hoe leren hersenen? Het is een mysterie, een mysterie dat zowel van toepassing is op de sponsachtige organen in onze schedels als op hun digitale tegenhangers in onze machines. Hoewel kunstmatige neurale netwerken (ANN's) zijn opgebouwd uit uitgebreide netwerken van kunstmatige neuronen, die ogenschijnlijk de manier nabootsen waarop onze hersenen informatie verwerken, weten we niet of ze input op vergelijkbare manieren verwerken.   

"Er is al lang een debat gaande over de vraag of neurale netwerken op dezelfde manier leren als mensen", zegt hij Vsevolod Kapatsinski, een taalkundige aan de Universiteit van Oregon.

Nu een studie gepubliceerde Vorige maand suggereert dat natuurlijke en kunstmatige netwerken op vergelijkbare manieren leren, tenminste als het om taal gaat. De onderzoekers – geleid door Gašper Beguš, een computerlinguïst aan de Universiteit van Californië, Berkeley – vergeleek de hersengolven van mensen die naar een eenvoudig geluid luisterden met het signaal dat werd geproduceerd door een neuraal netwerk dat hetzelfde geluid analyseerde. De resultaten leken griezelig op elkaar. “Voor zover wij weten”, schreven Beguš en zijn collega’s, zijn de waargenomen reacties op dezelfde stimulus “de meest vergelijkbare hersen- en ANN-signalen die tot nu toe zijn gerapporteerd.”

Het belangrijkste was dat de onderzoekers netwerken testten die bestonden uit neuronen voor algemene doeleinden die geschikt zijn voor een verscheidenheid aan taken. “Ze laten zien dat zelfs zeer algemene netwerken, die geen ontwikkelde voorkeuren voor spraak of andere geluiden hebben, toch een overeenkomst vertonen met menselijke neurale codering,” zegt Gary Lupyan, een psycholoog aan de Universiteit van Wisconsin, Madison die niet bij het werk betrokken was. De resultaten helpen niet alleen om de manier waarop ANN’s leren te ontrafelen, maar suggereren ook dat menselijke hersenen misschien nog niet zijn uitgerust met hardware en software die speciaal voor taal zijn ontworpen.

Om een ​​basislijn voor de menselijke kant van de vergelijking vast te stellen, speelden de onderzoekers een enkele lettergreep – ‘bah’ – herhaaldelijk in twee blokken van acht minuten voor veertien Engelssprekenden en vijftien Spaanssprekenden. Terwijl het speelde, registreerden de onderzoekers fluctuaties in de gemiddelde elektrische activiteit van neuronen in de hersenstam van elke luisteraar – het deel van de hersenen waar geluiden voor het eerst worden verwerkt.

Bovendien voedden de onderzoekers dezelfde ‘bah’-geluiden aan twee verschillende sets neurale netwerken: de ene was getraind op Engelse klanken, de andere op Spaans. De onderzoekers registreerden vervolgens de verwerkingsactiviteit van het neurale netwerk, waarbij ze zich concentreerden op de kunstmatige neuronen in de laag van het netwerk waar geluiden voor het eerst worden geanalyseerd (om de hersenstammetingen te weerspiegelen). Het waren deze signalen die nauw overeenkwamen met de menselijke hersengolven.

De onderzoekers kozen voor een soort neurale netwerkarchitectuur die bekend staat als een generatief vijandig netwerk (GAN), oorspronkelijk uitgevonden in 2014 om beelden te genereren. Een GAN bestaat uit twee neurale netwerken – een discriminator en een generator – die met elkaar concurreren. De generator creëert een sample, die een beeld of een geluid kan zijn. De discriminator bepaalt hoe dicht het bij een trainingsmonster is en geeft feedback, wat resulteert in een nieuwe poging van de generator, enzovoort totdat de GAN de gewenste output kan leveren.

In dit onderzoek werd de discriminator aanvankelijk getraind op een verzameling Engelse of Spaanse klanken. Vervolgens moest de generator – die deze geluiden nooit hoorde – een manier vinden om ze te produceren. Het begon met het maken van willekeurige geluiden, maar na zo'n 40,000 interactieronden met de discriminator werd de generator steeds beter en produceerde uiteindelijk de juiste geluiden. Als gevolg van deze training werd de discriminator ook beter in het onderscheiden van echte en gegenereerde discriminatoren.

Het was op dit punt, nadat de discriminator volledig was getraind, dat de onderzoekers de ‘bah’-geluiden speelden. Het team mat de fluctuaties in de gemiddelde activiteitsniveaus van de kunstmatige neuronen van de discriminator, die het signaal produceerden dat zo leek op de menselijke hersengolven.

Deze gelijkenis tussen de activiteitsniveaus van mens en machine suggereerde dat de twee systemen soortgelijke activiteiten ontplooien. “Net zoals onderzoek heeft aangetoond dat feedback van verzorgers de geluidsproducties van baby’s bepaalt, zo vormt feedback van het discriminatornetwerk de geluidsproducties van het generatornetwerk”, zegt Kapatsinski, die niet aan het onderzoek deelnam.

Het experiment bracht ook een andere interessante parallel tussen mens en machine aan het licht. Uit de hersengolven bleek dat de Engels- en Spaanssprekende deelnemers het ‘bah’-geluid anders hoorden (Spaanssprekenden hoorden meer een ‘pah’), en uit de signalen van het GAN bleek ook dat het Engelstalige netwerk de geluiden enigszins anders verwerkte dan de Spaans opgeleide.

“En die verschillen werken in dezelfde richting”, legt Beguš uit. De hersenstam van Engelssprekenden reageert iets eerder op het ‘bah’-geluid dan de hersenstam van Spaanssprekenden, en de in het Engels getrainde GAN reageerde iets eerder op datzelfde geluid dan het Spaans-geschoolde model. Bij zowel mensen als machines was het verschil in timing vrijwel identiek, ongeveer een duizendste van een seconde. Dit leverde aanvullend bewijs op, zei Beguš, dat mensen en kunstmatige netwerken “waarschijnlijk dingen op een vergelijkbare manier verwerken.”

Hoewel het nog steeds onduidelijk is hoe de hersenen taal precies verwerken en leren, stelde taalkundige Noam Chomsky in de jaren vijftig voor dat mensen worden geboren met een aangeboren en uniek vermogen om taal te begrijpen. Dat vermogen, zo betoogde Chomsky, zit letterlijk in het menselijk brein verankerd.

Het nieuwe werk, dat neuronen voor algemene doeleinden gebruikt die niet voor taal zijn ontworpen, suggereert iets anders. “Het artikel levert absoluut bewijs tegen het idee dat spraak speciale ingebouwde machines en andere onderscheidende kenmerken vereist”, aldus Kapatsinski.

Beguš erkent dat dit debat nog niet is beslecht. Ondertussen onderzoekt hij de parallellen tussen het menselijk brein en neurale netwerken verder door bijvoorbeeld te testen of hersengolven afkomstig van de hersenschors (die auditieve verwerking uitvoert nadat de hersenstam zijn werk heeft gedaan) overeenkomen met de signalen die worden geproduceerd door diepere hersengolven. lagen van de GAN.

Uiteindelijk hopen Beguš en zijn team een ​​betrouwbaar taalverwervingsmodel te ontwikkelen dat beschrijft hoe zowel machines als mensen talen leren, waardoor experimenten mogelijk worden die onmogelijk zouden zijn met menselijke proefpersonen. “We zouden bijvoorbeeld een ongunstige omgeving kunnen creëren [zoals die wordt gezien bij verwaarloosde baby’s] en kijken of dat leidt tot iets dat lijkt op taalstoornissen,” zei Christina Zhao, een neurowetenschapper aan de Universiteit van Washington die samen met Beguš het nieuwe artikel schreef Alan Zhou, een doctoraatsstudent aan de Johns Hopkins Universiteit.

“We proberen nu te zien hoe ver we kunnen gaan, hoe dicht we bij de menselijke taal kunnen komen met algemene neuronen,” zei Beguš. “Kunnen we menselijke prestatieniveaus bereiken met de computationele architecturen die we hebben – gewoon door onze systemen groter en krachtiger te maken – of zal dat nooit mogelijk zijn?” Hoewel er meer werk nodig is voordat we het zeker kunnen weten, zei hij, “zijn we, zelfs in dit relatief vroege stadium, verrast door hoe vergelijkbaar de innerlijke werking van deze systemen – mens en ANN – lijkt te zijn.”