Egyes neurális hálózatok úgy tanulják a nyelvet, mint az emberek | Quanta Magazin

Hogyan tanulnak az agyak? Ez egy rejtély, amely mind a koponyánk szivacsos szerveire, mind a gépeinkben lévő digitális megfelelőire vonatkozik. Annak ellenére, hogy a mesterséges neurális hálózatok (ANN-ok) mesterséges neuronok bonyolult szövedékeiből épülnek fel, látszólag utánozzák agyunk információfeldolgozási módját, nem tudjuk, hogy a bemenetet hasonló módon dolgozzák-e fel.   

"Régóta vita folyik arról, hogy a neurális hálózatok ugyanúgy tanulnak-e, mint az emberek" Vsevolod Kapatsinski, az Oregoni Egyetem nyelvésze.

Most egy tanulmány közzétett A múlt hónap azt sugallja, hogy a természetes és mesterséges hálózatok hasonló módon tanulnak, legalábbis ami a nyelvet illeti. A kutatók – vezetésével Gašper Beguš, a Berkeley-i Kaliforniai Egyetem számítógépes nyelvésze – egy egyszerű hangot hallgató emberek agyhullámait hasonlította össze az ugyanazt a hangot elemző neurális hálózat által keltett jellel. Az eredmények elképesztően hasonlóak voltak. „Tudomásunk szerint – írták Beguš és munkatársai – az ugyanazon ingerre adott reakciók a leghasonlóbb agyi és ANN jelek, amelyeket eddig jelentettek.

A legjelentősebb az, hogy a kutatók általános célú neuronokból álló hálózatokat teszteltek, amelyek különféle feladatokra alkalmasak. „Megmutatják, hogy még a nagyon-nagyon általános hálózatok is, amelyeknek nincs kialakult torzítása a beszéd vagy más hangok tekintetében, mégis megfelelnek az emberi neurális kódolásnak” – mondta. Gary Lupyan, a Madison állambeli Wisconsini Egyetem pszichológusa, aki nem vett részt a munkában. Az eredmények nemcsak az ANN-ok tanulási módját segítik felderíteni, hanem arra is utalnak, hogy az emberi agy nem biztos, hogy már fel van szerelve kifejezetten a nyelvhez tervezett hardverrel és szoftverrel.

Az összehasonlítás emberi oldalának alapvonalának megállapítása érdekében a kutatók egy szótagot – „bah”-t – ismételten lejátszottak két nyolcperces blokkban 14 angolul és 15 spanyolul beszélő számára. Játék közben a kutatók feljegyezték a neuronok átlagos elektromos aktivitásának ingadozásait minden hallgató agytörzsében – az agy azon részében, ahol a hangokat először feldolgozzák.

Ezenkívül a kutatók ugyanazokat a „bah” hangokat táplálták be két különböző neurális hálózatba – az egyik angol hangokra, a másik spanyolra tanított. A kutatók ezután rögzítették a neurális hálózat feldolgozási tevékenységét, a hálózat azon rétegében lévő mesterséges neuronokra összpontosítva, ahol először elemzik a hangokat (az agytörzs leolvasásainak tükrözésére). Ezek a jelek szorosan illeszkedtek az emberi agyhullámokhoz.

A kutatók egyfajta neurális hálózati architektúrát választottak, amelyet generatív ellenséges hálózatnak (GAN) neveznek, és amelyet eredetileg 2014-ben találtak ki képek generálására. A GAN két neurális hálózatból áll – egy diszkriminátorból és egy generátorból –, amelyek versenyeznek egymással. A generátor létrehoz egy mintát, amely lehet kép vagy hang. A diszkriminátor meghatározza, hogy milyen közel van egy betanítási mintához, és visszajelzést ad, ami újabb próbálkozást eredményez a generátortól, és így tovább, amíg a GAN el nem tudja adni a kívánt kimenetet..

Ebben a tanulmányban a megkülönböztetőt kezdetben angol vagy spanyol hangok gyűjteményére képezték ki. Aztán a generátornak – amely soha nem hallotta ezeket a hangokat – meg kellett találnia a módját, hogy előállítsa őket. Úgy indult, hogy véletlenszerű hangokat adott ki, de a diszkriminátorral végzett mintegy 40,000 XNUMX interakció után a generátor jobb lett, és végül a megfelelő hangokat produkálta. A képzés eredményeként a diszkriminátor is jobban tudta megkülönböztetni a valós és a generált.

Ezen a ponton, miután a megkülönböztetőt teljesen betanították, a kutatók lejátszották a „bah” hangokat. A csapat megmérte a diszkriminátor mesterséges neuronjainak átlagos aktivitási szintjének ingadozásait, amelyek az emberi agyhullámokhoz annyira hasonló jelet produkáltak.

Az emberi és gépi aktivitási szintek közötti hasonlóság arra utal, hogy a két rendszer hasonló tevékenységeket folytat. „Ahogyan a kutatások kimutatták, hogy a gondozóktól kapott visszajelzések alakítják a csecsemők hangtermelését, a diszkriminátorhálózatból származó visszajelzések alakítják a generátorhálózat hangtermelését” – mondta Kapatsinski, aki nem vett részt a tanulmányban.

A kísérlet egy másik érdekes párhuzamot is feltárt az ember és a gép között. Az agyhullámok azt mutatták, hogy az angolul és spanyolul beszélő résztvevők eltérően hallották a „bah” hangot (a spanyolul beszélők inkább „pah”-t hallottak), és a GAN jelei is azt mutatták, hogy az angolul képzett hálózat némileg máshogy dolgozta fel a hangokat, mint a spanyol képzett.

„És ezek a különbségek ugyanabban az irányban működnek” – magyarázta Beguš. Az angolul beszélők agytörzse valamivel korábban reagál a „bah” hangra, mint a spanyolul beszélők agytörzse, és az angolul oktatott GAN valamivel korábban reagált ugyanerre a hangra, mint a spanyolul kiképzett modell. Embereknél és gépeknél is szinte azonos volt az időbeli különbség, nagyjából a másodperc ezredrésze. Beguš szerint ez további bizonyítékot szolgáltatott arra, hogy az emberek és a mesterséges hálózatok „valószínűleg hasonló módon dolgozzák fel a dolgokat”.

Míg még mindig nem világos, hogy az agy pontosan hogyan dolgozza fel és tanulja meg a nyelvet, Noam Chomsky nyelvész az 1950-es években azt javasolta, hogy az emberek olyan veleszületett és egyedülálló képességgel születnek, hogy megértsék a nyelvet. Ez a képesség – érvelt Chomsky – a szó szoros értelmében be van kötve az emberi agyba.

Az új munka, amely általános célú, nem nyelvre tervezett neuronokat használ, mást sugall. "A papír határozottan bizonyítékot szolgáltat az ellen az elképzelés ellen, hogy a beszéd speciális beépített gépezetet és más jellegzetes tulajdonságokat igényel" - mondta Kapatsinski.

Beguš elismeri, hogy ez a vita még nem dőlt el. Mindeközben tovább kutatja az emberi agy és a neurális hálózatok közötti párhuzamokat, például azt tesztelve, hogy az agykéregből érkező agyhullámok (amelyek hallási feldolgozást végeznek, miután az agytörzs megtette a részét) megfelelnek-e a mélyebbek által keltett jeleknek. a GAN rétegei.

Végül Beguš és csapata egy olyan megbízható nyelvelsajátítási modell kidolgozását reméli, amely leírja, hogy a gépek és az emberek hogyan tanulnak nyelveket, lehetővé téve olyan kísérleteket, amelyek emberi alanyokkal lehetetlenek lennének. "Létrehozhatunk például egy kedvezőtlen környezetet [mint az elhanyagolt csecsemőknél], és megnézhetjük, hogy ez nem vezet-e valami nyelvi zavarokhoz" - mondta. Christina Zhao, a Washingtoni Egyetem idegtudósa, aki az új tanulmány társszerzője Beguš és Alan Zhou, a Johns Hopkins Egyetem doktorandusza.

„Most azt próbáljuk látni, meddig juthatunk el, milyen közel kerülhetünk az emberi nyelvhez az általános célú neuronokkal” – mondta Beguš. „Elérhetjük-e a teljesítmény emberi szintjeit a rendelkezésünkre álló számítási architektúrákkal – pusztán azáltal, hogy nagyobbá és erősebbé tesszük rendszereinket – vagy ez soha nem lesz lehetséges?” Noha még több munkára van szükség ahhoz, hogy biztosan tudhassuk, "még ebben a viszonylag korai szakaszban is meglepődünk azon, hogy ezeknek a rendszereknek a belső működése – az emberi és az ANN" mennyire hasonlónak tűnik – mondta.