Ta dekoder možganske dejavnosti prevede ideje v besedilo samo z uporabo skeniranja

Z jezikom in govorom izražamo svoje notranje misli. Toda nevroznanstveniki so preprosto zaobšli potrebo po slišnem govoru, vsaj v laboratoriju. Namesto tega so neposredno posegli v biološki stroj, ki ustvarja jezik in ideje: možgane.

Z uporabo skeniranja možganov in velikega odmerka strojnega učenja je ekipa s teksaške univerze v Austinu razvila »jezikovni dekoder«, ki zajame bistvo tega, kar oseba sliši, samo na podlagi vzorcev možganske aktivacije. Daleč od ponija z enim trikom, lahko dekoder tudi prevede namišljeni govor in celo ustvari opisne podnapise za neme filme z uporabo nevronske aktivnosti.

Tukaj je zanimivo: metoda ne zahteva operacije. Namesto da bi se zanašala na vsajene elektrode, ki poslušajo električne izbruhe neposredno iz nevronov, nevrotehnologija uporablja slikanje s funkcijsko magnetno resonanco (fMRI), popolnoma neinvaziven postopek, za ustvarjanje možganskih zemljevidov, ki ustrezajo jeziku.

Če smo jasni, tehnologija ni branje misli. V vsakem primeru dekoder proizvede parafraze, ki zajamejo splošno idejo stavka ali odstavka. Ne ponavlja vsake posamezne besede. Vendar je to tudi moč dekoderja.

"Menimo, da dekoder predstavlja nekaj globljega od jezikov," je na novinarski konferenci povedal glavni avtor študije dr. Alexander Huth. "Lahko obnovimo celotno idejo … in vidimo, kako se ideja razvija, tudi če se točne besede izgubijo."

Študija, objavljen ta teden v Nature Neuroscience, predstavlja močan prvi zagon pri neinvazivni vmesniki možgan-stroj za dekodiranje jezika - znano težak problem. Z nadaljnjim razvojem bi lahko tehnologija pomagala tistim, ki so izgubili sposobnost govora, da ponovno pridobijo sposobnost komuniciranja z zunanjim svetom.

Delo prav tako odpira nove poti za učenje o tem, kako je jezik kodiran v možganih, in za znanstvenike AI, da se poglobijo v »črno skrinjico« modelov strojnega učenja, ki obdelujejo govor in jezik.

"Dolgo je trajalo … bili smo nekako šokirani, da je to delovalo tako dobro, kot je," je dejal Huth.

Jezik dekodiranja

Prevajanje možganske dejavnosti v govor ni novost. Ena prejšnja študija uporabil elektrode, nameščene neposredno v možgane bolnikov s paralizo. S poslušanjem električnega klepetanja nevronov je ekipa lahko rekonstruirala celotne besede bolnika.

Huth se je odločil za alternativno, če drzno pot. Namesto da bi se zanašal na nevrokirurgijo, se je odločil za neinvazivni pristop: fMRI.

"Pričakovanja nevroznanstvenikov na splošno, da lahko naredite takšne stvari s fMRI, so precej nizka," je dejal Huth.

Razlogov je veliko. Za razliko od vsadkov, ki delujejo neposredno na nevronsko aktivnost, fMRI meri, kako se spreminja raven kisika v krvi. To se imenuje KREPI signal. Ker bolj aktivne možganske regije potrebujejo več kisika, delujejo odzivi BOLD kot zanesljiv približek nevronske aktivnosti. Vendar prihaja s težavami. Signali so počasni v primerjavi z merjenjem električnih izbruhov in signali so lahko šumni.

Vendar ima fMRI veliko prednost v primerjavi z možganskimi vsadki: lahko spremlja celotne možgane v visoki ločljivosti. V primerjavi z zbiranjem podatkov iz kepe v eni regiji zagotavlja pogled iz ptičje perspektive na kognitivne funkcije na višji ravni – vključno z jezikom.

Z dekodiranjem jezika se je večina prejšnjih študij dotaknila motorične skorje, področja, ki nadzoruje, kako se usta in grlo premikajo za ustvarjanje govora, ali bolj »površinske ravni« pri obdelavi jezika za artikulacijo. Huthova ekipa se je odločila iti eno abstrakcijo višje: v kraljestvo misli in idej.

V neznano

Ekipa je od samega začetka ugotovila, da potrebuje dve stvari. Prvič, niz podatkov visokokakovostnih možganskih pregledov, ki se uporabljajo za usposabljanje dekoderja. Drugič, ogrodje strojnega učenja za obdelavo podatkov.

Da bi ustvarili podatkovno zbirko zemljevidov možganov, so sedmim prostovoljcem večkrat skenirali možgane, medtem ko so poslušali zgodbe podcastov, medtem ko so jim merili nevronsko aktivnost v napravi MRI. Ležanje v velikanskem, hrupnem magnetu ni zabavno za nikogar in ekipa je poskrbela, da je prostovoljce obdržala zanimanje in pozornost, saj so dejavniki pozornosti vključeni v dekodiranje.

Za vsako osebo je bil kasnejši ogromen nabor podatkov vstavljen v ogrodje, ki ga poganja strojno učenje. Zahvaljujoč nedavni eksploziji modelov strojnega učenja, ki pomagajo pri obdelavi naravnega jezika, je ekipa lahko izkoristila te vire in brez težav zgradila dekoder.

Ima več komponent. Prvi je model kodiranja, ki uporablja originalni GPT, predhodnik zelo priljubljenega ChatGPT. Model vzame vsako besedo in napove, kako se bodo možgani odzvali. Tukaj je ekipa natančno prilagodila GPT z uporabo več kot 200 milijonov skupnih besed iz komentarjev in podcastov Reddit.

Ta drugi del uporablja priljubljeno tehniko strojnega učenja, imenovano Bayesovo dekodiranje. Algoritem ugane naslednjo besedo na podlagi prejšnjega zaporedja in uporabi uganjeno besedo, da preveri dejanski odziv možganov.

Na primer, ena epizoda podcasta je imela kot zgodbo »moj oče tega ne potrebuje ...«. Ko je bil kot poziv vstavljen v dekoder, je prišel s potencialnimi odgovori: "veliko", "prav", "od" itd. Primerjava predvidene možganske aktivnosti z vsako besedo s tisto, ustvarjeno iz dejanske besede, je dekoderju pomagala izpiliti vzorce možganske aktivnosti vsake osebe in popraviti napake.

Po ponovitvi postopka z najboljšimi predvidenimi besedami, vidik dekodiranja programa

sčasoma so se naučili edinstvenega »nevronskega prstnega odtisa« vsake osebe, kako obdeluje jezik.

Nevro prevajalec

Kot dokaz koncepta je ekipa primerjala dekodirane odgovore z dejanskim besedilom zgodbe.

Bilo je presenetljivo blizu, a le za splošno bistvo. Na primer, ena zgodba, "začneva izmenjevati zgodbe o najinih življenjih, oba sva s severa," je bila dekodirana kot "začela sva govoriti o svojih izkušnjah na območju, kjer se je rodil, jaz sem bil s severa."

To parafraziranje je pričakovano, je pojasnil Huth. Ker je fMRI precej hrupen in počasen, je skoraj nemogoče zajeti in dekodirati vsako besedo. Dekoder se napaja z mešanico besed in mora razločiti njihov pomen s pomočjo funkcij, kot so obračanje fraz.

Nasprotno pa so ideje trajnejše in se razmeroma počasi spreminjajo. Ker ima fMRI zamik pri merjenju nevronske aktivnosti, bolje zajame abstraktne pojme in misli kot specifične besede.

Ta pristop na visoki ravni ima prednosti. Čeprav mu primanjkuje zvestobe, dekoder zajame višjo raven jezikovne predstavitve kot prejšnji poskusi, vključno z nalogami, ki niso omejene samo na govor. V enem od testov so prostovoljci brez kakršnega koli zvoka gledali animirani posnetek dekleta, ki so ga napadli zmaji. Samo z uporabo možganske aktivnosti je dekoder opisal prizor iz protagonistove perspektive kot besedilno zgodbo. Z drugimi besedami, dekoder je lahko prevedel vizualne informacije neposredno v pripoved, ki temelji na predstavitvi jezika, kodiranega v možganski aktivnosti.

Podobno je dekoder rekonstruiral tudi minuto dolge namišljene zgodbe prostovoljcev.

Po več kot desetletju dela na tehnologiji je bilo "šokantno in vznemirljivo, ko je končno delovalo," je dejal Huth.

Čeprav dekoder ne bere ravno misli, je bila ekipa previdna pri ocenjevanju mentalne zasebnosti. V nizu testov so ugotovili, da je dekoder deloval le z aktivnim miselnim sodelovanjem prostovoljcev. Prvi avtor Jerry Tang je dejal, da so udeležence prosili, naj štejejo po vrstnem redu sedem, poimenujejo različne živali ali miselno sestavijo lastne zgodbe. Z drugimi besedami, dekoderju se je mogoče "zavestno upreti".

Zaenkrat tehnologija deluje le po mesecih skrbnega skeniranja možganov v glasno brnečem stroju, medtem ko leži popolnoma pri miru - kar je komaj izvedljivo za klinično uporabo. Ekipa dela na prevajanju tehnologije v fNIRS (funkcionalna bližnja infrardeča spektroskopija), ki meri ravni kisika v krvi v možganih. Čeprav ima nižjo ločljivost kot fMRI, je fNIRS veliko bolj prenosljiv, saj je glavna strojna oprema naprava, podobna plavalni kapi, ki se zlahka prilega pod pulover s kapuco.

"S popravki bi morali biti sposobni prevesti trenutno nastavitev v celotno prodajo fNIRS," je dejal Huth.

Ekipa prav tako načrtuje uporabo novejših jezikovnih modelov za povečanje natančnosti dekoderja in morebitno premostitev različnih jezikov. Ker imajo jeziki skupno nevronsko predstavitev v možganih, bi lahko dekoder teoretično kodiral en jezik in uporabil nevronske signale za dekodiranje v drugega.

To je "vznemirljiva prihodnost," je dejal Huth.

Kreditno slike: Jerry Tang/Martha Morales/Teksaška univerza v Austinu

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
• Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
• vir: https://singularityhub.com/2023/05/02/this-brain-activity-decoder-translates-ideas-into-text-using-only-scans/