Tämä aivotoiminnan dekooderi muuntaa ideat tekstiksi käyttämällä vain aivoskannauksia

Kieli ja puhe ovat tapoja, joilla ilmaisemme sisäiset ajatuksemme. Mutta neurotieteilijät vain ohittivat kuultavan puheen tarpeen, ainakin laboratoriossa. Sen sijaan he ottivat suoraan yhteyttä biologiseen koneeseen, joka tuottaa kieltä ja ideoita: aivoihin.

Austinin Texasin yliopiston tiimi kehitti "kielidekooderin" käyttämällä aivoskannauksia ja runsasta koneoppimista, joka vangitsee ihmisen kuuleman sisällön pelkästään aivojen aktivaatiomallien perusteella. Kaukana yhden tempun poni, dekooderi voi myös kääntää kuviteltua puhetta ja jopa luoda kuvailevia tekstityksiä mykkäelokuville hermotoiminnan avulla.

Tässä on kicker: menetelmä ei vaadi leikkausta. Sen sijaan, että luottaisivat istutettuihin elektrodeihin, jotka kuuntelevat suoraan neuroneista tulevia sähköpurskeita, neuroteknologia käyttää toiminnallista magneettikuvausta (fMRI), täysin ei-invasiivista menetelmää, luomaan kieltä vastaavia aivokarttoja.

Selvyyden vuoksi tekniikka ei ole ajatusten lukemista. Kussakin tapauksessa dekooderi tuottaa parafraaseja, jotka kuvaavat lauseen tai kappaleen yleisen idean. Se ei toista jokaista sanaa. Se on kuitenkin myös dekooderin teho.

"Uskomme, että dekooderi edustaa jotain syvempää kuin kielet", sanoi tutkimuksen johtava kirjoittaja tohtori Alexander Huth lehdistötilaisuudessa. "Voimme palauttaa kokonaisidean… ja nähdä, kuinka idea kehittyy, vaikka tarkat sanat katoavatkin."

Tutkimus, julkaistu tällä viikolla Luonto Neuroscience, edustaa voimakasta ensimmäistä työntöä ei-invasiiviseen aivojen ja koneiden rajapinnat kielen purkamiseen – tunnetusti vaikea ongelma. Jatkokehityksen myötä teknologia voisi auttaa puhumiskyvyn menettäneitä saamaan takaisin kykynsä kommunikoida ulkomaailman kanssa.

Työ avaa myös uusia mahdollisuuksia oppia siitä, miten kieli koodataan aivoissa, ja tekoälytutkijoille kaivaa puhetta ja kieltä käsittelevien koneoppimismallien "mustaan ​​laatikkoon".

"Se kesti kauan... olimme melko järkyttyneitä siitä, että tämä toimi yhtä hyvin kuin se toimii", Huth sanoi.

Dekoodauskieli

Aivojen toiminnan kääntäminen puheeksi ei ole uutta. Yksi edellinen tutkimus käytti elektrodeja, jotka asetettiin suoraan halvaantuneiden potilaiden aivoihin. Kuuntelemalla hermosolujen sähköistä pulinaa, ryhmä pystyi rekonstruoimaan potilaan täydet sanat.

Huth päätti valita vaihtoehtoisen, jos rohkea, reitin. Sen sijaan, että luottaisi neurokirurgiaan, hän valitsi ei-invasiivisen lähestymistavan: fMRI:n.

"Neurotieteilijöiden odotukset, että voit tehdä tämänkaltaisia ​​​​fMRI:llä, ovat melko alhaiset", Huth sanoi.

Syitä on monia. Toisin kuin implantit, jotka vaikuttavat suoraan hermotoimintaan, fMRI mittaa kuinka veren happitasot muuttuvat. Tätä kutsutaan BOLD-signaaliksi. Koska aktiivisemmat aivoalueet vaativat enemmän happea, BOLD-vasteet toimivat luotettavana välittäjänä hermotoiminnalle. Mutta siihen liittyy ongelmia. Signaalit ovat hitaita verrattuna sähköpurskeiden mittaukseen, ja signaalit voivat olla kohinaisia.

Silti fMRI:llä on valtava etu verrattuna aivoimplantteihin: se voi seurata koko aivoja korkealla resoluutiolla. Verrattuna tietojen keräämiseen yhdeltä alueelta, se tarjoaa lintuperspektiivistä näkemyksen korkeamman tason kognitiivisista toiminnoista, mukaan lukien kielestä.

Kielen dekoodauksen avulla useimmat aiemmat tutkimukset koskettivat motorista aivokuorta, aluetta, joka ohjaa suun ja kurkunpään liikkumista puheen tuottamiseksi, tai enemmän "pintatasoa" artikulaatiossa tapahtuvassa kielenkäsittelyssä. Huthin tiimi päätti mennä yhden abstraktion ylöspäin: ajatusten ja ideoiden maailmaan.

Tuntemattomaan

Joukkue ymmärsi, että he tarvitsivat kaksi asiaa alusta alkaen. Ensimmäinen, tietojoukko korkealaatuisia aivoskannauksia dekooderin kouluttamiseksi. Toiseksi koneoppimiskehys tietojen käsittelemiseksi.

Aivokarttatietokannan luomiseksi seitsemän vapaaehtoisen aivot skannattiin toistuvasti, kun he kuuntelivat podcast-tarinoita samalla, kun heidän hermotoimintansa mitattiin MRI-laitteen sisällä. Jättiläisen, meluisan magneetin sisällä makaaminen ei ole hauskaa kenellekään, ja tiimi piti vapaaehtoiset kiinnostuneena ja valppaana, koska huomio vaikuttaa dekoodaukseen.

Jokaisen henkilön kohdalla saatu valtava tietojoukko syötettiin koneoppimisen tukemaan kehykseen. Luonnollisen kielen käsittelyä auttavan koneoppimismallien äskettäisen räjähdysmäisen kasvun ansiosta tiimi pystyi valjastamaan nämä resurssit ja rakentamaan dekooderin helposti.

Siinä on useita komponentteja. Ensimmäinen on koodausmalli, joka käyttää alkuperäistä GPT:tä, massiivisen suositun ChatGPT:n edeltäjää. Malli ottaa jokaisen sanan ja ennustaa, kuinka aivot reagoivat. Täällä tiimi hienosääsi GPT:tä käyttämällä yli 200 miljoonaa sanaa Reddit-kommenteista ja podcasteista.

Tässä toisessa osassa käytetään suosittua koneoppimisen tekniikkaa, nimeltään Bayesin dekoodaus. Algoritmi arvaa seuraavan sanan edellisen sekvenssin perusteella ja käyttää arvattua sanaa tarkistaakseen aivojen todellisen vasteen.

Esimerkiksi yhdessä podcast-jaksossa tarinana oli "isäni ei tarvitse sitä...". Kun se syötettiin dekooderiin kehotteena, se sisälsi mahdollisia vastauksia: "paljon", "oikein", "alkaen" ja niin edelleen. Ennustetun aivojen toiminnan vertaaminen kunkin sanan kanssa varsinaisesta sanasta luotuun auttoi dekooderia hiomaan kunkin henkilön aivojen toimintamalleja ja korjaamaan virheet.

Toistettuaan prosessin parhaiten ennustetuilla sanoilla, ohjelman dekoodausosa lopulta oppi jokaisen henkilön ainutlaatuisen "hermosormenjäljen" kielen käsittelyyn.

Neuro-kääntäjä

Todisteeksi konseptista tiimi asetti dekoodatut vastaukset todelliseen tarinatekstiin.

Se tuli yllättävän lähelle, mutta vain yleisen asian vuoksi. Esimerkiksi eräs tarina "alaamme vaihtaa tarinoita elämästämme, olemme molemmat ylhäältä pohjoisesta" dekoodattiin seuraavasti: "Aloimme puhua kokemuksistamme alueella, jolla hän syntyi, minä olin pohjoisesta."

Tämä parafrasointi on odotettavissa, selitti Huth. Koska fMRI on melko meluisa ja hidas, on lähes mahdotonta siepata ja purkaa jokaista sanaa. Dekooderiin syötetään sekalaista sanoja, ja sen on erotettava niiden merkitykset käyttämällä ominaisuuksia, kuten lauseen käännöksiä.

Sitä vastoin ideat ovat pysyvämpiä ja muuttuvat suhteellisen hitaasti. Koska fMRI:llä on viive hermotoiminnan mittaamisessa, se tallentaa abstraktit käsitteet ja ajatukset paremmin kuin tietyt sanat.

Tällä korkean tason lähestymistavalla on etuja. Vaikka dekooderi ei ole täsmällinen, se kaappaa korkeamman tason kielen esitystä kuin aiemmat yritykset, mukaan lukien tehtävät, jotka eivät rajoitu pelkästään puheeseen. Yhdessä testissä vapaaehtoiset katselivat animoitua leikettä, jossa lohikäärmeet hyökkäsivät tyttöön ilman ääntä. Pelkästään aivotoimintaa käyttämällä dekooderi kuvaili kohtausta päähenkilön näkökulmasta tekstipohjaiseksi tarinaksi. Toisin sanoen dekooderi pystyi kääntämään visuaalisen tiedon suoraan narratiiviksi, joka perustui aivojen toimintaan koodatun kielen esitykseen.

Vastaavasti dekooderi rekonstruoi myös minuutin pituisia kuviteltuja tarinoita vapaaehtoisilta.

Yli vuosikymmenen tekniikan parissa työskenneltyään "oli järkyttävää ja jännittävää, kun se vihdoin toimi", Huth sanoi.

Vaikka dekooderi ei tarkalleen lue ajatuksia, tiimi oli tarkkana arvioidessaan henkistä yksityisyyttä. Useissa testeissä he havaitsivat, että dekooderi toimi vain vapaaehtoisten aktiivisen henkisen osallistumisen kanssa. Ensimmäinen kirjoittaja Jerry Tang sanoi, että osallistujien pyytäminen laskemaan seitsemän järjestyksessä, nimeämään erilaisia ​​eläimiä tai rakentamaan henkisesti omia tarinoitaan heikensi nopeasti dekooderia. Toisin sanoen dekooderia voidaan "tietoisesti vastustaa".

Toistaiseksi tekniikka toimii vain kuukausia kestäneiden huolellisten aivoskannausten jälkeen äänekkäästi sumisevassa koneessa makaamalla täysin paikallaan – tuskin mahdollista kliiniseen käyttöön. Tiimi työskentelee teknologian muuntamiseksi fNIRS:ksi (funktionaalinen lähi-infrapunaspektroskopia), joka mittaa veren happitasoja aivoissa. Vaikka sen resoluutio on pienempi kuin fMRI, fNIRS on paljon kannettavampi, koska päälaitteisto on uimalakkimainen laite, joka mahtuu helposti hupparin alle.

"Muokkausten avulla meidän pitäisi pystyä kääntämään nykyiset asetukset fNIRS-tukkumyyntiin", Huth sanoi.

Tiimi aikoo myös käyttää uudempia kielimalleja dekooderin tarkkuuden parantamiseksi ja mahdollisesti eri kielten yhdistämiseksi. Koska kielillä on yhteinen hermoesitys aivoissa, dekooderi voisi teoriassa koodata yhden kielen ja käyttää hermosignaaleja sen purkamiseen toiseksi.

Se on "jännittävä tulevaisuuden suunta", sanoi Huth.

Kuva pistetilanne: Jerry Tang / Martha Morales / Texasin yliopisto Austinissa

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
• Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
• Lähde: https://singularityhub.com/2023/05/02/this-brain-activity-decoder-translates-ideas-into-text-using-only-scans/