Denne tankelæsehætte kan oversætte tanker til tekst takket være AI

Denne tankelæsehætte kan oversætte tanker til tekst takket være AI

Tidsstempel: 12. december 2023 kl. 7:02
This Mind-Reading Cap Can Translate Thoughts to Text Thanks to AI PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Iført en elektrodebesat kasket, der stritter med ledninger, læser en ung mand tavst en sætning i sit hoved. Øjeblikke senere bryder en Siri-lignende stemme ind, forsøger at omsætte sine tanker til tekst, "Ja, jeg vil gerne have en skål kyllingesuppe, tak." Det er det seneste eksempel på computere, der oversætter en persons tanker til ord og sætninger.

Tidligere har forskere brugt implantater kirurgisk placeret i hjernen eller store, dyre maskiner til at omsætte hjerneaktivitet til tekst. Det ny tilgang, præsenteret på denne uges NeurIPS-konference af forskere fra University of Technology Sydney, er imponerende for sin brug af en ikke-invasiv EEG-hætte og potentialet til at generalisere ud over en eller to personer.

Holdet byggede en AI-model kaldet DeWave, der er trænet i hjerneaktivitet og sprog og koblede den op til en stor sprogmodel – teknologien bag ChatGPT – for at hjælpe med at konvertere hjerneaktivitet til ord. I en fortryk lagt ud på arXiv, slog modellen tidligere topkarakterer for EEG-tanke-til-tekst-oversættelse med en nøjagtighed på omkring 40 procent. Chin-Teng Lin, tilsvarende forfatter på papiret, fortalte MSN de har for nylig øget nøjagtigheden til 60 procent. Resultaterne bliver stadig peer-reviewet.

Selvom der er lang vej at gå med hensyn til pålidelighed, viser det fremskridt i ikke-invasive metoder til at læse og oversætte tanker til sprog. Holdet mener, at deres arbejde kan give stemme til dem, der ikke længere kan kommunikere på grund af skade eller sygdom eller bruges til at dirigere maskiner, såsom gårobotter eller robotarme, med tanker alene.

Gæt hvad jeg tænker

Du husker måske overskrifter om "tankelæsende" maskiner, der i høj hastighed oversætter tanker til tekst. Det er fordi sådanne bestræbelser næppe er nye.

Tidligere i år, Stanford-forskere beskrevet arbejde med en patient, Pat Bennett, som havde mistet evnen til at tale på grund af ALS. Efter at have implanteret fire sensorer i to dele af hendes hjerne og omfattende træning kunne Bennett kommunikere ved at have sine tanker konverteret til tekst med en hastighed på 62 ord i minuttet—en forbedring af det samme holds rekord i 2021 på 18 ord i minuttet.

Det er et fantastisk resultat, men hjerneimplantater kan være risikable. Forskere ville elske at få et lignende resultat uden operation.

In endnu en undersøgelse i år, vendte forskere ved University of Texas i Austin til en hjernescanningsteknologi kaldet fMRI. I undersøgelsen skulle patienterne ligge meget stille i en maskine og registrere blodgennemstrømningen i deres hjerner, mens de lyttede til historier. Efter at have brugt disse data til at træne en algoritme – delvist baseret på ChatGPT-forfaderen, GPT-1 – brugte holdet systemet til at gætte, hvad deltagerne hørte baseret på deres hjerneaktivitet.

Systemets nøjagtighed var ikke perfekt, det krævede stor tilpasning for hver deltager, og fMRI-maskiner er omfangsrige og dyre. Alligevel tjente undersøgelsen som et bevis på, at tanker kan afkodes non-invasivt, og det seneste inden for AI kan hjælpe med at få det til at ske.

Sorteringshatten

In Harry Potter, bliver eleverne sorteret ind i skolehuse af en magisk hat, der læser tanker. Vi mugglere tyer til sjove badehætter, der er punkteret af ledninger og elektroder. Disse enheder, der er kendt som elektroencefalograf-hætter (EEG), læser og registrerer den elektriske aktivitet i vores hjerner. I modsætning til hjerneimplantater kræver de ingen operation, men er betydeligt mindre nøjagtige. Udfordringen er altså at adskille signal fra støj for at få et brugbart resultat.

I den nye undersøgelse brugte holdet to datasæt indeholdende eye-tracking og EEG-optagelser fra henholdsvis 12 og 18 personer, mens de læste tekst. Eye-tracking-data hjalp systemet med at opdele hjerneaktivitet for ord. Det vil sige, at når en persons øjne flyver fra det ene ord til det næste, betyder det, at der skal være en pause mellem hjerneaktiviteten forbundet med det ord og den aktivitet, der burde være korreleret med det næste.

De trænede derefter DeWave på disse data, og med tiden lærte algoritmen at forbinde bestemte hjernebølgemønstre med ord. Endelig blev algoritmens hjerne-bølge-til-ord-associationer oversat til sætninger ved hjælp af en fortrænet storsprogmodel kaldet BART – finjusteret til at forstå modellens unikke output.

I test klarede DeWave sig bedre end topalgoritmer i kategorien i både oversættelsen af ​​rå hjernebølger og hjernebølger skåret op efter ord. Sidstnævnte var mere nøjagtige, men haltede stadig langt bagefter oversættelse mellem sprog - som engelsk og fransk - og talegenkendelse. De fandt også, at algoritmen fungerede ens på tværs af deltagere. Tidligere eksperimenter har haft en tendens til at rapportere resultater for én person eller kræve ekstrem tilpasning.

Holdet siger, at forskningen er mere bevis på, at store sprogmodeller kan hjælpe med at fremme hjerne-til-tekst-systemer. Selvom de brugte en relativt antik algoritme i den officielle undersøgelse, inkluderede de i supplerende materiale resultater fra større modeller, herunder Metas originale Llama-algoritme. Interessant nok forbedrede de større algoritmer ikke resultaterne meget.

"Dette understreger kompleksiteten af ​​problemet og udfordringerne ved at bygge bro mellem hjerneaktiviteter med LLM'er," skrev forfatterne og opfordrede til mere nuanceret forskning i fremtiden. Alligevel håber holdet, at de kan presse deres eget system yderligere, måske op til 90 procents nøjagtighed.

Arbejdet viser fremgang på området.

"Folk har i lang tid ønsket at omdanne EEG til tekst, og holdets model viser en bemærkelsesværdig mængde korrekthed," fortalte Craig Jin fra University of Sydney. MSN. "For adskillige år siden var konverteringerne fra EEG til tekst komplet og fuldstændig nonsens."

Billede Credit: University of Technology Sydney

Tidsstempel:

Mere fra Singularitet Hub