Ta czapka do czytania w myślach może tłumaczyć myśli na tekst dzięki sztucznej inteligencji

Młody człowiek, ubrany w czapkę nabijaną elektrodami i najeżoną drutami, po cichu czyta w swojej głowie zdanie. Chwilę później wtrąca się głos przypominający Siri: próbując przełożyć swoje myśli na tekst, „Tak, poproszę miskę rosołu”. To najnowszy przykład komputerów tłumaczących ludzkie myśli na słowa i zdania.

Wcześniej badacze używali implantów umieszczanych chirurgicznie w mózgu lub nieporęcznych, drogich maszyn do przekładania aktywności mózgu na tekst. The nowe podejście, zaprezentowany w tym tygodniu na konferencji NeurIPS przez naukowców z Politechniki w Sydney, robi wrażenie ze względu na zastosowanie nieinwazyjnej czapki EEG i możliwość uogólniania wyników na więcej niż jedną lub dwie osoby.

Zespół zbudował model sztucznej inteligencji o nazwie DeWave, który szkoli się pod kątem aktywności mózgu i języka, i połączył go z dużym modelem językowym – technologią stojącą za ChatGPT – aby pomóc przekształcić aktywność mózgu w słowa. W przeddruk opublikowany na arXivmodel pobił poprzednie najwyższe oceny za tłumaczenie myśli na tekst EEG z dokładnością około 40 procent. Chin-Teng Lin, autor korespondencyjny artykułu, powiedział MSN ostatnio zwiększyli dokładność do 60 procent. Wyniki są nadal poddawane ocenie.

Choć pod względem niezawodności pozostaje jeszcze wiele do zrobienia, widać postęp w dziedzinie nieinwazyjnych metod czytania i tłumaczenia myśli na język. Zespół wierzy, że ich praca może dać głos tym, którzy nie mogą się już komunikować z powodu kontuzji lub choroby, lub zostać wykorzystana do kierowania maszynami, takimi jak kroczące roboty lub roboty, za pomocą samych myśli.

Zgadnij o czym myślę

Być może pamiętasz nagłówki o maszynach „czytających w myślach”, szybko tłumaczących myśli na tekst. Dzieje się tak dlatego, że takie wysiłki nie są niczym nowym.

Na początku tego roku badacze ze Stanford opisana praca z pacjentem Patem Bennettem, który stracił zdolność mówienia z powodu ALS. Po wszczepieniu czterech czujników w dwie części mózgu i intensywnym szkoleniu Bennett potrafił komunikować się za pomocą jej myśli konwertowane na tekst z szybkością 62 słów na minutę— poprawa w stosunku do rekordu tego samego zespołu z 2021 r., który wyniósł 18 słów na minutę.

To niesamowity wynik, ale implanty mózgowe mogą być ryzykowne. Naukowcy chcieliby uzyskać podobny wynik bez operacji.

In kolejne badanie w tym rokunaukowcy z Uniwersytetu Teksasu w Austin zajęli się technologią skanowania mózgu zwaną fMRI. W badaniu pacjenci, słuchając historii, musieli leżeć nieruchomo w maszynie rejestrującej przepływ krwi w ich mózgach. Po wykorzystaniu tych danych do wyszkolenia algorytmu – opartego częściowo na przodku ChatGPT, GPT-1 – zespół użył systemu do odgadnięcia, co słyszeli uczestnicy, na podstawie aktywności ich mózgu.

Dokładność systemu nie była doskonała, wymagał dużego dostosowania dla każdego uczestnika, a maszyny do fMRI są nieporęczne i drogie. Mimo to badanie potwierdziło słuszność koncepcji, że myśli można dekodować w sposób nieinwazyjny, a najnowsze rozwiązania w zakresie sztucznej inteligencji mogą w tym pomóc.

Kapelusz Przydziału

In Harry Potteruczniowie są przydzielani do domów szkolnych za pomocą magicznego kapelusza, który czyta w myślach. My, mugole, uciekamy się do śmiesznie wyglądających czepków pływackich przebitych drutami i elektrodami. Urządzenia te, zwane czapkami elektroencefalografu (EEG), odczytują i rejestrują aktywność elektryczną w naszych mózgach. W przeciwieństwie do implantów mózgowych nie wymagają one operacji, ale są znacznie mniej dokładne. Wyzwaniem jest zatem oddzielenie sygnału od szumu, aby uzyskać użyteczny wynik.

W nowym badaniu zespół wykorzystał dwa zbiory danych zawierające śledzenie wzroku i nagrania EEG odpowiednio od 12 i 18 osób podczas czytania tekstu. Dane ze śledzenia wzroku pomogły systemowi podzielić aktywność mózgu na słowa. Oznacza to, że gdy wzrok danej osoby przeskakuje od jednego słowa do drugiego, oznacza to, że powinna nastąpić przerwa między aktywnością mózgu związaną z tym słowem a aktywnością, która powinna być skorelowana z następnym.

Następnie przeszkolili DeWave na tych danych i z biegiem czasu algorytm nauczył się kojarzyć określone wzorce fal mózgowych ze słowami. Wreszcie, za pomocą wstępnie wytrenowanego modelu dużego języka o nazwie BART – dostosowanego do zrozumienia unikalnych wyników modelu – skojarzenia fal mózgowych ze słowami algorytmu zostały przetłumaczone z powrotem na zdania.

W testach DeWave uzyskał lepsze wyniki niż najlepsze algorytmy w swojej kategorii zarówno pod względem tłumaczenia surowych fal mózgowych, jak i fal mózgowych pokrojonych według słów. Te ostatnie były dokładniejsze, ale nadal pozostawały daleko w tyle za tłumaczeniami między językami — takimi jak angielski i francuski — oraz rozpoznawaniem mowy. Odkryli również, że algorytm działał podobnie u wszystkich uczestników. Wcześniejsze eksperymenty zwykle podawały wyniki dla jednej osoby lub wymagały skrajnego dostosowania.

Zespół twierdzi, że badanie stanowi kolejny dowód na to, że duże modele językowe mogą pomóc w udoskonalaniu systemów zamiany mózgu na tekst. Chociaż w oficjalnym badaniu wykorzystano stosunkowo przestarzały algorytm, w materiale uzupełniającym uwzględniono wyniki z większych modeli, w tym oryginalnego algorytmu Lamy Meta. Co ciekawe, większe algorytmy nie poprawiły znacząco wyników.

„Podkreśla to złożoność problemu i wyzwania związane z łączeniem czynności mózgu z LLM” – napisali autorzy, wzywając do przeprowadzenia w przyszłości bardziej szczegółowych badań. Mimo to zespół ma nadzieję, że uda mu się ulepszyć własny system, być może do 90% dokładności.

W pracy widać postęp w terenie.

„Ludzie chcieli zamienić EEG na tekst od dawna, a model opracowany przez zespół wykazuje niezwykłą poprawność” – powiedział Craig Jin z Uniwersytetu w Sydney MSN. „Kilka lat temu konwersja z EEG na tekst była kompletna i stanowiła całkowity nonsens”.

Kredytowych Image: University of Technology Sydney

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://singularityhub.com/2023/12/12/this-mind-reading-cap-can-translate-thoughts-to-text-thanks-to-ai/