Ця шапка для читання думок може перетворювати думки на текст завдяки ШІ

Одягнувши ковпачок з електродами, щетинистий дротами, молодий чоловік мовчки читає речення в своїй голові. За кілька хвилин доноситься голос, схожий на Siri, намагаючись втілити свої думки в текст, «Так, я хочу миску курячого супу, будь ласка». Це останній приклад того, як комп’ютери перетворюють думки людини на слова та речення.

Раніше дослідники використовували імплантати, які хірургічно встановлювали в мозок, або громіздкі, дорогі машини, щоб перевести мозкову діяльність у текст. The новий підхід, представлений на конференції NeurIPS цього тижня дослідниками з Сіднейського технологічного університету, вражає використанням неінвазивної ЕЕГ-кепа та потенціалом для узагальнення не тільки на одну-двох людей.

Команда створила модель штучного інтелекту під назвою DeWave, яка навчена активності мозку та мові, і зв’язала її з великою мовною моделлю — технологією ChatGPT — щоб допомогти перетворити мозкову активність у слова. В препринт розміщено на arXiv, модель перевершила попередні найвищі оцінки для перекладу думки в текст ЕЕГ з точністю приблизно 40 відсотків. Чін-Тен Лін, відповідальний автор статті, сказав MSN нещодавно вони підвищили точність до 60 відсотків. Результати все ще перевіряються.

Хоча з точки зору надійності попереду довгий шлях, він демонструє прогрес у неінвазивних методах читання та перекладу думок на мову. Команда вважає, що їхня робота може дати голос тим, хто більше не може спілкуватися через травму чи хворобу, або використовувати їх для керування машинами, такими як крокуючі роботи чи роботизовані руки, лише думками.

Вгадайте, про що я думаю

Можливо, ви пам’ятаєте заголовки про машини «читання думок», які з високою швидкістю перетворюють думки в текст. Це тому, що такі зусилля навряд чи є новими.

На початку цього року дослідники Стенфордського університету описана робота з пацієнтом Петом Беннетом, який втратив здатність говорити через БАС. Після імплантації чотирьох датчиків у дві частини її мозку та тривалого навчання Беннетт могла спілкуватися за допомогою своїх думок. перетворюється на текст зі швидкістю 62 слова за хвилину— покращення рекорду тієї ж команди 2021 року на 18 слів на хвилину.

Це дивовижний результат, але імплантація мозку може бути ризикованою. Вчені хотіли б отримати подібний результат без операції.

In ще одне дослідження цього року, дослідники з Техаського університету в Остіні звернулися до технології сканування мозку під назвою фМРТ. Під час дослідження пацієнтам доводилося лежати дуже нерухомо в апараті, який записував кровотік у їхньому мозку, коли вони слухали розповіді. Після використання цих даних для навчання алгоритму, частково заснованого на предку ChatGPT, GPT-1, команда використала систему, щоб вгадати, що чують учасники на основі активності їх мозку.

Точність системи не була ідеальною, вона вимагала серйозних налаштувань для кожного учасника, а апарати фМРТ громіздкі та дорогі. Тим не менш, дослідження послужило доказом концепції того, що думки можна декодувати неінвазивно, і новітні технології ШІ можуть допомогти в цьому.

Капелюх для сортування

In Гаррі Поттер, учнів розбивають по шкільних будинках за чарівним капелюхом, який читає думки. Ми, магли, вдаємось до кумедних шапочок для плавання, проколених дротами та електродами. Ці пристрої, відомі як електроенцефалографи (ЕЕГ), зчитують і записують електричну активність нашого мозку. На відміну від мозкових імплантатів, вони не потребують хірургічного втручання, але є значно менш точними. Таким чином, завдання полягає в тому, щоб відокремити сигнал від шуму, щоб отримати корисний результат.

У новому дослідженні команда використовувала два набори даних, що містять записи стеження за очима та ЕЕГ від 12 і 18 людей відповідно, коли вони читали текст. Дані відстеження очей допомогли системі розділити мозкову активність за словами. Тобто, коли очі людини перебігають від одного слова до наступного, це означає, що має бути перерва між мозковою активністю, пов’язаною з цим словом, і діяльністю, яка має бути пов’язана з наступним.

Потім вони навчили DeWave на цих даних, і з часом алгоритм навчився пов’язувати певні шаблони мозкових хвиль зі словами. Нарешті, за допомогою попередньо навченої великої мовної моделі під назвою BART, точно налаштованої для розуміння унікальних результатів моделі, асоціації мозкової хвилі зі словом алгоритму були переведені назад у речення.

У тестах DeWave перевершив кращі алгоритми в категорії як у перекладі сирих мозкових хвиль, так і в мозкових хвилях, нарізаних словом. Останні були більш точними, але все одно значно відставали від перекладу між мовами, такими як англійська та французька, і розпізнавання мовлення. Вони також виявили, що алгоритм працює однаково для всіх учасників. Попередні експерименти, як правило, повідомляли про результати для однієї особи або вимагали екстремальних налаштувань.

Команда каже, що дослідження є ще одним доказом того, що великі мовні моделі можуть допомогти вдосконалити системи «мозок-текст». Хоча в офіційному дослідженні вони використовували відносно старовинний алгоритм, у додаткових матеріалах вони включили результати більших моделей, включаючи оригінальний алгоритм Llama від Meta. Цікаво, що більші алгоритми не надто покращили результати.

«Це підкреслює складність проблеми та проблеми, пов’язані з поєднанням діяльності мозку з LLMs», — пишуть автори, закликаючи до більш детальних досліджень у майбутньому. Тим не менш, команда сподівається, що вони зможуть просунути свою власну систему далі, можливо, до 90 відсотків точності.

Робота свідчить про прогрес у сфері.

«Люди давно хотіли перетворити ЕЕГ на текст, і модель команди демонструє надзвичайну кількість правильності», — сказав Крейг Джин з Університету Сіднея. MSN. «Кілька років тому перетворення ЕЕГ в текст були повною і абсолютною нісенітницею».

Зображення Фото: Технологічний університет Сіднея

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://singularityhub.com/2023/12/12/this-mind-reading-cap-can-translate-thoughts-to-text-thanks-to-ai/