Эта кепка для чтения мыслей может переводить мысли в текст благодаря искусственному интеллекту

В усыпанной электродами кепке, ощетинившейся проводами, молодой человек молча читает в голове предложение. Спустя несколько мгновений раздается голос, похожий на голос Siri: пытаюсь перевести свои мысли в текст«Да, мне, пожалуйста, тарелку куриного супа». Это новейший пример того, как компьютеры переводят мысли человека в слова и предложения.

Ранее исследователи использовали имплантаты, хирургически вживляемые в мозг, или громоздкие и дорогие машины для перевода активности мозга в текст. новый подход, представленный на конференции NeurIPS на этой неделе исследователями из Сиднейского технологического университета, впечатляет использованием неинвазивного ограничения ЭЭГ и возможностью обобщения данных за пределами одного или двух человек.

Команда создала модель искусственного интеллекта под названием DeWave, которая обучается активности мозга и языку, и связала ее с большой языковой моделью — технологией, лежащей в основе ChatGPT, — чтобы помочь преобразовать активность мозга в слова. В препринт размещен на arXivМодель превзошла предыдущие высшие оценки за перевод мыслей в текст ЭЭГ с точностью примерно 40 процентов. Чин-Тэн Линь, автор-корреспондент статьи: рассказал MSN совсем недавно они повысили точность до 60 процентов. Результаты все еще проходят экспертную оценку.

Хотя с точки зрения надежности еще предстоит пройти долгий путь, он демонстрирует прогресс в неинвазивных методах чтения и перевода мыслей на язык. Команда считает, что их работа может дать голос тем, кто больше не может общаться из-за травмы или болезни или привык управлять машинами, такими как шагающие роботы или роботы-манипуляторы, с помощью одних лишь мыслей.

Угадай, о чем я думаю

Возможно, вы помните заголовки о машинах, «читающих мысли», которые с высокой скоростью переводят мысли в текст. Это потому, что такие усилия вряд ли новы.

Ранее в этом году исследователи из Стэнфорда описанная работа с пациентом Пэтом Беннеттом, который потерял способность говорить из-за БАС. После имплантации четырех датчиков в две части мозга и обширных тренировок Беннетт смогла общаться, используя свои мысли. конвертируется в текст со скоростью 62 слова в минуту- улучшение рекорда той же команды 2021 года (18 слов в минуту).

Это потрясающий результат, но мозговые имплантаты могут быть рискованными. Ученые хотели бы получить аналогичный результат без хирургического вмешательства.

In еще одно исследование в этом годуИсследователи из Техасского университета в Остине обратились к технологии сканирования мозга под названием фМРТ. В ходе исследования пациентам приходилось лежать неподвижно в аппарате, записывающем кровоток в их мозгу, пока они слушали истории. После использования этих данных для обучения алгоритма, частично основанного на предке ChatGPT, GPT-1, команда использовала систему, чтобы угадать, что слышат участники, на основе активности их мозга.

Точность системы не была идеальной, она требовала тщательной настройки для каждого участника, а аппараты фМРТ громоздки и дороги. Тем не менее, исследование послужило доказательством концепции о том, что мысли можно расшифровать неинвазивно, и новейшие разработки в области искусственного интеллекта могут помочь в этом.

Сортировочная шляпа

In Harry PotterУчащиеся распределяются по школам с помощью волшебной шляпы, которая читает мысли. Мы, маглы, прибегаем к забавно выглядящим шапочкам для плавания, проколотым проводами и электродами. Эти устройства, известные как электроэнцефалографы (ЭЭГ), считывают и записывают электрическую активность нашего мозга. В отличие от мозговых имплантатов, они не требуют хирургического вмешательства, но значительно менее точны. Таким образом, задача состоит в том, чтобы отделить сигнал от шума, чтобы получить полезный результат.

В новом исследовании команда использовала два набора данных, содержащие записи айтрекинга и ЭЭГ от 12 и 18 человек соответственно, когда они читали текст. Данные отслеживания глаз помогли системе разделить активность мозга по словам. То есть, когда глаза человека перебегают от одного слова к другому, это означает, что должен быть перерыв между деятельностью мозга, связанной с этим словом, и деятельностью, которая должна быть соотнесена со следующим.

Затем они обучили DeWave этим данным, и со временем алгоритм научился связывать определенные паттерны мозговых волн со словами. Наконец, с помощью предварительно обученной большой языковой модели под названием BART, точно настроенной для понимания уникальных результатов модели, ассоциации мозговых волн и слов алгоритма были переведены обратно в предложения.

В тестах DeWave превзошел лучшие алгоритмы в своей категории как по преобразованию необработанных мозговых волн, так и по словам. Последние были более точными, но все же сильно отставали от перевода между языками, такими как английский и французский, и распознавания речи. Они также обнаружили, что алгоритм работает одинаково у всех участников. Предыдущие эксперименты, как правило, давали результаты для одного человека или требовали крайней настройки.

Команда утверждает, что исследование является еще одним доказательством того, что большие языковые модели могут способствовать развитию систем преобразования мозга в текст. Хотя в официальном исследовании они использовали относительно древний алгоритм, в дополнительный материал они включили результаты более крупных моделей, включая оригинальный алгоритм Llama от Meta. Интересно, что более крупные алгоритмы не сильно улучшили результаты.

«Это подчеркивает сложность проблемы и трудности соединения мозговой деятельности с LLM», — пишут авторы, призывая к более детальным исследованиям в будущем. Тем не менее, команда надеется, что сможет продвинуть свою собственную систему дальше, возможно, до 90-процентной точности.

Работа показывает прогресс в этой области.

«Люди давно хотели превратить ЭЭГ в текст, и модель команды демонстрирует поразительную правильность», — сказал Крейг Джин из Сиднейского университета. MSN. «Несколько лет назад преобразование ЭЭГ в текст было полной ерундой».

Изображение Фото: Технологический университет Сиднея

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://singularityhub.com/2023/12/12/this-mind-reading-cap-can-translate-thoughts-to-text-thanks-to-ai/