Этот исследователь знал, какую песню люди слушают, основываясь на активности их мозга

Человеческий мозг остается самым загадочным органом в нашем теле. От памяти и сознания до психических заболеваний и неврологических расстройств — предстоит еще много исследований и исследований, прежде чем мы поймем тонкости нашего собственного разума. Но в какой-то степени исследователям удалось проникнуть в наши мысли и чувства, независимо от того, грубо ли они содержание наших снов, наблюдая за воздействие псилоцибина на мозговые сети, нарушенные депрессией, или способность предсказывать, какие виды лица, которые мы найдем привлекательными.

В исследовании, опубликованном ранее в этом году, описан аналогичный подвиг по расшифровке мозговой активности. Ян Дейли, исследователь из Университета Сассекса в Англии, использовал сканирование мозга, чтобы предсказать, какое музыкальное произведение люди слушают с точностью 72%. Дейли описал свою работу, в которой использовались две разные формы «нейронных декодеров». бумага в природа.

В то время как участники его исследования слушали музыку, Дейли записывал активность их мозга с помощью как электроэнцефалографии (ЭЭГ), в которой используется сеть электродов и проводов для регистрации электрических сигналов нейронов, возбуждающихся в мозге, так и функциональной магнитно-резонансной томографии.МРТ), который показывает изменения в оксигенации крови и кровотоке, происходящие в ответ на нервную активность.

ЭЭГ и фМРТ имеют противоположные сильные стороны: первая способна регистрировать активность мозга в течение коротких периодов времени, но только с поверхности мозга, поскольку электроды располагаются на коже головы. Последний может улавливать активность глубже в мозгу, но только в течение более длительных периодов времени. Использование обоих дало Дейли лучшее из обоих миров.

Он наблюдал за областями мозга, которые имели высокую активность во время прослушивания музыки по сравнению с пробами без музыки, определяя левую и правую слуховую кору, мозжечок и гиппокамп как критические области для прослушивания музыки и эмоциональной реакции на нее. отметил, что между разными участниками было много различий в плане активности в каждом регионе. Это имеет смысл, так как у одного человека может быть эмоциональная реакция на данное музыкальное произведение, в то время как другому оно может показаться скучным.

Используя как ЭЭГ, так и фМРТ, Дейли записал мозговую активность 18 человек, когда они слушали 36 разных песен. Он передал данные об активности мозга в двунаправленную долгосрочную краткосрочную (biLSTM) глубокую нейронную сеть, создав модель, которая могла реконструировать музыку, которую слушали участники, используя их ЭЭГ.

biLSTM — это тип рекуррентной нейронной сети это обычно используется для приложений обработки естественного языка. Он добавляет дополнительный слой в обычную сеть долговременной памяти, и этот дополнительный слой меняет направление потока информации и позволяет входной последовательности двигаться в обратном направлении. Таким образом, входные данные сети идут как вперед, так и назад (отсюда и «двунаправленная» часть), и она способна использовать информацию с обеих сторон. Это делает его хорошим инструментом для моделирования зависимостей между словами и фразами или, в данном случае, между музыкальными нотами и последовательностями.

Дейли использовал данные из сети biLSTM для грубой реконструкции песен на основе активности людей на ЭЭГ, и он смог определить, какое музыкальное произведение они слушали с 72-процентной точностью.

Затем он записал данные от 20 новых участников, используя только ЭЭГ, а его первоначальный набор данных дал представление об источниках этих сигналов. Основываясь на этих данных, его точность определения песен снизилась до 59 процентов.

Тем не менее, Дейли считает, что его метод может быть использован для разработки интерфейсов мозг-компьютер (BCI) для помощи людям, перенесшим инсульт или страдающим другими неврологическими состояниями, которые могут вызвать паралич. такие как БАС. BCI, которые могут переводить мозговую деятельность в слова, позволят этим людям общаться со своими близкими и медицинскими работниками таким образом, который иначе был бы невозможен. Хотя решения уже существуют в виде мозговые имплантаты, если бы технология, подобная той, что использовала Дейли, могла дать аналогичные результаты, она была бы гораздо менее инвазивной для пациентов.

«Музыка — это форма эмоционального общения, а также сложный акустический сигнал, имеющий много общего во времени, спектре и грамматике с человеческой речью», — Дейли. написал в газете. «Таким образом, модель нейронного декодирования, способная реконструировать услышанную музыку по активности мозга, может стать разумным шагом на пути к другим формам моделей нейронного декодирования, которые имеют приложения для помощи в общении».

Изображение Фото: Алина Грубняк on Unsplash 

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://singularityhub.com/2023/04/06/this-researcher-knew-what-song-people-were-listening-to-based-on-their-brain-activity/