ИИ моделирует мозг, чтобы помочь нам видеть, слышать и творить

Это отредактированная версия сообщения, которое изначально было опубликовано здесь.

---

Нейронаука и искусственный интеллект имеют долгую и переплетенную историю. Пионеры искусственного интеллекта рассматривали принципы организации мозга как источник вдохновения для создания интеллектуальных машин. Удивительным образом ИИ теперь помогает нам понять сам источник его вдохновения: человеческий мозг. Этот подход использования ИИ для построения моделей мозга называется нейроИИ. В течение следующего десятилетия мы сделаем еще более точными в кремнеземе модели мозга, особенно модели двух наших самых важных чувств: зрения и слуха. В результате мы сможем загружать и использовать сенсорные модели по требованию с таким же удобством, как мы можем распознавать объекты или обрабатывать естественный язык.

Многие нейробиологи и исследователи искусственного интеллекта – и это понятно! – очень рад этому: мозги по требованию! Открытие того, что значит видеть, чувствовать, быть человеком! Менее общепризнанным является то, что существует широкое практическое применение в промышленности. Я уже давно занимаюсь исследователем в этой области и еще со времен защиты докторской диссертации работал над тем, как мозг преобразует видение в смысл. Я видел развитие этой области с момента ее зарождения и думаю, что сейчас самое время заняться тем, как нейроИИ может стимулировать творческий подход и улучшить наше здоровье. 

Я предсказываю, что нейроИИ сначала найдет широкое применение в искусстве и рекламе, особенно в сочетании с новыми моделями генеративного ИИ, такими как GPT-3 и DALL-E. Хотя нынешние модели генеративного ИИ могут создавать творческое искусство и медиа, они не могут сказать вам, будут ли эти медиа в конечном итоге передавать сообщение целевой аудитории. Но нейроИИ может. Например, мы могли бы заменить метод проб и ошибок фокус-групп и A/B-тестов и напрямую создавать средства массовой информации, которые сообщают именно то, что мы хотим. Огромное давление рынка вокруг этого приложения создаст благоприятный цикл, который улучшит модели нейроИИ. 

Полученные в результате усовершенствованные модели позволят применять их в медицине: от помощи людям с неврологическими проблемами до улучшения способностей человека. Представьте себе, что вы создаете правильные изображения и звуки, которые помогут человеку быстрее восстановить зрение или слух после операции LASIK или после установки кохлеарного имплантата соответственно. 

Эти инновации станут гораздо более эффективными за счет появления других технологий: дополненной реальности и интерфейсов «мозг-компьютер». Однако, чтобы полностью реализовать потенциальную полезность загружаемых по требованию сенсорных систем, нам необходимо заполнить существующие пробелы в инструментах, талантах и ​​финансировании.

В этой статье я объясню, что такое нейроИИ, как он может начать развиваться и влиять на нашу жизнь, как он дополняет другие инновации и технологии и что необходимо для его продвижения вперед.  

Что такое нейроИИ?

NeuroAI — это новая дисциплина, которая стремится 1) изучить мозг, чтобы научиться создавать более совершенный искусственный интеллект, и 2) использовать искусственный интеллект, чтобы лучше понять мозг. Одним из основных инструментов нейроИИ является использование искусственных нейронных сетей для создания компьютерных моделей конкретных функций мозга. Этот подход был запущен в 2014 году, когда исследователи из MIT и Columbia показали, что глубокие искусственные нейронные сети могут объяснить реакции в той части мозга, которая занимается распознаванием объектов: нижневисочной коре (ИТ). Они представили базовый рецепт сравнения искусственной нейронной сети с мозгом. Используя этот рецепт и повторяя итеративное тестирование процессов мозга – распознавание форм, обработку движений, обработку речи, контроль руки, пространственную память – ученые создают лоскутное одеяло компьютерных моделей мозга. 

Модель нейроИИ части мозга имеет две ключевые особенности. Это поддается вычислению: мы можем подать этой компьютерной модели стимул, и она скажет нам, как отреагирует область мозга. Это также дифференцируемо: это глубокая нейронная сеть, которую мы можем оптимизировать так же, как мы оптимизируем модели, решающие задачи визуального распознавания и обработки естественного языка. Это означает, что нейробиологи получают доступ ко всем мощным инструментам, которые способствовали революции глубокого обучения, включая системы тензорной алгебры, такие как PyTorch и TensorFlow. 

Что это значит? Мы прошли путь от непонимания больших участков мозга до возможности загружать хорошие его модели менее чем за десять лет. При правильных инвестициях мы скоро получим превосходные модели больших участков мозга. Зрительная система была смоделирована первой; слуховая система не отставала; и другие области наверняка развалятся, как домино, поскольку бесстрашные нейробиологи бросятся разгадывать тайны мозга. Помимо удовлетворения нашего интеллектуального любопытства – большого мотиватора для ученых! – это нововведение позволит любому программисту загружать хорошие модели мозга и разблокировать множество приложений.

Области применения

Искусство и реклама

Начнем с простой предпосылки: 99% средств массовой информации, с которыми мы сталкиваемся, проходят через наши глаза и уши. Существуют целые отрасли, которые можно свести к передаче нужных пикселей и тонов этим чувствам: визуальное искусство, дизайн, фильмы, игры, музыка и реклама — лишь некоторые из них. Но не наши глаза и уши сами по себе интерпретируют этот опыт, поскольку они являются всего лишь сенсорами: наш мозг интерпретирует эту информацию. СМИ созданы для того, чтобы информировать, развлекать и вызывать желаемые эмоции. Но определение того, воспринято ли сообщение в картине, профессиональном снимке или рекламе так, как задумано, — это разочаровывающее занятие методом проб и ошибок: люди должны быть в курсе, чтобы определить, попадает ли сообщение в цель, а это требует больших затрат и времени. потребляющий.

Крупномасштабные онлайн-сервисы нашли способы обойти эту проблему, автоматизировав метод проб и ошибок: A/B-тесты. Google, как известно проверил, какой из 50 оттенков синего использовать для ссылок на странице результатов поисковой системы. По данным The Guardian, лучший выбор привел к увеличению доходов по сравнению с базовым уровнем в 200 миллионов долларов в 2009 году, или примерно 1% дохода Google на тот момент. Netflix настраивает миниатюры зрителю, чтобы оптимизировать его пользовательский опыт. Эти методы доступны онлайн-гигантам с огромным трафиком, способным преодолеть шум, присущий поведению людей.

Что, если бы мы могли предсказать, как люди отреагируют на средства массовой информации, прежде чем получить какие-либо данные? Это позволит малым предприятиям оптимизировать свои письменные материалы и веб-сайты, несмотря на то, что ранее у них было мало возможностей. NeuroAI становится все ближе и ближе к способности предсказывать, как люди будут реагировать на визуальные материалы. Например, исследователи в Adobe работают над инструментами прогнозировать и направлять зрительное внимание на иллюстрациях.

Исследователи также продемонстрировали редактирование фотографий, чтобы сделать их более визуально запоминающийся или эстетически приятно. Его можно использовать, например, для автоматического выбора профессионального портрета, наиболее соответствующего тому образу, который люди хотят создать о себе: профессиональному, серьезному или творческому. Искусственные нейронные сети могут даже найти способы передачи сообщений более эффективно, чем реалистичные изображения. CLIP OpenAI можно использовать для поиска изображений, связанных с эмоциями. Изображение, которое лучше всего соответствует концепции шока, было бы не лишним рядом с «Криком» Мунка.

За последний год OpenAI и Google продемонстрировали генеративные арт-сети с впечатляющей способностью генерировать фотореалистичные изображения из текстовых подсказок. Для музыки мы еще не достигли этого момента, но учитывая темпы прогресса генеративных моделей, это наверняка произойдет в ближайшие несколько лет. Создав машины, которые могут слышать, как люди, мы сможем демократизировать производство музыки, предоставив каждому возможность делать то, что могут делать высококвалифицированные музыкальные продюсеры: передавать правильные эмоции во время припева, будь то меланхолия или радость; создать запоминающуюся мелодию; или сделать произведение неотразимо танцевальным.

Рынок испытывает огромное давление на оптимизацию аудиовизуальных медиа, веб-сайтов и особенно рекламы, и мы уже интегрируем нейроИИ и алгоритмическое искусство в этот процесс. Это давление приведет к созданию благоприятного цикла, в котором нейроИИ станет лучше и полезнее по мере того, как все больше ресурсов будет направлено на практическое применение. Побочным эффектом этого является то, что мы получим очень хорошие модели мозга, которые будут полезны далеко за пределами рекламы. 

Доступность и алгоритмический дизайн

Одно из самых интересных применений нейроИИ — доступность. Большинство средств массовой информации предназначены для «среднего» человека, однако все мы обрабатываем визуальную и слуховую информацию по-разному. 8% мужчин и 0.5% женщин страдают красно-зеленым дальтонизмом, и большое количество средств массовой информации не адаптировано к их потребностям. Сегодня существует ряд продуктов, которые имитируют дальтонизм, но требуют, чтобы человек с нормальным цветовым зрением мог интерпретировать результаты и внести необходимые изменения. Статическое переназначение цвета также не подходит для этих целей, поскольку некоторые материалы не сохраняют свою семантику при переназначении цвета (например, графики, которые становятся трудночитаемыми). Мы могли бы автоматизировать создание материалов и веб-сайтов, безопасных для людей с дальтонизмом, с помощью методов нейроИИ, которые сохраняют семантику существующей графики.

Другой пример — помощь людям с трудностями в обучении, такими как дислексия, от которой страдают до 10% людей во всем мире. Одной из основных проблем дислексии является чувствительность к скученности, что означает трудность в распознавании фигур со схожими основными характеристиками, включая зеркально-симметричные буквы, такие как p и q. Энн Харрингтон и Артуро Деза из Массачусетского технологического института работают над моделями нейроИИ. который моделирует этот эффект и получить очень многообещающие результаты. Представьте себе, что вы используете модели зрительной системы дислексика для разработки шрифтов, которые одновременно эстетически приятны и легче читаются. Имея правильные данные о зрительной системе конкретного человека, мы можем даже персонализировать шрифт для конкретного человека, который показал многообещающие результаты в улучшении производительности чтения. Здесь ждут потенциально большие улучшения качества жизни.

Медицина

Многие нейробиологи выходят в эту область в надежде, что их исследования окажут положительное влияние на здоровье человека, особенно людей, живущих с неврологическими расстройствами или проблемами психического здоровья. Я очень надеюсь, что нейроИИ откроет новые методы лечения: с помощью хорошей модели мозга мы сможем создавать правильные стимулы, чтобы к нему попадало правильное сообщение, как ключ подходит к замку. В этом смысле нейроИИ можно применять аналогично разработке алгоритмических лекарств, но вместо маленьких молекул мы доставляем изображения и звуки. 

Наиболее доступные проблемы касаются рецепторов глаз и ушей, которые уже хорошо изучены. Сотни тысяч людей получили кохлеарные имплантаты — нейропротезы, которые электрически стимулируют улитку уха, позволяя глухим или слабослышащим снова слышать. Эти имплантаты, содержащие несколько десятков электродов, может быть сложно использовать в шумной обстановке с несколькими динамиками. Модель мозга может оптимизировать схему стимуляции имплантата усилить речь. Примечательно то, что эта технология, разработанная для людей с имплантатами, может быть адаптирована, чтобы помочь людям без имплантатов лучше понимать речь, изменяя звуки в реальном времени, независимо от того, есть ли у них расстройство слуховой обработки или они просто часто находятся в шумной обстановке.

Многие люди испытывают изменения в своих сенсорных системах на протяжении всей жизни, будь то восстановление после операции по удалению катаракты или близорукость с возрастом. Мы знаем, что после таких изменений люди могут научиться правильно интерпретировать мир посредством повторения — феномен, называемый перцептивным обучением. Возможно, нам удастся максимизировать это перцептивное обучение, чтобы люди могли быстрее и эффективнее восстанавливать свои навыки. Похожая идея может помочь людям, потерявшим способность плавно двигать конечностями после инсульта. Если бы мы смогли найти правильную последовательность движений для оптимального укрепления мозга, мы могли бы помочь людям, пережившим инсульт, восстановить больше функций, например, ходить более плавно или просто держать чашку кофе, не проливая ее. Помимо помощи людям в восстановлении утраченных физических функций, та же идея может помочь здоровым людям достичь максимальной сенсорной активности – будь то бейсболисты, лучники или патологоанатомы.

Наконец, мы смогли увидеть, как эти идеи применяются к лечению расстройств настроения. Я ходил на многие выставки изобразительного искусства, чтобы избавиться от скуки во время пандемии, и это значительно подняло мне настроение. Визуальное искусство и музыка могут поднять нам настроение, и это доказательство того, что мы можем быть способны проводить терапию расстройств настроения через органы чувств. Мы знаем, что контроль активности определенных частей мозга с помощью электрической стимуляции может облегчить резистентную к лечению депрессию; возможно, контроль активности мозга косвенно через органы чувств может привести к аналогичным эффектам. Используя простые модели (легко висящие плоды), которые влияют на хорошо изученные части мозга, мы начнем создавать более сложные модели, которые могут помочь здоровью человека. 

Использование технологических тенденций

На освоение и внедрение NeuroAI в приложения уйдет много лет, и он перехватит другие новые технологические тенденции. Здесь я особенно выделяю две тенденции, которые сделают нейроИИ гораздо более мощным: дополненная реальность (AR), которая может точно доставлять стимулы; и интерфейсы «мозг-компьютер» (BCI), которые могут измерять активность мозга, чтобы убедиться, что стимулы действуют ожидаемым образом.  

Расширенная реальность

Тенденция, которая сделает приложения нейроИИ гораздо более мощными, — это использование очков дополненной реальности. Дополненная реальность (AR) имеет потенциал стать повсеместной вычислительной платформой, поскольку AR интегрируется в повседневную жизнь.

Гипотеза Майкла Абраша, главного научного сотрудника Meta Reality Labs, заключается в том, что если вы создадите достаточно мощные AR-очки, они будут нужны всем. Это означает строительство мироориентированные очки, которые могут создавать постоянные виртуальные объекты, привязанные к миру; легкие и модные оправы, как пара Ray-Ban; и давая вам реальные сверхспособности, такие как возможность естественно взаимодействовать с людьми независимо от расстояния и улучшение вашего слуха. Если вы сможете их создать – а это огромная техническая задача – – очки дополненной реальности смогут следовать по траектории, подобной iPhone, так что у каждого будут такие очки (или их подделки) через 5 лет после запуска.

Чтобы воплотить это в жизнь, Мета потратила 10 миллиардов долларов в прошлом году на исследования и разработки метавселенной. Хотя мы не знаем наверняка, что задумала Apple, есть явные признаки того, что они работают над очками AR. Таким образом, со стороны предложения также существует огромный толчок для реализации AR.

Это сделает широко доступным устройство отображения, которое будет гораздо более мощным, чем сегодняшние статические экраны. Если оно следует траектории VR, в конечном итоге в него будет интегрировано отслеживание взгляда. Это означало бы широко доступный способ представления стимулов, который был бы гораздо более контролируемым, чем это возможно в настоящее время, — мечта нейробиологов. И эти устройства, вероятно, будут иметь далеко идущие применения в области здравоохранения. как рассказал Майкл Абраш в 2017 году, например, улучшение зрения при слабом освещении или предоставление людям возможности жить нормальной жизнью, несмотря на дегенерацию желтого пятна.

Значение нейроИИ очевидно: мы можем доставлять правильные стимулы строго контролируемым образом и на постоянной основе в повседневной жизни. Это справедливо для зрения и, возможно, менее очевидно для слуха, поскольку мы можем передавать пространственный звук. Это означает, что наши инструменты для применения нейроИИ-терапии для людей с неврологическими проблемами или для улучшения доступности станут гораздо более мощными.

BCI

Благодаря великолепному дисплею и динамикам мы можем точно контролировать основные сигналы, поступающие в мозг. Следующим, более мощным этапом доставки стимулов через органы чувств является проверка того, что мозг реагирует ожидаемым образом через интерфейс «мозг-компьютер» (BCI), доступный только для чтения. Таким образом, мы можем измерить воздействие раздражителей на мозг, и если оно не соответствует ожиданиям, мы можем соответствующим образом скорректировать его с помощью так называемого управления с обратной связью. 

Чтобы внести ясность: здесь я не говорю о методах BCI, таких как чип Neuralink или стимуляторы глубокого мозга, которые вводятся внутрь черепа; для этих целей достаточно неинвазивно измерить активность мозга вне черепа. Не нужно напрямую стимулировать мозг: очки и наушники — это все, что вам нужно, чтобы контролировать большую часть входных сигналов мозга.

Существует ряд неинвазивных BCI, доступных только для чтения, которые уже поступили в продажу или находятся в разработке и могут быть использованы для управления с обратной связью. Вот некоторые примеры:

• ЭЭГ. Электроэнцефалография измеряет электрическую активность мозга за пределами черепа. Поскольку череп действует как объемный проводник, ЭЭГ имеет высокое временное разрешение, но низкое пространственное разрешение. Хотя это ограничило потребительское применение продуктов для медитации (муза) и нишевых нейромаркетинговых приложений, я оптимистично отношусь к некоторым его применениям в контексте управления с обратной связью. ЭЭГ может быть гораздо более мощной, когда человек контролирует стимул, поскольку можно соотнести предъявленный стимул с сигналом ЭЭГ и расшифровать то, на что человек обращал внимание (вызванные потенциальные методы). Действительно, была приобретена компания NextMind, которая производила «мысленный щелчок» на основе ЭЭГ на основе вызванных потенциалов. от Snap, которая сейчас производит AR-продукты. OpenBCI — это планирование выпустить гарнитуру, которая объединяет датчики ЭЭГ с высококачественной гарнитурой Aero от Varjo. Я бы не стал сбрасывать ЭЭГ со счетов.
• фМРТ. Функциональная магнитно-резонансная томография измеряет небольшие изменения оксигенации крови, связанные с нервной активностью. Он медленный, непереносной, требует отдельного помещения и очень дорогой. Однако фМРТ остается единственной технологией, которая может неинвазивно считывать активность глубоко в мозге с пространственно точной точностью. Существуют две парадигмы, которые достаточно зрелы и актуальны для нейронного управления с обратной связью. Первый — это биологическая обратная связь на основе фМРТ. Подраздел фМРТ показывает, что люди могут модулировать активность своего мозга, представляя ее визуально на экране или в наушниках. Второе — это картирование коры головного мозга, включая такие подходы, как рецептивные поля населения и оценка избирательности вокселей с помощью видеороликов или подкасты, которые позволяют оценить, как разные области мозга реагируют на разные зрительные и слуховые стимулы. Эти два метода намекают на то, что должна быть возможность оценить, как вмешательство нейроИИ влияет на мозг, и сделать его более эффективным.
• фНИРС. Функциональная спектроскопия ближнего инфракрасного диапазона использует рассеянный свет для оценки объема мозговой крови между передатчиком и рецептором. Он основан на том факте, что кровь непрозрачна, а повышенная нервная активность приводит к задержке притока крови в заданный объем мозга (тот же принцип, что и фМРТ). Обычный NIRS имеет низкое пространственное разрешение, но при использовании временного стробирования (TD-NIRS) и массивной передискретизации (диффузная оптическая томография) пространственное разрешение намного лучше. На академическом фронте Группа Джо Калвера в WUSTL продемонстрировали декодирование фильмов зрительной корой головного мозга. На коммерческом фронте Kernel сейчас изготовление и доставка гарнитур TD-NIRS которые являются впечатляющими инженерными достижениями. И это область, в которой люди продолжают двигаться вперед и прогресс идет быстро; моя старая группа в Мете продемонстрировала 32-кратное улучшение отношения сигнал/шум (которое можно масштабировать до> 300) с помощью аналогичного метода..
• МЭГ. Магнитоэнцефалография измеряет небольшие изменения магнитных полей, тем самым локализуя активность мозга. МЭГ похожа на ЭЭГ в том, что она измеряет изменения электромагнитного поля, но не страдает от объемной проводимости и, следовательно, имеет лучшее пространственное разрешение. Портативный МЭГ, не требующий охлаждения, изменит правила игры в области неинвазивного BCI. Люди добиваются успехов в разработке магнитометров с оптической накачкой, и на открытом рынке можно купить отдельные датчики OPM у таких производителей, как QuSpin.

В дополнение к этим более известным методам некоторые технологии «темной лошадки», такие как цифровая голография, фотоакустическая томография и функциональный ультразвук, могут привести к быстрым изменениям парадигмы в этой области.

Хотя неинвазивный BCI потребительского уровня все еще находится в зачаточном состоянии, существует ряд рыночных давлений вокруг вариантов использования AR, которые сделают пирог еще больше. Действительно, существенной проблемой для AR является управление устройством: вам не придется ходить с контроллером или что-то бормотать в очки, если вы можете этого избежать. Компании вполне серьезно относятся к решению этой проблемы, о чем свидетельствует покупка Facebook CTRL+Labs. в 2019 году, Snap приобретает NextMind, а Valve объединяется с OpenBCI. Таким образом, мы, вероятно, увидим быстрое развитие низкоразмерных BCI. Высокомерные BCI могут пойти по той же траектории, если найдут такое потрясающее приложение, как AR. Вполне возможно, что те виды приложений нейроИИ, которые я здесь защищаю, являются именно тем вариантом использования этой технологии.

Если мы сможем контролировать воздействие на глаза и уши, а также точно измерять состояние мозга, мы сможем проводить терапию на основе нейроИИ контролируемым образом для достижения максимальной эффективности.

Чего не хватает на поле

Основная наука, лежащая в основе приложений NeuroAI, быстро развивается, и существует ряд положительных тенденций, которые повысят ее общую применимость. Так чего же не хватает для вывода на рынок приложений нейроИИ?

1. Инструменты. Другие подобласти ИИ получили огромную пользу от наборов инструментов, которые обеспечивают быстрый прогресс и обмен результатами. Сюда входят библиотеки тензорной алгебры, такие как Tensorflow и PyTorch, среды обучения, такие как OpenAI Gym, и экосистемы для обмена данными и моделями, такие как 🤗 HuggingFace. Централизованное хранилище моделей и методов, а также оценочные пакеты, потенциально использующие обширные данные моделирования, будут способствовать развитию этой области. Уже существует сильное сообщество нейробиологических организаций с открытым исходным кодом, и они могут стать естественными организаторами этих усилий.
2. Талант. Существует исчезающе мало мест, где исследования и разработки проводятся на стыке нейробиологии и искусственного интеллекта. Район залива с лабораториями в Стэнфорде и Беркли, а также район метро Бостона с многочисленными лабораториями в Массачусетском технологическом институте и Гарварде, скорее всего, получат большую часть инвестиций из уже существующей экосистемы венчурного капитала. Третьим вероятным центром является Монреаль (Канада), созданный крупными кафедрами нейробиологии в Макгилле и Университете Монреаля в сочетании с Милой, институтом искусственного интеллекта, основанным пионером искусственного интеллекта Йошуа Бенджио. Нашей области были бы полезны специализированные программы PhD и центры передового опыта в области нейроИИ, чтобы дать толчок коммерциализации.
3. Новые модели финансирования и коммерциализации медицинских приложений. Медицинским приложениям предстоит долгий путь к коммерциализации, а защищенная интеллектуальная собственность обычно является необходимым условием для получения финансирования для снижения рисков инвестиций в эту технологию. Инновации на основе искусственного интеллекта, как известно, трудно запатентовать, а программное обеспечение как медицинское устройство (SaMD) только начинает выходить на рынок, что делает путь к коммерциализации неопределенным. Нам понадобятся средства, которые будут направлены на объединение опыта в области искусственного интеллекта и медицинских технологий для развития этой зарождающейся области. 

Давайте создадим нейроИИ

Ученые и философы с незапамятных времен ломали голову над тем, как работает мозг. Как тонкий лист ткани площадью в квадратный фут позволяет нам видеть, слышать, чувствовать и думать? NeuroAI помогает нам разобраться в этих глубоких вопросах, создавая модели нервных систем на компьютерах. Что значит быть человеком, удовлетворяя эту фундаментальную жажду знаний? – Нейробиологи также создают инструменты, которые могли бы помочь миллионам людей жить более богатой жизнью.

Опубликовано: 4 августа, 2022