Паралізований чоловік використовував свій розум, щоб контролювати дві роботизовані руки, щоб їсти торт

Чоловік нерухомо сидів у кріслі, пильно дивлячись на шматок пирога на столі перед собою. З електродів, імплантованих у його мозок, стирчали дроти. Навколо нього були дві гігантські роботизовані руки, кожна більша за верхню частину його тіла. Один тримав ніж, другий виделку.

«Ріжте та їжте їжу. Посуньте праву руку вперед, щоб почати», — наказав голос робота.

Чоловік зосереджено рухав вперед свою частково паралізовану праву руку. Його зап’ястя ледь здригнулося, але роботизована права рука плавно попливла вперед, розташувавши кінчик виделки біля торта. Ще один легкий рух лівої руки поштовхнув ножа вперед.

Кілька команд пізніше чоловік із задоволенням відкрив рот і з’їв ласощі, нарізане на особистий смак за допомогою своїх роботизованих аватарів. Минуло приблизно 30 років, як він міг прогодувати себе.

Більшість із нас не замислюються над тим, щоб використовувати обидві руки одночасно — їсти ножем і виделкою, відкривати пляшку, обіймати кохану людину, лежати на дивані, керуючи контролером відеоігор. Координація є природною для нашого мозку.

Проте реконструкція цього легкого руху між двома кінцівками зайшла в глухий кут інтерфейс мозок-машина (ІМТ) протягом багатьох років. Основною перешкодою є самий рівень складності: за однією оцінкою, використання роботизованих кінцівок для повсякденних завдань може вимагати 34 ступені свободи, що складно навіть для найскладніших налаштувань ІМТ.

Нове дослідженняпід керівництвом доктора Франческо В. Теноре з Університету Джона Гопкінса знайшли блискуче рішення. Завдяки машинному навчанню роботи стали все більш автономними. Замість того, щоб розглядати роботизовані кінцівки як звичайну техніку, чому б не використати їхнє складне програмування, щоб людина й робот могли спільно керувати?

«Цей підхід до спільного керування призначений для використання внутрішніх можливостей інтерфейсу мозок-машина та роботизованої системи, створюючи «найкраще з обох світів» середовище, де користувач може персоналізувати поведінку розумного протеза», сказав Доктор Франческо Теноре.

Подібно до автоматизованої системи польоту, ця співпраця дозволяє людині «керувати» роботом, зосереджуючись лише на найважливіших речах — у даному випадку, на тому, наскільки крупно відрізати кожен шматочок пирога — залишаючи більш повсякденні операції напів- автономний робот.

Надія полягає в тому, що ці «нейророботичні системи» — справжнє злиття нейронних сигналів мозку та розумних алгоритмів робота — можуть «покращити незалежність користувача та функціональність», — сказала команда.

Double Trouble

Мозок посилає електричні сигнали до наших м’язів, щоб контролювати рух і коригувати ці інструкції на основі отриманого зворотного зв’язку, наприклад, ті, що кодують тиск або положення кінцівки в просторі. Травми спинного мозку або інші захворювання, які пошкоджують цю сигнальну магістраль, порушують контроль мозку над м’язами, що призводить до паралічу.

ІМТ, по суті, будує міст через пошкоджену нервову систему, дозволяючи нейронним командам протікати через неї — чи то операція здоровими кінцівками, чи прикріплені протези. Від відновлення почерку та мовлення до сприйняття стимуляції та керування кінцівками робота, ІМТ проклали шлях до відновлення життя людей.

Проте технологія страждає від тривожної проблеми: подвійного контролю. Поки що успіх у визначенні ІМТ здебільшого обмежувався рухом однієї кінцівки — тіла чи іншого тіла. Однак у повсякденному житті нам потрібні обидві руки для виконання найпростіших завдань — ця суперсила, яку вчені називають «бімануальними рухами», забутою увагою.

У 2013 році піонер ІМТ д-р Мігель Ніколеліс з Університету Дьюка представив перші докази що бімануальний контроль за допомогою ІМТ неможливий. У двох мавп, імплантованих електродними мікроматрицями, нейронних сигналів від приблизно 500 нейронів було достатньо, щоб допомогти мавпам контролювати дві віртуальні руки, використовуючи лише свій розум, щоб вирішити комп’ютеризоване завдання за (буквально) соковиту винагороду. У той час як багатообіцяючий перший крок, експерти того часу дивувався чи може установка працювати з більш складною діяльністю людини.

Рука допомоги

У новому дослідженні був використаний інший підхід: спільний спільний контроль. Ідея проста. Якщо використання нейронних сигналів для керування обома робототехнічними руками є надто складним для самих мозкових імплантатів, чому б не дозволити розумній робототехніці зняти частину навантаження на обробку?

На практиці роботи спочатку програмуються на кілька простих рухів, залишаючи людині можливість контролювати особливості на основі своїх уподобань. Це схоже на поїздку на велосипеді в тандемі з роботом і людиною: машина крутить педалі з різною швидкістю відповідно до своїх алгоритмічних інструкцій, а людина контролює кермо та гальма.

Щоб налаштувати систему, команда спочатку навчила алгоритм для декодування свідомості волонтера. 49-річний чоловік отримав травму спинного мозку приблизно за 30 років до тестування. Він усе ще мав мінімальні рухи в плечі та лікті та міг розгинати зап’ястя. Однак його мозок давно втратив контроль над пальцями, позбавивши його будь-якої тонкої моторики.

Спочатку команда імплантувала шість електродних мікрочіпів у різні частини його кори. У лівій частині його мозку, яка контролює його домінуючу сторону, праву сторону, вони вставили два масиви в моторну та сенсорну області відповідно. Відповідні праві області мозку, що контролюють його недомінуючу руку, отримали по одному масиву.

Далі команда доручила чоловікові виконати серію рухів рукою якнайкраще. Кожен жест — згинання лівого чи правого зап’ястя, розкриття або стискання руки — було зіставлено з напрямком руху. Наприклад, згинання правого зап'ястка при розгинанні лівого (і навпаки) відповідало руху в горизонтальних напрямках; обидві руки відкриті або затискання кодів для вертикального руху.

Весь цей час команда збирала нейронні сигнали, що кодували кожен рух руки. Дані були використані для навчання алгоритму для декодування наміченого жесту та живлення зовнішньої пари роботизованих рук наукової фантастики з приблизно 85-відсотковим успіхом.

Хай він їсть торт

Роботизовані руки також пройшли попередню підготовку. Використовуючи моделювання, команда спочатку дала зброї уявлення про те, де буде торт на тарілці, де тарілка буде поставлена ​​на столі, і приблизно як далеко торт буде від рота учасника. Вони також налаштували швидкість і діапазон руху роботизованих рук — зрештою, ніхто не хоче бачити, як гігантська роботизована рука, що стискає гостру вилку, летить вам у обличчя разом із звисаючим понівеченим шматком торта.

У цій установці учасник міг частково контролювати положення та орієнтацію рук, маючи до двох ступенів свободи з кожного боку, наприклад, дозволяючи йому рухати будь-якою рукою вліво-вправо, вперед-назад або обертатися вліво-вправо. . Тим часом робот подбав про решту складнощів руху.

Щоб ще більше сприяти співпраці, голос робота називав кожен крок, щоб допомогти команді відрізати шматок торта та піднести його до рота учасника.

Чоловік зробив перший крок. Зосередившись на русі свого правого зап’ястка, він направив праву руку робота до торта. Потім робот взяв верх, автоматично перемістивши кінчик виделки на торт. Потім чоловік міг вирішити точне положення вилки, використовуючи попередньо навчені нейронні елементи керування.

Після налаштування робот автоматично перемістив руку з ножем ліворуч від виделки. Чоловік знову зробив корективи, щоб розрізати торт до бажаного розміру, перш ніж робот автоматично розрізав торт і підніс його до рота.

«Вживати тістечко було необов’язково, але учасник вирішив це зробити, враховуючи, що воно було дуже смачним», — сказали автори.

У дослідженні було проведено 37 випробувань, більшість з яких була калібруванням. Загалом чоловік використовував свій розум, щоб з’їсти сім шматочків тістечок, усі «розумного розміру», не впустивши жодного.

Це точно не система, яка найближчим часом прийде у ваш дім. Базуючись на гігантській парі роботизованих рук, розроблених DARPA, установка вимагає обширних попередньо запрограмованих знань для робота, що означає, що він може виконувати лише одне завдання в будь-який момент часу. Наразі дослідження є скоріше дослідницьким доказом концепції того, як поєднати нейронні сигнали з автономією робота для подальшого розширення можливостей ІМТ.

Але як протезування ставати розумнішими та доступнішими, команда дивиться вперед.

«Кінцевою метою є регульована автономія, яка використовує будь-які доступні сигнали ІМТ

їх максимальна ефективність, дозволяючи людині контролювати кілька DOF [ступенів свободи], які найбільш безпосередньо впливають на якісне виконання завдання, тоді як робот подбає про решту», — заявила команда. Майбутні дослідження досліджуватимуть — і розширюватимуть — межі розумового поєднання людей і роботів.

Зображення Фото: Лабораторія прикладної фізики Джонса Гопкінса

• Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
• CryptoHawk. Альткойн Радар. Безкоштовне випробування.
• Джерело: https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/