En förlamad man använde sitt sinne för att kontrollera två robotarmar för att äta tårta

Mannen satt stilla i stolen och stirrade intensivt på en tårtbit på bordet framför sig. Ledningar stack ut från elektrodimplantat i hans hjärna. Flankerande honom fanns två gigantiska robotarmar, var och en större än hela hans överkropp. Den ena höll i en kniv, den andra en gaffel.

”Klippa och äta mat. Flytta höger hand framåt för att starta”, beordrade en robotröst.

Mannen koncentrerade sig på att flytta sin delvis förlamade högra arm framåt. Hans handled ryckte knappt, men robotens högra hand seglade smidigt framåt och placerade gaffelspetsen nära kakan. Ytterligare en lätt rörelse av hans vänstra hand skickade kniven framåt.

Flera kommandon senare öppnade mannen glatt munnen och slukade godbiten i lagom storlek, skuren till personliga preferenser med hjälp av sina robotavatarer. Det hade gått ungefär 30 år sedan han kunde försörja sig själv.

De flesta av oss tänker inte två gånger på att använda våra två armar samtidigt – att äta med kniv och gaffel, öppna en flaska, krama en älskad, slappa i soffan och använda en spelkontroll. Koordination kommer naturligt för våra hjärnor.

Ändå har rekonstrueringen av denna lätta rörelse mellan två lemmar hindrats hjärn-maskin-gränssnitt (BMI) experter i flera år. En huvudspärr är den stora komplexitetsnivån: i en uppskattning kan det krävas 34 grader av frihet att använda robotiska lemmar för vardagsuppgifter, vilket utmanar även de mest sofistikerade BMI-inställningarna.

En ny studie, ledd av Dr. Francesco V. Tenore vid Johns Hopkins University, hittade en lysande lösning. Robotar har blivit allt mer autonoma tack vare maskininlärning. Istället för att behandla robotar som enbart maskiner, varför inte utnyttja deras sofistikerade programmering så att människa och robot kan dela kontrollerna?

"Denna delade kontrollmetoden är avsedd att dra nytta av de inneboende funktionerna i hjärn-maskin-gränssnittet och robotsystemet, vilket skapar en "bästa av två världar"-miljö där användaren kan anpassa beteendet hos en smart protes." sade Dr Francesco Tenore.

Liksom ett automatiserat flygsystem tillåter detta samarbete människan att "pilotera" roboten genom att bara fokusera på de saker som betyder mest – i det här fallet, hur stor varje kakbit ska skäras – samtidigt som de mer vardagliga operationerna lämnas till de semi- autonom robot.

Förhoppningen är att dessa "neurorobotsystem" - en sann sinnesblandning mellan hjärnans neurala signaler och en robots smarta algoritmer - kan "förbättra användarnas oberoende och funktionalitet", sa teamet.

Double Trouble

Hjärnan skickar elektriska signaler till våra muskler för att kontrollera rörelser och justerar dessa instruktioner baserat på den feedback den får - till exempel de som kodar för tryck eller positionen för en lem i rymden. Ryggmärgsskador eller andra sjukdomar som skadar denna signaleringsmotorväg bryter hjärnans kommando över muskler, vilket leder till förlamning.

BMI bygger i huvudsak en bro över det skadade nervsystemet, vilket låter neurala kommandon flöda igenom - oavsett om det är för att operera friska lemmar eller fästa proteser. Från att återställa handskrift och tal till att uppfatta stimulering och kontrollera robotiska lemmar, BMI har banat väg för att återställa människors liv.

Ändå har tekniken plågats av en oroande hicka: dubbel kontroll. Hittills har framgången i BMI till stor del varit begränsad till att röra en enda lem – kropp eller annat. Men i vardagen behöver vi båda armarna för de enklaste uppgifterna - en förbisedd superkraft som forskare kallar "bimanuella rörelser".

Redan 2013 presenterade BMI-pionjären Dr. Miguel Nicolelis vid Duke University det första beviset att bimanuell kontroll med BMI inte är omöjlig. Hos två apor implanterade med elektrodmikroarrayer var neurala signaler från ungefär 500 neuroner tillräckliga för att hjälpa aporna att kontrollera två virtuella armar med bara deras sinnen för att lösa en datoriserad uppgift för en (bokstavligen) saftig belöning. Medan ett lovande första steg, experter på den tiden undrade om upplägget skulle kunna fungera med mer komplexa mänskliga aktiviteter.

Hjälpande hand

Den nya studien tog ett annat tillvägagångssätt: kollaborativ delad kontroll. Tanken är enkel. Om det är för komplicerat att använda neurala signaler för att styra båda robotarmarna för enbart hjärnimplantat, varför inte låta smart robotik ta bort en del av bearbetningsbelastningen?

Rent praktiskt är robotarna först förprogrammerade för flera enkla rörelser, samtidigt som de lämnar utrymme för människan att kontrollera detaljerna utifrån deras preferenser. Det är som en robot och mänsklig tandemcykeltur: maskinen trampar i olika hastigheter baserat på dess algoritmiska instruktioner medan mannen kontrollerar styret och bromsarna.

För att sätta upp systemet tränade teamet först en algoritm för att avkoda volontärens sinne. Den 49-årige mannen drabbades av en ryggmärgsskada cirka 30 år före provtagningen. Han hade fortfarande minimal rörelse i axeln och armbågen och kunde sträcka ut handlederna. Men hans hjärna hade länge tappat kontrollen över hans fingrar, vilket berövade honom all finmotorisk kontroll.

Teamet implanterade först sex elektrodmikroarrayer i olika delar av hans cortex. På den vänstra sidan av hans hjärna – som kontrollerar hans dominanta sida, den högra sidan – infogade de två arrayer i de motoriska respektive sensoriska områdena. Motsvarande regioner i höger hjärna - som kontrollerar hans icke-dominanta hand - fick en array vardera.

Teamet instruerade därefter mannen att utföra en serie handrörelser efter bästa förmåga. Varje gest – att böja en vänster eller höger handled, öppna eller nypa handen – kartlades till en rörelseriktning. Till exempel, att böja sin högra handled medan han sträckte ut sin vänstra (och vice versa) motsvarade rörelse i horisontella riktningar; båda händerna öppnas eller klämmer koder för vertikal rörelse.

Hela tiden samlade teamet in neurala signaler som kodade varje handrörelse. Datan användes för att träna en algoritm för att avkoda den avsedda gesten och driva det externa paret av scifi-robotarmar, med ungefär 85 procents framgång.

Låt honom äta tårta

Robotarmarna fick också en del förträning. Med hjälp av simuleringar gav teamet först armarna en uppfattning om var tårtan skulle vara på tallriken, var tallriken skulle ställas på bordet och ungefär hur långt tårtan skulle vara från deltagarens mun. De finjusterade också robotarmarnas hastighet och rörelseomfång - trots allt vill ingen se en gigantisk robotarm som griper tag i en spetsig gaffel som flyger mot ditt ansikte med en dinglande, manglad tårtbit.

I den här inställningen kunde deltagaren delvis kontrollera armarnas position och orientering, med upp till två frihetsgrader på varje sida - till exempel att tillåta honom att flytta vilken arm som helst vänster-höger, framåt-bakåt eller rulla vänster-höger . Under tiden tog roboten hand om resten av rörelsekomplexiteten.

För att ytterligare hjälpa samarbetet ropade en robotröst upp varje steg för att hjälpa laget skära en tårta och föra den till deltagarens mun.

Mannen hade det första draget. Genom att koncentrera sig på sin högra handledsrörelse placerade han den högra robothanden mot kakan. Roboten tog sedan över och flyttade automatiskt gaffelspetsen till kakan. Mannen kunde sedan bestämma den exakta positioneringen av gaffeln med hjälp av förtränade neurala kontroller.

När roboten väl var inställd flyttade den automatiskt den knivsvingande handen mot vänster om gaffeln. Mannen gjorde återigen justeringar för att skära kakan till önskad storlek, innan roboten automatiskt skar kakan och förde den till hans mun.

"Att konsumera bakverket var valfritt, men deltagaren valde att göra det med tanke på att det var utsökt", sa författarna.

Studien hade 37 försök, varav majoriteten var kalibrering. Sammantaget använde mannen sitt sinne för att äta sju tuggor av kakor, alla "lagom stora" och utan att tappa några.

Det är verkligen inte ett system som kommer hem till dig när som helst snart. Baserat på ett gigantiskt par DARPA-utvecklade robotarmar kräver uppställningen omfattande förprogrammerad kunskap för roboten, vilket innebär att den bara kan tillåta en enda uppgift vid varje given tidpunkt. För närvarande är studien mer av ett utforskande bevis på konceptet i hur man blandar neurala signaler med robotautonomi för att ytterligare utöka BMI-kapaciteten.

Men som protetik blir allt smartare och billigare, teamet blickar framåt.

"Det slutliga målet är justerbar autonomi som utnyttjar alla BMI-signaler som är tillgängliga för

deras maximala effektivitet, vilket gör det möjligt för människan att kontrollera de få DOFs [frihetsgrader] som mest direkt påverkar det kvalitativa utförandet av en uppgift medan roboten tar hand om resten, säger teamet. Framtida studier kommer att utforska – och tänja på – gränserna för dessa människa-robot-mindmelds.

Image Credit: Johns Hopkins laboratorium för tillämpad fysik

• Myntsmart. Europas bästa bitcoin- och kryptobörs.
• Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. FRI TILLGÅNG.
• CryptoHawk. Altcoin radar. Gratis provperiod.
• Källa: https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/