En lammet mann brukte sinnet sitt til å kontrollere to robotarmer for å spise kake

Mannen satt stille i stolen og stirret intenst på et kakestykke på bordet foran seg. Ledninger stakk ut fra elektrodeimplantater i hjernen hans. Flankerende ham var to gigantiske robotarmer, hver større enn hele overkroppen. Den ene holdt en kniv, den andre en gaffel.

«Kutt og spis mat. Beveg høyre hånd fremover for å starte,” beordret en robotstemme.

Mannen konsentrerte seg om å flytte den delvis lammede høyre armen fremover. Håndleddet hans rykket så vidt, men robotens høyre hånd seilte jevnt fremover og plasserte gaffeltuppen nær kaken. Nok en liten bevegelse av venstre hånd sendte kniven fremover.

Flere kommandoer senere åpnet mannen lykkelig munnen og slukte godbiten på størrelse, skåret til personlig preferanse med hjelp fra robotavatarene hans. Det hadde gått omtrent 30 år siden han var i stand til å forsyne seg.

De fleste av oss tenker ikke to ganger på å bruke de to armene våre samtidig – spise med kniv og gaffel, åpne en flaske, klemme en kjær, slappe av på sofaen og bruke en videospillkontroller. Koordinasjon kommer naturlig til hjernen vår.

Likevel har det stoppet å rekonstruere denne uanstrengte bevegelsen mellom to lemmer hjerne-maskin-grensesnitt (BMI) eksperter i årevis. En hovedveisperring er selve kompleksitetsnivået: I ett estimat kan bruk av robotlemmer til hverdagsoppgaver kreve 34 frihetsgrader, noe som utfordrer selv de mest sofistikerte BMI-oppsettene.

En ny studie, ledet av Dr. Francesco V. Tenore ved Johns Hopkins University, fant en glimrende løsning. Roboter har blitt stadig mer autonome takket være maskinlæring. I stedet for å behandle robotlemmer som bare maskineri, hvorfor ikke bruke deres sofistikerte programmering slik at menneske og robot kan dele kontrollene?

"Denne tilnærmingen til delt kontroll er ment å utnytte de iboende egenskapene til hjerne-maskin-grensesnittet og robotsystemet, og skape et "best fra begge verdener"-miljø der brukeren kan tilpasse oppførselen til en smart protese. sa Dr. Francesco Tenore.

Som et automatisert flysystem, lar dette samarbeidet mennesket «pilotere» roboten ved å fokusere kun på de tingene som betyr mest – i dette tilfellet, hvor stor hver kakebit skal kuttes – samtidig som mer verdslige operasjoner overlates til de semi- autonom robot.

Håpet er at disse "nevrorobotsystemene" - en ekte sinnssammenblanding mellom hjernens nevrale signaler og en robots smarte algoritmer - kan "forbedre brukerens uavhengighet og funksjonalitet," sa teamet.

Double Trouble

Hjernen sender elektriske signaler til musklene våre for å kontrollere bevegelser og justerer disse instruksjonene basert på tilbakemeldingene den mottar - for eksempel de som koder for trykk eller posisjonen til et lem i rommet. Ryggmargsskader eller andre sykdommer som skader denne signalveien bryter hjernens kommando over muskler, noe som fører til lammelser.

BMI-er bygger i hovedsak en bro over det skadde nervesystemet, slik at nevrale kommandoer kan strømme gjennom - enten det er for å operere sunne lemmer eller vedlagte proteser. Fra å gjenopprette håndskrift og tale til å oppfatte stimulering og kontrollere robotlemmer, har BMI banet vei for å gjenopprette folks liv.

Likevel har teknologien vært plaget av en urovekkende hikke: dobbel kontroll. Så langt har suksess i BMI stort sett vært begrenset til å bevege et enkelt lem – kropp eller annet. Men i hverdagen trenger vi begge armene for de enkleste oppgavene – en oversett supermakt som forskerne kaller «bimanuelle bevegelser».

Tilbake i 2013 presenterte BMI-pioneren Dr. Miguel Nicolelis ved Duke University det første beviset at bimanuell kontroll med BMI ikke er umulig. I to aper implantert med elektrodemikroarrayer var nevrale signaler fra omtrent 500 nevroner tilstrekkelige til å hjelpe apene med å kontrollere to virtuelle armer ved å bruke bare sinnet for å løse en datastyrt oppgave for en (bokstavelig talt) saftig belønning. Mens et lovende første skritt, eksperter på den tiden lurte på om oppsettet kunne fungere med mer komplekse menneskelige aktiviteter.

Hjelpende hånd

Den nye studien tok en annen tilnærming: kollaborativ delt kontroll. Ideen er enkel. Hvis det å bruke nevrale signaler for å kontrollere begge robotarmene er for komplekst for hjerneimplantater alene, hvorfor ikke la smart robotikk ta av noe av prosesseringsbelastningen?

Rent praktisk er robotene først forhåndsprogrammert for flere enkle bevegelser, mens de gir rom for mennesket til å kontrollere detaljer basert på deres preferanser. Det er som en robot og menneskelig tandemsykkeltur: Maskinen tråkker i forskjellige hastigheter basert på algoritmiske instruksjoner mens mannen kontrollerer håndtak og bremser.

For å sette opp systemet trente teamet først en algoritme for å dekode den frivilliges sinn. Den 49 år gamle mannen led av en ryggmargsskade omtrent 30 år før testen. Han hadde fortsatt minimal bevegelse i skulderen og albuen og kunne forlenge håndleddene. Imidlertid hadde hjernen hans lenge mistet kontrollen over fingrene, og frarøvet ham enhver finmotorisk kontroll.

Teamet implanterte først seks elektrodemikroarrayer i forskjellige deler av cortex hans. På venstre side av hjernen hans - som kontrollerer hans dominerende side, høyre side - satte de inn to arrays i henholdsvis motor- og sensorregionen. De korresponderende områdene i høyre hjernehalvdel - som kontrollerer hans ikke-dominante hånd - mottok en gruppe hver.

Teamet instruerte deretter mannen til å utføre en rekke håndbevegelser etter beste evne. Hver gest – å bøye et venstre eller høyre håndledd, åpne eller klype hånden – ble kartlagt til en bevegelsesretning. For eksempel tilsvarte det å bøye høyre håndledd mens han forlenget venstre (og omvendt) bevegelse i horisontale retninger; begge hender åpner eller klemmer koder for vertikal bevegelse.

Hele tiden samlet teamet nevrale signaler som koder for hver håndbevegelse. Dataene ble brukt til å trene en algoritme for å dekode den tiltenkte gesten og drive det eksterne paret av scifi-robotarmer, med omtrent 85 prosent suksess.

La ham spise kake

Robotarmene fikk også litt forhåndstrening. Ved hjelp av simuleringer ga teamet først armene en idé om hvor kaken ville være på tallerkenen, hvor tallerkenen skulle settes på bordet, og omtrent hvor langt kaken ville være fra deltakerens munn. De finjusterte også hastigheten og bevegelsesområdet til robotarmene – tross alt er det ingen som ønsker å se en gigantisk robotarm som griper med en spiss gaffel som flyr mot ansiktet ditt med et dinglende, manglet kakestykke.

I dette oppsettet kunne deltakeren delvis kontrollere posisjonen og orienteringen til armene, med opptil to frihetsgrader på hver side - for eksempel slik at han kan bevege hvilken som helst arm venstre-høyre, fremover-bakover eller rulle venstre-høyre . I mellomtiden tok roboten seg av resten av bevegelseskompleksitetene.

For å hjelpe samarbeidet ytterligere, ropte en robotstemme hvert trinn for å hjelpe teamet med å kutte et kakestykke og bringe det til deltakerens munn.

Mannen hadde det første trekket. Ved å konsentrere seg om høyre håndleddsbevegelse plasserte han høyre robothånd mot kaken. Roboten tok deretter over, og flyttet automatisk tuppen av gaffelen til kaken. Mannen kunne deretter bestemme den nøyaktige plasseringen av gaffelen ved hjelp av forhåndstrente nevrale kontroller.

Så snart roboten var stilt inn, flyttet den knivsvingende hånden automatisk mot venstre for gaffelen. Mannen gjorde igjen justeringer for å kutte kaken til ønsket størrelse, før roboten automatisk kuttet kaken og førte den til munnen.

"Å konsumere bakverket var valgfritt, men deltakeren valgte å gjøre det gitt at det var deilig," sa forfatterne.

Studien hadde 37 forsøk, hvor de fleste var kalibrering. Totalt sett brukte mannen tankene sine til å spise syv biter av kaker, alle "rimelig store" og uten å miste noen.

Det er absolutt ikke et system som kommer hjem til deg når som helst snart. Basert på et gigantisk par DARPA-utviklede robotarmer, krever oppsettet omfattende forhåndsprogrammert kunnskap for roboten, noe som betyr at den kun kan tillate en enkelt oppgave til enhver tid. Foreløpig er studien mer et utforskende bevis på konseptet i hvordan man blander nevrale signaler med robotautonomi for å utvide BMI-evnene ytterligere.

Men som protetikk blir stadig smartere og rimeligere, ser teamet fremover.

"Det endelige målet er justerbar autonomi som utnytter de BMI-signalene som er tilgjengelige for

deres maksimale effektivitet, som gjør det mulig for mennesket å kontrollere de få DOF-ene [frihetsgradene] som mest direkte påvirker den kvalitative ytelsen til en oppgave mens roboten tar seg av resten," sa teamet. Fremtidige studier vil utforske – og forskyve – grensene for disse menneske-robot-tankene.

Bilde Credit: Johns Hopkins Applied Physics Laboratory

• Myntsmart. Europas beste Bitcoin og Crypto Exchange.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
• CryptoHawk. Altcoin Radar. Gratis prøveperiode.
• Kilde: https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/