En lammet mand brugte sit sind til at kontrollere to robotarme for at spise kage

Manden sad stille i stolen og stirrede intenst på et stykke kage på bordet foran ham. Ledninger stak ud fra elektrodeimplantater i hans hjerne. Flankerende ham var to gigantiske robotarme, hver større end hele hans overkrop. Den ene holdt en kniv, den anden en gaffel.

“Skær og spis mad. Bevæg højre hånd frem for at starte,” beordrede en robotstemme.

Manden koncentrerede sig om at bevæge sin delvist lammede højre arm fremad. Hans håndled rykkede knap nok, men robottens højre hånd sejlede jævnt fremad og placerede spidsen af ​​gaffelen nær kagen. Endnu en lille bevægelse af hans venstre hånd sendte kniven frem.

Flere kommandoer senere åbnede manden glad munden og slugte den mundrette godbid, skåret til personlig præference med hjælp fra hans robot-avatarer. Det var omkring 30 år siden, han var i stand til at brødføde sig selv.

De fleste af os tænker ikke to gange på at bruge vores to arme samtidigt - at spise med kniv og gaffel, åbne en flaske, kramme en elsket, slappe af på sofaen og betjene en videospilcontroller. Koordination kommer naturligt i vores hjerner.

Alligevel har rekonstrueringen af ​​denne ubesværede bevægelse mellem to lemmer hindret hjerne-maskine interface (BMI) eksperter i årevis. En hovedspærring er det store kompleksitetsniveau: I et skøn kan det kræve 34 frihedsgrader at bruge robotlemmer til dagligdagsopgaver, hvilket udfordrer selv de mest sofistikerede BMI-opsætninger.

En ny undersøgelse, ledet af Dr. Francesco V. Tenore ved Johns Hopkins University, fandt en genial løsning. Robotter er blevet mere og mere autonome takket være maskinlæring. I stedet for at behandle robotlemmer som blot maskineri, hvorfor så ikke udnytte deres sofistikerede programmering, så menneske og robot kan dele kontrollerne?

"Denne tilgang til delt kontrol er beregnet til at udnytte de iboende egenskaber i hjerne-maskine-grænsefladen og robotsystemet og skabe et 'bedst fra begge verdener'-miljø, hvor brugeren kan tilpasse adfærden af ​​en smart protese." sagde Dr. Francesco Tenore.

Ligesom et automatiseret flyvesystem giver dette samarbejde mennesket mulighed for at "pilotere" robotten ved kun at fokusere på de ting, der betyder mest - i dette tilfælde, hvor stor hver bid kage skal skæres - og samtidig overlade mere verdslige operationer til de semi- autonom robot.

Håbet er, at disse "neurorobotiske systemer" - en ægte sindsammensmeltning mellem hjernens neurale signaler og en robots smarte algoritmer - kan "forbedre brugerens uafhængighed og funktionalitet," sagde teamet.

Double Trouble

Hjernen sender elektriske signaler til vores muskler for at kontrollere bevægelse og justerer disse instruktioner baseret på den feedback, den modtager - for eksempel dem, der koder for tryk eller positionen af ​​et lem i rummet. Rygmarvsskader eller andre sygdomme, der beskadiger denne signalmotorvej, afbryder hjernens kommando over muskler, hvilket fører til lammelse.

BMI'er bygger i det væsentlige en bro over det skadede nervesystem, hvilket tillader neurale kommandoer at strømme igennem - uanset om det er at betjene sunde lemmer eller vedhæftede proteser. Fra gendannelse af håndskrift og tale til at opfatte stimulering og styring af robotlemmer, har BMI'er banet vejen for at genoprette folks liv.

Alligevel har teknologien været plaget af et bekymrende hikke: dobbelt kontrol. Indtil videre har succes i BMI stort set været begrænset til at bevæge et enkelt lem – krop eller andet. Men i hverdagen har vi brug for begge arme til de enkleste opgaver - en overset supermagt, som videnskabsmænd kalder "bimanuelle bevægelser."

Tilbage i 2013 præsenterede BMI-pioneren Dr. Miguel Nicolelis ved Duke University det første bevis at bimanuel kontrol med BMI'er ikke er umulig. I to aber implanteret med elektrodemikroarrays var neurale signaler fra omkring 500 neuroner tilstrækkelige til at hjælpe aberne med at kontrollere to virtuelle arme ved kun at bruge deres sind til at løse en computeriseret opgave til en (bogstaveligt talt) saftig belønning. Mens et lovende første skridt, eksperter på det tidspunkt spekulerede om opsætningen kunne fungere med mere komplekse menneskelige aktiviteter.

Hjælpende hånd

Den nye undersøgelse tog en anden tilgang: kollaborativ delt kontrol. Ideen er enkel. Hvis det at bruge neurale signaler til at styre begge robotarme er for komplekst til hjerneimplantater alene, hvorfor så ikke lade smart robotik tage noget af behandlingsbelastningen af?

Rent praktisk er robotterne først forprogrammeret til adskillige simple bevægelser, mens de giver plads til, at mennesket kan kontrollere detaljer baseret på deres præferencer. Det er som en robot- og menneskelig tandemcykeltur: Maskinen pedaler med forskellige hastigheder baseret på dens algoritmiske instruktioner, mens manden styrer styret og bremserne.

For at konfigurere systemet trænede holdet først en algoritme til at afkode den frivilliges sind. Den 49-årige mand led af en rygmarvsskade omkring 30 år før testen. Han havde stadig minimal bevægelse i skulderen og albuen og kunne forlænge sine håndled. Imidlertid havde hans hjerne længe mistet kontrollen over hans fingre, og frataget ham enhver finmotorisk kontrol.

Holdet implanterede først seks elektrodemikroarrays i forskellige dele af hans cortex. På venstre side af hans hjerne - som styrer hans dominerende side, højre side - indsatte de to arrays i henholdsvis motor- og sensorisk region. De tilsvarende højre hjerneregioner - der kontrollerer hans ikke-dominante hånd - modtog hver en række.

Holdet instruerede derefter manden til at udføre en række håndbevægelser efter bedste evne. Hver gestus – at bøje et venstre eller højre håndled, åbne eller klemme hånden – blev kortlagt til en bevægelsesretning. For eksempel svarede det at bøje sit højre håndled, mens det strækkede venstre (og omvendt) til bevægelse i vandrette retninger; begge hænder åbner eller klemmer koder for lodret bevægelse.

Hele tiden indsamlede holdet neurale signaler, der koder for hver håndbevægelse. Dataene blev brugt til at træne en algoritme til at afkode den tilsigtede gestus og drive det eksterne par scifi-robotarme, med omkring 85 procent succes.

Lad ham spise kage

Robotarmene fik også noget fortræning. Ved hjælp af simuleringer gav holdet først armene en idé om, hvor kagen ville være på tallerkenen, hvor tallerkenen skulle stilles på bordet, og cirka hvor langt kagen ville være fra deltagerens mund. De finjusterede også hastigheden og bevægelsesområdet for robotarmene – ingen ønsker trods alt at se en kæmpe robotarm, der griber fat med en spids gaffel, flyver i ansigtet med et dinglende, sønderdelt kage.

I denne opsætning kunne deltageren delvist kontrollere armenes position og orientering med op til to frihedsgrader på hver side - for eksempel at tillade ham at bevæge enhver arm venstre-højre, frem-tilbage eller rulle venstre-højre . I mellemtiden tog robotten sig af resten af ​​bevægelseskompleksiteten.

For yderligere at hjælpe samarbejdet råbte en robotstemme hvert trin for at hjælpe holdet med at skære et stykke kage og bringe det til deltagerens mund.

Manden havde det første træk. Ved at koncentrere sig om sin højre håndledsbevægelse placerede han den højre robothånd mod kagen. Robotten tog derefter over og flyttede automatisk spidsen af ​​gaflen til kagen. Manden kunne derefter bestemme den nøjagtige positionering af gaflen ved hjælp af fortrænede neurale kontroller.

Når robotten var indstillet, flyttede den automatisk den knivsvingende hånd mod venstre for gaflen. Manden lavede igen justeringer for at skære kagen til den ønskede størrelse, før robotten automatisk skar kagen og førte den til munden.

"Det var valgfrit at indtage kagen, men deltageren valgte at gøre det, da det var lækkert," sagde forfatterne.

Undersøgelsen havde 37 forsøg, hvor størstedelen var kalibrering. Alt i alt brugte manden sit sind til at spise syv bidder kager, alle i "rimelig størrelse" og uden at tabe nogen.

Det er bestemt ikke et system, der kommer hjem til dig på et øjeblik. Baseret på et gigantisk par DARPA-udviklede robotarme, kræver opsætningen omfattende forprogrammeret viden til robotten, hvilket betyder, at den kun kan tillade en enkelt opgave på et givet tidspunkt. For nu er undersøgelsen mere et udforskende proof of concept i, hvordan man blander neurale signaler med robotautonomi for yderligere at udvide BMI-kapaciteterne.

Men som proteser bliver stadig klogere og mere overkommelige, ser teamet fremad.

"Det ultimative mål er justerbar autonomi, der udnytter de BMI-signaler, der er tilgængelige for

deres maksimale effektivitet, hvilket gør det muligt for mennesket at kontrollere de få DOF'er [frihedsgrader], der mest direkte påvirker den kvalitative udførelse af en opgave, mens robotten tager sig af resten," sagde teamet. Fremtidige undersøgelser vil udforske – og skubbe – grænserne for disse menneske-robot mindmelds.

Billede Credit: Johns Hopkins Applied Physics Laboratory

• Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
• CryptoHawk. Altcoin radar. Gratis prøveversion.
• Kilde: https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/