Een verlamde man gebruikte zijn verstand om twee robotarmen te besturen om cake te eten

De man zat stil in de stoel en staarde aandachtig naar een stuk taart op de tafel voor hem. Draden staken uit elektrode-implantaten in zijn hersenen. Naast hem stonden twee gigantische robotarmen, elk groter dan zijn hele bovenlichaam. De een hield een mes vast, de ander een vork.

“Snijd en eet eten. Beweeg de rechterhand naar voren om te beginnen,' beval een robotstem.

De man concentreerde zich op het naar voren bewegen van zijn gedeeltelijk verlamde rechterarm. Zijn pols trilde nauwelijks, maar de robotachtige rechterhand zeilde soepel naar voren en plaatste de punt van de vork bij de cake. Een andere lichte beweging van zijn linkerhand stuurde het mes naar voren.

Enkele commando's later opende de man blij zijn mond en verslond de hapklare traktatie, gesneden naar persoonlijke voorkeur met hulp van zijn robotavatars. Het was ongeveer 30 jaar geleden dat hij zichzelf kon voeden.

De meesten van ons denken niet twee keer na over het gelijktijdig gebruiken van onze twee armen: eten met mes en vork, een fles openen, een geliefde knuffelen, op de bank luieren en een videogamecontroller bedienen. Coördinatie komt van nature voor in onze hersenen.

Maar het reconstrueren van deze moeiteloze beweging tussen twee ledematen is gedwarsboomd brein-machine-interface (BMI) experts al jaren. Een van de belangrijkste obstakels is de enorme complexiteit: volgens één schatting kan het gebruik van robotledematen voor alledaagse taken 34 vrijheidsgraden vereisen, waardoor zelfs de meest geavanceerde BMI-instellingen worden uitgedaagd.

Een nieuwe studie, onder leiding van Dr. Francesco V. Tenore van de Johns Hopkins University, een briljante oplossing gevonden. Robots zijn steeds autonoomer geworden dankzij machine learning. In plaats van robotische ledematen te behandelen als louter machines, waarom zou u niet gebruikmaken van hun geavanceerde programmering, zodat mens en robot de besturing kunnen delen?

"Deze benadering van gedeelde controle is bedoeld om de intrinsieke mogelijkheden van de hersen-machine-interface en het robotsysteem te benutten, waardoor een 'best of both worlds'-omgeving wordt gecreëerd waarin de gebruiker het gedrag van een slimme prothese kan personaliseren," zei Dr Francesco Tenore.

Net als een geautomatiseerd vluchtsysteem, stelt deze samenwerking de mens in staat om de robot te "pilooten" door zich alleen te concentreren op de dingen die er het meest toe doen - in dit geval hoe groot elke hap cake moet worden gesneden - terwijl meer alledaagse operaties worden overgelaten aan de semi- autonome robot.

De hoop is dat deze "neurorobotische systemen" - een echte geestversmelting tussen de neurale signalen van de hersenen en de slimme algoritmen van een robot - "de onafhankelijkheid en functionaliteit van de gebruiker kunnen verbeteren", aldus het team.

Double Trouble

De hersenen sturen elektrische signalen naar onze spieren om bewegingen te regelen en passen die instructies aan op basis van de feedback die ze ontvangen, bijvoorbeeld die welke coderen voor druk of de positie van een ledemaat in de ruimte. Ruggenmergletsels of andere ziekten die deze signaalsnelweg beschadigen, verbreken het commando van de hersenen over spieren, wat leidt tot verlamming.

BMI's bouwen in wezen een brug over het gewonde zenuwstelsel, waardoor neurale commando's erdoorheen kunnen stromen - of het nu gaat om het bedienen van gezonde ledematen of bevestigde protheses. Van het herstellen van handschrift en spraak tot het waarnemen van stimulatie en het besturen van robotledematen, BMI's hebben de weg vrijgemaakt voor het herstellen van het leven van mensen.

Toch wordt de techneut geplaagd door een verontrustende hapering: dubbele controle. Tot nu toe is het succes bij BMI's grotendeels beperkt gebleven tot het verplaatsen van een enkel ledemaat - lichaam of anderszins. Maar in het dagelijks leven hebben we beide armen nodig voor de eenvoudigste taken - een over het hoofd geziene superkracht die wetenschappers 'bimanuele bewegingen' noemen.

In 2013 presenteerde BMI-pionier Dr. Miguel Nicolelis van Duke University het eerste bewijs dat bimanuele controle met BMI's niet onmogelijk is. Bij twee apen die waren geïmplanteerd met elektrode-microarrays, waren neurale signalen van ongeveer 500 neuronen voldoende om de apen te helpen twee virtuele armen te besturen met alleen hun geest om een ​​geautomatiseerde taak op te lossen voor een (letterlijk) sappige beloning. Hoewel het een veelbelovende eerste stap was, waren experts destijds vroeg me af of de opstelling zou kunnen werken met meer complexe menselijke activiteiten.

Helpende hand

De nieuwe studie had een andere benadering: gezamenlijke gedeelde controle. Het idee is eenvoudig. Als het gebruik van neurale signalen om beide robotarmen te besturen te complex is voor alleen hersenimplantaten, waarom zou je dan niet toestaan ​​dat slimme robotica een deel van de verwerkingslast wegneemt?

In de praktijk worden de robots eerst voorgeprogrammeerd voor een aantal eenvoudige bewegingen, terwijl ze ruimte laten voor de mens om specifieke dingen te regelen op basis van hun voorkeur. Het is als een tandemrit met een robot en een mens: de machine trapt met verschillende snelheden op basis van zijn algoritmische instructies, terwijl de man het stuur en de remmen bedient.

Om het systeem op te zetten, heeft het team eerst een algoritme getraind om de geest van de vrijwilliger te ontcijferen. De 49-jarige man leed ongeveer 30 jaar voor het testen aan een dwarslaesie. Hij had nog steeds minimale beweging in zijn schouder en elleboog en kon zijn polsen strekken. Zijn hersenen hadden echter al lang de controle over zijn vingers verloren en beroofden hem van elke fijne motoriek.

Het team implanteerde eerst zes elektrode-microarrays in verschillende delen van zijn cortex. Aan de linkerkant van zijn hersenen - die zijn dominante kant bestuurt, de rechterkant - plaatsten ze twee arrays in respectievelijk de motorische en sensorische regio's. De corresponderende rechterhersenhelften - die zijn niet-dominante hand besturen - kregen elk één array.

Het team instrueerde de man vervolgens om zo goed mogelijk een reeks handbewegingen uit te voeren. Elk gebaar - een linker- of rechterpols buigen, de hand openen of knijpen - werd toegewezen aan een bewegingsrichting. Bijvoorbeeld, het buigen van zijn rechterpols terwijl hij zijn linker strek (en vice versa) kwam overeen met beweging in horizontale richtingen; beide handen open of knijpcodes voor verticale beweging.

Al die tijd verzamelde het team neurale signalen die elke handbeweging codeerden. De gegevens werden gebruikt om een ​​algoritme te trainen om het beoogde gebaar te decoderen en het externe paar scifi-robotarmen van stroom te voorzien, met ongeveer 85 procent succes.

Laat hem taart eten

De robotarmen kregen ook wat voortraining. Met behulp van simulaties gaf het team de armen eerst een idee van waar de cake op het bord zou komen, waar het bord op tafel zou komen en hoe ver de cake ongeveer van de mond van de deelnemer zou zijn. Ze hebben ook de snelheid en het bewegingsbereik van de robotarmen verfijnd - niemand wil tenslotte een gigantische robotarm zien die grijpt met een puntige vork die naar je gezicht vliegt met een bungelend, verminkt stuk cake.

In deze opstelling kon de deelnemer de positie en oriëntatie van de armen gedeeltelijk regelen, met maximaal twee vrijheidsgraden aan elke kant, zodat hij bijvoorbeeld elke arm van links naar rechts, naar voren en naar achteren kan bewegen of van links naar rechts kan rollen. . Ondertussen zorgde de robot voor de rest van de bewegingscomplexiteit.

Om de samenwerking verder te bevorderen, riep een robotstem bij elke stap om het team te helpen een fluitje van een cent te snijden en het naar de mond van de deelnemer te brengen.

De man had de eerste zet. Door zich te concentreren op de beweging van zijn rechterpols, positioneerde hij de rechter robothand richting de taart. De robot nam het vervolgens over en verplaatste automatisch de punt van de vork naar de cake. De man kon vervolgens de exacte positionering van de vork bepalen met behulp van vooraf getrainde neurale bedieningselementen.

Eenmaal ingesteld, bewoog de robot automatisch de met het mes zwaaiende hand naar de linkerkant van de vork. De man maakte opnieuw aanpassingen om de cake op de gewenste maat te snijden, voordat de robot de cake automatisch aansneed en naar zijn mond bracht.

"Het consumeren van het gebak was optioneel, maar de deelnemer koos ervoor om dit te doen omdat het heerlijk was", aldus de auteurs.

De studie had 37 proeven, waarvan de meerderheid kalibratie was. Over het algemeen gebruikte de man zijn verstand om zeven happen cake te eten, allemaal "redelijk groot" en zonder er een te laten vallen.

Het is zeker niet een systeem dat snel bij je thuis komt. Gebaseerd op een gigantisch paar door DARPA ontwikkelde robotarmen, vereist de opstelling uitgebreide voorgeprogrammeerde kennis voor de robot, wat betekent dat deze slechts één taak tegelijk kan uitvoeren. Voorlopig is de studie meer een verkennend proof-of-concept voor het combineren van neurale signalen met robotautonomie om de BMI-mogelijkheden verder uit te breiden.

Maar als protheses steeds slimmer en betaalbaarder worden, kijkt het team vooruit.

“Het uiteindelijke doel is aanpasbare autonomie die gebruik maakt van alle BMI-signalen die beschikbaar zijn voor

hun maximale effectiviteit, waardoor de mens de weinige DOF's [vrijheidsgraden] kan controleren die het meest direct van invloed zijn op de kwalitatieve uitvoering van een taak, terwijl de robot voor de rest zorgt", aldus het team. Toekomstige studies zullen de grenzen van deze mens-robot-mindmelds verkennen en verleggen.

Krediet van het beeld: Johns Hopkins Laboratorium voor Toegepaste Natuurkunde

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/