Ein gelähmter Mann benutzte seinen Verstand, um zwei Roboterarme zu steuern, um Kuchen zu essen

Der Mann saß still auf dem Stuhl und starrte konzentriert auf ein Stück Kuchen auf dem Tisch vor ihm. Aus Elektrodenimplantaten in seinem Gehirn ragten Drähte heraus. Ihn flankierten zwei riesige Roboterarme, jeder größer als sein gesamter Oberkörper. Einer hielt ein Messer, der andere eine Gabel.

„Schneide und iss Essen. Bewegen Sie die rechte Hand nach vorne, um zu beginnen“, befahl eine Roboterstimme.

Der Mann konzentrierte sich darauf, seinen teilweise gelähmten rechten Arm nach vorne zu bewegen. Sein Handgelenk zuckte kaum, aber die roboterhafte rechte Hand segelte sanft vorwärts und positionierte die Spitze der Gabel in der Nähe des Kuchens. Eine weitere leichte Bewegung seiner linken Hand schickte das Messer nach vorne.

Einige Befehle später öffnete der Mann glücklich seinen Mund und verschlang die mundgerechte Leckerei, die mit Hilfe seiner Roboter-Avatare nach persönlichen Vorlieben geschnitten wurde. Es war ungefähr 30 Jahre her, dass er sich selbst ernähren konnte.

Die meisten von uns denken nicht zweimal darüber nach, unsere beiden Arme gleichzeitig zu benutzen – mit Messer und Gabel zu essen, eine Flasche zu öffnen, einen geliebten Menschen zu umarmen, auf der Couch zu faulenzen und einen Videospiel-Controller zu bedienen. Koordination kommt unserem Gehirn ganz natürlich vor.

Doch die Rekonstruktion dieser mühelosen Bewegung zwischen zwei Gliedmaßen ist gescheitert Gehirn-Maschine-Schnittstelle (BMI) Experten seit Jahren. Ein Haupthindernis ist die schiere Komplexität: Nach einer Schätzung kann die Verwendung von Robotergliedern für alltägliche Lebensaufgaben 34 Freiheitsgrade erfordern, was selbst die ausgefeiltesten BMI-Setups herausfordert.

Eine neue Studie, unter der Leitung von Dr. Francesco V. Tenore an der Johns Hopkins University, fand einen brillanten Workaround. Roboter sind dank maschinellem Lernen immer autonomer geworden. Anstatt Roboterglieder als bloße Maschinen zu behandeln, warum nicht ihre ausgeklügelte Programmierung nutzen, damit Mensch und Roboter die Steuerung teilen können?

„Dieser Ansatz der gemeinsamen Steuerung soll die intrinsischen Fähigkeiten der Gehirn-Maschine-Schnittstelle und des Robotersystems nutzen und eine Umgebung schaffen, in der der Benutzer das Verhalten einer intelligenten Prothese personalisieren kann.“ sagte Dr. Francesco Tenore.

Wie bei einem automatisierten Flugsystem ermöglicht diese Zusammenarbeit dem Menschen, den Roboter zu „steuern“, indem er sich nur auf die Dinge konzentriert, die am wichtigsten sind – in diesem Fall, wie groß man jeden Bissen vom Kuchen schneidet –, während er profanere Operationen dem Halbmenschen überlässt. autonomer Roboter.

Die Hoffnung ist, dass diese „neurorobotischen Systeme“ – eine echte Gedankenverschmelzung zwischen den neuronalen Signalen des Gehirns und den intelligenten Algorithmen eines Roboters – „die Unabhängigkeit und Funktionalität des Benutzers verbessern können“, sagte das Team.

Double Trouble

Das Gehirn sendet elektrische Signale an unsere Muskeln, um Bewegungen zu steuern, und passt diese Anweisungen basierend auf dem Feedback an, das es erhält – zum Beispiel diejenigen, die Druck oder die Position eines Glieds im Raum codieren. Rückenmarksverletzungen oder andere Krankheiten, die diese Signalautobahn beschädigen, unterbrechen die Kontrolle des Gehirns über die Muskeln und führen zu Lähmungen.

BMIs bauen im Wesentlichen eine Brücke über das verletzte Nervensystem und lassen neuronale Befehle fließen – sei es, um gesunde Gliedmaßen oder befestigte Prothesen zu operieren. Von der Wiederherstellung von Handschrift und Sprache über die Wahrnehmung von Stimulation bis hin zur Steuerung von Robotergliedern haben BMIs den Weg zur Wiederherstellung des Lebens der Menschen geebnet.

Doch die Technik wurde von einem beunruhigenden Schluckauf geplagt: doppelte Kontrolle. Bisher beschränkte sich der Erfolg bei BMIs weitgehend auf die Bewegung einer einzelnen Extremität – des Körpers oder auf andere Weise. Doch im Alltag brauchen wir beide Arme für die einfachsten Aufgaben – eine übersehene Superkraft, die Wissenschaftler „bimanuelle Bewegungen“ nennen.

Bereits 2013 stellte BMI-Pionier Dr. Miguel Nicolelis von der Duke University vor die ersten Beweise dass eine bimanuelle Kontrolle mit BMIs nicht unmöglich ist. Bei zwei Affen, denen Elektroden-Mikroarrays implantiert wurden, reichten neuronale Signale von ungefähr 500 Neuronen aus, um den Affen zu helfen, zwei virtuelle Arme nur mit ihrem Verstand zu steuern, um eine computerisierte Aufgabe für eine (buchstäblich) saftige Belohnung zu lösen. Während ein vielversprechender erster Schritt, Experten zu der Zeit fragte sich ob das Setup mit komplexeren menschlichen Aktivitäten funktionieren könnte.

Helfende Hand

Die neue Studie verfolgte einen anderen Ansatz: Collaborative Shared Control. Die Idee ist einfach. Wenn die Verwendung neuronaler Signale zur Steuerung beider Roboterarme zu komplex für Gehirnimplantate allein ist, warum sollte man es nicht zulassen, dass intelligente Roboter einen Teil der Verarbeitungslast abnehmen?

In der Praxis werden die Roboter zunächst für einige einfache Bewegungen vorprogrammiert, während dem Menschen Raum gelassen wird, um Besonderheiten basierend auf seinen Vorlieben zu steuern. Es ist wie eine Tandem-Fahrradfahrt von Roboter und Mensch: Die Maschine tritt basierend auf ihren algorithmischen Anweisungen mit unterschiedlichen Geschwindigkeiten in die Pedale, während der Mann den Lenker und die Bremsen steuert.

Um das System einzurichten, trainierte das Team zunächst einen Algorithmus, um die Gedanken der Freiwilligen zu entschlüsseln. Der 49-jährige Mann litt etwa 30 Jahre vor dem Test an einer Querschnittlähmung. Er hatte immer noch minimale Bewegung in Schulter und Ellbogen und konnte seine Handgelenke strecken. Sein Gehirn hatte jedoch schon lange die Kontrolle über seine Finger verloren, was ihm jegliche feinmotorische Kontrolle raubte.

Das Team implantierte zunächst sechs Elektroden-Mikroarrays in verschiedene Teile seines Kortex. Auf der linken Seite seines Gehirns – die seine dominante Seite, die rechte Seite, steuert – fügten sie zwei Arrays in die motorischen bzw. sensorischen Regionen ein. Die entsprechenden rechten Gehirnregionen, die seine nicht dominante Hand kontrollieren, erhielten jeweils ein Array.

Als nächstes wies das Team den Mann an, nach besten Kräften eine Reihe von Handbewegungen auszuführen. Jede Geste – Beugen eines linken oder rechten Handgelenks, Öffnen oder Kneifen der Hand – wurde einer Bewegungsrichtung zugeordnet. Zum Beispiel entsprach das Beugen des rechten Handgelenks, während das linke gestreckt wurde (und umgekehrt), einer Bewegung in horizontaler Richtung; beide Hände öffnen oder Kneifcodes für vertikale Bewegung.

Währenddessen sammelte das Team neuronale Signale, die jede Handbewegung kodierten. Die Daten wurden verwendet, um einen Algorithmus zu trainieren, um die beabsichtigte Geste zu entschlüsseln und das externe Paar Scifi-Roboterarme mit etwa 85 Prozent Erfolg anzutreiben.

Lass ihn Kuchen essen

Auch die Roboterarme wurden etwas vortrainiert. Mithilfe von Simulationen gab das Team den Armen zunächst eine Vorstellung davon, wo sich der Kuchen auf dem Teller befinden würde, wo der Teller auf den Tisch gestellt werden würde und wie weit der Kuchen ungefähr vom Mund des Teilnehmers entfernt sein würde. Sie haben auch die Geschwindigkeit und den Bewegungsbereich der Roboterarme fein abgestimmt – schließlich möchte niemand einen riesigen Roboterarm sehen, der mit einer spitzen Gabel greift und einem mit einem baumelnden, zerfetzten Stück Kuchen ins Gesicht fliegt.

In diesem Aufbau könnte der Teilnehmer die Position und Ausrichtung der Arme teilweise steuern, mit bis zu zwei Freiheitsgraden auf jeder Seite – so dass er beispielsweise jeden Arm von links nach rechts, vorwärts und rückwärts bewegen oder von links nach rechts rollen kann . In der Zwischenzeit kümmerte sich der Roboter um den Rest der Bewegungskomplexität.

Um die Zusammenarbeit weiter zu unterstützen, rief eine Roboterstimme jeden Schritt an, um dem Team zu helfen, ein Stück Kuchen zu schneiden und es zum Mund des Teilnehmers zu bringen.

Der Mann hatte den ersten Zug. Indem er sich auf die Bewegung seines rechten Handgelenks konzentrierte, positionierte er die rechte Roboterhand auf den Kuchen. Dann übernahm der Roboter und bewegte die Spitze der Gabel automatisch zum Kuchen. Der Mann konnte dann mithilfe vortrainierter neuronaler Steuerungen die genaue Positionierung der Gabel bestimmen.

Einmal eingestellt, bewegte der Roboter die messerschwingende Hand automatisch zur linken Seite der Gabel. Der Mann nahm erneut Anpassungen vor, um den Kuchen auf die gewünschte Größe zu schneiden, bevor der Roboter den Kuchen automatisch schnitt und zu seinem Mund führte.

„Der Verzehr des Gebäcks war optional, aber der Teilnehmer entschied sich dafür, da es köstlich war“, sagten die Autoren.

Die Studie umfasste 37 Studien, von denen die meisten Kalibrierungen waren. Insgesamt nutzte der Mann seinen Verstand, um sieben Bissen Kuchen zu essen, alle „angemessen groß“ und ohne etwas fallen zu lassen.

Es ist sicherlich kein System, das in absehbarer Zeit zu Ihnen nach Hause kommt. Basierend auf einem gigantischen Paar von DARPA-entwickelten Roboterarmen erfordert das Setup umfangreiches vorprogrammiertes Wissen für den Roboter, was bedeutet, dass er zu einem bestimmten Zeitpunkt nur eine einzige Aufgabe zulassen kann. Im Moment ist die Studie eher ein explorativer Machbarkeitsnachweis dafür, wie neuronale Signale mit Roboterautonomie kombiniert werden können, um die BMI-Fähigkeiten weiter auszubauen.

Aber Prothetik immer intelligenter und erschwinglicher werden, blickt das Team nach vorne.

„Das ultimative Ziel ist eine einstellbare Autonomie, die alle verfügbaren BMI-Signale nutzt

ihre maximale Effektivität, die es dem Menschen ermöglicht, die wenigen Freiheitsgrade (DOFs) zu kontrollieren, die sich am unmittelbarsten auf die qualitative Leistung einer Aufgabe auswirken, während der Roboter sich um den Rest kümmert“, sagte das Team. Zukünftige Studien werden die Grenzen dieser Mensch-Roboter-Gedankenverschmelzungen erforschen – und erweitern.

Bild-Kredit: Johns Hopkins Labor für Angewandte Physik

• Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
• Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
• CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
• Quelle: https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/