Un homme paralysé a utilisé son esprit pour contrôler deux bras robotiques pour manger un gâteau

L'homme était assis toujours sur la chaise, regardant fixement un morceau de gâteau posé sur la table devant lui. Des fils dépassaient des électrodes implantées dans son cerveau. À ses côtés se trouvaient deux bras robotiques géants, chacun plus grand que tout le haut de son corps. L’un tenait un couteau, l’autre une fourchette.

« Coupez et mangez de la nourriture. Avancez la main droite pour commencer », ordonna une voix robotique.

L’homme s’est concentré sur l’avancée de son bras droit partiellement paralysé. Son poignet trembla à peine, mais la main droite du robot avança doucement, plaçant le bout de la fourchette près du gâteau. Un autre léger mouvement de sa main gauche fit avancer le couteau.

Plusieurs commandes plus tard, l'homme ouvrit joyeusement la bouche et dévora la petite friandise, coupée selon ses préférences personnelles avec l'aide de ses avatars robotiques. Cela faisait environ 30 ans qu’il n’arrivait plus à se nourrir.

La plupart d'entre nous n'hésitent pas à utiliser nos deux bras simultanément : manger avec un couteau et une fourchette, ouvrir une bouteille, serrer un être cher dans ses bras, se prélasser sur le canapé en manipulant une manette de jeu vidéo. La coordination vient naturellement à notre cerveau.

Pourtant, la reconstruction de ce mouvement sans effort entre deux membres a bloqué interface cerveau-machine (IMC) depuis des années. L’un des principaux obstacles est le niveau de complexité : selon une estimation, l’utilisation de membres robotiques pour les tâches de la vie quotidienne peut nécessiter 34 degrés de liberté, ce qui défie même les configurations d’IMC les plus sophistiquées.

Une nouvelle étude, dirigé par le Dr Francesco V. Tenore de l'Université Johns Hopkins, a trouvé une brillante solution de contournement. Les robots sont devenus de plus en plus autonomes grâce à l’apprentissage automatique. Plutôt que de traiter les membres robotiques comme de simples machines, pourquoi ne pas exploiter leur programmation sophistiquée pour que les humains et les robots puissent partager les commandes ?

« Cette approche de contrôle partagé vise à exploiter les capacités intrinsèques de l'interface cerveau-machine et du système robotique, créant ainsi un environnement « le meilleur des deux mondes » dans lequel l'utilisateur peut personnaliser le comportement d'une prothèse intelligente. » a affirmé Valérie Plante. Dr Francesco Tenore.

À l’instar d’un système de vol automatisé, cette collaboration permet à l’humain de « piloter » le robot en se concentrant uniquement sur les choses qui comptent le plus – dans ce cas, la taille de chaque bouchée de gâteau – tout en laissant les opérations plus banales aux semi-conducteurs. robot autonome.

L'équipe espère que ces « systèmes neurorobotiques » – une véritable fusion mentale entre les signaux neuronaux du cerveau et les algorithmes intelligents d'un robot – pourront « améliorer l'indépendance et la fonctionnalité de l'utilisateur », a déclaré l'équipe.

Double Trouble

Le cerveau envoie des signaux électriques à nos muscles pour contrôler les mouvements et ajuste ces instructions en fonction des commentaires qu'il reçoit, par exemple ceux codant pour la pression ou la position d'un membre dans l'espace. Les lésions de la moelle épinière ou d'autres maladies qui endommagent cette autoroute de signalisation coupent le contrôle du cerveau sur les muscles, conduisant à la paralysie.

Les IMC construisent essentiellement un pont à travers le système nerveux blessé, permettant aux commandes neuronales de circuler, qu'il s'agisse de faire fonctionner des membres sains ou des prothèses attachées. De la restauration de l'écriture manuscrite et de la parole à la perception de la stimulation et au contrôle des membres robotiques, les IMC ont ouvert la voie à la restauration de la vie des gens.

Pourtant, la technologie est confrontée à un problème inquiétant : le double contrôle. Jusqu’à présent, le succès en matière d’IMC s’est largement limité au mouvement d’un seul membre, du corps ou autre. Pourtant, dans la vie de tous les jours, nous avons besoin de nos deux bras pour les tâches les plus simples – un super pouvoir négligé que les scientifiques appellent « mouvements bimanuels ».

En 2013, le pionnier de l'IMC, le Dr Miguel Nicolelis de l'Université Duke, a présenté la première preuve ce contrôle bimanuel avec les IMC n'est pas impossible. Chez deux singes implantés avec des microréseaux d'électrodes, les signaux neuronaux provenant d'environ 500 neurones étaient suffisants pour aider les singes à contrôler deux bras virtuels en utilisant uniquement leur esprit pour résoudre une tâche informatisée et obtenir une récompense (littéralement) juteuse. Bien qu'il s'agisse d'une première étape prometteuse, les experts de l'époque demandé si la configuration pourrait fonctionner avec des activités humaines plus complexes.

Aider la main

La nouvelle étude a adopté une approche différente : le contrôle collaboratif partagé. L'idée est simple. Si l’utilisation de signaux neuronaux pour contrôler les deux bras robotiques est trop complexe pour les seuls implants cérébraux, pourquoi ne pas permettre à la robotique intelligente de soulager une partie de la charge de traitement ?

Concrètement, les robots sont d'abord préprogrammés pour plusieurs mouvements simples, tout en laissant la possibilité à l'humain de contrôler les détails en fonction de ses préférences. C'est comme une balade en tandem entre un robot et un humain : la machine pédale à différentes vitesses en fonction de ses instructions algorithmiques tandis que l'homme contrôle le guidon et les freins.

Pour mettre en place le système, l'équipe a d'abord entraîné un algorithme pour décoder l'esprit du volontaire. L'homme de 49 ans souffrait d'une lésion de la moelle épinière environ 30 ans avant le test. Il avait encore peu de mouvements au niveau de l'épaule et du coude et pouvait étendre ses poignets. Cependant, son cerveau avait depuis longtemps perdu le contrôle de ses doigts, le privant de tout contrôle moteur fin.

L’équipe a d’abord implanté six microréseaux d’électrodes dans diverses parties de son cortex. Sur le côté gauche de son cerveau, qui contrôle son côté dominant, le côté droit, ils ont inséré deux réseaux respectivement dans les régions motrice et sensorielle. Les régions correspondantes du cerveau droit – contrôlant sa main non dominante – ont reçu chacune un tableau.

L’équipe a ensuite demandé à l’homme d’effectuer une série de mouvements de la main au mieux de ses capacités. Chaque geste – fléchir le poignet gauche ou droit, ouvrir ou pincer la main – était associé à une direction de mouvement. Par exemple, fléchir son poignet droit tout en étendant son gauche (et vice versa) correspondait à un mouvement dans des directions horizontales ; les deux mains ouvrent ou pincent les codes pour le mouvement vertical.

Pendant ce temps, l’équipe a collecté des signaux neuronaux codant pour chaque mouvement de la main. Les données ont été utilisées pour entraîner un algorithme permettant de décoder le geste prévu et d'alimenter la paire externe de bras robotiques scifi, avec un succès d'environ 85 %.

Laissez-le manger du gâteau

Les bras robotiques ont également reçu une pré-formation. À l'aide de simulations, l'équipe a d'abord donné aux bras une idée de l'emplacement du gâteau sur l'assiette, de l'endroit où l'assiette serait posée sur la table et de la distance approximative entre le gâteau et la bouche du participant. Ils ont également affiné la vitesse et l'amplitude de mouvement des bras robotiques. Après tout, personne ne veut voir un bras robotique géant saisi par une fourchette pointue voler vers votre visage avec un morceau de gâteau pendant et mutilé.

Dans cette configuration, le participant pouvait contrôler partiellement la position et l'orientation des bras, avec jusqu'à deux degrés de liberté de chaque côté, lui permettant par exemple de déplacer n'importe quel bras de gauche à droite, d'avant en arrière ou de rouler de gauche à droite. . Pendant ce temps, le robot s’occupait du reste des complexités du mouvement.

Pour faciliter davantage la collaboration, une voix de robot a annoncé chaque étape pour aider l'équipe à couper un morceau de gâteau et à le porter à la bouche du participant.

L'homme a eu le premier mouvement. En se concentrant sur le mouvement de son poignet droit, il a positionné la main robotique droite vers le gâteau. Le robot a alors pris le relais, déplaçant automatiquement la pointe de la fourchette vers le gâteau. L’homme pourrait alors décider du positionnement exact de la fourchette à l’aide de commandes neuronales pré-entraînées.

Une fois réglé, le robot a automatiquement déplacé la main brandissant le couteau vers la gauche de la fourchette. L'homme a de nouveau effectué des ajustements pour couper le gâteau à la taille souhaitée, avant que le robot ne coupe automatiquement le gâteau et ne le porte à sa bouche.

"La consommation de la pâtisserie était facultative, mais le participant a choisi de le faire étant donné qu'elle était délicieuse", ont expliqué les auteurs.

L'étude comportait 37 essais, la majorité étant un étalonnage. Au total, l’homme a utilisé son esprit pour manger sept bouchées de gâteaux, toutes « de taille raisonnable » et sans en laisser tomber.

Ce n’est certainement pas un système qui arrivera chez vous de si tôt. Basée sur une gigantesque paire de bras robotiques développés par la DARPA, la configuration nécessite des connaissances préprogrammées approfondies pour le robot, ce qui signifie qu'il ne peut autoriser qu'une seule tâche à un moment donné. Pour l’instant, l’étude est plutôt une preuve de concept exploratoire sur la manière de combiner les signaux neuronaux avec l’autonomie du robot pour étendre davantage les capacités de l’IMC.

Mais comme prothèses deviennent de plus en plus intelligents et abordables, l'équipe regarde vers l'avenir.

"L'objectif ultime est une autonomie réglable qui exploite tous les signaux d'IMC disponibles pour

leur efficacité maximale, permettant à l’humain de contrôler les quelques DOF ​​[degrés de liberté] qui ont un impact le plus direct sur la performance qualitative d’une tâche pendant que le robot s’occupe du reste », a déclaré l’équipe. Les études futures exploreront et repousseront les limites de ces fusions mentales entre humains et robots.

Crédit image: Laboratoire de physique appliquée Johns Hopkins

• Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
• Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
• CryptoHawk. Radar Altcoins. Essai gratuit.
• Source : https://singularityhub.com/2022/07/05/a-paralyzed-man-used-his-mind-to-control-two-robotic-arms-to-eat-cake/