Des chercheurs découvrent une approche plus flexible de l'apprentissage automatique

Les chercheurs en intelligence artificielle ont célébré une série de succès avec les réseaux de neurones, des programmes informatiques qui imitent approximativement l'organisation de notre cerveau. Mais malgré des progrès rapides, les réseaux de neurones restent relativement rigides, avec peu de capacité à changer à la volée ou à s'adapter à des circonstances inconnues.

En 2020, deux chercheurs du Massachusetts Institute of Technology ont dirigé une équipe qui a introduit un nouveau type de réseau de neurones basé sur l'intelligence de la vie réelle - mais pas la nôtre. Au lieu de cela, ils se sont inspirés du petit ver rond, Caenorhabditis elegans, pour produire ce qu'ils ont appelé des réseaux de neurones liquides. Après une percée l'année dernière, les nouveaux réseaux peuvent désormais être suffisamment polyvalents pour supplanter leurs homologues traditionnels pour certaines applications.

Les réseaux de neurones liquides offrent "une alternative élégante et compacte", a déclaré Ken Goldberg, un roboticien à l'Université de Californie à Berkeley. Il a ajouté que des expériences montrent déjà que ces réseaux peuvent fonctionner plus rapidement et avec plus de précision que d'autres réseaux de neurones dits en temps continu, qui modélisent des systèmes qui varient dans le temps.

Ramin Hasani ainsi que Mathias Lechner, les forces motrices derrière le nouveau design, ont réalisé il y a des années que C. elegans pourrait être un organisme idéal à utiliser pour déterminer comment créer des réseaux de neurones résilients capables de s'adapter à la surprise. Le mangeur de fond d'un millimètre de long fait partie des rares créatures dotées d'un système nerveux entièrement cartographié, et il est capable d'une gamme de comportements avancés : se déplacer, trouver de la nourriture, dormir, s'accoupler et même apprendre de l'expérience. "Il vit dans le monde réel, où le changement se produit toujours, et il peut bien fonctionner dans presque toutes les conditions qui lui sont imposées", a déclaré Lechner.

Le respect pour l'humble ver l'a conduit, lui et Hasani, à leurs nouveaux réseaux liquides, où chaque neurone est régi par une équation qui prédit son comportement dans le temps. Et tout comme les neurones sont liés les uns aux autres, ces équations dépendent les unes des autres. Le réseau résout essentiellement tout cet ensemble d'équations liées, ce qui lui permet de caractériser l'état du système à un moment donné - une rupture avec les réseaux de neurones traditionnels, qui ne donnent les résultats qu'à des moments particuliers dans le temps.

"[Ils] ne peuvent vous dire ce qui se passe qu'en une, deux ou trois secondes", a déclaré Lechner. "Mais un modèle en temps continu comme le nôtre peut décrire ce qui se passe à 0.53 seconde ou 2.14 secondes ou à tout autre moment que vous choisissez."

Les réseaux liquides diffèrent également dans la façon dont ils traitent les synapses, les connexions entre les neurones artificiels. La force de ces connexions dans un réseau de neurones standard peut être exprimée par un seul chiffre, son poids. Dans les réseaux liquides, l'échange de signaux entre neurones est un processus probabiliste régi par une fonction « non linéaire », ce qui signifie que les réponses aux entrées ne sont pas toujours proportionnelles. Un doublement de l'intrant, par exemple, pourrait entraîner un déplacement beaucoup plus ou moins important de l'output. Cette variabilité intrinsèque est la raison pour laquelle les réseaux sont appelés « liquides ». La façon dont un neurone réagit peut varier en fonction de l'entrée qu'il reçoit.

Alors que les algorithmes au cœur des réseaux traditionnels sont définis lors de la formation, lorsque ces systèmes sont alimentés avec des tonnes de données pour calibrer les meilleures valeurs pour leurs poids, les réseaux de neurones liquides sont plus adaptables. "Ils sont capables de modifier leurs équations sous-jacentes en fonction de l'entrée qu'ils observent", en modifiant spécifiquement la rapidité avec laquelle les neurones réagissent, a déclaré Daniela Rus, directeur du laboratoire d'informatique et d'intelligence artificielle du MIT.

L'un des premiers tests pour démontrer cette capacité consistait à tenter de diriger une voiture autonome. Un réseau de neurones conventionnel ne pourrait analyser les données visuelles de la caméra de la voiture qu'à intervalles fixes. Le réseau liquide - composé de 19 neurones et 253 synapses (ce qui le rend minuscule selon les normes de l'apprentissage automatique) - pourrait être beaucoup plus réactif. "Notre modèle peut échantillonner plus fréquemment, par exemple lorsque la route est sinueuse", a déclaré Rus, co-auteur de cet article et de plusieurs autres articles sur les réseaux liquides.

Le modèle a réussi à maintenir la voiture sur la bonne voie, mais il avait un défaut, a déclaré Lechner : "C'était vraiment lent." Le problème provenait des équations non linéaires représentant les synapses et les neurones – des équations qui ne peuvent généralement pas être résolues sans des calculs répétés sur un ordinateur, qui passent par plusieurs itérations avant de finalement converger vers une solution. Ce travail est généralement délégué à des progiciels dédiés appelés solveurs, qui devraient être appliqués séparément à chaque synapse et neurone.

Dans un papier l'année dernière, l'équipe a révélé un nouveau réseau de neurones liquides qui a contourné ce goulot d'étranglement. Ce réseau reposait sur le même type d'équations, mais l'avancée clé était une découverte par Hasani que ces équations n'avaient pas besoin d'être résolues par des calculs informatiques ardus. Au lieu de cela, le réseau pourrait fonctionner en utilisant une solution presque exacte, ou « fermée », qui pourrait, en principe, être élaborée avec un crayon et du papier. En règle générale, ces équations non linéaires n'ont pas de solutions de forme fermée, mais Hasani a trouvé une solution approximative suffisamment bonne pour être utilisée.

"Avoir une solution de forme fermée signifie que vous avez une équation pour laquelle vous pouvez brancher les valeurs de ses paramètres et faire les calculs de base, et vous obtenez une réponse", a déclaré Rus. "Vous obtenez une réponse en un seul coup", plutôt que de laisser un ordinateur broyer jusqu'à ce qu'il décide qu'il est suffisamment proche. Cela réduit le temps et l'énergie de calcul, accélérant considérablement le processus.

"Leur méthode bat la concurrence de plusieurs ordres de grandeur sans sacrifier la précision", a déclaré Saïan Mitra, informaticien à l'Université de l'Illinois, Urbana-Champaign.

En plus d'être plus rapides, a déclaré Hasani, leurs réseaux les plus récents sont également exceptionnellement stables, ce qui signifie que le système peut gérer d'énormes entrées sans se détraquer. "La principale contribution ici est que la stabilité et d'autres propriétés intéressantes sont intégrées à ces systèmes par leur structure même", a déclaré Sriram Sankaranarayanan, informaticien à l'Université du Colorado à Boulder. Les réseaux liquides semblent fonctionner dans ce qu'il a appelé "le point idéal : ils sont suffisamment complexes pour permettre à des choses intéressantes de se produire, mais pas assez complexes pour conduire à un comportement chaotique".

En ce moment, le groupe MIT teste son dernier réseau sur un drone aérien autonome. Bien que le drone ait été formé pour naviguer dans une forêt, ils l'ont déplacé dans l'environnement urbain de Cambridge pour voir comment il gère les nouvelles conditions. Lechner a qualifié les résultats préliminaires d'encourageants.

Au-delà du raffinement du modèle actuel, l'équipe travaille également à l'amélioration de l'architecture de son réseau. La prochaine étape, a déclaré Lechner, "consiste à déterminer le nombre ou le nombre de neurones dont nous avons réellement besoin pour effectuer une tâche donnée". Le groupe veut également concevoir une manière optimale de connecter les neurones. Actuellement, chaque neurone est relié à tous les autres neurones, mais ce n'est pas ainsi que cela fonctionne dans C. elegans, où les connexions synaptiques sont plus sélectives. Grâce à d'autres études du système de câblage de l'ascaris, ils espèrent déterminer quels neurones de leur système devraient être couplés ensemble.

En dehors d'applications comme la conduite et le vol autonomes, les réseaux liquides semblent bien adaptés à l'analyse des réseaux électriques, des transactions financières, de la météo et d'autres phénomènes qui fluctuent dans le temps. De plus, a déclaré Hasani, la dernière version des réseaux liquides peut être utilisée "pour effectuer des simulations d'activité cérébrale à une échelle qui n'était pas réalisable auparavant".

Mitra est particulièrement intrigué par cette possibilité. "D'une certaine manière, c'est une sorte de poésie, montrant que cette recherche est peut-être en train de boucler la boucle", a-t-il déclaré. "Les réseaux de neurones se développent au point que les idées mêmes que nous avons tirées de la nature pourraient bientôt nous aider à mieux comprendre la nature."