Un grand modèle de langage prédit comment fabriquer des composés inorganiques – Physics World

Un grand modèle de langage prédit comment fabriquer des composés inorganiques – Physics World

Horodatage: 5 janvier 2024 4:00 AM

Diagramme schématique montrant comment l'équipe a formé le nouveau modèle
L’équipe a formé le nouveau modèle à l’aide de protocoles de synthèse chimique extraits de 13 878 composés inorganiques, issus d’une collection de plus de quatre millions de publications scientifiques. Courtoisie: Physique chinoise B

Des chercheurs chinois ont affiné un modèle de langage étendu (LLM) existant pour créer un système capable de prédire les étapes nécessaires à la synthèse d'un composé inorganique. Bien que le nouveau modèle, baptisé MatChat, ait besoin d'être affiné avant de pouvoir être utilisé en laboratoire, ses développeurs affirment qu'il représente un premier effort important dans l'application de l'intelligence artificielle générative dans un contexte scientifique.

Les LLM sont un type d’intelligence artificielle qui extrait le sens d’une séquence de texte. Pour ce faire, ils doivent d’abord être formés sur d’énormes quantités de données. Cependant, cette formation peut être non supervisée, ce qui signifie que les LLM sont dits auto-apprenants. Ils sont également très flexibles, capables d’effectuer des tâches telles que répondre à des questions, rédiger des textes, traduire des langues et compléter des phrases. Des exemples bien connus incluent le modèle GPT-3 d’Open AI et son spin-off accessible, ChatGPT, qui peuvent déjà faire des prédictions à partir d’un nombre relativement restreint d’entrées ou « invites ».

Pour créer un LLM qui « comprend » la synthèse inorganique, des chercheurs dirigés par Miao Liu, physicien au Institut de physique, Académie chinoise des sciences, Pékin et fondateur de atomly.net, a fourni des données scientifiques supplémentaires à un LLM open source de premier plan appelé LLaMA2-7B. Ce faisant, dit Liu, ils « lui ont permis de penser de manière similaire à la cognition humaine en utilisant un ensemble de données minimal ». Ils ont entraîné le modèle à l'aide de protocoles de synthèse chimique extraits de 13 878 composés inorganiques, issus d'une collection de plus de quatre millions de publications scientifiques compilées par Kristin Ceder et collègues du Lawrence Berkeley National Laboratory aux Etats-Unis.

"Ces données de formation permettent au modèle de comprendre et de répondre aux questions de synthèse inorganique de la même manière qu'un expert compétent le ferait", explique Liu. « Par exemple, lorsqu'on lui pose des questions sur la synthèse de LiMnO2, MatChat peut fournir une réponse détaillée qui comprend des précurseurs de réaction, des équations et des références relatives dans la littérature.

Un échange typique, dit-il, pourrait ressembler à ceci :

Question : comment synthétiser LiMnO2 ?

Réponse : LiMnO2 peut être fabriqué à partir de Li2CO3 et de MnO2 via une réaction à l'état solide. L'équation de la réaction chimique est (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Les précurseurs sont mélangés, calcinés à 800.0°C dans l'air pendant 2.0 h, mélangés, calcinés à 800.0°C dans l'air pendant 2.0 h. La recette détaillée se trouve dans la littérature…

Une nouvelle idée de projet

Liu a eu l'idée du projet MatChat en août 2023, après avoir assisté à une conférence organisée par Intel sur le thème des technologies de l'information et de l'IA. "Bien que la réunion n'ait rien à voir avec la science, j'ai beaucoup appris sur les sujets d'actualité en matière d'IA et de ses applications", a déclaré Liu. "Cela m'a inspiré à appliquer le LLM à la prédiction de recettes de synthèse."

Pour réaliser le projet, Liu s'est associé à un collègue, Zongguo Wang, et doctorant, Fankai Xie. Pendant que Xie entraînait le modèle, Wang construisait le plateforme en ligne disponible gratuitement cela lui permet d'interagir avec les utilisateurs.

"Bien que MatChat ne soit peut-être pas la solution ultime pour ce type d'application, notre travail représente l'un des premiers efforts visant à appliquer le LLM dans un contexte scientifique", explique Liu. Monde de la physique. "Nous espérons que notre étude servira de catalyseur pour la création d'outils d'IA similaires dans plusieurs domaines."

Pour l’avenir, les chercheurs prévoient d’affiner les capacités de MatChat en élargissant son ensemble de données et en intégrant des données informatiques et expérimentales provenant de leur propre base de données approfondie sur la science des matériaux, atomly.net, ainsi que d’un futur laboratoire robotique autonome pour la synthèse de matériaux inorganiques. "En tirant parti de ces ressources, nous visons à continuer à développer des outils d'IA avancés pour ce domaine", a déclaré Liu.

Le nouveau modèle d'IA est détaillé dans Physique chinoise B, et est paru sous forme de prépublication sur le arXiv à peu près au même moment qu'un prépublication de chercheurs de Microsoft qui a démontré un exploit similaire en utilisant le populaire LLM ChatGPT4.

Horodatage:

Plus de Monde de la physique