Großes Sprachmodell sagt voraus, wie anorganische Verbindungen hergestellt werden – Physics World

Großes Sprachmodell sagt voraus, wie anorganische Verbindungen hergestellt werden – Physics World

Zeitstempel: 5. Januar 2024, 4:00 Uhr

Schematische Darstellung, die zeigt, wie das Team das neue Modell trainiert hat
Das Team trainierte das neue Modell mithilfe chemischer Syntheseprotokolle, die aus 13 anorganischen Verbindungen extrahiert wurden, die sie aus einer Sammlung von über vier Millionen wissenschaftlichen Veröffentlichungen bezogen. Anstand: Chinesische Physik B

Forscher in China haben ein bestehendes großes Sprachmodell (LLM) verfeinert, um ein System zu schaffen, das die zur Synthese einer anorganischen Verbindung erforderlichen Schritte vorhersagen kann. Obwohl das neue Modell mit dem Namen MatChat einer weiteren Verfeinerung bedarf, bevor es im Labor eingesetzt werden kann, stellen die Entwickler fest, dass es ein wichtiges frühes Unterfangen bei der Anwendung generativer künstlicher Intelligenz in einem wissenschaftlichen Kontext darstellt.

LLMs sind eine Art künstliche Intelligenz, die Bedeutungen aus einer Textsequenz extrahiert. Dazu müssen sie zunächst auf riesige Datenmengen trainiert werden. Allerdings kann diese Ausbildung unbeaufsichtigt sein, sodass LLMs als selbstlernend gelten. Sie sind außerdem sehr flexibel und in der Lage, Aufgaben wie das Beantworten von Fragen, das Schreiben von Texten, das Übersetzen von Sprachen und das Vervollständigen von Sätzen auszuführen. Bekannte Beispiele sind das GPT-3-Modell von Open AI und sein zugängliches Spin-off ChatGPT, das bereits aus einer relativ kleinen Anzahl von Eingaben oder „Eingabeaufforderungen“ Vorhersagen treffen kann.

Um ein LLM zu schaffen, das die anorganische Synthese „versteht“, haben Forscher unter der Leitung von Miao Liu, ein Physiker an der Institut für Physik, Chinesische Akademie der Wissenschaften, Peking und Gründer der atomly.net, versorgte ein führendes Open-Source-LLM namens LLaMA2-7B mit zusätzlichen wissenschaftlichen Daten. Auf diese Weise, sagt Liu, „befähigten sie es, mithilfe eines minimalen Datensatzes ähnlich wie die menschliche Erkenntnis zu denken“. Sie trainierten das Modell mithilfe chemischer Syntheseprotokolle, die aus 13 anorganischen Verbindungen extrahiert wurden, die sie aus einer Sammlung von über vier Millionen wissenschaftlichen Veröffentlichungen bezogen, die von zusammengestellt wurden Kristin Ceder und Kollegen an der Lawrence Berkeley National Laboratory in den USA.

„Diese Trainingsdaten ermöglichen es dem Modell, Fragen der anorganischen Synthese so zu verstehen und darauf zu reagieren, wie es ein sachkundiger Experte tun würde“, erklärt Liu. „Zum Beispiel bei der Frage nach der Synthese von LiMnO2„MatChat kann eine detaillierte Antwort liefern, die Reaktionsvorläufer, Gleichungen und relative Referenzen in der Literatur umfasst.“

Ein typischer Austausch, sagt er, könnte etwa so aussehen:

Frage: Wie synthetisiert man LiMnO2?

Antwort: LiMnO2 kann aus Li2CO3 und MnO2 über eine Festkörperreaktion hergestellt werden. Die chemische Reaktionsgleichung lautet (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Die Vorläufer werden gemischt, 800.0 Stunden lang bei 2.0 °C an der Luft kalziniert, gemischt und 800.0 Stunden lang bei 2.0 °C an der Luft kalziniert. Das ausführliche Rezept finden Sie in der Literatur…

Eine neue Projektidee

Die Idee für das MatChat-Projekt kam Liu im August 2023, nachdem er an einer von Intel organisierten Konferenz zum Thema Informationstechnologie und KI teilgenommen hatte. „Obwohl das Treffen nichts mit Wissenschaft zu tun hatte, habe ich viel über Trendthemen der KI und ihrer Anwendungen gelernt“, sagt Liu. „Es hat mich dazu inspiriert, das LLM auf die Vorhersage von Syntheserezepten anzuwenden.“

Um das Projekt zu verwirklichen, tat sich Liu mit einem Kollegen zusammen, Zongguo Wang, und ein Doktorand, Fankai Xie. Während Xie das Modell trainierte, baute Wang es frei verfügbare Online-Plattform Dies ermöglicht die Interaktion mit Benutzern.

„Auch wenn MatChat vielleicht nicht die ultimative Lösung für diese Art von Anwendung ist, stellt unsere Arbeit einen der ersten Versuche dar, LLM in einem wissenschaftlichen Kontext anzuwenden“, erzählt Liu Physik-Welt. „Wir hoffen, dass unsere Studie als Katalysator für die Entwicklung ähnlicher KI-Tools in mehreren Bereichen dienen wird.“

Für die Zukunft planen die Forscher, die Fähigkeiten von MatChat zu verfeinern, indem sie den Datensatz erweitern und rechnerische und experimentelle Daten aus ihrer eigenen umfangreichen Materialwissenschaftsdatenbank, atomly.net, sowie einem bevorstehenden autonomen Roboterlabor für die Synthese anorganischer Materialien integrieren. „Durch die Nutzung dieser Ressourcen wollen wir weiterhin fortschrittliche KI-Tools für diesen Bereich entwickeln“, sagt Liu.

Das neue KI-Modell ist detailliert beschrieben in Chinesische Physik B, und erschien in vorgedruckter Form auf der arXiv etwa zur gleichen Zeit wie a Vorabdruck von Forschern bei Microsoft der eine ähnliche Leistung mit dem beliebten ChatGPT4 LLM demonstrierte.

Zeitstempel:

Mehr von Physik-Welt