Stor sprogmodel forudsiger, hvordan man laver uorganiske forbindelser - Physics World

Stor sprogmodel forudsiger, hvordan man laver uorganiske forbindelser - Physics World

Tidsstempel: 5. januar 2024 kl. 4

Skematisk diagram, der viser, hvordan holdet trænede den nye model
Holdet trænede den nye model ved hjælp af kemiske synteseprotokoller ekstraheret fra 13 878 uorganiske forbindelser, som de hentede fra en samling på over fire millioner videnskabelige publikationer. Høflighed: Kinesisk fysik B

Forskere i Kina har finjusteret en eksisterende stor sprogmodel (LLM) for at skabe et system, der kan forudsige de nødvendige trin for at syntetisere en uorganisk forbindelse. Selvom den nye model, kaldet MatChat, har brug for yderligere forfining, før den kan anvendes i laboratoriet, siger dens udviklere, at den repræsenterer en vigtig tidlig bestræbelse på at anvende generativ kunstig intelligens i en videnskabelig kontekst.

LLM'er er en type kunstig intelligens, der uddrager betydninger fra en sekvens af tekst. For at gøre dette skal de først trænes i enorme mængder data. Denne træning kan dog være uden opsyn, hvilket betyder, at LLM'er siges at være selvlærende. De er også meget fleksible, i stand til at udføre opgaver som at besvare spørgsmål, skrive tekst, oversætte sprog og færdiggøre sætninger. Kendte eksempler inkluderer Open AIs GPT-3-model og dens tilgængelige spin-off, ChatGPT, som allerede kan lave forudsigelser fra et relativt lille antal input eller "prompter".

For at skabe en LLM, der "forstår" uorganisk syntese, har forskere ledet af Miao Liu, en fysiker ved Institute of Physics, Chinese Academy of Sciences, Beijing og grundlægger af atomly.net, leverede en førende open source LLM kaldet LLaMA2-7B med yderligere videnskabelige data. Ved at gøre det, siger Liu, "bemyndiger de det til at tænke beslægtet med menneskelig kognition ved hjælp af et minimalt datasæt". De trænede modellen ved hjælp af kemiske synteseprotokoller ekstraheret fra 13 878 uorganiske forbindelser, som de hentede fra en samling på over fire millioner videnskabelige publikationer udarbejdet af Kristin Ceder og kolleger på Lawrence Berkeley National Laboratory i USA.

"Disse træningsdata gør det muligt for modellen at forstå og reagere på uorganiske syntesespørgsmål på samme måde som en kyndig ekspert ville," forklarer Liu. "For eksempel, når man bliver spurgt om syntese af LiMnO2, MatChat kan give et detaljeret svar, der inkluderer reaktionsforløbere, ligninger og relative referencer i litteraturen."

En typisk udveksling, siger han, kan se sådan ud:

Spørgsmål: hvordan syntetiserer man LiMnO2?

Svar: LiMnO2 kan fremstilles af Li2CO3 og MnO2 via en faststofreaktion. Den kemiske reaktionsligning er (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Forstadierne blandes, kalcineres ved 800.0°C i luft i 2.0 timer, blandes, kalcineres ved 800.0°C i luft i 2.0 timer. Den detaljerede opskrift kan findes i litteraturen...

En ny projektidé

Liu fik ideen til MatChat-projektet i august 2023, efter at han deltog i en konference arrangeret af Intel om emnet informationsteknologi og kunstig intelligens. "Selvom mødet ikke havde noget med videnskab at gøre, lærte jeg meget om trendemner inden for AI og dets applikationer," siger Liu. "Det inspirerede mig til at anvende LLM til forudsigelse af synteseopskrifter."

For at få projektet til at lykkes slog Liu sig sammen med en kollega, Zongguo Wangog en ph.d.-studerende, Fankai Xie. Mens Xie trænede modellen, byggede Wang modellen frit tilgængelig online platform som gør det muligt at interagere med brugerne.

"Selvom MatChat måske ikke er den ultimative løsning til denne type applikationer, repræsenterer vores arbejde en af ​​de tidlige bestræbelser på at anvende LLM i en videnskabelig kontekst," fortæller Liu Fysik verden. "Vi håber, at vores undersøgelse vil tjene som en katalysator for skabelsen af ​​lignende AI-værktøjer på tværs af flere felter."

Ser frem til, planlægger forskerne at forfine MatChats muligheder ved at udvide sit datasæt og integrere beregningsmæssige og eksperimentelle data fra deres egen omfattende materialevidenskabelige database, atomly.net, såvel som et kommende autonomt robotlaboratorium til syntese af uorganiske materialer. "Ved at udnytte disse ressourcer sigter vi mod at fortsætte med at udvikle avancerede AI-værktøjer til dette felt," siger Liu.

Den nye AI-model er detaljeret i Kinesisk fysik B, og optrådte i fortrykt form på arXiv omkring samme tid som en fortryk fra forskere hos Microsoft som demonstrerede en lignende bedrift ved hjælp af den populære ChatGPT4 LLM.

Tidsstempel:

Mere fra Fysik verden