Stor språkmodell forutsier hvordan man lager uorganiske forbindelser – Physics World

Stor språkmodell forutsier hvordan man lager uorganiske forbindelser – Physics World

Tidsstempel: 5. januar 2024 4:00

Skjematisk diagram som viser hvordan teamet trente den nye modellen
Teamet trente den nye modellen ved å bruke kjemiske synteseprotokoller ekstrahert fra 13 878 uorganiske forbindelser, som de hentet fra en samling på over fire millioner vitenskapelige publikasjoner. Høflighet: Kinesisk fysikk B

Forskere i Kina har finjustert en eksisterende stor språkmodell (LLM) for å lage et system som kan forutsi trinnene som kreves for å syntetisere en uorganisk forbindelse. Selv om den nye modellen, kalt MatChat, trenger ytterligere foredling før den kan brukes i laboratoriet, sier utviklerne at den representerer et viktig tidlig forsøk på å anvende generativ kunstig intelligens i en vitenskapelig kontekst.

LLM-er er en type kunstig intelligens som trekker ut betydninger fra en tekstsekvens. For å gjøre dette må de først trenes på enorme mengder data. Imidlertid kan denne opplæringen være uten tilsyn, noe som betyr at LLM-er sies å være selvlærende. De er også svært fleksible, i stand til å utføre oppgaver som å svare på spørsmål, skrive tekst, oversette språk og fullføre setninger. Velkjente eksempler inkluderer Open AIs GPT-3-modell og dens tilgjengelige spin-off, ChatGPT, som allerede kan gi spådommer fra et relativt lite antall innganger eller "forespørsler".

For å lage en LLM som "forstår" uorganisk syntese, ledet forskere av Miao Liu, en fysiker ved Institute of Physics, Chinese Academy of Sciences, Beijing og grunnlegger av atomly.net, leverte en ledende åpen kildekode LLM kalt LLaMA2-7B med ytterligere vitenskapelige data. Ved å gjøre det, sier Liu, "gir de det til å tenke beslektet med menneskelig erkjennelse ved å bruke et minimalt datasett". De trente modellen ved å bruke kjemiske synteseprotokoller ekstrahert fra 13 878 uorganiske forbindelser, som de hentet fra en samling på over fire millioner vitenskapelige publikasjoner satt sammen av Kristin Ceder og kolleger på Lawrence Berkeley National Laboratory i USA.

"Disse treningsdataene lar modellen forstå og svare på uorganisk syntesespørsmål på samme måte som en kunnskapsrik ekspert ville gjort," forklarer Liu. "For eksempel når du ble spurt om syntese av LiMnO2, MatChat kan gi et detaljert svar som inkluderer reaksjonsforløpere, ligninger og relative referanser i litteraturen.»

En typisk utveksling, sier han, kan se omtrent slik ut:

Spørsmål: hvordan syntetiserer jeg LiMnO2?

Svar: LiMnO2 kan lages av Li2CO3 og MnO2 via en faststoffreaksjon. Den kjemiske reaksjonsligningen er (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Forløperne blandes, kalsineres ved 800.0°C i luft i 2.0 timer, blandes, kalsineres ved 800.0°C i luft i 2.0 timer. Den detaljerte oppskriften finner du i litteraturen...

En ny prosjektidé

Liu fikk ideen til MatChat-prosjektet i august 2023, etter at han deltok på en konferanse organisert av Intel om temaet informasjonsteknologi og AI. "Selv om møtet ikke hadde noe med vitenskap å gjøre, lærte jeg mye om trendende emner innen AI og dets applikasjoner," sier Liu. "Det inspirerte meg til å bruke LLM til synteseoppskriftsprediksjon."

For å få prosjektet til å gjennomføre, slo Liu seg sammen med en kollega, Zongguo Wang, og en doktorgradsstudent, Fankai Xie. Mens Xie trente modellen, bygde Wang modellen fritt tilgjengelig online plattform som gjør det mulig å samhandle med brukere.

"Selv om MatChat kanskje ikke er den ultimate løsningen for denne typen applikasjoner, representerer arbeidet vårt en av de tidlige bestrebelsene på å anvende LLM i en vitenskapelig kontekst," forteller Liu Fysikkens verden. "Vi håper at studien vår vil tjene som en katalysator for å lage lignende AI-verktøy på tvers av flere felt."

Ser frem til, planlegger forskerne å foredle MatChats evner ved å utvide datasettet og integrere beregnings- og eksperimentelle data fra deres egen omfattende materialvitenskapelige database, atomly.net, samt et kommende autonomt robotlaboratorium for syntese av uorganiske materialer. "Ved å utnytte disse ressursene, tar vi sikte på å fortsette å utvikle avanserte AI-verktøy for dette feltet," sier Liu.

Den nye AI-modellen er detaljert i Kinesisk fysikk B, og dukket opp i preprint-form på arXiv omtrent samtidig som en forhåndstrykk fra forskere ved Microsoft som demonstrerte en lignende bragd ved å bruke den populære ChatGPT4 LLM.

Tidstempel:

Mer fra Fysikkens verden