Modelul de limbaj mare prezice cum se produc compuși anorganici – Physics World

Modelul de limbaj mare prezice cum se produc compuși anorganici – Physics World

Marca temporală: 5 ianuarie 2024 4:00

Diagrama schematică care arată modul în care echipa a antrenat noul model
Echipa a antrenat noul model folosind protocoale de sinteză chimică extrase din 13 878 de compuși anorganici, pe care i-a obținut dintr-o colecție de peste patru milioane de publicații științifice. Curtoazie: Fizica chineză B

Cercetătorii din China au reglat fin un model de limbaj mare (LLM) existent pentru a crea un sistem care poate prezice pașii necesari pentru a sintetiza un compus anorganic. Deși noul model, numit MatChat, necesită o rafinare suplimentară înainte de a putea fi folosit în laborator, dezvoltatorii săi spun că reprezintă un efort important timpuriu în aplicarea inteligenței artificiale generative într-un context științific.

LLM-urile sunt un tip de inteligență artificială care extrage semnificații dintr-o secvență de text. Pentru a face acest lucru, ei trebuie mai întâi să fie instruiți pe cantități uriașe de date. Cu toate acestea, această formare poate fi nesupravegheată, ceea ce înseamnă că se spune că LLM-urile sunt de auto-învățare. De asemenea, sunt foarte flexibili, capabili să îndeplinească sarcini precum răspunsul la întrebări, scrierea textului, traducerea limbilor și completarea propozițiilor. Exemple binecunoscute includ modelul GPT-3 al Open AI și spin-off-ul său accesibil, ChatGPT, care poate face deja predicții dintr-un număr relativ mic de intrări sau „promptions”.

Pentru a crea un LLM care „înțelege” sinteza anorganică, cercetătorii conduși de Miao Liu, fizician la Institutul de Fizică, Academia Chineză de Științe, Beijing și fondator al atomly.net, a furnizat un lider LLM open-source numit LLaMA2-7B cu date științifice suplimentare. Făcând acest lucru, spune Liu, ei „l-au împuternicit să gândească asemănător cu cogniția umană folosind un set de date minim”. Ei au antrenat modelul folosind protocoale de sinteză chimică extrase din 13 878 de compuși anorganici, pe care i-au obținut dintr-o colecție de peste patru milioane de publicații științifice compilate de Kristin Ceder și colegii de la Laboratorul Național Lawrence Berkeley in Statele Unite ale Americii.

„Aceste date de instruire permit modelului să înțeleagă și să răspundă la întrebările de sinteză anorganică în același mod în care ar face un expert cu cunoștințe”, explică Liu. „De exemplu, când a fost întrebat despre sinteza LiMnO2, MatChat poate oferi un răspuns detaliat care include precursori de reacție, ecuații și referințe relative din literatură.”

Un schimb tipic, spune el, ar putea arăta cam așa:

Întrebare: cum se sintetizează LiMnO2?

Răspuns: LiMnO2 poate fi făcut din Li2CO3 și MnO2 printr-o reacție în stare solidă. Ecuația reacției chimice este (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Precursorii se amestecă, se calcinează la 800.0°C în aer timp de 2.0 ore, se amestecă, se calcinează la 800.0°C în aer timp de 2.0 ore. Rețeta detaliată poate fi găsită în literatură...

O noua idee de proiect

Liu a primit ideea proiectului MatChat în august 2023, după ce a participat la o conferință organizată de Intel pe tema tehnologiei informației și AI. „Deși întâlnirea nu a avut nimic de-a face cu știința, am învățat multe despre subiectele în tendințe în AI și aplicațiile sale”, spune Liu. „M-a inspirat să aplic LLM la predicția rețetelor de sinteză.”

Pentru a realiza proiectul, Liu a făcut echipă cu un coleg, Zongguo Wang, și un doctorand, Fankai Xie. În timp ce Xie a antrenat modelul, Wang a construit modelul platformă online disponibilă gratuit care îi permite să interacționeze cu utilizatorii.

„Deși MatChat ar putea să nu fie soluția finală pentru acest tip de aplicație, munca noastră reprezintă unul dintre eforturile timpurii de a aplica LLM într-un context științific”, spune Liu. Lumea fizicii. „Sperăm că studiul nostru va servi drept catalizator pentru crearea unor instrumente similare AI în mai multe domenii.”

Privind cu nerăbdare, cercetătorii intenționează să perfecționeze capacitățile MatChat prin extinderea setului de date și prin integrarea datelor computaționale și experimentale din propria lor bază de date extinsă pentru știința materialelor, atomly.net, precum și un viitor laborator autonom robotic pentru sinteza materialelor anorganice. „Procurând aceste resurse, ne propunem să dezvoltăm în continuare instrumente avansate de inteligență artificială pentru acest domeniu”, spune Liu.

Noul model AI este detaliat în Fizica chineză B, și a apărut în formă pretipărită pe arXiv cam în același timp cu a preprint de la cercetătorii de la Microsoft care a demonstrat o performanță similară folosind popularul ChatGPT4 LLM.

Timestamp-ul:

Mai mult de la Lumea fizicii