Большая языковая модель предсказывает, как создавать неорганические соединения

Большая языковая модель предсказывает, как создавать неорганические соединения

Схематическая диаграмма, показывающая, как команда обучала новую модель.

Исследователи в Китае доработали существующую модель большого языка (LLM), чтобы создать систему, которая может предсказать шаги, необходимые для синтеза неорганического соединения. Хотя новая модель, получившая название MatChat, нуждается в дальнейшей доработке, прежде чем ее можно будет использовать в лаборатории, ее разработчики говорят, что она представляет собой важную раннюю попытку применения генеративного искусственного интеллекта в научном контексте.

LLM — это тип искусственного интеллекта, который извлекает значения из последовательности текста. Для этого их сначала необходимо обучить работе с огромными объемами данных. Однако это обучение может проходить без присмотра, а это означает, что студенты LLM называются самообучающимися. Они также очень гибки и способны выполнять такие задачи, как отвечать на вопросы, писать текст, переводить языки и составлять предложения. Хорошо известные примеры включают модель GPT-3 от Open AI и ее доступный дочерний продукт ChatGPT, который уже может делать прогнозы на основе относительно небольшого количества входных данных или «подсказок».

Чтобы создать LLM, который «понимает» неорганический синтез, исследователи под руководством Мяо Лю, физик из Институт физики Китайской академии наук, Пекин и основателя атомли.нет, предоставила ведущему LLM с открытым исходным кодом под названием LLaMA2-7B дополнительные научные данные. При этом, по словам Лю, они «предоставляют ему возможность мыслить аналогично человеческому познанию, используя минимальный набор данных». Они обучили модель, используя протоколы химического синтеза, извлеченные из 13 878 неорганических соединений, которые они взяли из коллекции, насчитывающей более четырех миллионов научных публикаций, собранной Кристин Седер и коллеги по Национальной лаборатории Лоренса Беркли в США.

«Эти обучающие данные позволяют модели понимать вопросы неорганического синтеза и отвечать на них так же, как это сделал бы знающий эксперт», — объясняет Лю. «Например, когда его спросили о синтезе LiMnO2, MatChat может предоставить подробный ответ, включающий предшественники реакций, уравнения и соответствующие ссылки в литературе».

Типичный обмен мнениями, по его словам, может выглядеть примерно так:

Вопрос: как синтезировать LiMnO2?

Ответ: LiMnO2 можно получить из Li2CO3 и MnO2 твердофазной реакцией. Уравнение химической реакции: (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Прекурсоры смешивают, прокаливают при 800.0°С на воздухе в течение 2.0ч, перемешивают, прокаливают при 800.0°С на воздухе в течение 2.0ч. Подробный рецепт можно найти в литературе…

Новая идея проекта

Идея проекта MatChat пришла Лю в августе 2023 года после того, как он посетил конференцию, организованную Intel на тему информационных технологий и искусственного интеллекта. «Хотя встреча не имела ничего общего с наукой, я узнал много нового о актуальных темах в области искусственного интеллекта и его приложений», — говорит Лю. «Это вдохновило меня применить LLM для прогнозирования рецептов синтеза».

Чтобы реализовать проект, Лю объединился с коллегой, Цзунго Вани аспирант, Фанкай Се. Пока Се обучал модель, Ван построил свободно доступная онлайн-платформа что позволяет ему взаимодействовать с пользователями.

«Хотя MatChat, возможно, и не является окончательным решением для такого типа приложений, наша работа представляет собой одну из первых попыток применить LLM в научном контексте», — говорит Лю Мир физики. «Мы надеемся, что наше исследование послужит катализатором для создания аналогичных инструментов искусственного интеллекта в различных областях».

Заглядывая в будущее, исследователи планируют усовершенствовать возможности MatChat, расширив его набор данных и интегрировав расчетные и экспериментальные данные из своей собственной обширной базы данных по материаловедениюatomly.net, а также будущей роботизированной автономной лаборатории для синтеза неорганических материалов. «Используя эти ресурсы, мы стремимся продолжать разработку передовых инструментов искусственного интеллекта для этой области», — говорит Лю.

Новая модель ИИ подробно описана в Китайская физика Б, и появился в виде препринта на ArXiv примерно в то же время, что и препринт от исследователей Microsoft который продемонстрировал аналогичный подвиг, используя популярный ChatGPT4 LLM.

Отметка времени:

Больше от Мир физики