Mô hình ngôn ngữ lớn dự đoán cách tạo ra các hợp chất vô cơ – Vật Lý Thế Giới

Mô hình ngôn ngữ lớn dự đoán cách tạo ra các hợp chất vô cơ – Vật Lý Thế Giới

Dấu thời gian: ngày 5 tháng 2024 năm 4 00:XNUMX sáng

Sơ đồ thể hiện cách nhóm đào tạo mô hình mới
Nhóm đã huấn luyện mô hình mới bằng cách sử dụng các giao thức tổng hợp hóa học được chiết xuất từ ​​13 878 hợp chất vô cơ mà họ lấy từ bộ sưu tập hơn XNUMX triệu ấn phẩm khoa học. Lịch sự: Tiếng Trung Vật Lý B

Các nhà nghiên cứu ở Trung Quốc đã tinh chỉnh mô hình ngôn ngữ lớn (LLM) hiện có để tạo ra một hệ thống có thể dự đoán các bước cần thiết để tổng hợp một hợp chất vô cơ. Mặc dù mô hình mới, được đặt tên là MatChat, cần được cải tiến thêm trước khi có thể sử dụng trong phòng thí nghiệm, nhưng các nhà phát triển của nó cho biết nó thể hiện nỗ lực ban đầu quan trọng trong việc áp dụng trí tuệ nhân tạo tổng hợp trong bối cảnh khoa học.

LLM là một loại trí tuệ nhân tạo trích xuất ý nghĩa từ một chuỗi văn bản. Để làm được điều này, trước tiên họ phải được đào tạo về lượng dữ liệu khổng lồ. Tuy nhiên, quá trình đào tạo này có thể không được giám sát, có nghĩa là LLM được cho là tự học. Họ cũng rất linh hoạt, có thể thực hiện các nhiệm vụ như trả lời câu hỏi, viết văn bản, dịch ngôn ngữ và hoàn thành câu. Các ví dụ nổi tiếng bao gồm mô hình GPT-3 của Open AI và phiên bản phụ có thể truy cập của nó, ChatGPT, vốn đã có thể đưa ra dự đoán từ một số lượng tương đối nhỏ đầu vào hoặc “lời nhắc”.

Để tạo ra một LLM “hiểu” được sự tổng hợp vô cơ, các nhà nghiên cứu dẫn đầu bởi Miêu Lưu, một nhà vật lý tại Viện Vật lý, Viện Hàn lâm Khoa học Trung Quốc, Bắc Kinh và người sáng lập nguyên tử.net, đã cung cấp LLM nguồn mở hàng đầu có tên LLaMA2-7B với dữ liệu khoa học bổ sung. Khi làm như vậy, Liu nói, họ “trao quyền [ed] cho nó suy nghĩ giống như nhận thức của con người bằng cách sử dụng một tập dữ liệu tối thiểu”. Họ đã huấn luyện mô hình bằng cách sử dụng các giao thức tổng hợp hóa học được chiết xuất từ ​​​​13 878 hợp chất vô cơ mà họ lấy từ bộ sưu tập hơn bốn triệu ấn phẩm khoa học do Cây tuyết tùng Kristin và các đồng nghiệp tại Phòng thí nghiệm quốc gia Lawrence Berkeley tại Hoa Kỳ.

Liu giải thích: “Dữ liệu đào tạo này cho phép mô hình hiểu và trả lời các câu hỏi tổng hợp vô cơ giống như cách mà một chuyên gia am hiểu sẽ làm”. “Ví dụ, khi được hỏi về việc tổng hợp LiMnO2, MatChat có thể cung cấp phản hồi chi tiết bao gồm tiền chất phản ứng, phương trình và tài liệu tham khảo tương đối trong tài liệu.”

Ông nói, một cuộc trao đổi điển hình có thể trông giống như thế này:

Câu hỏi: làm thế nào để tổng hợp LiMnO2?

Trả lời: LiMnO2 có thể được tạo ra từ Li2CO3 và MnO2 thông qua phản ứng ở trạng thái rắn. Phương trình phản ứng hóa học là (0.5 Li2CO3 + 1 MnO2 == 1 LiMnO2 + 0.5 CO2). Tiền chất được trộn đều, nung ở 800.0°C trong không khí trong 2.0 giờ, trộn đều, nung ở 800.0°C trong không khí trong 2.0 giờ. Công thức chi tiết có thể được tìm thấy trong tài liệu…

Một ý tưởng dự án mới

Liu nảy ra ý tưởng cho dự án MatChat vào tháng 2023 năm XNUMX, sau khi anh tham dự một hội nghị do Intel tổ chức về chủ đề công nghệ thông tin và AI. Liu nói: “Mặc dù cuộc họp không liên quan gì đến khoa học nhưng tôi đã học được rất nhiều về các chủ đề thịnh hành trong AI và các ứng dụng của nó”. “Nó truyền cảm hứng cho tôi áp dụng LLM để dự đoán công thức tổng hợp.”

Để thực hiện dự án, Liu đã hợp tác với một đồng nghiệp, Tông Quốc Vươngvà là nghiên cứu sinh tiến sĩ, Fankai Xie. Trong khi Xie đào tạo mô hình, Wang xây dựng mô hình nền tảng trực tuyến có sẵn miễn phí cho phép nó tương tác với người dùng.

Liu nói: “Mặc dù MatChat có thể không phải là giải pháp tối ưu cho loại ứng dụng này, nhưng công việc của chúng tôi thể hiện một trong những nỗ lực ban đầu để áp dụng LLM trong bối cảnh khoa học”. Thế giới vật lý. “Chúng tôi hy vọng rằng nghiên cứu của chúng tôi sẽ đóng vai trò là chất xúc tác cho việc tạo ra các công cụ AI tương tự trên nhiều lĩnh vực.”

Trong tương lai, các nhà nghiên cứu có kế hoạch cải tiến các khả năng của MatChat bằng cách mở rộng tập dữ liệu và tích hợp dữ liệu tính toán và thử nghiệm từ cơ sở dữ liệu khoa học vật liệu mở rộng của riêng họ, Atomly.net, cũng như một phòng thí nghiệm robot tự động sắp ra mắt để tổng hợp vật liệu vô cơ. Liu cho biết: “Tận dụng những tài nguyên này, chúng tôi mong muốn tiếp tục phát triển các công cụ AI tiên tiến cho lĩnh vực này”.

Mô hình AI mới được trình bày chi tiết trong Tiếng Trung Vật Lý B, và xuất hiện ở dạng in sẵn trên arXiv cùng thời gian với một bản in trước từ các nhà nghiên cứu tại Microsoft người đã thể hiện thành tích tương tự bằng cách sử dụng ChatGPT4 LLM phổ biến.

Dấu thời gian:

Thêm từ Thế giới vật lý