Gambit AI tiếp theo của Meta? Llama 3 được đồn đại vào đầu năm 2024 - Giải mã

Gambit AI tiếp theo của Meta? Llama 3 được đồn đại vào đầu năm 2024 – Giải mã

Dấu thời gian: 9:2023 chiều ngày 9 tháng 39 năm XNUMX

Sự tò mò về bước đi lớn tiếp theo của Meta đang lên đến đỉnh điểm trong cuộc đua thống trị lĩnh vực trí tuệ nhân tạo. Với mô hình văn bản tạo sinh Llama 2—được phát hành vào tháng 3—có uy tín trên thị trường, những người theo dõi AI đang ráo riết tìm kiếm các dấu hiệu của Llama XNUMX.

Nếu những lời bàn tán trong ngành được tin tưởng thì phần tiếp theo thành công về nguồn mở của gã khổng lồ công nghệ này có thể đến vào đầu năm 2024.

Meta vẫn chưa chính thức xác nhận những tin đồn này, nhưng Mark Zuckerberg gần đây đã làm sáng tỏ những gì có thể xảy ra trong tương lai của LLM (mô hình ngôn ngữ lớn) của Meta, bắt đầu bằng việc thừa nhận rằng Llama 3 đang được phát triển. Tuy nhiên, ông cho biết, mô hình AI nền tảng mới vẫn chưa được thực hiện trong khi ưu tiên vẫn là tinh chỉnh Llama 2 để làm cho nó thân thiện hơn với người tiêu dùng.

“Ý tôi là, luôn có một mô hình khác mà chúng tôi đang đào tạo,” anh ấy nói trong một cuộc phỏng vấn trên podcast tập trung vào sự giao thoa giữa AI và metaverse, “Chúng tôi đã đào tạo Llama 2 và phát hành nó dưới dạng mô hình nguồn mở và hiện tại, ưu tiên hàng đầu là xây dựng nó thành một loạt sản phẩm tiêu dùng…

“Nhưng vâng, chúng tôi cũng đang nghiên cứu các mô hình nền tảng trong tương lai và tôi không có bất kỳ điều gì mới hoặc tin tức nào về điều đó,” anh ấy tiếp tục. “Tôi không biết chính xác khi nào nó sẽ sẵn sàng.”

Mặc dù Meta chưa chính thức xác nhận những tin đồn này nhưng các mô hình trong chu kỳ phát triển và khoản đầu tư khổng lồ vào phần cứng gợi ý về một sự ra mắt sắp diễn ra. Llama 1 và Llama 2 có khoảng thời gian đào tạo là sáu tháng và nếu nhịp độ này được giữ nguyên thì Llama 3 mới—được cho là ngang bằng với GPT-4 của OpenAI—có thể được ra mắt vào nửa đầu năm 2024.

Thêm chiều sâu cho suy đoán, người dùng Reddit lạc đà không bướu đã đưa ra một phân tích toàn diện về chu kỳ phát triển mô hình lịch sử của Meta.

Người dùng đề xuất rằng quá trình đào tạo của Llama 1 kéo dài từ tháng 2022 năm 2023 đến tháng 2 năm 2023, sau đó là Llama 3 cho đến tháng 2023 năm 2024, người dùng đề xuất, thiết lập một giai đoạn hợp lý cho quá trình đào tạo của Llama 4 từ tháng XNUMX năm XNUMX đến tháng XNUMX năm XNUMX. Những thông tin chi tiết này phù hợp với câu chuyện về Meta không ngừng theo đuổi sự xuất sắc của AI, mong muốn giới thiệu tiến bộ tiếp theo có thể sánh ngang với khả năng của GPT-XNUMX.

Trong khi đó, các diễn đàn công nghệ và truyền thông xã hội đang ồn ào với thảo luận về cách lần lặp lại mới này có thể thiết lập lại lợi thế cạnh tranh của Meta. Cộng đồng công nghệ cũng đã ghép lại một dòng thời gian có thể xảy ra từ những thông tin vụn vặt có sẵn.

Thêm vào đó là một chút thông tin trên Twitter: một cuộc trò chuyện được cho là đã tình cờ nghe được tại một mạng xã hội “Meta GenAI”, sau đó được tweet bởi nhà nghiên cứu OpenAI Jason Wei. Theo Wei, “Chúng tôi có máy tính để đào tạo Llama 3 và 4,” một nguồn tin giấu tên cho biết, tiếp tục khẳng định rằng nó cũng sẽ có nguồn mở.

Trong khi đó, mối quan hệ hợp tác của công ty với Dell—cung cấp Llama 2 tại chỗ cho người dùng doanh nghiệp—nhấn mạnh cam kết của công ty trong việc kiểm soát và bảo mật dữ liệu cá nhân, một động thái vừa mang tính chiến lược vừa mang tính biểu tượng của thời đại. Khi Meta chuẩn bị đối đầu với những gã khổng lồ như OpenAI và Google, thì cam kết này rất quan trọng.

Meta cũng đang đưa AI vào nhiều sản phẩm của mình, do đó, việc công ty tăng cường đầu tư để không bị bỏ lại phía sau là điều hợp lý. Llama 2 hỗ trợ Meta AI và các dịch vụ khác như chatbot của Meta, dịch vụ tổng hợp Meta và kính AI của Meta, cùng một số dịch vụ khác.

Giữa cơn lốc suy đoán này, những suy nghĩ của Mark Zuckerberg về nguồn mở Llama 3 chỉ nhằm mục đích gây tò mò và bí ẩn. Zuckerberg đã chia sẻ trong một podcast gần đây với nhà khoa học máy tính Lex Fridman: “Chúng tôi sẽ cần một quy trình để xử lý vấn đề này và đảm bảo an toàn cho nó.

Llama 2 tự hào có kiến ​​trúc nhiều tầng với các phiên bản cung cấp 7 tỷ, 13 tỷ và 70 tỷ tham số mạnh mẽ, mỗi phiên bản phù hợp với mức độ phức tạp và sức mạnh tính toán khác nhau. Các tham số trong LLM đóng vai trò là các khối xây dựng thần kinh xác định khả năng hiểu và tạo ngôn ngữ của mô hình, với số lượng tham số thường tương quan với độ phức tạp và chất lượng đầu ra tiềm năng của mô hình.

Cường quốc AI đã được đào tạo về một kho dữ liệu phong phú 2 nghìn tỷ mã thông báo, củng cố khả năng điều hướng và tạo văn bản giống con người trên nhiều chủ đề và bối cảnh.

Hình ảnh do Meta cung cấp

Ở phía sau, nền tảng phần cứng cũng đang được đặt ra. BẰNG báo cáo by Giải mã, Meta đang trang bị cho một trung tâm dữ liệu Nvidia H100s, một trong những phần cứng mạnh mẽ nhất để đào tạo AI — một dấu hiệu rõ ràng cho thấy các bánh xe đang chuyển động tốt.

Tuy nhiên, bất chấp tất cả sự phấn khích và suy đoán, sự thật vẫn được che giấu trong bí mật của công ty.

Ý định cạnh tranh trong không gian AI của Meta phần lớn được định hình bởi thời gian đào tạo cần thiết, đầu tư vào phần cứng và câu hỏi về nguồn mở. Trong khi đó, có thể thấy rõ sự mong đợi vì việc phát hành Llama 2024 vào năm 3 là có thể xảy ra.

Sửa bởi Ryan Ozawa.

Luôn cập nhật tin tức về tiền điện tử, cập nhật hàng ngày trong hộp thư đến của bạn.

Dấu thời gian:

Thêm từ Giải mã