Llama 3 sắp ra mắt vào tháng XNUMX – OpenAI có nên lo lắng không?

Được xuất bản lại bởi Plato

Người theo dõi: 0

Tại một sự kiện AI cấp cao ở London, các giám đốc điều hành của Meta hôm thứ Ba đã cung cấp xác nhận chính thức đầu tiên và thông tin chi tiết về việc phát hành Llama 3 sắp xảy ra, phiên bản tiếp theo rất được mong đợi của mô hình ngôn ngữ lớn nguồn mở của công ty.

Nick Clegg, chủ tịch phụ trách các vấn đề toàn cầu của Meta, đã công bố tại Meta: “Trong tháng tới, thực tế là ít hơn, hy vọng là trong một khoảng thời gian rất ngắn, chúng tôi hy vọng sẽ bắt đầu tung ra bộ mô hình nền tảng thế hệ tiếp theo mới của mình, Llama 3”. Ngày AI Luân Đôn, báo cáo TechCrunch.

Clegg cho biết Llama 3 bao gồm “một số mẫu khác nhau với khả năng khác nhau, tính linh hoạt khác nhau” sẽ bắt đầu ra mắt trong năm nay.

Sau khi ra mắt, Llama 3 sẽ dự kiến trở thành mô hình nguồn mở tiên tiến nhất hiện có, với việc Meta đầu tư rất nhiều vào việc phát triển nó. Meta cho biết, mô hình này đã được đào tạo với 140 tỷ tham số, gấp đôi công suất của Llama 2. Giám đốc điều hành Meta, Mark Zuckerburg, đã có trêu chọc một số chi tiết kỹ thuật vào tháng Giêng.

Zuckerberg cho biết vào thời điểm đó: “Chúng tôi đang xây dựng cơ sở hạ tầng điện toán khổng lồ để hỗ trợ lộ trình tương lai của mình, bao gồm 350 nghìn chiếc H100 vào cuối năm nay và tổng cộng gần 600 nghìn chiếc H100 tương đương với máy tính nếu bạn tính cả các GPU khác”. Lượng sức mạnh tính toán này lớn hơn đáng kể so với sức mạnh tính toán được OpenAI sử dụng để huấn luyện GPT-4, vốn được ước tính cần khoảng 25,000 GPU trong 90 đến 100 ngày.

Zuckerberg cũng tiết lộ rằng Meta AI, trợ lý AI của nó, sẽ được hỗ trợ bởi Llama 3.

Chris Cox, Giám đốc sản phẩm, cho biết Llama 3 sẽ được tích hợp trên Meta.

Ông nói: “Kế hoạch của chúng tôi là cung cấp Llama 3 cho nhiều sản phẩm và trải nghiệm khác nhau trên dòng ứng dụng của chúng tôi.

Chiến lược nguồn mở

Tác động của việc phát hành Llama 3 vượt xa Meta, dựa trên cam kết mang tính triết lý của công ty trong việc phát triển nó như một mô hình nguồn mở, trái ngược hoàn toàn với cách tiếp cận khép kín, độc quyền của các đối thủ như OpenAI với ChatGPT.

Bằng cách cung cấp nguồn mở cho các mô hình ngôn ngữ của họ, Meta đặt mục tiêu nuôi dưỡng một hệ sinh thái phát triển AI mở và định vị dòng sản phẩm Llama làm nền tảng cho nhiều công cụ và ứng dụng đa dạng do các nhà phát triển và nhà nghiên cứu bên thứ ba tạo ra.

Yann LeCun, người đứng đầu bộ phận nghiên cứu AI của Meta, đã tweet vào tháng trước: “Điều rất quan trọng là phải nhận ra rằng những đổi mới luôn được xây dựng dựa trên những đóng góp trước đó của những người khác, đôi khi là những đóng góp rất giống nhau”. “Đây là lý do tại sao nghiên cứu mở lại quan trọng đến vậy: nó giúp mọi người tiến bộ nhanh hơn trong lĩnh vực này.”

Nhìn từ xa, có vẻ như những đổi mới xuất hiện một cách tự nhiên từ chân không.
Nhưng điều rất quan trọng là phải nhận ra rằng những đổi mới luôn được xây dựng dựa trên những đóng góp trước đó của những người khác, đôi khi là những đóng góp rất giống nhau.
Đây là lý do tại sao nghiên cứu mở lại quan trọng đến thế: nó làm cho lĩnh vực này… https://t.co/JMvQD2h5OZ

– Yann LeCun (@ylecun) 20 Tháng ba, 2024

T đặc tính cởi mở đã tạo ra một cộng đồng sôi động tập hợp xung quanh Llama. Một số mô hình ngôn ngữ mã nguồn mở tiên tiến nhất hiện nay như Gió bấc thổi từ hướng tây, Chim ưngvà Beluga, được xây dựng bằng cách tinh chỉnh mô hình nền tảng Llama 2 trước đó. Một số mô hình cộng đồng này đã phù hợp hoặc hoạt động tốt hơn GPT-3.5 ở một số điểm chuẩn nhất định.

Việc phát hành Llama-3 như một mô hình nền tảng nguồn mở khác có khả năng mở đường cho một thế hệ LLM mới sẽ đặt tiêu chuẩn cao hơn nữa về chất lượng và hiệu quả trong AI.

Thách thức sự thống trị của OpenAI

Tiền đề nguồn mở của Llama 3 đặt ra thách thức ghê gớm và nhiều tầng đối với sự thống trị thị trường hiện tại của OpenAI và—bằng cách mở rộng—đối với các mô hình độc quyền khác như Claude và Gemini.

Cộng đồng nguồn mở sẽ sớm có thể xây dựng dựa trên Llama 3 và nhanh chóng lặp lại các biến thể của họ để có thể khớp hoặc vượt quá khả năng của GPT-4—giống như họ đã làm với GPT-3.5. Với chi phí đào tạo thấp hơn được chia sẻ giữa những người đóng góp, hệ sinh thái mở có thể vượt qua việc phát triển mô hình độc quyền của OpenAI, vốn đòi hỏi chi phí và tài nguyên tính toán khổng lồ.

Nếu các dịch vụ nguồn mở thường xuyên đạt được sự ngang bằng với các dịch vụ thương mại, thì các doanh nghiệp có thể hướng tới các hệ sinh thái dễ tiếp cận hơn và tiết kiệm chi phí hơn như Llama thay vì dựa vào và trả tiền cho OpenAI. Hiện tại, GPT-4 là mẫu đắt nhất trên thị trường xét về giá mỗi mã thông báo.

Hơn nữa, cộng đồng nguồn mở sẽ phát triển mạnh mẽ hơn khi có nhiều người tham gia hơn. Meta được hưởng lợi từ việc xây dựng một cộng đồng khổng lồ dựa trên mô hình, tinh chỉnh nó, phát triển các công nghệ mới và cải tiến nó miễn phí. Điều này giúp Meta dễ dàng phát triển các phiên bản tốt hơn cho mô hình của mình đồng thời kiếm tiền từ nó thông qua các kế hoạch thay thế như cấp phép cho các ngành công nghiệp lớn sử dụng thương mại.

Nói cách khác, quán tính và hiệu ứng mạng tiếp tục có thể khiến các mô hình độc quyền của OpenAI gặp khó khăn hơn trong việc thu hút người dùng và khách hàng trong tương lai.

Điều chắc chắn là OpenAI hiện đang dẫn đầu mạnh mẽ về mặt lợi nhuận. Anthropic có thể tự hào vì có LLM hoạt động tốt nhất trong không gian AI. Nhưng Llama 3 sẽ đại diện cho một cuộc tấn công chiến lược khác của Meta nhằm nâng cao bối cảnh AI đang phát triển.

Tất nhiên, phần lớn phụ thuộc vào hiệu suất thực tế và việc áp dụng Llama 3 trong năm tới. Nhưng cộng đồng AI nguồn mở khá tích cực — và đã yêu thích Llama-2. Mọi thứ sẽ trở nên rất thú vị trong vài tháng tới, đặc biệt là với GPT-5 của OpenAI ngay xung quanh góc.

Sửa bởi Ryan Ozawa.