Opera hỗ trợ chạy LLM cục bộ mà không cần kết nối

Opera hỗ trợ chạy LLM cục bộ mà không cần kết nối

Dấu thời gian: Ngày 3 tháng 2024 năm 11 07:XNUMX sáng
Opera hỗ trợ chạy LLM cục bộ mà không cần kết nối PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.

Opera đã bổ sung hỗ trợ thử nghiệm để chạy cục bộ các mô hình ngôn ngữ lớn (LLM) trên trình duyệt Opera One Developer như một phần của Chương trình bỏ tính năng AI.

Hiện tại, độc quyền cho phiên bản dành cho nhà phát triển của Opera One, trình duyệt internet chính của Opera, bản cập nhật bổ sung thêm 150 LLM khác nhau từ 50 dòng LLM khác nhau, bao gồm LLaMA, Gemma và Mixtral. Trước đây, Opera chỉ cung cấp hỗ trợ cho LLM của riêng mình, Aria, được thiết kế như một chatbot giống như Copilot của Microsoft và ChatGPT của OpenAI.

Tuy nhiên, điểm khác biệt chính giữa Aria, Copilot (chỉ mong muốn sắp chạy cục bộ trong tương lai) và các chatbot AI tương tự là chúng phụ thuộc vào việc được kết nối qua internet với một máy chủ chuyên dụng. Opera cho biết với các LLM chạy cục bộ, nó được thêm vào Opera One Developer, dữ liệu vẫn được lưu trữ cục bộ trên PC của người dùng và không yêu cầu kết nối Internet ngoại trừ việc tải xuống LLM ban đầu.

Opera cũng đưa ra giả thuyết về trường hợp sử dụng tiềm năng cho tính năng LLM cục bộ mới của mình. “Điều gì sẽ xảy ra nếu trình duyệt trong tương lai có thể dựa vào các giải pháp AI dựa trên dữ liệu đầu vào lịch sử của bạn trong khi chứa tất cả dữ liệu trên thiết bị của bạn?” Mặc dù những người đam mê quyền riêng tư có thể thích ý tưởng dữ liệu của họ chỉ được lưu giữ trên PC của họ chứ không phải ở nơi nào khác, nhưng LLM dựa trên trình duyệt ghi nhớ khá nhiều điều đó có thể không hấp dẫn bằng.

Opera nói trong blog đăng bài. Mặc dù là một lời châm biếm nhưng nó không xa sự thật. “Trong khi chúng tôi cố gắng cung cấp phiên bản ổn định nhất có thể, các bản dựng dành cho nhà phát triển có xu hướng mang tính thử nghiệm và trên thực tế có thể hơi trục trặc,” Phó chủ tịch Opera Jan Standal nói. Đăng ký.

Về thời điểm tính năng LLM cục bộ này sẽ được đưa vào Opera One thông thường, Standal cho biết: “Chúng tôi không có mốc thời gian nào về thời điểm hoặc cách thức tính năng này sẽ được giới thiệu cho các trình duyệt Opera thông thường. Tuy nhiên, người dùng của chúng tôi nên mong đợi các tính năng được ra mắt trong Chương trình bỏ tính năng AI sẽ tiếp tục phát triển trước khi chúng được đưa vào trình duyệt chính của chúng tôi.”

Vì có thể khá khó để cạnh tranh với các máy chủ lớn được trang bị GPU cao cấp từ các công ty như Nvidia, Opera cho biết việc chuyển sang địa phương có thể sẽ “chậm hơn đáng kể” so với sử dụng LLM trực tuyến. Không đua đâu.

Tuy nhiên, việc lưu trữ có thể là một vấn đề lớn hơn đối với những ai muốn thử nhiều LLM. Opera cho biết mỗi LLM yêu cầu từ hai đến mười gigabyte dung lượng lưu trữ và khi chúng tôi tìm hiểu về Opera One Developer, điều đó đúng với rất nhiều LLM, một số trong đó có kích thước khoảng 1.5 GB.

Tuy nhiên, rất nhiều LLM được cung cấp thông qua Opera One yêu cầu hơn 10 GB. Nhiều ổ có dung lượng ở vùng 10-20 GB, một số có dung lượng khoảng 40 GB và chúng tôi thậm chí còn tìm thấy một con, Megadolphin, có dung lượng khổng lồ là 67 GB. Nếu bạn muốn lấy mẫu tất cả 150 loại LLM có trong Opera One Developer, ổ SSD 1 TB tiêu chuẩn có lẽ sẽ không đáp ứng được yêu cầu đó.

Bất chấp những hạn chế này, điều đó có nghĩa là Opera One (hoặc ít nhất là nhánh Nhà phát triển) là trình duyệt đầu tiên cung cấp giải pháp chạy LLM cục bộ. Đây cũng là một trong số ít giải pháp đưa LLM cục bộ vào PC, cùng với ChatWithRTX của Nvidia và một số ứng dụng khác. Mặc dù hơi mỉa mai khi một trình duyệt internet lại đi kèm với vô số chatbot AI ấn tượng mà rõ ràng là không yêu cầu internet để hoạt động. ®

Dấu thời gian:

Thêm từ Đăng ký