Bing Chat ngốn GPU quá, Microsoft sẽ thuê Oracle

Bing Chat ngốn GPU quá, Microsoft sẽ thuê Oracle

Dấu thời gian: 7:2023 chiều ngày 7 tháng 27 năm XNUMX
Bing Chat quá ngốn GPU, Microsoft sẽ thuê PlatoBlockchain Data Intelligence của Oracle. Tìm kiếm dọc. Ái.

Nhu cầu về các dịch vụ AI của Microsoft dường như quá lớn – hoặc nguồn tài nguyên của Redmond quá eo hẹp – đến mức gã khổng lồ phần mềm có kế hoạch chuyển một số mô hình học máy được Bing Search sử dụng sang siêu đám GPU của Oracle như một phần của thỏa thuận kéo dài nhiều năm được công bố hôm thứ Ba.

Divya Kumar, người đứng đầu nhóm tiếp thị AI và Tìm kiếm của Microsoft, giải thích: “Sự hợp tác của chúng tôi với Oracle và việc sử dụng cơ sở hạ tầng Đám mây Oracle cùng với cơ sở hạ tầng Microsoft Azure AI của chúng tôi sẽ mở rộng quyền truy cập cho khách hàng và cải thiện tốc độ của nhiều kết quả tìm kiếm của chúng tôi”. trong một tuyên bố.

Về cơ bản, mối quan hệ hợp tác này tập trung vào: Microsoft cần nhiều tài nguyên điện toán hơn để theo kịp “sự tăng trưởng bùng nổ” được cho là của các dịch vụ AI của mình và Oracle tình cờ có sẵn hàng chục nghìn GPU Nvidia A100 và H100 cho thuê. Chúng tôi khó có thể cho rằng gã khổng lồ cơ sở dữ liệu do Larry-Ellison sáng lập không có đủ khách hàng trên nền tảng đám mây để tiêu thụ lượng silicon dự trữ của mình.

Microsoft là một trong những công ty đầu tiên tích hợp chatbot AI tổng quát vào công cụ tìm kiếm của mình với phóng của Bing Chat vào tháng XNUMX. Tất cả các bạn đều biết bài tập này: bạn có thể cung cấp lời nhắc, yêu cầu hoặc truy vấn vào Bing Chat và nó sẽ cố gắng tra cứu thông tin, viết thơ dở, tạo hình ảnh và nội dung khác, v.v.

Các mô hình ngôn ngữ lớn làm nền tảng cho dịch vụ không chỉ yêu cầu các cụm GPU khổng lồ để đào tạo mà còn cần khả năng suy luận – quá trình đưa một mô hình vào hoạt động – để chạy trên quy mô lớn. Chính bộ GPU của Oracle sẽ hỗ trợ công việc suy luận này.

Sự hợp tác mới nhất của hai nhà cung cấp đám mây tận dụng Oracle Interconnect dành cho Microsoft Azure, cho phép các dịch vụ chạy trên Azure tương tác với các tài nguyên trong Cơ sở hạ tầng đám mây của Oracle (OCI). Hai siêu quân đoàn có trước đây đã sử dụng dịch vụ này để cho phép khách hàng kết nối khối lượng công việc chạy trong Azure trở lại cơ sở dữ liệu OCI.

Trong trường hợp này, Microsoft đang sử dụng hệ thống cùng với Dịch vụ Azure Kubernetes của mình để điều phối các nút GPU của Oracle nhằm đáp ứng những gì được cho là nhu cầu về các tính năng AI của Bing.

Theo StatCounter, vào tháng 2023 năm XNUMX, Bing đã có 3.1% thị phần tìm kiếm trên web toàn cầu cho tất cả các nền tảng – so với 91.6% của Google, nhưng tăng từ 3% của tháng trước. Trên máy tính để bàn, Bing tăng lên 9.1% và 4.6% cho máy tính bảng.

Có lẽ StatCounter sai; có lẽ công cụ tìm kiếm trò chuyện của Microsoft không phổ biến đến mức đáng kinh ngạc như chúng ta tin tưởng. Có lẽ Microsoft chỉ muốn làm cho Bing có vẻ như đang có nhu cầu cao; có lẽ Redmond thực sự cần tính toán thêm.

Oracle tuyên bố các siêu cụm đám mây của họ, mà có lẽ Bing sẽ sử dụng, mỗi siêu cụm có thể mở rộng tới 32,768 GPU Nvidia A100 hoặc 16,384 H100 bằng cách sử dụng mạng Truy cập bộ nhớ trực tiếp từ xa (RDMA) có độ trễ cực thấp. Điều này được hỗ trợ bởi bộ lưu trữ tệp cụm hiệu suất cao hàng petabyte được thiết kế để hỗ trợ các ứng dụng song song cao.

Microsoft chưa cho biết họ cần bao nhiêu nút GPU của Oracle cho các dịch vụ và ứng dụng AI của mình và cũng sẽ không nói. Người phát ngôn đã nói với chúng tôi: “Đó không phải là thông tin chi tiết mà chúng tôi chia sẻ như một phần của thông báo này”. Chúng tôi cũng đã hỏi Oracle để biết thêm thông tin và chúng tôi sẽ cho bạn biết nếu chúng tôi nhận được phản hồi.

Đây không phải là lần đầu tiên những kẻ thù tự do dựa vào nhau để được giúp đỡ. Trở lại vào tháng XNUMX Oracle công bố nó sẽ sắp xếp các hệ thống cơ sở dữ liệu của mình trong các trung tâm dữ liệu Microsoft Azure. Trong trường hợp đó, sự hợp tác này nhằm giảm độ trễ liên quan đến việc kết nối cơ sở dữ liệu Oracle chạy trong OCI với khối lượng công việc trong Azure. ®

Dấu thời gian:

Thêm từ Đăng ký