Bing Chat настільки потребує GPU, що Microsoft орендує Oracle

Bing Chat настільки потребує GPU, що Microsoft орендує Oracle

Мітка часу: 7 листопада 2023 р., 7:27
Bing Chat настільки потребує GPU, що Microsoft візьме в оренду PlatoBlockchain Data Intelligence від Oracle. Вертикальний пошук. Ai.

Очевидно, попит на послуги штучного інтелекту Microsoft настільки великий – або ресурси Редмонда настільки обмежені – що програмний гігант планує перенести деякі моделі машинного навчання, які використовує Bing Search, на суперкластер GPU Oracle у рамках багаторічної угоди, оголошеної у вівторок.

«Наша співпраця з Oracle і використання інфраструктури Oracle Cloud разом із нашою інфраструктурою Microsoft Azure AI розширить доступ до клієнтів і покращить швидкість багатьох наших результатів пошуку», — пояснив Дів’я Кумар, який очолює групу маркетингу Microsoft Search and AI. в заяву.

По суті, партнерство зводиться до наступного: Microsoft потребує більше обчислювальних ресурсів, щоб не відставати від передбачуваного «вибухового зростання» своїх служб ШІ, а Oracle просто має десятки тисяч графічних процесорів Nvidia A100 і H100, доступних для оренди. Ми не можемо припустити, що заснований Ларрі-Еллісоном гігант баз даних не має достатньо хмарних клієнтів, щоб споживати його запаси кремнію.

Корпорація Майкрософт була однією з перших, хто інтегрував генеративний чат-бот AI у свою пошукову систему з запуск Bing Chat ще в лютому. Ви вже знаєте вправу: ви можете надсилати підказки, запити чи запити в Bing Chat, і він намагатиметься шукати інформацію, писати погані вірші, створювати зображення та інший вміст тощо.

Великі мовні моделі, які лежать в основі сервісу, вимагають не лише величезних кластерів графічних процесорів для навчання, але й для виводу – процесу запуску моделі в роботу – для запуску в масштабі. Це стек графічних процесорів Oracle, який допоможе в цій роботі висновків.

Остання співпраця двох хмарних постачальників використовує переваги Oracle Interconnect для Microsoft Azure, що дозволяє службам, запущеним у Azure, взаємодіяти з ресурсами в Oracle Cloud Infrastructure (OCI). Два суперкорпуси мають раніше використовував службу, щоб дозволити клієнтам підключати робочі навантаження, що виконуються в Azure, до баз даних OCI.

У цьому випадку Microsoft використовує систему разом зі своєю службою Azure Kubernetes, щоб керувати вузлами GPU Oracle, щоб не відставати від, як кажуть, попиту на функції ШІ Bing.

За даними StatCounter, у жовтні 2023 року Bing мав а 3.1 відсотків глобальна частка ринку веб-пошуку для всіх платформ – це порівняно з 91.6 відсотка Google, але більше з 3 відсотків місяцем раніше. На настільному комп’ютері Bing піднявся до 9.1 відсотка та 4.6 відсотка для планшетів.

Можливо, StatCounter помиляється; можливо, балакуча пошукова система Microsoft не така вражаюча популярна, як нам зводять. Можливо, Microsoft просто хоче, щоб Bing виглядав так, ніби він користується великим попитом; можливо, Редмонду справді потрібні додаткові обчислення.

Oracle стверджує, що їхні хмарні суперкластери, які, ймовірно, використовуватиме Bing, можуть масштабуватись до 32,768 100 Nvidia A16,384 або 100 XNUMX графічних процесорів HXNUMX за допомогою мережі Remote Direct Memory Access (RDMA) із наднизькою затримкою. Це підтримується петабайтами високопродуктивного кластерного файлового сховища, розробленого для підтримки високопаралельних програм.

Корпорація Майкрософт не повідомляє, скільки вузлів графічного процесора Oracle їй потрібно для своїх служб штучного інтелекту та програм, і не буде говорити. Прес-секретар сказав нам: «Це не деталі, якими ми ділимося в рамках цього оголошення». Ми також попросили Oracle отримати додаткову інформацію, і ми повідомимо вам, якщо щось почуємо.

Це не перший випадок, коли вороги звертаються один до одного за допомогою. Ще у вересні Oracle оголошений вона розмістить свої системи баз даних у центрах обробки даних Microsoft Azure. У цьому випадку співпраця мала на меті зменшити затримку, пов’язану з підключенням баз даних Oracle, що працюють в OCI, до робочих навантажень в Azure. ®

Часова мітка:

Більше від Реєстр