Bing Chat настолько жаждет графических процессоров, что Microsoft арендует Oracle

Bing Chat настолько жаждет графических процессоров, что Microsoft арендует Oracle

Отметка времени: 7 ноября 2023 г., 7:27
Bing Chat настолько требователен к графическим процессорам, что Microsoft арендует Oracle PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Спрос на услуги искусственного интеллекта Microsoft, по-видимому, настолько велик (а ресурсы Редмонда настолько ограничены), что софтверный гигант планирует перенести некоторые модели машинного обучения, используемые Bing Search, в суперкластер графических процессоров Oracle в рамках многолетнего соглашения, о котором было объявлено во вторник.

«Наше сотрудничество с Oracle и использование инфраструктуры Oracle Cloud вместе с нашей инфраструктурой искусственного интеллекта Microsoft Azure расширит доступ к клиентам и улучшит скорость получения многих результатов поиска», — объяснил Дивья Кумар, возглавляющий маркетинговую команду Microsoft по поиску и искусственному интеллекту. в заявление.

Партнерство, по сути, сводится к следующему: Microsoft нужно больше вычислительных ресурсов, чтобы не отставать от предполагаемого «взрывного роста» своих услуг искусственного интеллекта, а у Oracle просто есть десятки тысяч графических процессоров Nvidia A100 и H100, доступных для аренды. Мы ни в коем случае не можем утверждать, что у гиганта баз данных, основанного Ларри-Эллисоном, недостаточно облачных клиентов, чтобы потреблять его запасы кремния.

Microsoft была одной из первых, кто интегрировал чат-бота с генеративным искусственным интеллектом в свою поисковую систему с помощью запуск Bing Chat еще в феврале. Вы все уже знаете, как это сделать: вы можете вводить подсказки, запросы или запросы в Bing Chat, и он будет пытаться искать информацию, писать плохие стихи, генерировать изображения и другой контент и так далее.

Большие языковые модели, лежащие в основе сервиса, требуют не только огромных кластеров графических процессоров для обучения, но и для вывода — процесса запуска модели в работу — для масштабирования. В этом выводе поможет стек графических процессоров Oracle.

В последнем сотрудничестве двух облачных провайдеров реализовано преимущество Oracle Interconnect для Microsoft Azure, которое позволяет сервисам, работающим в Azure, взаимодействовать с ресурсами в Oracle Cloud Infrastructure (OCI). Два суперкорпуса имеют предварительно использовали эту службу, чтобы позволить клиентам подключать рабочие нагрузки, работающие в Azure, обратно к базам данных OCI.

В этом случае Microsoft использует систему вместе со своей службой Azure Kubernetes для координации узлов графического процессора Oracle, чтобы не отставать от того, что, как утверждается, является спросом на функции искусственного интеллекта Bing.

По данным StatCounter, на октябрь 2023 года у Bing был 3.1 процентов глобальная доля рынка веб-поиска для всех платформ – это по сравнению с 91.6 процента у Google, но выше, чем 3 процента месяцем ранее. На настольных компьютерах доля Bing выросла до 9.1 процента, а на планшетах — до 4.6 процента.

Возможно, StatCounter ошибается; возможно, болтливая поисковая система Microsoft не так ошеломляюще популярна, как нам кажется. Возможно, Microsoft просто хочет, чтобы Bing выглядел так, будто он пользуется большим спросом; возможно, Редмонду действительно нужны дополнительные вычисления.

Oracle утверждает, что ее облачные суперкластеры, которые, предположительно, будет использовать Bing, могут масштабироваться каждый до 32,768 100 графических процессоров Nvidia A16,384 или 100 XNUMX графических процессоров HXNUMX с использованием сети удаленного прямого доступа к памяти (RDMA) со сверхнизкой задержкой. Это поддерживается петабайтами высокопроизводительного кластерного файлового хранилища, предназначенного для поддержки приложений с высокой степенью параллелизма.

Microsoft не сообщила, сколько узлов Oracle GPU ей необходимо для ее сервисов и приложений искусственного интеллекта, и не будет говорить. Представитель сказал нам: «Это не те детали, которыми мы делимся в рамках данного объявления». Мы также запросили у Oracle дополнительную информацию и сообщим вам, если получим что-нибудь в ответ.

Это не первый раз, когда заклятые враги обращаются друг к другу за помощью. Еще в сентябре Oracle объявило она разместит свои системы баз данных в центрах обработки данных Microsoft Azure. В этом случае сотрудничество было направлено на сокращение задержки, связанной с подключением баз данных Oracle, работающих в OCI, к рабочим нагрузкам в Azure. ®

Отметка времени:

Больше от Регистр