Bing Chat tiene tanta hambre de GPU que Microsoft alquilará la de Oracle

Bing Chat tiene tanta hambre de GPU que Microsoft alquilará la de Oracle

Marca de tiempo: 7 de noviembre de 2023 7:27 p.m.
Bing Chat tiene tanta hambre de GPU que Microsoft alquilará PlatoBlockchain Data Intelligence de Oracle. Búsqueda vertical. Ai.

La demanda de los servicios de inteligencia artificial de Microsoft es aparentemente tan grande –o los recursos de Redmond tan escasos– que el gigante del software planea descargar algunos de los modelos de aprendizaje automático utilizados por Bing Search al supercúmulo de GPU de Oracle como parte de un acuerdo plurianual anunciado el martes.

"Nuestra colaboración con Oracle y el uso de la infraestructura de Oracle Cloud junto con nuestra infraestructura de inteligencia artificial de Microsoft Azure ampliarán el acceso a los clientes y mejorarán la velocidad de muchos de nuestros resultados de búsqueda", explicó Divya Kumar, quien dirige el equipo de marketing de búsqueda e inteligencia artificial de Microsoft. en un ambiental.

La asociación esencialmente se reduce a: Microsoft necesita más recursos informáticos para mantenerse al día con el supuesto "crecimiento explosivo" de sus servicios de inteligencia artificial, y resulta que Oracle tiene decenas de miles de GPU Nvidia A100 y H100 disponibles para alquilar. Lejos de nosotros sugerir que el gigante de las bases de datos fundado por Larry-Ellison no tiene suficientes clientes de la nube para consumir sus existencias de silicio.

Microsoft fue uno de los primeros en integrar un chatbot de IA generativa en su motor de búsqueda con el lanzamiento de Bing Chat en febrero. Todos ya conocen el procedimiento: pueden enviar mensajes, solicitudes o consultas a Bing Chat, que intentará buscar información, escribir mala poesía, generar imágenes y otros contenidos, etc.

Los grandes modelos de lenguaje que sustentan el servicio no solo requieren grupos masivos de GPU para entrenar, sino también para que la inferencia (el proceso de poner un modelo a funcionar) se ejecute a escala. Es la pila de GPU de Oracle la que ayudará con este trabajo de inferencia.

La última colaboración de los dos proveedores de nube aprovecha Oracle Interconnect para Microsoft Azure, que permite que los servicios que se ejecutan en Azure interactúen con recursos en Oracle Cloud Infrastructure (OCI). Los dos supercuerpos tienen previamente utilizó el servicio para permitir a los clientes conectar cargas de trabajo que se ejecutan en Azure a las bases de datos OCI.

En este caso, Microsoft está utilizando el sistema junto con su servicio Azure Kubernetes para orquestar los nodos GPU de Oracle para mantenerse al día con lo que se dice que es la demanda de las funciones de inteligencia artificial de Bing.

Según StatCounter, para octubre de 2023, Bing tenía un 3.1 por ciento participación de mercado global de búsqueda web para todas las plataformas: eso se compara con el 91.6 por ciento de Google, pero frente al 3 por ciento del mes anterior. En computadoras de escritorio, Bing subió al 9.1 por ciento y al 4.6 por ciento en tabletas.

Quizás StatCounter esté equivocado; tal vez el motor de búsqueda hablador de Microsoft no sea tan asombrosamente popular como nos hacen creer. Tal vez Microsoft sólo quiera hacer que Bing parezca tener una gran demanda; tal vez Redmond realmente necesite computación adicional.

Oracle afirma que sus superclústeres en la nube, que presumiblemente utilizará Bing, pueden escalar cada uno a 32,768 GPU Nvidia A100 o 16,384 H100 utilizando una red de acceso directo a memoria remota (RDMA) de latencia ultrabaja. Esto está respaldado por petabytes de almacenamiento de archivos en clúster de alto rendimiento diseñado para admitir aplicaciones altamente paralelas.

Microsoft no ha dicho cuántos nodos GPU de Oracle necesita para sus servicios y aplicaciones de inteligencia artificial, y no lo dirá. Un portavoz nos dijo: "Esos no son detalles que compartimos como parte de este anuncio". También le hemos pedido a Oracle más información y le informaremos si recibimos algo.

Esta no es la primera vez que los enemigos se apoyan entre sí en busca de ayuda. En septiembre Oracle anunció Colocaría sus sistemas de bases de datos en centros de datos de Microsoft Azure. En ese caso, la colaboración tenía como objetivo reducir la latencia asociada con la conexión de bases de datos Oracle que se ejecutan en OCI a cargas de trabajo en Azure. ®

Sello de tiempo:

Mas de El registro