O Bing Chat precisa tanto de GPU que a Microsoft alugará o Oracle

A demanda pelos serviços de IA da Microsoft é aparentemente tão grande – ou os recursos de Redmond tão escassos – que a gigante do software planeja transferir alguns dos modelos de aprendizado de máquina usados ​​pelo Bing Search para o supercluster de GPU da Oracle como parte de um acordo plurianual anunciado na terça-feira.

“Nossa colaboração com a Oracle e o uso da infraestrutura Oracle Cloud junto com nossa infraestrutura de IA do Microsoft Azure expandirão o acesso aos clientes e melhorarão a velocidade de muitos de nossos resultados de pesquisa”, explicou Divya Kumar, que lidera a equipe de pesquisa e marketing de IA da Microsoft. em um afirmação.

A parceria se resume essencialmente a: a Microsoft precisa de mais recursos de computação para acompanhar o suposto “crescimento explosivo” de seus serviços de IA, e a Oracle tem dezenas de milhares de GPUs Nvidia A100 e H100 disponíveis para aluguel. Longe de nós sugerir que o gigante dos bancos de dados fundado por Larry-Ellison não tem clientes de nuvem suficientes para consumir seus estoques de silício.

A Microsoft foi uma das primeiras a integrar um chatbot generativo de IA em seu mecanismo de busca com o lançamento do Bing Chat em fevereiro. Todos vocês já sabem o que fazer: você pode alimentar prompts, solicitações ou consultas no Bing Chat, e ele tentará pesquisar informações, escrever poesia ruim, gerar imagens e outros conteúdos e assim por diante.

Os grandes modelos de linguagem que sustentam o serviço não exigem apenas clusters massivos de GPUs para serem treinados, mas também para que a inferência – o processo de colocar um modelo em funcionamento – seja executada em escala. É a pilha de GPUs da Oracle que ajudará nesse trabalho de inferência.

A colaboração mais recente dos dois provedores de nuvem aproveita o Oracle Interconnect for Microsoft Azure, que permite que serviços executados no Azure interajam com recursos no Oracle Cloud Infrastructure (OCI). Os dois super-corpos têm anteriormente usou o serviço para permitir que os clientes conectassem cargas de trabalho em execução no Azure aos bancos de dados OCI.

Nesse caso, a Microsoft está usando o sistema junto com seu serviço Azure Kubernetes para orquestrar os nós de GPU da Oracle para acompanhar o que se diz ser a demanda pelos recursos de IA do Bing.

De acordo com StatCounter, em outubro de 2023, o Bing teve um 3.1% participação no mercado global de pesquisa na web para todas as plataformas – isso é comparado aos 91.6% do Google, mas acima dos 3% do mês anterior. No desktop, o Bing subiu para 9.1% e 4.6% para tablets.

Talvez o StatCounter esteja errado; talvez o mecanismo de busca tagarela da Microsoft não seja tão popular quanto somos levados a acreditar. Talvez a Microsoft queira apenas fazer com que o Bing pareça estar em alta demanda; talvez Redmond realmente precise de computação extra.

A Oracle afirma que seus superclusters de nuvem, que presumivelmente o Bing usará, podem ser dimensionados cada um para 32,768 Nvidia A100s ou 16,384 GPUs H100 usando uma rede de acesso remoto direto à memória (RDMA) de latência ultrabaixa. Isso é suportado por petabytes de armazenamento de arquivos em cluster de alto desempenho, projetados para suportar aplicativos altamente paralelos.

A Microsoft não disse quantos nós de GPU da Oracle precisa para seus serviços e aplicativos de IA, e não dirá. Um porta-voz nos disse: “Esses não são detalhes que estamos compartilhando como parte deste anúncio”. Também pedimos mais informações à Oracle e avisaremos se recebermos alguma resposta.

Esta não é a primeira vez que os amigos se apoiam em busca de ajuda. De volta em setembro Oracle anunciou ela colocaria seus sistemas de banco de dados em datacenters do Microsoft Azure. Nesse caso, a colaboração pretendia reduzir a latência associada à ligação de bases de dados Oracle em execução no OCI a cargas de trabalho no Azure. ®

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2023/11/07/bing_gpu_oracle/