Bing Chat은 GPU를 많이 사용하므로 Microsoft는 Oracle을 임대할 예정입니다.

Bing Chat은 GPU를 많이 사용하므로 Microsoft는 Oracle을 임대할 예정입니다.

타임 스탬프 : 7 년 2023 월 7 일 오후 27시
Bing Chat은 GPU를 많이 사용하므로 Microsoft는 Oracle의 PlatoBlockchain Data Intelligence를 임대할 예정입니다. 수직 검색. 일체 포함.

마이크로소프트의 AI 서비스에 대한 수요가 너무 크거나 레드먼드의 리소스가 너무 부족해서 마이크로소프트는 화요일에 발표된 다년 계약의 일환으로 Bing Search에서 사용하는 기계 학습 모델 중 일부를 오라클의 GPU 슈퍼클러스터로 오프로드할 계획입니다.

Microsoft의 검색 및 AI 마케팅 팀을 이끌고 있는 Divya Kumar는 “오라클과의 협력과 Microsoft Azure AI 인프라와 함께 Oracle Cloud 인프라를 사용하면 고객에 대한 액세스가 확대되고 많은 검색 결과의 속도가 향상될 것입니다.”라고 설명했습니다. 안에 성명서.

파트너십의 핵심은 다음과 같습니다. Microsoft는 AI 서비스의 "폭발적인 성장"을 따라잡기 위해 더 많은 컴퓨팅 리소스가 필요하며, Oracle은 우연히 수만 대의 Nvidia A100 및 H100 GPU를 임대할 수 있게 되었습니다. Larry-Ellison이 설립한 거대 데이터베이스 기업이 자사의 실리콘 재고를 소비할 클라우드 고객이 충분하지 않다고 주장하는 것은 전혀 불가능합니다.

Microsoft는 검색 엔진에 생성 AI 챗봇을 최초로 통합한 회사 중 하나입니다. 시작 지난 XNUMX월 Bing Chat의 모습입니다. 지금쯤이면 여러분 모두가 그 훈련을 알고 있을 것입니다. Bing Chat에 프롬프트, 요청 또는 쿼리를 제공할 수 있으며 Bing Chat은 정보 검색, 나쁜 시 쓰기, 그림 및 기타 콘텐츠 생성 등을 시도합니다.

서비스를 뒷받침하는 대규모 언어 모델은 훈련을 위해 대규모 GPU 클러스터가 필요할 뿐만 아니라 추론(모델을 작동시키는 프로세스)을 위해 대규모로 실행해야 합니다. 이 추론 작업에 도움이 되는 것은 Oracle의 GPU 스택입니다.

두 클라우드 제공업체의 최근 협력은 Microsoft Azure용 Oracle Interconnect를 활용합니다. 이를 통해 Azure에서 실행되는 서비스가 OCI(Oracle Cloud Infrastructure)의 리소스와 상호 작용할 수 있습니다. 두 슈퍼군단은 이전에 고객이 Azure에서 실행되는 워크로드를 OCI 데이터베이스에 다시 연결할 수 있도록 서비스를 사용했습니다.

이 경우 Microsoft는 Bing의 AI 기능에 대한 수요를 따라잡기 위해 Oracle의 GPU 노드를 조정하기 위해 Azure Kubernetes Service와 함께 시스템을 사용하고 있습니다.

StatCounter에 따르면 2023년 XNUMX월 Bing은 3.1 비율 모든 플랫폼에 대한 글로벌 웹 검색 시장 점유율은 Google의 91.6%와 비교되지만 전월의 3%보다 증가한 수치입니다. 데스크톱에서는 Bing이 9.1%, 태블릿에서는 4.6%까지 올랐습니다.

어쩌면 StatCounter가 잘못되었을 수도 있습니다. 어쩌면 마이크로소프트의 수다스러운 검색 엔진은 우리가 생각하는 것만큼 그렇게 인기가 높지 않을 수도 있습니다. 어쩌면 마이크로소프트는 Bing을 수요가 많은 것처럼 보이게 만들고 싶어할 수도 있습니다. 아마도 Redmond에는 추가 계산이 필요할 수도 있습니다.

Oracle은 Bing이 사용할 것으로 추정되는 자사의 클라우드 슈퍼 클러스터가 초저지연 RDMA(Remote Direct Memory Access) 네트워크를 사용하여 각각 32,768개의 Nvidia A100 또는 16,384개의 H100 GPU로 확장될 수 있다고 주장합니다. 이는 고도의 병렬 애플리케이션을 지원하도록 설계된 페타바이트급 고성능 클러스터 파일 스토리지를 통해 지원됩니다.

마이크로소프트는 AI 서비스와 앱에 얼마나 많은 오라클 GPU 노드가 필요한지 밝히지 않았고 앞으로도 밝히지 않을 것입니다. 대변인은 "이러한 내용은 이번 발표의 일부로 공유하는 세부 정보가 아닙니다."라고 말했습니다. 우리는 오라클에도 추가 정보를 요청했으며, 답변이 있으면 알려드리겠습니다.

열광적인 사람들이 서로에게 도움을 요청한 것은 이번이 처음이 아닙니다. 지난 XNUMX월 오라클 발표 Microsoft Azure 데이터 센터에 데이터베이스 시스템을 배치할 것입니다. 이 경우 협업은 OCI에서 실행되는 Oracle 데이터베이스를 Azure의 워크로드에 연결하는 것과 관련된 대기 시간을 줄이기 위한 것이었습니다. ®

타임 스탬프 :

더보기 등록