Bing Chat นั้นกิน GPU มาก Microsoft จะเช่า Oracle

เห็นได้ชัดว่าความต้องการบริการ AI ของ Microsoft นั้นยอดเยี่ยมมาก หรือทรัพยากรของ Redmond มีจำนวนจำกัด จนยักษ์ใหญ่ซอฟต์แวร์วางแผนที่จะถ่ายโอนโมเดลการเรียนรู้ของเครื่องบางส่วนที่ใช้โดย Bing Search ไปยัง GPU supercluster ของ Oracle ซึ่งเป็นส่วนหนึ่งของข้อตกลงหลายปีที่ประกาศเมื่อวันอังคาร

“ความร่วมมือของเรากับ Oracle และการใช้โครงสร้างพื้นฐานของ Oracle Cloud พร้อมกับโครงสร้างพื้นฐาน Microsoft Azure AI ของเราจะขยายการเข้าถึงลูกค้าและปรับปรุงความเร็วของผลการค้นหาจำนวนมากของเรา” Divya Kumar หัวหน้าทีมการตลาด Search และ AI ของ Microsoft อธิบาย ใน คำสั่ง.

ความร่วมมือโดยพื้นฐานแล้วอยู่ที่: Microsoft ต้องการทรัพยากรการประมวลผลเพิ่มเติมเพื่อให้ทันกับ "การเติบโตอย่างรวดเร็ว" ของบริการ AI ของตน และ Oracle ก็บังเอิญมี GPU Nvidia A100 และ H100 หลายหมื่นตัวให้เช่า ห่างไกลจากเราที่จะแนะนำว่าฐานข้อมูลยักษ์ใหญ่ที่ก่อตั้งโดย Larry-Ellison ไม่มีลูกค้าระบบคลาวด์เพียงพอที่จะใช้สต๊อกซิลิคอน

Microsoft เป็นหนึ่งในคนกลุ่มแรกๆ ที่รวมแชทบอท AI เจนเนอเรชั่นเข้ากับเครื่องมือค้นหาด้วย เปิดตัว ของ Bing Chat ย้อนกลับไปในเดือนกุมภาพันธ์ ตอนนี้คุณทุกคนคงรู้จักการฝึกฝนแล้ว: คุณสามารถป้อนข้อความแจ้ง คำขอ หรือคำถามลงใน Bing Chat และมันจะพยายามค้นหาข้อมูล เขียนบทกวีที่ไม่ดี สร้างรูปภาพและเนื้อหาอื่น ๆ และอื่นๆ

โมเดลภาษาขนาดใหญ่ที่สนับสนุนบริการนี้ไม่เพียงแต่ต้องใช้กลุ่ม GPU ขนาดใหญ่ในการฝึกเท่านั้น แต่ยังสำหรับการอนุมาน ซึ่งเป็นกระบวนการในการนำโมเดลไปใช้งาน เพื่อทำงานตามขนาดที่ต้องการ GPU ของ Oracle ที่จะช่วยในงานอนุมานนี้

การทำงานร่วมกันล่าสุดของผู้ให้บริการคลาวด์ทั้งสองรายใช้ประโยชน์จาก Oracle Interconnect สำหรับ Microsoft Azure ซึ่งช่วยให้บริการที่ทำงานใน Azure สามารถโต้ตอบกับทรัพยากรใน Oracle Cloud Infrastructure (OCI) ซุปเปอร์คอร์ปทั้งสองมี ก่อนหน้านี้ ใช้บริการเพื่อให้ลูกค้าสามารถเชื่อมต่อปริมาณงานที่ทำงานใน Azure กลับไปยังฐานข้อมูล OCI

ในกรณีนี้ Microsoft กำลังใช้ระบบควบคู่ไปกับบริการ Azure Kubernetes เพื่อประสานโหนด GPU ของ Oracle เพื่อให้ทันกับความต้องการคุณสมบัติ AI ของ Bing

จากข้อมูลของ StatCounter ในเดือนตุลาคม 2023 Bing มี ร้อยละ 3.1 ส่วนแบ่งตลาดการค้นหาเว็บทั่วโลกสำหรับทุกแพลตฟอร์ม – เทียบกับ Google ที่ 91.6 เปอร์เซ็นต์ แต่เพิ่มขึ้นจาก 3 เปอร์เซ็นต์ในเดือนก่อนหน้า บนเดสก์ท็อป Bing เพิ่มขึ้นเป็น 9.1 เปอร์เซ็นต์ และ 4.6 เปอร์เซ็นต์สำหรับแท็บเล็ต

บางที StatCounter อาจผิด บางทีเครื่องมือค้นหาช่างพูดของ Microsoft อาจไม่ได้รับความนิยมอย่างที่เราเชื่อ บางที Microsoft แค่ต้องการทำให้ Bing ดูเหมือนเป็นที่ต้องการสูง บางที Redmond อาจต้องการการประมวลผลเพิ่มเติมจริงๆ

ออราเคิลอ้างว่าคลัสเตอร์ซุปเปอร์คลาวด์ซึ่งสันนิษฐานว่า Bing จะใช้นั้นแต่ละระดับสามารถขยายเป็น 32,768 Nvidia A100s หรือ 16,384 H100 GPUs โดยใช้เครือข่าย Remote Direct Memory Access (RDMA) ที่มีความหน่วงต่ำเป็นพิเศษ ซึ่งได้รับการสนับสนุนจากพื้นที่จัดเก็บไฟล์คลัสเตอร์ประสิทธิภาพสูงขนาดเพตะไบต์ ซึ่งออกแบบมาเพื่อรองรับแอปพลิเคชันแบบขนานสูง

Microsoft ไม่ได้ระบุจำนวนโหนด GPU ของ Oracle ที่ต้องการสำหรับบริการ AI และแอป และจะไม่พูด โฆษกบอกเราว่า “นั่นไม่ใช่รายละเอียดที่เราแชร์โดยเป็นส่วนหนึ่งของประกาศนี้” เราได้ขอข้อมูลเพิ่มเติมจาก Oracle เช่นกัน และเราจะแจ้งให้คุณทราบหากเราได้ยินอะไรตอบกลับมา

นี่ไม่ใช่ครั้งแรกที่ศัตรูพึ่งพาอาศัยกันเพื่อขอความช่วยเหลือ ย้อนกลับไปในเดือนกันยายน ออราเคิล ประกาศ มันจะจัดวางระบบฐานข้อมูลในศูนย์ข้อมูล Microsoft Azure ในกรณีดังกล่าว การทำงานร่วมกันมีวัตถุประสงค์เพื่อลดเวลาแฝงที่เกี่ยวข้องกับการเชื่อมต่อฐานข้อมูล Oracle ที่ทำงานอยู่ใน OCI กับปริมาณงานใน Azure ®

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://go.theregister.com/feed/www.theregister.com/2023/11/07/bing_gpu_oracle/