Con l'acquisizione di Run:ai, Nvidia mira a gestire i tuoi AI K8

Mercoledì Nvidia ha annunciato l'acquisizione del fornitore di orchestrazione Kubernetes incentrato sull'intelligenza artificiale Run:ai nel tentativo di contribuire a rafforzare l'efficienza dei cluster di elaborazione basati su GPU.

I dettagli di l'affare non sono stati divulgati, ma riferito l'accordo potrebbe essere valutato a circa 700 milioni di dollari. La startup con sede a Tel Aviv ha apparentemente ha raccolto 118 milioni di dollari in quattro round di finanziamento da quando è stata fondata nel 2018.

La piattaforma Run:ai fornisce un'interfaccia utente centrale e un piano di controllo per lavorare con una varietà di varianti Kubernetes popolari. Questo lo rende un po' come OpenShift di RedHat o Rancher di SUSE, e presenta molti degli stessi strumenti per gestire cose come spazi dei nomi, profili utente e allocazioni di risorse.

La differenza fondamentale è che Run:ai è progettato per integrarsi con strumenti e framework AI di terze parti e gestire ambienti contenitori accelerati da GPU. Il suo portafoglio software include elementi come la pianificazione del carico di lavoro e il partizionamento dell'acceleratore, l'ultimo dei quali consente di distribuire più carichi di lavoro su una singola GPU.

Secondo Nvidia, la piattaforma Run:ai supporta già le sue piattaforme di elaborazione DGX, comprese le configurazioni Superpod, il sistema di gestione dei cluster Base Command, la libreria di contenitori NGC e una suite AI Enterprise.

Per quanto riguarda l'intelligenza artificiale, Kubernetes vanta una serie di vantaggi rispetto alle implementazioni bare metal, poiché l'ambiente può essere configurato per gestire la scalabilità su più risorse, potenzialmente distribuite geograficamente.

Per ora, i clienti Run:ai esistenti non devono preoccuparsi che Nvidia imponga importanti modifiche alla piattaforma. In un rilasciare, Nvidia ha affermato che continuerà a offrire i prodotti Run:ai con lo stesso modello di business, per l'immediato futuro, qualunque cosa ciò possa significare.

Nel frattempo, coloro che sono abbonati al DGX Cloud di Nvidia avranno accesso al set di funzionalità di Run:ai per i loro carichi di lavoro AI, comprese le implementazioni LLM (Large Language Model).

L'annuncio arriva poco più di un mese dopo quello del colosso delle GPU svelato una nuova piattaforma contenitore per la creazione di modelli di intelligenza artificiale chiamata Nvidia Inference Microservices (NIM).

I NIMS sono essenzialmente immagini contenitore preconfigurate e ottimizzate contenenti il ​​modello, sia esso la versione open source o proprietaria, con tutte le dipendenze necessarie per farlo funzionare.

Come la maggior parte dei contenitori, i NIM possono essere distribuiti su una varietà di runtime, inclusi i nodi Kubernetes con accelerazione CUDA.

L'idea alla base della trasformazione di LLM e altri modelli di intelligenza artificiale in microservizi è che possono essere collegati in rete e utilizzati per creare modelli di intelligenza artificiale più complessi e ricchi di funzionalità di quanto sarebbe altrimenti possibile senza addestrare personalmente un modello dedicato, o almeno questo è il modo in cui Nvidia immagina che le persone utilizzino loro.

Con l'acquisizione di Run:ai, Nvidia dispone ora di un livello di orchestrazione Kubernetes per gestire l'implementazione di questi NIM nella sua infrastruttura GPU. ®

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/04/24/runai_acquisition_nvidia/