Voed het AI-vuur met centralisatie

Gesponsorde functie Een gestage stroom van revolutionaire technologieën en ontdekkingen - vuur, landbouw, het wiel, de drukpers en internet, om er maar een paar te noemen - hebben de menselijke ontwikkeling en beschaving diepgaand gevormd. En die innovatiecyclus zet zich voort met kunstmatige intelligentie (AI). 

Onderzoeksbureau IDC is zelfs zo ver gegaan om te concluderen dat AI echt het antwoord is op zowat "alles". Rasmus Andsbjerg, associate vice president, data and analytics bij IDC zegt: “De realiteit is dat AI oplossingen biedt voor alles waar we op dit moment mee te maken hebben. AI kan een bron zijn voor snelle digitale transformatietrajecten, kostenbesparingen mogelijk maken in tijden van duizelingwekkende inflatiepercentages en automatiseringsinspanningen ondersteunen in tijden van arbeidstekorten.”

Zeker, en in alle sectoren en functies beginnen organisaties van eindgebruikers de voordelen van AI te ontdekken, aangezien steeds krachtigere algoritmen en onderliggende infrastructuur opduiken om betere besluitvorming en hogere productiviteit mogelijk te maken. 

De wereldwijde inkomsten voor de markt voor kunstmatige intelligentie (AI), inclusief bijbehorende software, hardware en diensten voor zowel AI-centrische als AI-niet-centrische toepassingen, bedroegen in 383.3 $ 2021 miljard. Dat was 20.7% meer dan het voorgaande jaar, volgens de meest recent International Data Corporation (IDC) Wereldwijde halfjaarlijkse kunstmatige intelligentie-tracker.

Evenzo blijft de inzet van AI-software in de cloud een gestage groei vertonen. IDC verwacht dat cloudversies van nieuw aangekochte AI-software in 2022 de on-premises implementaties zullen overtreffen.

De lucht is de limiet voor AI

Dr. Ronen Dar, chief technology officer van AI-specialist Run:ai, die een computerbeheerplatform voor AI heeft gecreëerd, is van mening dat de sky the limit is voor de opkomende AI-sector voor ondernemingen. 

“AI is een markt waarvan we zien dat deze zeer snel groeit. En in termen van ondernemingen zien we vraag naar en acceptatie voor machine learning en AI. En ik denk dat er op dit moment een nieuwe technologie is die nieuwe mogelijkheden met zich meebrengt die de wereld gaan veranderen; die een revolutie teweeg zullen brengen in bedrijven”, merkt Dar op. 

Er is ook een steeds duidelijker begrip van de noodzaak om te beginnen met het verkennen en experimenteren met AI en te begrijpen hoe AI kan worden geïntegreerd in bedrijfsmodellen.

Dar is van mening dat AI "verbazingwekkende voordelen" kan bieden om bestaande zakelijke bedrijfsprocessen te verbeteren: "Wat betreft het optimaliseren en bewijzen van de huidige business, zien we veel use-cases rond AI en machine learning, wat de bedrijfsvoering verbetert en hoe beslissingen worden genomen. rond vraag en aanbod.”

Hij wijst erop dat nieuwe deep learning-modellen op basis van neurale netwerken processen, besluitvorming en de nauwkeurigheid van kritieke bedrijfsprocessen, zoals fraudedetectie in de financiële dienstverlening, kunnen verbeteren. Gezondheidszorg is een andere sector waar het potentieel van AI "enorm" is, met name in termen van het helpen van artsen om betere klinische beslissingen te nemen en het helpen ontdekken en ontwikkelen van nieuwe medicijnen. 

En verder vooruitkijkend, voorspelt Dar dat AI-technologie gloednieuwe commerciële kansen zal bieden die momenteel niet bestaan ​​in sectoren als zelfrijdende voertuigen en meeslepende gaming. 

Hindernissen in de infrastructuur die moeten worden overwonnen

Ondanks het duidelijke potentieel voor AI en machine learning in de onderneming, erkent Dar dat de commerciële inzet van AI wordt belemmerd door problemen rond infrastructuurvoorziening. Hij adviseert dat bedrijven in de eerste plaats moeten kijken naar de manier waarop AI een organisatie binnendringt.

Meestal gaat het om een ​​ongecoördineerd proces van afdeling tot afdeling, waarbij verschillende teams onafhankelijk van elkaar technologie en resources inrichten, wat leidt tot geïsoleerde implementaties. IT kan deze ad-hocprojecten niet effectief controleren en heeft geen zicht op wat er gaande is. En dit maakt het moeilijk, zo niet onmogelijk, om de ROI op de AI-infrastructuuruitgaven te berekenen. 

"Het is het klassieke probleem: vroeger was het schaduw-IT en nu is het schaduw-AI", zegt Dar. 

Bovendien is de ultramoderne infrastructuur die nodig is voor AI/ML een investering, aangezien ondernemingen krachtige GPU-versnelde computerhardware nodig hebben om zeer complexe gegevens te verwerken en modellen te trainen. 

"AI-teams hebben veel rekenkracht nodig om modellen te trainen, meestal met behulp van GPU's, dit zijn hoogwaardige datacenterbronnen die kunnen worden geïsoleerd en niet efficiënt kunnen worden gebruikt", zegt Dar. "Het kan er zeker toe leiden dat er veel geld wordt verspild." 

Die silo-infrastructuur kan bijvoorbeeld resulteren in een bezettingsgraad van minder dan 10%.

Volgens de Run:ai-poll, De State of AI Infrastructure-enquête 2021, gepubliceerd in oktober 2021, zei 87 procent van de respondenten dat ze enige mate van GPU-/computerresourcetoewijzingsproblemen ervaren, en 12 procent zegt dat dit vaak gebeurt. Als gevolg hiervan meldde 83 procent van de ondervraagde bedrijven dat ze hun GPU- en AI-hardware niet volledig gebruikten. Bijna tweederde (61 procent) gaf zelfs aan dat hun GPU- en AI-hardware meestal op een "matig" gebruiksniveau zijn.

De centralisatie van AI

Om deze problemen op te lossen pleit Dar voor het centraliseren van de levering van AI-middelen. Run:AI heeft een rekenbeheerplatform voor AI ontwikkeld dat precies dit doet, door de GPU-rekenbron te centraliseren en te virtualiseren. Door GPU's in een enkele virtuele laag te bundelen en de werklastplanning te automatiseren voor 100 procent gebruik, biedt deze aanpak voordelen in vergelijking met silo-systemen op afdelingsniveau. 

Het centraliseren van de infrastructuur geeft controle en zichtbaarheid terug, terwijl datawetenschappers worden bevrijd van de overhead van het beheer van de infrastructuur. AI-teams delen een universele AI-rekenbron die dynamisch op en neer kan worden gebeld naarmate de vraag toeneemt of afneemt, waardoor knelpunten in de vraag en perioden van onderbenutting worden geëlimineerd. 

Deze aanpak, stelt Dar, kan organisaties helpen het meeste uit hun hardware te halen en datawetenschappers te bevrijden van de beperkingen van onderliggende resourcebeperkingen. Dit alles betekent dat ze meer taken kunnen uitvoeren en meer AI-modellen in productie kunnen nemen. 

Een voorbeeld wordt gegeven door het London Medical Imaging & Artificial Intelligence Centre for Value Based Healthcare, geleid door King's College London en gevestigd in het St. Thomas' Hospital. Het maakt gebruik van medische beelden en elektronische gezondheidszorggegevens om geavanceerde deep learning-algoritmen te trainen voor computervisie en natuurlijke taalverwerking. Deze algoritmen worden gebruikt om nieuwe tools te creëren voor effectieve screening, snellere diagnose en gepersonaliseerde therapieën.

Het centrum realiseerde zich dat zijn verouderde AI-infrastructuur te kampen had met efficiëntieproblemen: het totale GPU-gebruik was minder dan 30 procent met "aanzienlijke" inactiviteitsperioden voor sommige componenten. Na stappen om deze problemen aan te pakken door een gecentraliseerd AI-rekenmodel toe te passen op basis van het Run:ai-platform, steeg het GPU-gebruik met 110 procent, met parallelle verbeteringen in experimentsnelheid en algehele onderzoeksefficiëntie.

"Onze experimenten kunnen dagen of minuten duren, met een straaltje rekenkracht of een heel cluster", zegt dr. M. Jorge Cardoso, universitair hoofddocent en hoofddocent AI aan King's College London en CTO van het AI Centre. "Door de tijd tot resultaten te verkorten, kunnen we meer kritische vragen stellen en beantwoorden over de gezondheid en het leven van mensen," 

Het centraliseren van AI GPU-bronnen leverde ook waardevolle commerciële voordelen op voor Wayve, een in Londen gevestigd bedrijf dat AI-software ontwikkelt voor zelfrijdende auto's. Zijn technologie is ontworpen om niet afhankelijk te zijn van detectie, maar in plaats daarvan te focussen op meer intelligentie, voor beter autonoom rijden in dichtbevolkte stedelijke gebieden.

Wayve's Fleet Learning Loop omvat een continue cyclus van gegevensverzameling, curatie, training van modellen, hersimulatie en licentiemodellen voordat deze in de vloot worden geïmplementeerd. Het primaire GPU-rekenverbruik van het bedrijf is afkomstig van de Fleet Learning Loop-productietraining. Het traint de basislijn van het product met de volledige dataset en traint continu opnieuw om nieuwe data te verzamelen door iteraties van de leercyclus van het wagenpark.

Het bedrijf begon zich te realiseren dat het leed aan 'horror' van de GPU-planning: hoewel bijna 100 procent van de beschikbare GPU-bronnen was toegewezen aan onderzoekers, werd minder dan 45 procent gebruikt toen de tests aanvankelijk werden uitgevoerd. 

"Omdat GPU's statisch waren toegewezen aan onderzoekers, konden anderen er geen toegang toe krijgen als onderzoekers hun toegewezen GPU's niet gebruikten, waardoor de illusie ontstond dat GPU's voor modeltraining vol waren, terwijl veel GPU's inactief waren", merkt Wayve op. 

Werken met Run:ai loste dit probleem op door silo's te verwijderen en statische toewijzing van middelen te elimineren. Er werden pools van gedeelde GPU's gecreëerd waardoor teams toegang kregen tot meer GPU's en meer workloads konden uitvoeren, wat leidde tot een verbetering van hun gebruik met 35%. 

Spiegel CPU-efficiëntieverbeteringen

In navolging van de manier waarop VMware de afgelopen jaren aanzienlijke efficiëntieverbeteringen heeft aangebracht in de manier waarop server-CPU's maximaal worden gebruikt, komen er nu nieuwe innovaties op gang om de efficiëntie van GPU-gebruik voor AI-computerworkloads te optimaliseren. 

"Als je nadenkt over de softwarestack die bovenop CPU's draait, is deze gebouwd met veel VMware en virtualisatie", legt Dar uit. “GPU’s zijn relatief nieuw in het datacenter, en software voor AI en virtualisatie – zoals NVIDIA AI Enterprise – is ook een recente ontwikkeling.” 

“We brengen geavanceerde technologie op dat gebied met mogelijkheden zoals fractionele GPU, job swapping en. waardoor workloads efficiënt GPU's kunnen delen", zegt Dar, eraan toevoegend dat verdere verbeteringen worden gepland.

Run:ai werkt nauw samen met NVIDIA om het gebruik van GPU's in de onderneming te verbeteren en te vereenvoudigen. De meest recente samenwerking omvat het mogelijk maken van multi-cloud GPU-flexibiliteit voor bedrijven die GPU's in de cloud gebruiken, en integratie met NVIDIA Triton Inference-server software om het proces van het implementeren van modellen in productie te vereenvoudigen.

Op de manier waarop grote innovaties in de loop van de geschiedenis diepgaande gevolgen hebben gehad voor de mensheid en de wereld, merkt Dar op dat de kracht van AI met zorg moet worden aangewend om de potentiële voordelen ervan te maximaliseren en tegelijkertijd de potentiële nadelen te beheersen. Hij vergelijkt AI met de meest oer-innovatie van allemaal: vuur. 

“Het is als vuur dat veel geweldige dingen heeft gebracht en mensenlevens heeft veranderd. Vuur bracht ook gevaar met zich mee. Dus mensen begrepen hoe ze met vuur moesten leven', zegt Dar. "Ik denk dat dit tegenwoordig ook hier in AI is." 

Gesponsord door Run:ai.