Mata AI-elden med centralisering

Sponsrad funktion En ständig ström av revolutionerande teknologier och upptäckter – eld, jordbruk, hjulet, tryckpressen och internet, för att bara nämna några – har djupt format mänsklig utveckling och civilisation. Och den innovationscykeln fortsätter med artificiell intelligens (AI). 

Forskningsföretaget IDC har gått så långt som att dra slutsatsen att AI verkligen är svaret på nästan "allt". Rasmus Andsbjerg, associate vice president, data and analytics på IDC säger: "Verkligheten är att AI erbjuder lösningar på allt vi står inför för tillfället. AI kan vara en källa för snabbspårning av digitala transformationsresor, möjliggöra kostnadsbesparingar i tider av häpnadsväckande inflation och stödja automatiseringsinsatser i tider av brist på arbetskraft.”

Visst, och inom alla branscher och funktioner, börjar slutanvändarorganisationer upptäcka fördelarna med AI, eftersom allt kraftfullare algoritmer och underliggande infrastruktur dyker upp för att möjliggöra bättre beslutsfattande och högre produktivitet. 

Världsomspännande intäkter för marknaden för artificiell intelligens (AI), inklusive tillhörande mjukvara, hårdvara och tjänster för både AI-centrerade och AI icke-centrerade applikationer, uppgick till 383.3 miljarder USD 2021. Det var en ökning med 20.7 % jämfört med föregående år, enligt de flesta nyligen International Data Corporation (IDC) Worldwide Semi-annual Artificiell Intelligens Tracker.

På samma sätt fortsätter distributionen av AI-programvara till molnet att visa stadig tillväxt. IDC förväntar sig att molnversioner av nyinköpt AI-programvara kommer att överträffa lokala distributioner 2022.

Himlen är gränsen för AI

Dr Ronen Dar, teknisk chef för AI-specialisten Run:ai, som har skapat en datorhanteringsplattform för AI, anser att himlen är gränsen för den begynnande företags-AI-sektorn. 

"AI är en marknad som vi ser växer väldigt snabbt. Och när det gäller företag ser vi efterfrågan och adoption för maskininlärning och AI. Och jag tror att det just nu finns en ny teknik här som ger nya möjligheter som kommer att förändra världen; som kommer att revolutionera företag”, konstaterar Dar. 

Det finns också en allt tydligare förståelse för behovet av att börja utforska och experimentera med AI och förstå hur man integrerar AI i affärsmodeller.

Dar tror att AI kan ge "fantastiska fördelar" för att förbättra befintliga företags affärsprocesser: "När det gäller att optimera och bevisa den nuvarande verksamheten ser vi många användningsfall kring AI och maskininlärning som förbättrar verksamheten och hur beslut fattas kring utbud och efterfrågan.”

Han påpekar att nya modeller för djupinlärning baserade på neurala nätverk kan förbättra processer, beslutsfattande och noggrannheten i kritiska affärsprocesser såsom bedrägeriupptäckt inom finansbranschen. Sjukvården är en annan sektor där potentialen för AI är "stor", särskilt när det gäller att hjälpa läkare att fatta bättre kliniska beslut och hjälpa till att upptäcka och utveckla nya läkemedel. 

Och när vi ser längre fram förutspår Dar att AI-teknik kommer att bidra till att leverera helt nya kommersiella möjligheter som för närvarande inte finns inom sektorer som självkörande fordon och uppslukande spel. 

Infrastrukturhinder att övervinna

Trots den uppenbara potentialen för AI och maskininlärning i företaget, erkänner Dar att kommersiell implementering av AI hålls tillbaka av problem kring tillhandahållande av infrastruktur. Han rekommenderar att företag måste titta på hur AI kommer in i en organisation i första hand.

Vanligtvis involverar detta en okoordinerad, avdelning-för-avdelning-process som ser att olika team tillhandahåller teknik och resurser oberoende, vilket leder till silade distributioner. IT kan inte effektivt kontrollera dessa ad hoc-projekt och har inte insyn i vad som pågår. Och detta gör det svårt för att inte säga omöjligt att beräkna ROI på utgifterna för AI-infrastruktur. 

"Det är det klassiska problemet: förr i tiden var det shadow IT och nu är det shadow AI", säger Dar. 

Dessutom är den toppmoderna infrastrukturen som behövs för AI/ML en investering eftersom företag behöver kraftfull GPU-accelererad datorhårdvara för att bearbeta mycket komplexa data och för att träna modeller. 

"AI-team behöver mycket datorkraft för att träna modeller, vanligtvis med hjälp av GPU:er, som är förstklassiga datacenterresurser som kan silas och inte användas effektivt", säger Dar. "Det kan definitivt leda till att mycket pengar går till spillo." 

Den silade infrastrukturen kan till exempel resultera i mindre än 10 % utnyttjandenivåer.

Enligt Run:ai-undersökningen, 2021 State of AI Infrastructure Survey, publicerad i oktober 2021, sa 87 procent av de tillfrågade att de upplever en viss grad av GPU/datorresursallokeringsproblem, med 12 procent säger att detta händer ofta. Som ett resultat rapporterade 83 procent av de undersökta företagen att de inte fullt ut utnyttjade sin GPU och AI-hårdvara. Faktum är att nästan två tredjedelar (61 procent) angav att deras GPU och AI-hårdvara för det mesta har "måttliga" användningsnivåer.

Centraliseringen av AI

För att lösa dessa problem förespråkar Dar en centralisering av tillhandahållandet av AI-resurser. Run:AI har utvecklat en datorhanteringsplattform för AI som gör just detta, centralisera och virtualisera GPU-beräkningsresursen. Genom att slå ihop GPU:er i ett enda virtuellt lager och automatisera arbetsbelastningsschemaläggning för 100 procents utnyttjande, erbjuder detta tillvägagångssätt fördelar jämfört med siled system på avdelningsnivå. 

Att centralisera infrastrukturen ger tillbaka kontroll och synlighet, samtidigt som datavetare frigörs från kostnaderna för att hantera infrastrukturen. AI-team delar en universell AI-beräkningsresurs som dynamiskt kan ringas upp och ner när efterfrågan ökar eller minskar, vilket eliminerar flaskhalsar och perioder av underutnyttjande. 

Detta tillvägagångssätt, hävdar Dar, kan hjälpa organisationer att få ut det mesta av sin hårdvara och frigöra dataforskare från begränsningarna av underliggande resursbegränsning. Allt detta innebär att de kan köra fler jobb och få fler AI-modeller i produktion. 

Ett exempel ges från London Medical Imaging & Artificial Intelligence Centre for Value Based Healthcare, som leds av King's College London och baserat på St. Thomas' Hospital. Den använder medicinska bilder och elektronisk sjukvårdsdata för att träna sofistikerade djupinlärningsalgoritmer för datorseende och bearbetning av naturliga språk. Dessa algoritmer används för att skapa nya verktyg för effektiv screening, snabbare diagnos och personliga terapier.

Centret insåg att dess äldre AI-infrastruktur led av effektivitetsproblem: det totala GPU-utnyttjandet var under 30 procent med "betydande" inaktiva perioder för vissa komponenter. Efter att ha övergått till att ta itu med dessa problem genom att anta en centraliserad AI-beräkningsmodell baserad på Run:ai:s plattform, ökade dess GPU-användning med 110 procent, med parallella förbättringar i experimenthastighet och övergripande forskningseffektivitet.

"Våra experiment kan ta dagar eller minuter, med hjälp av en ström av datorkraft eller ett helt kluster", säger Dr M. Jorge Cardoso, docent och universitetslektor i AI vid King's College London och CTO för AI Centre. "Att minska tiden till resultat säkerställer att vi kan ställa och svara på mer kritiska frågor om människors hälsa och liv," 

Centralisering av AI GPU-resurser gav också värdefulla kommersiella fördelar till Wayve, ett Londonbaserat företag som utvecklar AI-mjukvara för självkörande bilar. Dess teknologi är designad för att inte vara beroende av avkänning, utan fokuserar istället på större intelligens, för bättre autonom körning i täta stadsområden.

Wayves Fleet Learning Loop involverar en kontinuerlig cykel av datainsamling, kurering, utbildning av modeller, omsimulering och licensieringsmodeller innan de distribueras i flottan. Företagets primära GPU-beräkningsförbrukning kommer från Fleet Learning Loop-produktionsutbildningen. Den tränar produktens baslinje med den fullständiga datamängden och omtränar kontinuerligt för att samla in ny data genom iterationer av flottans inlärningsloop.

Företaget började inse att det led av "skräck" för GPU-schemaläggning: även om nästan 100 procent av dess tillgängliga GPU-resurser allokerades till forskare, användes mindre än 45 procent när testet först gjordes. 

"Eftersom GPU:er statiskt tilldelades forskare, när forskare inte använde sina tilldelade GPU:er kunde andra inte komma åt dem, vilket skapade illusionen att GPU:er för modellträning hade kapacitet trots att många GPU:er satt inaktiva", noterar Wayve. 

Att arbeta med Run:ai tacklade detta problem genom att ta bort silos och eliminera statisk allokering av resurser. Pooler av delade GPU:er skapades så att team kunde få åtkomst till fler GPU:er och köra fler arbetsbelastningar, vilket ledde till en 35% förbättring av deras användning. 

Spegla CPU-effektivitetsförbättringar

Genom att spegla det sätt på vilket VMware har medfört betydande effektivitetsförbättringar av hur server-CPU:er används till maximal kapacitet under de senaste åren, kommer nya innovationer nu i drift för att optimera effektiviteten i GPU-användningen för AI-beräkningsarbetsbelastningar. 

"Om du tänker på mjukvarustacken som körs ovanpå processorer, byggdes den med mycket VMware och virtualisering", förklarar Dar. ”GPU:er är relativt nya i datacentret, och mjukvara för AI och virtualisering – som t.ex NVIDIA AI Enterprise – är också en ny utveckling.” 

"Vi tar med avancerad teknik inom det området med funktioner som fraktionerad GPU, jobbbyte och. gör det möjligt för arbetsbelastningar att effektivt dela GPU: er”, säger Dar och tillägger att ytterligare förbättringar planeras.

Run:ai arbetar nära NVIDIA för att förbättra och förenkla användningen av GPU:er i företaget. Det senaste samarbetet inkluderar att möjliggöra multimoln GPU-flexibilitet för företag som använder GPU:er i molnet, och integration med NVIDIA Triton Inference Server programvara för att förenkla processen för att distribuera modeller i produktionen.

På det sätt som stora innovationer under historiens gång har haft en djupgående inverkan på människosläktet och världen, noterar Dar att kraften i AI kommer att behöva utnyttjas med omsorg för att maximera dess potentiella fördelar, samtidigt som potentiella nackdelar hanteras. Han jämför AI med den mest ursprungliga innovationen av alla: eld. 

"Det är som en eld som förde med sig många fantastiska saker och förändrade människors liv. Branden medförde också fara. Så människor förstod hur man lever med eld, säger Dar. "Jag tror att det här också finns här i AI nu för tiden." 

Sponsras av Run:ai.