Mat AI-brannen med sentralisering

Sponset funksjon En jevn strøm av revolusjonerende teknologier og oppdagelser – brann, landbruk, hjulet, trykkpressen og internett, for å nevne noen få – har dypt formet menneskelig utvikling og sivilisasjon. Og den innovasjonssyklusen fortsetter med kunstig intelligens (AI). 

Forskningsfirmaet IDC har gått så langt som å konkludere med at AI egentlig er svaret på omtrent «alt». Rasmus Andsbjerg, assisterende visepresident for data og analyse ved IDC sier: «Virkeligheten er at AI tilbyr løsninger på alt vi står overfor for øyeblikket. AI kan være en kilde for raske digitale transformasjonsreiser, muliggjøre kostnadsbesparelser i tider med svimlende inflasjonsrater og støtte automatiseringsinnsats i tider med mangel på arbeidskraft."

Absolutt, og på tvers av alle bransjer og funksjoner, begynner sluttbrukerorganisasjoner å oppdage fordelene med AI, ettersom stadig kraftigere algoritmer og underliggende infrastruktur dukker opp for å muliggjøre bedre beslutningstaking og høyere produktivitet. 

Verdensomspennende inntekter for kunstig intelligens (AI)-markedet, inkludert tilhørende programvare, maskinvare og tjenester for både AI-sentriske og AI ikke-sentriske applikasjoner, utgjorde 383.3 milliarder dollar i 2021. Det var opp 20.7 % fra året før, ifølge de fleste nylig International Data Corporation (IDC) Worldwide Semiannual Artificial Intelligence Tracker.

På samme måte fortsetter distribusjonen av AI-programvare til skyen å vise jevn vekst. IDC forventer at skyversjoner av nyinnkjøpt AI-programvare vil overgå lokale distribusjoner i 2022.

Himmelen er grensen for AI

Dr. Ronen Dar, teknologisjef for AI-spesialisten Run:ai, som har laget en databehandlingsplattform for AI, mener at himmelen er grensen for den begynnende AI-sektoren for bedrifter. 

"AI er et marked som vi ser vokser veldig raskt. Og når det gjelder bedrifter, ser vi etterspørsel og bruk for maskinlæring og AI. Og jeg tror akkurat nå det er en ny teknologi her som bringer nye muligheter som kommer til å forandre verden; som kommer til å revolusjonere bedrifter,» bemerker Dar. 

Det er også en stadig klarere forståelse av behovet for å begynne å utforske og eksperimentere med AI og forstå hvordan man kan integrere AI i forretningsmodeller.

Dar mener at AI kan gi "utrolige fordeler" for å forbedre eksisterende forretningsprosesser: "Når det gjelder å optimalisere og bevise den nåværende virksomheten, ser vi mange brukssaker rundt AI og maskinlæring som forbedrer driften og hvordan beslutninger tas rundt tilbud og etterspørsel."

Han påpeker at nye dyplæringsmodeller basert på nevrale nettverk kan forbedre prosesser, beslutningstaking og nøyaktigheten til kritiske forretningsprosesser som svindeloppdagelse i finansnæringen. Helsevesenet er en annen sektor hvor potensialet til AI er «stort», spesielt når det gjelder å hjelpe leger med å ta bedre kliniske beslutninger og hjelpe til med å oppdage og utvikle nye medisiner. 

Og ser vi lenger fremover, spår Dar at AI-teknologi vil bidra til å levere helt nye kommersielle muligheter som foreløpig ikke finnes i sektorer som selvkjørende kjøretøy og oppslukende spill. 

Infrastrukturhindringer å overvinne

Til tross for det åpenbare potensialet for AI og maskinlæring i bedriften, erkjenner Dar at kommersiell distribusjon av AI blir holdt tilbake av problemer rundt infrastrukturtilførsel. Han anbefaler at bedrifter må se på måten AI kommer inn i en organisasjon på i utgangspunktet.

Vanligvis involverer dette en ukoordinert, avdeling-for-avdeling-prosess som ser at forskjellige team klargjør teknologi og ressurser uavhengig, noe som fører til siled-distribusjoner. IT kan ikke effektivt kontrollere disse ad hoc-prosjektene og har ikke innsyn i hva som skjer. Og dette gjør det vanskelig om ikke umulig å beregne ROI på AI-infrastrukturkostnadene. 

"Det er det klassiske problemet: den gang var det skygge-IT, og nå er det skygge-AI," sier Dar. 

I tillegg er den toppmoderne infrastrukturen som trengs for AI/ML en investering ettersom bedrifter trenger kraftig GPU-akselerert datamaskinvare for å behandle svært komplekse data og trene modeller. 

"AI-team trenger mye datakraft for å trene modeller, vanligvis ved å bruke GPU-er, som er førsteklasses datasenterressurser som kan skjermes og ikke brukes effektivt," sier Dar. "Det kan definitivt føre til at mye penger blir kastet bort." 

Den silede infrastrukturen kan føre til mindre enn 10 % utnyttelsesnivåer, for eksempel.

I følge Run:ai-undersøkelsen, 2021 State of AI Infrastructure Survey, publisert i oktober 2021, sa 87 prosent av respondentene at de opplever et visst nivå av GPU/dataressursallokeringsproblemer, mens 12 prosent sa at dette skjer ofte. Som et resultat rapporterte 83 prosent av de undersøkte selskapene at de ikke utnyttet GPU- og AI-maskinvaren fullt ut. Faktisk indikerte nesten to tredjedeler (61 prosent) at GPU- og AI-maskinvaren for det meste har "moderat" utnyttelsesnivå.

Sentraliseringen av AI

For å løse disse problemene tar Dar til orde for å sentralisere tilbudet av AI-ressurser. Run:AI har utviklet en databehandlingsplattform for AI som gjør nettopp dette, sentraliserer og virtualiserer GPU-databehandlingsressursen. Ved å samle GPUer i ett enkelt virtuelt lag og automatisere arbeidsbelastningsplanlegging for 100 prosent utnyttelse, gir denne tilnærmingen fordeler sammenlignet med siled systemer på avdelingsnivå. 

Sentralisering av infrastrukturen gir tilbake kontroll og synlighet, samtidig som dataforskere frigjøres fra administrasjonen av infrastrukturen. AI-team deler en universell AI-beregningsressurs som dynamisk kan ringes opp og ned når etterspørselen øker eller reduseres, og eliminerer flaskehalser og perioder med underutnyttelse. 

Denne tilnærmingen, hevder Dar, kan hjelpe organisasjoner med å få mest mulig ut av maskinvaren og frigjøre dataforskere fra begrensningene til underliggende ressursbegrensninger. Alt dette betyr at de kan kjøre flere jobber og bringe flere AI-modeller i produksjon. 

Et eksempel er gitt fra London Medical Imaging & Artificial Intelligence Centre for Value Based Healthcare, ledet av King's College London og basert på St. Thomas' Hospital. Den bruker medisinske bilder og elektroniske helsetjenester for å trene opp sofistikerte dyplæringsalgoritmer for datasyn og naturlig språkbehandling. Disse algoritmene brukes til å lage nye verktøy for effektiv screening, raskere diagnose og tilpassede terapier.

Senteret innså at den gamle AI-infrastrukturen led av effektivitetsproblemer: total GPU-bruk var under 30 prosent med "betydelige" inaktive perioder for noen komponenter. Etter å ha flyttet for å løse disse problemene ved å ta i bruk en sentralisert AI-databehandlingsmodell basert på Run:ai sin plattform, økte GPU-bruken med 110 prosent, med parallelle forbedringer i eksperimenthastighet og generell forskningseffektivitet.

"Eksperimentene våre kan ta dager eller minutter, ved å bruke en strøm av datakraft eller en hel klynge," sier Dr M. Jorge Cardoso, førsteamanuensis og førsteamanuensis i AI ved King's College London og CTO ved AI Centre. "Å redusere tid til resultater sikrer at vi kan stille og svare på flere kritiske spørsmål om folks helse og liv," 

Sentralisering av AI GPU-ressurser ga også verdifulle kommersielle fordeler til Wayve, et London-basert firma som utvikler AI-programvare for selvkjørende biler. Teknologien er designet for ikke å være avhengig av sansing, men fokuserer i stedet på større intelligens, for bedre autonom kjøring i tette byområder.

Wayve's Fleet Learning Loop involverer en kontinuerlig syklus med datainnsamling, kurering, opplæring av modeller, re-simulering og lisensiering av modeller før distribusjon i flåten. Selskapets primære GPU-beregningsforbruk kommer fra Fleet Learning Loop produksjonstrening. Den trener opp produktets grunnlinje med hele datasettet og trener kontinuerlig for å samle inn nye data gjennom iterasjoner av flåtelæringssløyfen.

Selskapet begynte å innse at det led av "skrekk" for GPU-planlegging: Selv om nesten 100 prosent av de tilgjengelige GPU-ressursene ble allokert til forskere, ble mindre enn 45 prosent brukt da testingen ble utført. 

"Fordi GPU-er ble statisk tildelt forskere, når forskere ikke brukte sine tildelte GPU-er, kunne andre ikke få tilgang til dem, noe som skapte en illusjon om at GPU-er for modelltrening hadde kapasitet selv om mange GPU-er satt inaktive," bemerker Wayve. 

Arbeid med Run:ai taklet dette problemet ved å fjerne siloer og eliminere statisk allokering av ressurser. Det ble opprettet bassenger med delte GPU-er som tillater team å få tilgang til flere GPUer og kjøre flere arbeidsbelastninger, noe som førte til en 35 % forbedring av bruken. 

Speil CPU-effektivitetsforbedringer

Som en speiling av måten VMware har brakt betydelige effektivitetsforbedringer på hvordan server-CPU-er brukes til maksimal kapasitet de siste årene, kommer nye innovasjoner nå i produksjon for å optimalisere effektiviteten til GPU-utnyttelsen for AI-beregningsarbeidsbelastninger. 

"Hvis du tenker på programvarestabelen som kjører på toppen av CPUer, ble den bygget med mye VMware og virtualisering," forklarer Dar. «GPUer er relativt nye i datasenteret, og programvare for AI og virtualisering – som f.eks NVIDIA AI Enterprise – er også en nylig utvikling.» 

"Vi bringer avansert teknologi på det området med funksjoner som fraksjonert GPU, jobbbytte og. slik at arbeidsbelastninger effektivt kan dele GPUer,” sier Dar, og legger til at ytterligere forbedringer planlegges.

Run:ai jobber tett med NVIDIA for å forbedre og forenkle bruken av GPUer i bedriften. Det siste samarbeidet inkluderer muliggjøring av multisky-GPU-fleksibilitet for selskaper som bruker GPU-er i skyen, og integrasjon med NVIDIA Triton Inference Server programvare for å forenkle prosessen med å distribuere modeller i produksjon.

På den måten som store innovasjoner i løpet av historien har hatt dyp innvirkning på menneskeheten og verden, bemerker Dar at kraften til AI må utnyttes med forsiktighet for å maksimere potensielle fordeler, samtidig som potensielle ulemper håndteres. Han sammenligner AI med den mest opprinnelige innovasjonen av alle: brann. 

«Det er som en ild som brakte mange flotte ting og forandret menneskeliv. Brann brakte også fare. Så mennesker forsto hvordan de skulle leve med ild, sier Dar. "Jeg tror dette også er her i AI i disse dager." 

Sponset av Run:ai.