En AI-smaksatt uppsättning HPC-förutsägelser för 2023

Många förutsägelser för HPC-AI 2023 kom över vår akterspegel under de senaste veckorna, här är utdrag från de vi fann mest intressanta, fräscha, insiktsfulla – till och med motstridiga.

Altair Chefsforskare Rosemary Francis:
Go Big or Go Home – HPC:s större arbetsbelastningar.När HPC-arbetsbelastningen tar på sig big data-applikationer, såsom inom biovetenskap och partikelacceleratorer som Storbritanniens Diamond Light Source (för mer forskning och experimenterande) ser vi en explosion i arbetsflödesverktyg. Inför 2023 kommer denna omvandling till flerdimensionell schemaläggning att vara den största drivkraften för förändringar inom HPC när branschen försöker modernisera sig själv och anpassa sig till dessa stora uppkopplade applikationer.

HPC tar itu med djupinlärning:När djupinlärning blir mer utbredd 2023 kommer vi att se en ytterligare förändring av HPC-arbetsbelastningen. Medan de flesta maskininlärningsarbetsbelastningar till en början kördes på Kubernetes eller andra containerorkestreringsramverk, har det blivit tydligt att dessa system är designade för mikrotjänster, inte för de sprängfyllda, datorintensiva maskinarbetsbelastningar som nu krävs för djupinlärning. Kommersiella HPC-arbetsbelastningshanterare behöver omfattande containerstöd så att organisationer kan spola sin dator och börja dra fördel av batchschemaläggning, molnsprängning och prisdelning – alla viktiga aspekter av effektiv HPC.

Joe Fitzsimons, VD för Horizon Quantum Computing, om döden av NISQ och en övergång till feltolerans i kvantberäkning
"Under de senaste åren har applikationsutveckling för kvantberäkningar sett ett särskilt fokus på NISQ-regimen, med hänvisning till Noisy Intermediate Scale Quantum-processorer. "Bruset" i den här titeln hänvisar till qubits mottaglighet för störningar från miljöfaktorer, som sträcker sig från närheten till andra qubits till kollisioner från kosmiska strålar. Detta brus introducerar potentiellt fatala fel i processerna för kvantberäkning. Det har länge varit känt att det är, åtminstone teoretiskt, möjligt att bygga kvantdatorer som innehåller felkorrigering, så att en i huvudsak perfekt dator kan byggas av ofullkomliga komponenter. Fokus för NISQ-forskningen har dock varit att utveckla variationsalgoritmer som hoppas vara robusta mot mindre störningar orsakade av omgivningsbrus, vilket möjliggör kvantfördelar utan felkorrigering.

"Tyvärr finns det relativt lite bevis för att sådana NISQ-algoritmer faktiskt kommer att ge en fördel jämfört med konventionella datorer för det breda utbudet av optimerings- och maskininlärningsuppgifter som de övervägs för. Även om det finns goda skäl att tro att tidiga kvantfördelar kan ses inom områden som kemi, där problemet som ska lösas är kvantmekaniskt till sin natur, finns det tecken på förnyat fokus på att nå feltoleransregimen, där fel är aktivt korrigerad och för vilka det finns mycket starkare bevis för kvantfördelar."

Dell Technologies' John Roese, Global CTO – Ett kvantiskt nyårslöfte
Jag kommer att etablera tidiga färdigheter för att dra fördel av kvant. Quantum computing blir verklig och om du inte har någon i ditt företag som förstår hur den här tekniken fungerar och hur den påverkar din verksamhet, kommer du att missa denna teknikvåg. Identifiera teamet, verktygen och uppgifterna du kommer att ägna åt kvant och börja experimentera. Bara förra månaden tillkännagav vi den lokala Dell Quantum Computing Solution som gör det möjligt för organisationer över branscher att börja dra fördel av accelererad beräkning genom kvantteknik som annars inte är tillgänglig för dem idag. Att investera i kvantsimulering och göra det möjligt för dina datavetenskaps- och AI-team att lära sig kvanternas nya språk och förmåga är avgörande 2023.

Motstridiga åsikter om ML från Gideon Mendels, VD och medgrundare av MLOps-plattformen Komet
När data körs torr: De flesta av förbättringarna i ML har kommit från träningsmodeller med mer och mer data, men vi kommer till en punkt då vi inte kommer att kunna göra det. En del intressant forskning har precis kommit ut som visar att vi kan få slut på data till 2026. Om den här avhandlingen håller kommer vi att sluta se förbättringar om vi inte kan bygga bättre modeller på samma datauppsättning.

Miljöpåverkan av generativa modeller: Generativa modeller ger extremt imponerande resultat, men det är inte klart vilken inverkan de har på en verklig verksamhet. Vad som är tydligt är effekten av koldioxidutsläpp av att träna dessa enorma modeller. Beräkningskraven är galna. Så det väcker frågan, "Är resultaten värda miljökostnaden?"

Gå bort från ett mjukvarutänkande: ML har följt utvecklingen av mjukvara hittills, men när ML mognar faller detta tillvägagångssätt. Ingen enskild leverantör kan göra allt. Team idag väljer de bästa tillgängliga verktygen som är relevanta för vad de försöker göra. Försäljare som försökte vara allt för ett team misslyckas. För att ML ska nå sin potential måste vi tänka annorlunda för att bygga rätt ML-stack för våra specifika affärsbehov.

Bias är överhypad: Bias är ett koncept som får mycket uppmärksamhet – och kommer att fortsätta att få mer med AI Bill of Rights – det är inget som många ML-utövare bryr sig om i vardagen. Naturligtvis står de för det, men sunda ML-utövare förstår problemen och vet vad de ska göra för att förhindra att partiskhet påverkar resultaten negativt.

Jonas Kubilius från Oxylabs Advisory Board på Generativ AI
Jonas Kubilius, medgrundare och VD på Three Thirds och medlem av Oxylabs Advisory Board, förutser en ökad utveckling av Stable Diffusion, GPT-3, GitHub Copilot och andra tekniker för innehållsgenerering till lönsamma produkter som används av utvecklare och innehållsskapare i verkligheten. världens applikationer. Han tillade att vi skulle se ett ökat intresse för multimodala modeller som kan hantera text, bilder, ljud och andra input för flera uppgifter.

"Vi kommer att börja se en förändring från att använda AI för statiska uppgifter, som klassificering, till språkmodelldrivna interaktiva arbetsflöden som hjälper människor att utföra sina uppgifter mer effektivt," sa Kubilius.

Peter Mattson, ordförande för MLCommons, på offentliga datamängder
"Vi kommer att möta en kombination av krävande nya forskningsutmaningar kring multimodal och konversations-AI, förutom juridiska, etiska och rättvisa problem med webbskrapad data i aktuella offentliga datauppsättningar. Branschen som helhet kommer också att behöva bättre stödja inte bara forskning utan också allmänt spridda ML-tillämpningar och nya regler (t.ex. genom testset av industriell kvalitet).

För att stödja en "nästa generation av offentlig data" förutspår Mattson ett behov av starka investeringar i datauppsättningar för de mest akuta samhälleliga och tekniska problemen, och kanaliserar den investeringen genom öppen källkod-liknande infrastruktur som gör det möjligt för hela samhället att bidra till och granska uppgifterna.

Moses Guttmann, VD och medgrundare av MLOps plattform ClearML, på ML Trends to Watch

Automation och bristen på ML-kunskaper Även om vi har sett många toppteknikföretag tillkännage uppsägningar under senare delen av 2022, är det troligt att ingen av (dem) säger upp sin mest begåvade maskininlärningspersonal. Men för att fylla tomrummet … i djupt tekniska team, kommer företag att behöva luta sig ännu längre mot automatisering för att hålla produktiviteten uppe och säkerställa att projekt når slutförandet. Vi förväntar oss att även se företag som använder ML-teknik införa fler system för att övervaka och styra prestanda och fatta mer datadrivna beslut om hur de ska hantera ML- eller datavetenskapsteam...

ML Talent Hamstring är över  Uppsägningar av ML-arbetare är sannolikt bland de senaste anställningarna, till skillnad från den mer långsiktiga ML-personalen... Eftersom ML och AI har blivit en vanligare teknik under det senaste decenniet började många stora teknikföretag anställa den här typen av arbetare för att de kunde hantera de ekonomiska kostnaderna och hålla dem borta från konkurrenterna – inte nödvändigtvis för att de behövdes. (Så) det är inte förvånande att se så många ML-arbetare bli uppsagda... Men när eran av ML-talanghamstring tar slut kan det inleda en ny våg av innovation och möjligheter för nystartade företag. Med så mycket talang som nu letar efter arbete, kommer vi sannolikt att se många av dessa människor sippra ut från storteknologin och in i små och medelstora företag eller nystartade företag.

ML Projektprioritering  Jag ser maskininlärningsprojekt kokas ner till två typer: säljbara funktioner som ledarna tror kommer att öka försäljningen och vinna mot konkurrenterna, och intäktsoptimeringsprojekt... Säljbara funktionsprojekt kommer sannolikt att skjutas upp, eftersom de är svåra att få ut snabbt, och istället , kommer de nu mindre ML-teamen att fokusera mer på intäktsoptimering eftersom det kan generera verkliga intäkter. Prestanda, i detta ögonblick, är avgörande för alla affärsenheter och ML är inte immun mot det.

Unified ML  En av faktorerna som bromsar införandet av MLOs är uppsjön av punktlösningar. Det är inte för att säga att de inte fungerar, men att de kanske inte integreras bra tillsammans och lämnar luckor i arbetsflödet. På grund av det är jag övertygad om att 2023 är året då branschen går mot enhetliga, end-to-end-plattformar byggda av moduler som kan användas individuellt och även integreras sömlöst med varandra (samt integreras enkelt med andra produkter) . Denna typ av plattformsmetod, med flexibiliteten hos enskilda komponenter, ger den typ av smidig upplevelse som dagens specialister letar efter. Det är enklare än att köpa poängprodukter och lappa ihop dem; det är snabbare än att bygga din egen infrastruktur från grunden (när du borde använda den tiden för att bygga modeller)...

NVIDIA erbjöd en mängd förutsägelser inom en rad AI- och maskininlärningsområden:

Anima Anandkumar, direktör för ML Research, och Bren Professor vid Caltech
Digitala tvillingar blir fysiska: Vi kommer att se storskalighet digitala tvillingar av fysikaliska processer som är komplexa och flerskaliga, såsom väder- och klimatmodeller, seismiska fenomen och materialegenskaper. Detta kommer att påskynda nuvarande vetenskapliga simuleringar så mycket som en miljonx, och möjliggöra nya vetenskapliga insikter och upptäckter.

Generalist AI-agenter: AI-agenter kommer att lösa öppna uppgifter med naturliga språkinstruktioner och storskalig förstärkningsinlärning, samtidigt som de utnyttjar grundmodeller – de stora AI-modellerna som tränas på en stor mängd omärkt data i stor skala – för att möjliggöra agenter som kan analysera alla typer av förfrågningar och anpassa sig till nya typer av frågor över tid.

Manuvir Das, Vice President, Enterprise Computing
Software Advances End AI Silos: Företag har länge varit tvungna att välja mellan cloud computing och hybridarkitekturer för AI-forskning och utveckling – en praxis som kan kväva utvecklarnas produktivitet och sakta ner innovation.

År 2023 kommer programvara att göra det möjligt för företag att förena AI-pipelines över alla infrastrukturtyper och leverera en enda, uppkopplad upplevelse för AI-utövare. Detta kommer att göra det möjligt för företag att balansera kostnader mot strategiska mål, oavsett projektstorlek eller komplexitet, och ge tillgång till praktiskt taget obegränsad kapacitet för flexibel utveckling.

Generativ AI förvandlar företagsapplikationer: Hypen om generativ AI blir verklighet 2023. Det beror på att grunden för äkta generativ AI äntligen är på plats, med programvara som kan förvandla stora språkmodeller och rekommendationssystem till produktionsapplikationer som går bortom bilder för att intelligent svara på frågor, skapa innehåll och till och med gnista upptäckter….

Kimberly Powell, Vice ordförande, sjukvård
Kirurgi 4.0: Flygsimulatorer tjänar till att träna piloter och forska om nya flygplanskontroller. Detsamma gäller nu för kirurger och tillverkare av robotkirurgi. Digitala tvillingar som kan simulera i alla skala, från operationsrumsmiljön till den medicinska roboten och patientens anatomi, bryter ny mark inom personliga kirurgiska repetitioner och designar AI-drivna interaktioner mellan människor och maskiner. Långa vistelser kommer inte att vara det enda sättet att få fram en erfaren kirurg. Många kommer att bli expertoperatörer när de utför sin första robotassisterade operation på en riktig patient.

Danny Shapiro, Vice President, Automotive
Träning av autonoma fordon i metaversen: De mer än 250 bil- och lastbilstillverkare, nystartade företag, transport- och mobilitetstjänster som utvecklar autonoma fordon tar sig an en av vår tids mest komplexa AI-utmaningar. Det är helt enkelt inte möjligt att stöta på alla scenarion de måste kunna hantera genom att testa på vägen, så mycket av branschen 2023 kommer att vända sig till den virtuella världen för att hjälpa. Datainsamling på väg kommer att kompletteras med virtuella flottor som genererar data för utbildning och testning av nya funktioner innan implementering. High-fidelity-simulering kommer att köra autonoma fordon genom ett praktiskt taget oändligt antal scenarier och miljöer...

Rev Lebardedian, Vice President, Omniversum och simuleringsteknik
Metaverse Universal Translator: Precis som HTML är standardspråket för 2D-webben, Beskrivning av universell scen kommer att bli det mest kraftfulla, utvidgbara, öppna språket för 3D-webben. Som 3D-standarden för att beskriva virtuella världar i metaversen kommer USD att tillåta företag och till och med konsumenter att flytta mellan olika 3D-världar med hjälp av olika verktyg, tittare och webbläsare på det mest sömlösa och konsekventa sättet.

Ronnie Vasishta, Senior Vice President, Telecoms
Klipp av sladden på AR/VR över 5G-nätverk: Medan många företag kommer att flytta till molnet för utveckling av hårdvara och mjukvara, kommer kantdesign och samarbete också att växa i takt med att 5G-nätverk blir mer fullständigt distribuerade runt om i världen. Fordonsdesigners, till exempel, kan ta på sig augmented reality-headset och streama samma innehåll som de ser över trådlösa nätverk till kollegor runt om i världen, påskynda samarbetsförändringar och utveckla innovativa lösningar i rekordfart. 5G kommer också att leda till snabbare utrullningar av uppkopplade robotar över branscher – som används för att fylla på butikshyllor, städa golv, leverera pizzor och plocka och packa varor i fabriker.

Bob Pette, Vice President, Professional Visualization
En industriell revolution via simulering: Allt byggt i den fysiska världen kommer först att simuleras i en virtuell värld som lyder fysikens lagar. Dessa digitala tvillingar – inklusive storskaliga miljöer, som fabriker, städer och till och med hela planeten – och den industriella metaversen kommer att bli kritiska komponenter i digitala transformationsinitiativ. Exempel finns redan i överflöd: Siemens tar industriell automation till en ny nivå. BMW simulerar hela fabriksgolv för att optimalt planera tillverkningsprocesser. Lockheed Martin simulerar beteendet hos skogsbränder för att förutse var och när resurser ska sättas in. DNEG, SONY Pictures, WPP och andra ökar produktiviteten genom globalt distribuerade konstavdelningar som gör det möjligt för kreatörer, konstnärer och designers att iterera på scener praktiskt taget i realtid.

Omtänkande av Enterprise IT-arkitektur: Precis som många företag försökte anpassa sin kultur och sin teknologi för att möta utmaningarna med hybridarbete, kommer det nya året att medföra en omarbetning av många företags hela IT-infrastruktur. Företag kommer att söka kraftfulla klientenheter som kan hantera de ständigt ökande kraven från applikationer och komplexa datauppsättningar. Och de kommer att omfamna flexibilitet och flytta till molnet för exponentiell skalning. Antagandet av distribuerade datorprogramvaruplattformar kommer att göra det möjligt för en globalt spridd arbetsstyrka att samarbeta och förbli produktiv under de mest olikartade arbetsmiljöerna.

På samma sätt kommer komplex AI-modellutveckling och utbildning att kräva kraftfull beräkningsinfrastruktur i datacentret och skrivbordet. Företag kommer att titta på utvalda AI-mjukvarustackar för olika industriella användningsfall för att göra det enkelt för dem att ta in AI i sina arbetsflöden och leverera produkter och tjänster av högre kvalitet till kunderna snabbare.

Azita Martin, Vice President, AI för Retail and Consumer Products Group
AI för att optimera leveranskedjor: Även de mest sofistikerade återförsäljarna och e-handelsföretagen hade de senaste två åren problem med att balansera utbud och efterfrågan. Konsumenter omfamnade hemshopping under pandemin och strömmade sedan tillbaka in i tegelbutiker efter att låsningarna hävts. Efter att inflationen slog till ändrade de sina köpvanor igen, vilket gav leverantörskedjechefer passform. AI kommer att möjliggöra tätare och mer exakta prognoser, vilket säkerställer att rätt produkt finns i rätt butik vid rätt tidpunkt. Återförsäljare kommer också att använda mjukvara för ruttoptimering och simuleringsteknik för att ge en mer holistisk bild av möjligheter och fallgropar.

Malcolm deMayo, Vice President, Financial Services
Cloud-First for Financial Services: Banker har ett nytt imperativ: bli smidig snabbt. Inför ökande konkurrens från icke-traditionella finansinstitutioner, förändrade kundförväntningar som stiger från deras erfarenheter i andra branscher och besvärad med äldre infrastruktur, kommer banker och andra institutioner att anamma en moln-först AI-metod. Men som en mycket reglerad bransch som kräver operativ motståndskraft, en branschterm som betyder att dina system kan absorbera och överleva stötar (som en pandemi), kommer banker att leta efter öppna, bärbara, härdade hybridlösningar. Som ett resultat är banker skyldiga att köpa supportavtal när de är tillgängliga.

David Reber, säkerhetschef
Dataforskare är din nya cybertillgång: Traditionella cyberproffs kan inte längre effektivt försvara sig mot de mest sofistikerade hoten eftersom hastigheten och komplexiteten hos attacker och försvar effektivt har överskridit mänsklig kapacitet. Dataforskare och andra mänskliga analytiker kommer att använda AI för att titta på all data objektivt och upptäcka hot. Intrång kommer att hända, så datavetenskapliga tekniker som använder AI och människor kommer att hjälpa till att hitta nålen i höstacken och reagera snabbt.

Kari Briski, Vice President, AI och HPC Software
Omärkta data finner sitt syfte: Stora språkmodeller och strukturerad data kommer också att sträcka sig till mängden foton, ljudinspelningar, tweets och mer för att hitta dolda mönster och ledtrådar för att stödja sjukvårdens genombrott, framsteg inom vetenskap, bättre kundengagemang och till och med stora framsteg inom självkörande transporter. År 2023 kommer att lägga till all denna ostrukturerade data till mixen att hjälpa till att utveckla neurala nätverk som till exempel kan generera syntetiska profiler för att efterlikna de hälsojournaler de har lärt sig av. Denna typ av oövervakad maskininlärning kommer att bli lika viktig som övervakad maskininlärning.

Det nya Call Center: Håll ett öga på callcentret under 2023, där införandet av fler och mer lättimplementerade tal-AI-arbetsflöden kommer att ge affärsflexibilitet i varje steg i kundinteraktionspipelinen – från modifiering av modellarkitekturer till finjustering av modeller på egen data och anpassning av pipelines. När tillgängligheten för tal AI-arbetsflöden breddar, kommer vi att se en breddning av företagsanpassningen och en enorm ökning av callcenterproduktiviteten genom att snabbare tid till upplösning. AI kommer att hjälpa agenter att hämta rätt information ur en enorm kunskapsbas vid rätt tidpunkt, vilket minimerar väntetiderna för kunderna.

Deepu Talla, Vice President, Embedded and Edge Computing
Robotar får en miljon liv: Fler robotar kommer att tränas i virtuella världar när fotorealistisk rendering och exakt fysikmodellering kombineras med möjligheten att parallellt simulera miljontals instanser av en robot på GPU:er i molnet. Generativa AI-tekniker kommer att göra det lättare att skapa mycket realistiska 3D-simuleringsscenarier och ytterligare påskynda införandet av simulering och syntetisk data för att utveckla mer kapabla robotar.

 Marc Spieler, Senior Director, Energy
AI-drivet energinät: När nätet blir mer komplext på grund av den oöverträffade hastigheten av distribuerade energiresurser som läggs till, kommer elbolag att kräva edge AI för att förbättra driftseffektiviteten, förbättra funktionssäkerheten, öka noggrannheten i belastnings- och efterfrågeprognoser och påskynda anslutningstiden för förnybar energi , som sol och vind. AI vid kanten kommer att öka nätets motståndskraft, samtidigt som energislöseri och kostnader minskar.