Cerebras Systems, pioneren innen akselererende kunstig intelligens (AI), avduket i dag Andromeda, en 13.5 millioner kjerne AI-superdatamaskin, nå tilgjengelig og brukes til kommersielt og akademisk arbeid. Bygget med en klynge av 16 Cerebras CS-2-systemer og utnytter Cerebras MemoryX- og SwarmX-teknologier, leverer Andromeda mer enn 1 Exaflop med AI-databehandling og 120 Petaflops med tett databehandling med 16-bits halvpresisjon. Det er den eneste AI-superdatamaskinen som noen gang har demonstrert nesten perfekt lineær skalering på arbeidsbelastninger med store språkmodeller som er avhengig av enkel dataparallellisme alene.
De 13.5 millioner AI-optimaliserte datakjernene og matet av 18,176 3 tredjegenerasjons AMD EPYC™-prosessorer, har Andromeda flere kjerner enn 1,953 Nvidia A100 GPUer og 1.6 ganger så mange kjerner som den største superdatamaskinen i verden, Frontier, som har 8.7. I motsetning til alle kjente GPU-baserte klynge, leverer Andromeda nesten perfekt skalering via enkel dataparallellisme på tvers av store språkmodeller i GPT-klassen, inkludert GPT-3, GPT-J og GPT-NeoX.
Nesten perfekt skalering betyr at etter hvert som flere CS-2-er brukes, reduseres treningstiden i nesten perfekt proporsjon. Dette inkluderer store språkmodeller med svært store sekvenslengder, en oppgave som er umulig å få til på GPUer. Faktisk ble umulig arbeid med GPU demonstrert av en av Andromedas første brukere, som oppnådde nesten perfekt skalering på GPT-J på 2.5 milliarder og 25 milliarder parametere med lange sekvenslengder – MSL på 10,240 2,000. Brukerne forsøkte å gjøre det samme arbeidet på Polaris, en 100 Nvidia AXNUMX-klynge, og GPU-ene var ikke i stand til å gjøre arbeidet på grunn av GPU-minne og minnebåndbreddebegrensninger.
Wafer-Scale Engine (WSE-2), som driver Cerebras CS-2-systemet, er den største brikken som noen gang er bygget. WSE-2 er 56 ganger større enn den største GPUen, har 123 ganger flere datakjerner og 1000 ganger mer høyytelses minne på brikken. Den eneste waferskalaprosessoren som noen gang er produsert, inneholder 2.6 billioner transistorer, 850,000 40 AI-optimaliserte kjerner og XNUMX gigabyte med høyytelses on-wafer-minne, alt for å akselerere AI-arbeidet ditt.
Cluster-skala i en enkelt brikke
I motsetning til tradisjonelle enheter med små mengder cache-minne på brikken og begrenset kommunikasjonsbåndbredde, har WSE-2 40 GB on-chip SRAM, jevnt fordelt over hele overflaten av brikken, og gir hver kjerne tilgang med én klokkesyklus til raskt minne med en ekstremt høy båndbredde på 20PB/s. Dette er 1,000 ganger større kapasitet og 9,800 ganger større båndbredde enn den ledende GPUen.
Høy båndbredde, lav ventetid
WSE-2 på wafer-forbindelsen eliminerer kommunikasjonsbremsen og ineffektiviteten ved å koble til hundrevis av små enheter via ledninger og kabler. Den leverer en forbløffende 220 Pb/s sammenkoblingsbåndbredde mellom kjerner. Det er mer enn 45,000 XNUMX ganger båndbredden som leveres mellom grafikkprosessorer. Resultatet er raskere og mer effektiv utførelse av dyplæringsarbeidet ditt til en brøkdel av krafttrekket til tradisjonelle GPU-klynger.
Brian Wang er en futuristisk tankeleder og en populær vitenskapsblogger med 1 million lesere per måned. Bloggen hans Nextbigfuture.com er rangert som #1 Science News Blog. Den dekker mange forstyrrende teknologi og trender, inkludert rom, robotikk, kunstig intelligens, medisin, anti-aging bioteknologi og nanoteknologi.
Han er kjent for å identifisere banebrytende teknologier, og er for tiden en av grunnleggerne av en oppstart og innsamling for høy potensielle selskaper i et tidlig stadium. Han er forskningssjef for allokasjoner for dype teknologiinvesteringer og en engelinvestor hos Space Angels.
Han er en hyppig foredragsholder i selskaper, og har vært TEDx -foredragsholder, høyttaler på Singularity University og gjest på mange intervjuer for radio og podcaster. Han er åpen for offentlige foredrag og rådgivning.
