Cerebras Systems, pioneren inden for accelererende kunstig intelligens (AI), afslørede i dag Andromeda, en 13.5 millioner kerne AI supercomputer, nu tilgængelig og bruges til kommercielt og akademisk arbejde. Bygget med en klynge af 16 Cerebras CS-2-systemer og udnytter Cerebras MemoryX- og SwarmX-teknologier, leverer Andromeda mere end 1 Exaflop AI-beregning og 120 Petaflops med tæt beregning med 16-bit halv præcision. Det er den eneste AI-supercomputer, der nogensinde har demonstreret næsten perfekt lineær skalering på store arbejdsbelastninger af sprogmodeller baseret på simpel dataparallelisme alene.
De 13.5 millioner AI-optimerede computerkerner og fodret af 18,176 3. generations AMD EPYC™-processorer, Andromeda har flere kerner end 1,953 Nvidia A100 GPU'er og 1.6 gange så mange kerner som den største supercomputer i verden, Frontier, som har 8.7. I modsætning til enhver kendt GPU-baseret klynge leverer Andromeda næsten perfekt skalering via simpel dataparallelisme på tværs af store sprogmodeller i GPT-klassen, inklusive GPT-3, GPT-J og GPT-NeoX.
Næsten perfekt skalering betyder, at efterhånden som yderligere CS-2'er bruges, reduceres træningstiden i næsten perfekt proportion. Dette inkluderer store sprogmodeller med meget store sekvenslængder, en opgave, der er umulig at opnå på GPU'er. Faktisk blev GPU umuligt arbejde demonstreret af en af Andromedas første brugere, som opnåede næsten perfekt skalering på GPT-J ved 2.5 milliarder og 25 milliarder parametre med lange sekvenslængder - MSL på 10,240. Brugerne forsøgte at udføre det samme arbejde på Polaris, en 2,000 Nvidia A100-klynge, og GPU'erne var ude af stand til at udføre arbejdet på grund af GPU-hukommelse og hukommelsesbåndbreddebegrænsninger.
Wafer-Scale Engine (WSE-2), som driver Cerebras CS-2-systemet, er den største chip, der nogensinde er bygget. WSE-2 er 56 gange større end den største GPU, har 123 gange flere computerkerner og 1000 gange mere højtydende on-chip-hukommelse. Den eneste wafer-skala-processor, der nogensinde er produceret, indeholder 2.6 billioner transistorer, 850,000 AI-optimerede kerner og 40 gigabyte højtydende on-wafer-hukommelse, alt sammen til at accelerere dit AI-arbejde.
Cluster-Skala i en enkelt chip
I modsætning til traditionelle enheder med små mængder on-chip cache-hukommelse og begrænset kommunikationsbåndbredde, har WSE-2 40 GB on-chip SRAM, fordelt jævnt over hele overfladen af chippen, hvilket giver hver kerne adgang med enkelt-ur-cyklus til hurtig hukommelse ved en ekstrem høj båndbredde på 20PB/s. Dette er 1,000 gange større kapacitet og 9,800 gange større båndbredde end den førende GPU.
Høj båndbredde, lav latens
WSE-2 on-wafer interconnect eliminerer kommunikationsnedgangen og ineffektiviteten ved at forbinde hundredvis af små enheder via ledninger og kabler. Den leverer en forbløffende 220 Pb/s sammenkoblingsbåndbredde mellem kerner. Det er mere end 45,000 gange båndbredden leveret mellem grafikprocessorer. Resultatet er hurtigere og mere effektiv udførelse af dit dybe læringsarbejde til en brøkdel af strømforbruget fra traditionelle GPU-klynger.
Brian Wang er en futuristisk tankeleder og en populær Science blogger med 1 million læsere om måneden. Hans blog Nextbigfuture.com er rangeret som #1 Science News Blog. Det dækker mange forstyrrende teknologi og tendenser, herunder rum, robotik, kunstig intelligens, medicin, anti-aging bioteknologi og nanoteknologi.
Han er kendt for at identificere banebrydende teknologier og er i øjeblikket medstifter af en opstart og fundraiser til virksomheder med et højt potentiale på et tidligt stadium. Han er forskningschef for tildelinger til dybe teknologiske investeringer og en engelinvestor hos Space Angels.
Han har været en hyppig foredragsholder i virksomheder og har været TEDx -højttaler, en Singularity University -højttaler og gæst ved adskillige interviews til radio og podcasts. Han er åben for offentlige taler og rådgivende engagementer.
