Cerebras Systems, de pionier in het versnellen van kunstmatige intelligentie (AI), heeft vandaag Andromeda onthuld, een AI-supercomputer met 13.5 miljoen kernen, die nu beschikbaar is en wordt gebruikt voor commercieel en academisch werk. Andromeda is gebouwd met een cluster van 16 Cerebras CS-2-systemen en maakt gebruik van Cerebras MemoryX- en SwarmX-technologieën en levert meer dan 1 Exaflop aan AI-rekenkracht en 120 Petaflops aan compacte rekenkracht met een halve precisie van 16 bits. Het is de enige AI-supercomputer die ooit bijna perfecte lineaire schaling demonstreert voor werklasten van grote taalmodellen, uitsluitend gebaseerd op eenvoudig gegevensparallellisme.
De 13.5 miljoen AI-geoptimaliseerde rekenkernen en gevoed door 18,176 3e generatie AMD EPYC™-processors, beschikt Andromeda over meer kernen dan 1,953 Nvidia A100 GPU's en 1.6 keer zoveel kernen als de grootste supercomputer ter wereld, Frontier, die 8.7 miljoen kernen heeft. In tegenstelling tot elk bekend GPU-gebaseerd cluster, levert Andromeda vrijwel perfecte schaling via eenvoudig gegevensparallellisme in grote taalmodellen van GPT-klasse, waaronder GPT-3, GPT-J en GPT-NeoX.
Bijna perfecte schaling betekent dat als er extra CS-2's worden gebruikt, de trainingstijd in vrijwel perfecte verhouding wordt verkort. Dit omvat grote taalmodellen met zeer grote reekslengtes, een taak die onmogelijk te verwezenlijken is op GPU's. In feite werd GPU-onmogelijk werk gedemonstreerd door een van Andromeda’s eerste gebruikers, die een vrijwel perfecte schaling op GPT-J bereikte met 2.5 miljard en 25 miljard parameters met lange reekslengtes – MSL van 10,240. De gebruikers probeerden hetzelfde werk te doen op Polaris, een Nvidia A2,000-cluster met 100 exemplaren, en de GPU's konden het werk niet doen vanwege GPU-geheugen en geheugenbandbreedtebeperkingen.
De Wafer-Scale Engine (WSE-2), die het Cerebras CS-2-systeem aandrijft, is de grootste chip ooit gebouwd. De WSE-2 is 56 keer groter dan de grootste GPU, heeft 123 keer meer rekenkernen en 1000 keer meer krachtig on-chip geheugen. De enige processor op waferschaal die ooit is geproduceerd, bevat 2.6 biljoen transistors, 850,000 AI-geoptimaliseerde kernen en 40 gigabyte aan krachtig on-wafer-geheugen, allemaal om uw AI-werk te versnellen.
Clusterschaal in één enkele chip
In tegenstelling tot traditionele apparaten met kleine hoeveelheden on-chip cachegeheugen en beperkte communicatiebandbreedte, beschikt de WSE-2 over 40 GB on-chip SRAM, gelijkmatig verdeeld over het gehele oppervlak van de chip, waardoor elke core in één klokcyclus toegang krijgt tot snel geheugen met een extreem hoge bandbreedte van 20PB/s. Dit is 1,000x meer capaciteit en 9,800x grotere bandbreedte dan de toonaangevende GPU.
Hoge bandbreedte, lage latentie
De WSE-2 on-wafer interconnect elimineert de communicatievertraging en inefficiëntie die gepaard gaat met het verbinden van honderden kleine apparaten via draden en kabels. Het levert een verbazingwekkende bandbreedte van 220 Pb/s tussen kernen. Dat is meer dan 45,000 keer de bandbreedte die tussen grafische processors wordt geleverd. Het resultaat is een snellere, efficiëntere uitvoering van uw deep learning-werk met een fractie van het stroomverbruik van traditionele GPU-clusters.
Brian Wang is een Futurist Thought Leader en een populaire wetenschapsblogger met 1 miljoen lezers per maand. Zijn blog Nextbigfuture.com is gerangschikt #1 Science News Blog. Het behandelt veel disruptieve technologie en trends, waaronder ruimtevaart, robotica, kunstmatige intelligentie, medicijnen, anti-verouderingsbiotechnologie en nanotechnologie.
Hij staat bekend om het identificeren van geavanceerde technologieën en is momenteel mede-oprichter van een startup en fondsenwerver voor bedrijven met een hoog potentieel in een vroeg stadium. Hij is het hoofd van Research for Allocations voor diepe technologie-investeringen en een Angel Investor bij Space Angels.
Hij is een veelgevraagd spreker bij bedrijven, hij is een TEDx-spreker, een Singularity University-spreker en gast bij talloze interviews voor radio en podcasts. Hij staat open voor spreek- en adviesopdrachten.
