Artificiell intelligens håller på att brista. Maskiner kan tala, skriva, spela spel och skapa originalbilder, video och musik. Men i takt med att AI:s kapacitet har vuxit, har dess algoritmer också ökat.
För ett decennium sedan, maskininlärningsalgoritmer förlitat sig på tiotals miljoner interna anslutningar, eller parametrar. Dagens algoritmer når regelbundet upp i hundratals miljarder och till och med biljoner parametrar. Forskare säger att uppskalning fortfarande ger prestandavinster, och modeller med tiotals biljoner parametrar kan komma inom kort.
För att träna så stora modeller behöver du kraftfulla datorer. Medan AI i början av 2010-talet kördes på en handfull grafikbehandlingsenheter - datorchips som utmärker sig vid parallell bearbetning som är avgörande för AI - datorbehov har växt exponentiellt, och toppmodeller kräver nu hundratals eller tusentals. OpenAI, Microsoft, meta, och andra bygger dedikerade superdatorer för att hantera uppgiften, och de säger att dessa AI-maskiner rankas bland de snabbaste på planeten.
Men även om GPU:er har varit avgörande för AI-skalning – Nvidias A100, till exempel, är fortfarande en av de snabbaste, mest använda chipsen i AI-kluster – har det dykt upp konstigare alternativ designade specifikt för AI de senaste åren.
Cerebras erbjuder ett sådant alternativ.
Göra en måltid av AI
Storleken på en mattallrik - cirka 8.5 tum åt sidan - företagets Wafer Scale Engine är världens största kiselchip, med 2.6 biljoner transistorer och 850,000 2 kärnor etsade på en enda kiselskiva. Varje Wafer Scale Engine fungerar som hjärtat i företagets CS-XNUMX-dator.
Ensam är CS-2 ett odjur, men förra året Cerebras presenterade en plan att koppla ihop CS-2:or med ett externt minnessystem som heter MemoryX och ett system för att koppla ihop CS-2:or som heter SwarmX. Företaget sa att den nya tekniken kunde länka upp till 192 chips och träna modeller två storleksordningar större än dagens största, mest avancerade AI.
"Branschen går förbi modeller med 1 biljoner parametrar, och vi utökar den gränsen med två storleksordningar, vilket möjliggör hjärnskaliga neurala nätverk med 120 biljoner parametrar," sa Cerebras VD och medgrundare Andrew Feldman.
På den tiden var allt detta teoretiskt. Men förra veckan företag meddelade de hade länkat samman 16 CS-2:or till en AI-superdator i världsklass.
Möt Andromeda
Den nya maskinen, kallad Andromeda, har 13.5 miljoner kärnor som kan hastigheter över en exaflop (en kvintiljon operationer per sekund) med 16-bitars halvprecision. På grund av det unika chippet i dess kärna är Andromeda inte lätt att jämföra med superdatorer som körs på mer traditionella CPU:er och GPU:er, men Feldman berättade HPC Wire Andromeda motsvarar ungefär Argonne National Laboratorys Polaris superdator, som rankas 17:e snabbaste i världen, enligt den senaste Top500-listan.
Förutom prestanda är Andromedas snabba byggtid, kostnad och fotavtryck anmärkningsvärda. Argonne började installera Polaris sommaren 2021, och superdatorn gick live ungefär ett år senare. Den tar upp 40 ställ, de arkivskåpsliknande höljena innehåller superdatorkomponenter. Som jämförelse kostade Andromeda 35 miljoner dollar – ett blygsamt pris för en maskin med dess kraft – bara tre dagar att montera, och använder bara 16 ställ.
Cerebras testade systemet genom att träna fem versioner av OpenAI:s stora språkmodell GPT-3 samt Eleuther AI:s öppen källkod GPT-J och GPT-NeoX. Och enligt Cerebras är det kanske viktigaste resultatet att Andromeda demonstrerade vad de kallar "nästan perfekt linjär skalning" av AI-arbetsbelastningar för stora språkmodeller. Kort sagt, det betyder att när ytterligare CS-2:or läggs till, minskar träningstiderna proportionellt.
Vanligtvis, sa företaget, när du lägger till fler marker minskar prestandavinsterna. Cerebras WSE-chip kan å andra sidan visa sig skala mer effektivt eftersom dess 850,000 XNUMX kärnor är anslutna till varandra på samma kiselbit. Dessutom har varje kärna en minnesmodul precis intill. Tillsammans minskar chipet mängden tid som går åt till att flytta data mellan kärnor och minne.
”Linjär skalning innebär att när du går från ett till två system tar det hälften så lång tid för ditt arbete att slutföras. Det är en mycket ovanlig egenskap inom databehandling, säger Feldman HPC Wire. Och, sa han, det kan skala bortom 16 anslutna system.
Utöver Cerebras egna tester, demonstrerades de linjära skalningsresultaten också under arbete vid Argonne National Laboratory där forskare använde Andromeda för att träna GPT-3-XL stora språkalgoritmen på långa sekvenser av Covid-19-genomet.
Naturligtvis, även om systemet kan skala över 16 CS-2:or, i vilken grad linjär skalning kvarstår återstår att se. Dessutom vet vi ännu inte hur Cerebras presterar head-to-head mot andra AI-chips. AI-chiptillverkare som Nvidia och Intel har börjat deltar i regelbunden benchmarking från tredje part av sådana som MLperf. Cerebras har ännu inte deltagit.
Utrymme att spara
Ändå verkar tillvägagångssättet skapa sin egen nisch i superdatorvärlden, och fortsatt skalning i storspråkig AI är ett utmärkt användningsfall. Verkligen, Feldman berättade Trådbunden förra året att företaget redan pratade med ingenjörer på OpenAI, en ledare inom stora språkmodeller. (OpenAI-grundaren, Sam Altman, är också en investerare i Cerebras.)
Vid lanseringen 2020 förändrade OpenAI:s stora språkmodell GPT-3 spelet både när det gäller prestanda och storlek. Med en vikt på 175 miljarder parametrar var det den största AI-modellen vid den tiden och överraskade forskare med sina förmågor. Sedan dess har språkmodeller nått in i biljoner av parametrar, och större modeller kan komma. Det finns rykten—bara det, än så länge—att OpenAI kommer att släppa GPT-4 inom en inte alltför avlägsen framtid och det kommer att bli ytterligare ett steg från GPT-3. (Vi får vänta och se på den räkningen.)
Som sagt, trots deras kapacitet, är stora språkmodeller varken perfekta eller universellt älskade. Deras brister inkluderar utdata som kan vara falska, partiska och stötande. Meta's Galactica, tränad på vetenskapliga texter, är ett färskt exempel. Trots en datauppsättning man kan anta är mindre benägen för toxicitet än träning på det öppna internet, provocerades modellen lätt till att generera skadlig och felaktig text och drogs ner på bara tre dagar. Huruvida forskare kan lösa språk-AI:s brister är fortfarande osäkert.
Men det verkar troligt att uppskalningen kommer att fortsätta tills minskande avkastning slår in. Nästa språng kan vara precis runt hörnet – och vi kanske redan har hårdvaran för att få det att hända.
Image Credit: Cerebras
