Cerebras Systems, tehisintellekti (AI) arvutuste kiirendamise teerajaja, avalikustas täna Andromeda, 13.5 miljoni tuumaga AI superarvuti, mis on nüüd saadaval ja mida kasutatakse äriliseks ja akadeemiliseks tööks. Andromeda, mis on ehitatud 16 Cerebras CS-2 süsteemi klastriga ja kasutades Cerebras MemoryX ja SwarmX tehnoloogiaid, pakub rohkem kui 1 Exaflopi tehisintellekti arvutusi ja 120 Petaflopsi tihedat arvutust 16-bitise poole täpsusega. See on ainus tehisintellekti superarvuti, mis on kunagi demonstreerinud peaaegu täiuslikku lineaarset skaleerimist suurte keelemudelite töökoormuste korral, tuginedes ainult andmete lihtsale paralleelsusele.
Andromedal on 13.5 miljonit tehisintellektile optimeeritud arvutustuuma ja 18,176 3 1,953. põlvkonna AMD EPYC™ protsessorit. Andromedal on rohkem südamikke kui 100 Nvidia A1.6 GPU-l ja 8.7 korda rohkem tuumasid kui maailma suurimal superarvutil Frontier, millel on 3 miljonit tuuma. Erinevalt kõigist teadaolevatest GPU-põhisest klastrist pakub Andromeda peaaegu täiuslikku skaleerimist lihtsa andmete paralleelsuse kaudu GPT-klassi suurte keelemudelite, sealhulgas GPT-XNUMX, GPT-J ja GPT-NeoX vahel.
Peaaegu täiuslik skaleerimine tähendab, et täiendavate CS-2-de kasutamisel väheneb treeningaeg peaaegu ideaalses proportsioonis. See hõlmab suuri keelemudeleid, millel on väga suured järjestuse pikkused – ülesanne, mida GPU-del on võimatu saavutada. Tegelikult demonstreeris GPU võimatut tööd üks Andromeda esimesi kasutajaid, kes saavutasid GPT-J-s peaaegu täiusliku skaleerimise 2.5 miljardi ja 25 miljardi parameetriga pika järjestuse pikkusega – MSL 10,240 2,000. Kasutajad üritasid teha sama tööd Polarise, 100 Nvidia AXNUMX klastriga, ja GPU-d ei saanud seda tööd teha GPU mälu ja mälu ribalaiuse piirangute tõttu.
Wafer-Scale Engine (WSE-2), mis toidab Cerebras CS-2 süsteemi, on suurim kiip, mis eales ehitatud. WSE-2 on 56 korda suurem kui suurim GPU, sellel on 123 korda rohkem arvutustuumasid ja 1000 korda rohkem suure jõudlusega kiibimälu. Ainus eales toodetud vahvlimastaapne protsessor sisaldab 2.6 triljonit transistorit, 850,000 40 AI-le optimeeritud südamikku ja XNUMX gigabaiti suure jõudlusega tahvelmälu, mis kiirendavad teie tehisintellekti tööd.
Klastri skaala ühes kiibis
Erinevalt tavapärastest seadmetest, millel on väike kogus kiibil asuvat vahemälu ja piiratud side ribalaius, on WSE-2-l 40 GB kiibil asuvat SRAM-i, mis on ühtlaselt jaotatud kogu kiibi pinnale, pakkudes igale tuumale ühe kella tsükliga juurdepääsu kiire mälu ülisuure ribalaiusega 20PB/s. See on 1,000 korda suurem võimsus ja 9,800 korda suurem ribalaius kui juhtival GPU-l.
Suur ribalaius, madal latentsusaeg
WSE-2 on-wafer-ühendus kõrvaldab side aeglustumise ja ebatõhususe sadade väikeste seadmete ühendamisel juhtmete ja kaablite kaudu. See pakub südamike vahel hämmastavat 220 Pb/s ribalaiust. See on rohkem kui 45,000 XNUMX korda suurem graafikaprotsessorite vahel edastatavast ribalaiusest. Tulemuseks on teie süvaõppetöö kiirem ja tõhusam täitmine murdosa traditsiooniliste GPU-klastrite energiatarbimisest.
Brian Wang on futuristide mõttejuht ja populaarne teadusblogija, kellel on miljon lugejat kuus. Tema ajaveeb Nextbigfuture.com on teadusuudiste ajaveeb. See hõlmab paljusid häirivaid tehnoloogiaid ja suundumusi, sealhulgas kosmos, robootika, tehisintellekt, meditsiin, vananemisvastane biotehnoloogia ja nanotehnoloogia.
Tuntud tipptasemel tehnoloogiate tuvastamise poolest, on ta praegu suure potentsiaaliga varajases staadiumis ettevõtete käivitamise ja korjanduse kaasasutaja. Ta on süvatehnoloogiainvesteeringuteks eraldatavate teadusuuringute juht ja ingelinvestor Space Angels'is.
Korporatsioonides sagedane esineja, ta on olnud TEDx -esineja, Singularity University esineja ja külaline paljudel raadio- ja taskuhäälingusaadete intervjuudel. Ta on avatud avalikule esinemisele ja nõustamistegevustele.
