Eikö Nvidia leikkaa sitä? Googlen ja Amazonin uusimmat AI-sirut ovat saapuneet

Pilvipohjainen AI-koulutus muuttui tällä viikolla hieman monipuolisemmiksi, kun Amazon Web Services (AWS) ja Google Cloud ilmoittivat uusimpien mukautettujen tekoälykiihdyttimiensä yleisestä saatavuudesta.

Amazonin myötä pilvipalveluntarjoajan Trainium-sirut ovat nyt yleisesti saatavilla AWS:ssä. Ensimmäinen katsonut AWS re:Inventissä viime vuonna Amazonin Trainium-käyttöiset Trn1n-instanssit on suunniteltu kouluttamaan suuria koneoppimismalleja, kuten luonnollisen kielen käsittelyssä ja kuvantunnistuksessa käytettyjä.

Amazon väittää, että instanssit ovat 40–250 prosenttia tehokkaampia BF16- ja 32-bittisissä TensorFlow-työkuormissa kuin sen Nvidia A100 -käyttöiset P4d-esiintymät Amazonin sisäisten vertailuarvojen mukaan. Kiihdytin tukee myös FP32-, FP16-, UINT8- ja konfiguroitavaa FP8-tietotyyppiä. FP8:ssa on tulla kuuluisaksi AI-maailmassa viime vuosina keinona vaihtaa tarkkuutta raakaan suorituskykyyn.

Elementtejä on saatavana kahdessa koossa: Amazonin trn1.2xlarge yhdistää kahdeksan vCPU:ta yhdellä Trainium-sirulla, 64 Gt muistia tasaisesti suorittimen ja kiihdytin kesken, 12.5 Gt/s verkko ja 500 Gt paikallista SSD-tallennustilaa. Samaan aikaan suurempia työmääriä varten trn1.32xlarge on 16 kertaa suurempi, ja se sisältää 128 vCPU:ta, 16 Trainium-sirua, 1 Tt yhdistettyä muistia ja 800 Gbit/s verkon kaistanleveyttä per esiintymä.

Laajamittainen mallikoulutusta varten useita trn1.32xlarge-esiintymiä voidaan ryhmitellä käyttämällä Amazonin FSx Luster -tallennuspalvelua ja "petabit-luokan" ei-estoisia top-of-rack-kytkimiä.

Kiihdytin käyttää samaa Neuron SDK:ta kuin Amazonin aiemmin ilmoittama Inferentia-päätelmäsiru, jonka mukana tulee kääntäjä, kehyslaajennukset, ajonaikainen kirjasto ja kehittäjätyökalut. Yhdessä Amazon väittää, että suosituissa ML-kehyksissä, kuten PyTorch ja TensorFlow, kirjoitetut työmäärät voidaan mukauttaa toimimaan Trainiumissa minimaalisella uudelleenjärjestelyllä.

Trn1n-esiintymät ovat saatavilla tällä viikolla Amazonin Yhdysvaltain itä- ja länsialueilla.

Googlen TPU v4 nyt yleisesti saatavilla

Google julkisti myös joukon laitteistopäivityksiä Cloud Next -tapahtumassaan tällä viikolla, mukaan lukien yleinen saatavuus neljännen sukupolven Tensor Processing Units -yksiköistä (TPU).

Google Cloudin TPU v4 -virtuaalikoneita on saatavana kokoonpanoissa, jotka vaihtelevat neljästä sirusta – yhdestä TPU-moduulista – koteloon, joka on pakattu jopa 4,096 XNUMX sirulle, jotka kaikki on yhdistetty nopeaan kankaaseen.

Niille, jotka eivät ole tuttuja, Googlen TPU-kiihdyttimet on suunniteltu erityisesti nopeuttamaan laitteiston suurissa koneoppimismalleissa, kuten niissä, joita käytetään luonnollisen kielen käsittelyssä, suositusjärjestelmissä ja tietokonenäössä.

Korkealla tasolla kiihdytin on pohjimmiltaan joukko suuria bfloat-matriisimatemaattisia moottoreita, joita kutsutaan MXU:iksi, joita tukee suuri kaistanleveysmuisti ja muutama CPU-ydin, jotta se olisi ohjelmoitavissa; prosessorin ytimiä käsketään syöttämään työkuorman tekoälyn matemaattiset toiminnot MXU:iin nopeaa käsittelyä varten. Jokainen TPU VM koostuu neljästä sirusta, joissa kussakin on kaksi prosessointiydintä, ja yhteensä 128 Gt muistia.

Suosittelemme, että saat täydellisen erittelyn Googlen uusimmasta TPU-arkkitehtuurista tarkistamassa meidän sisar sivusto Seuraava alusta.

Mukautetut kiihdyttimet suunniteltiin nopeuttamaan Googlen omia tekoälytyökuormia, mutta myöhemmin ne avattiin asiakkaille GCP:tä käyttäville asiakkaille. Kuten voit odottaa, TPU:t tukevat useita suosittuja ML-kehyksiä, mukaan lukien JAX, PyTorch ja TensorFlow. Ja Googlen mukaan TPU v4 on yli kaksi kertaa nopeampi kuin edeltäjänsä, mutta tarjoaa myös 40 prosenttia paremman suorituskyvyn dollaria kohden.

TPU v4 Pod -viipaleet ovat nyt saatavilla GCP:n Oklahoman alueella hintaan 0.97–3.22 dollaria sirua kohti tunnissa. Googlen pienimmässä tapauksessa se maksaa 5,924 XNUMX dollaria kuukaudessa yhden vuoden sitoumuksella.

Google tarjoaa kurkistuksen Intelin seuraavan sukupolven suorittimiin, smartNIC:eihin

Intelin Sapphire Rapids -prosessorit ja Mount Evans IPU:t ilmestyivät myös Google Cloudiin yksityisenä esikatseluna tällä viikolla.

Tietyt asiakkaat voivat nyt antaa Intelin pitkään myöhässä Sapphire Rapidsin prosessorit pyörivät, mutta tämänpäiväinen ilmoitus tarjoaa muutamia vihjeitä siitä, mitä voimme odottaa mikroprosessorilta. Sen sijaan biz esitti yhdessä Intelin kanssa kehittämänsä Mount Evansin IPU:t.

"Ensimmäinen laatuaan missä tahansa julkisessa pilvessä, C3-VM:t suorittavat työkuormia 4. sukupolven Intel Xeon Scalable -prosessoreilla ja vapauttavat ohjelmoitavan pakettien käsittelyn IPU:ille turvallisesti linjanopeudella 200 Gbit/s", Intel-verkkoa johtava Nick McKeown. ja reunaryhmä, sanoi kohdassa a selvitys.

Intelin arkkitehtuuripäivänä viime vuonna julkistettu Mount Evans, joka on nyt nimetty E2000:ksi, on Intelin ensimmäinen IPU ASIC. IPU on infrastruktuurin käsittelyyksikkö, periaatteessa toinen laitteistokiihdytin verkko- ja tallennustehtäviin.

SmartNIC-luokan sirua käytetään nopeuttamaan Googlen pilviinfrastruktuurin työtaakkaa. Yksi ensimmäisistä on varastointi. Pilvipalveluntarjoaja väittää, että sen IPU:lla tehostetut C3-instanssit tarjoavat 10 kertaa korkeamman IOPS:n ja 4 kertaa suuremman suorituskyvyn kuin sen lähtevät C2-instanssit, kun sitä käytetään. ilmoitti äskettäin Hyperdisk-palvelu.

IPU:t, tietojenkäsittelyyksiköt ja SmartNIC:t ovat tuskin uusi ilmiö pilvimaailmassa. Amazon, Microsoft Azure ja Alibaba Cloud käyttävät myös SmartNIC-laitteita infrastruktuuritehtävien, kuten verkko-, tallennus- ja tietoturvan purkamiseen isännästä, mikä vapauttaa prosessorijaksoja vuokralaisten työkuormien käyttöön.

Intelin Sapphire Rapids on edelleen jumissa pilvessä

Huolimatta siitä, että C3-esiintymiä kiusataan Sapphire Rapidsin tarjoamana "ensimmäisenä virtuaalikoneena julkisessa pilvessä", "julkinen" on luultavasti väärä sana tässä. Googlen C3-instanssit ovat edelleen rajoitettuja valituille asiakkaille sovelluksen mukaan, oletettavasti tiukan NDA:n alaisena.

Tällä viikolla Intel ei ole vielä ilmoittanut Sapphire Rapids -prosessoriperheensä julkaisupäivää, mikä on jo yli vuoden aikataulusta jäljessä. Kuitenkin, kun AMD:n neljännen sukupolven Epyc-prosessorit julkaistaan ​​tänä syksynä, Intel näyttää olevan innokkaampi kuin koskaan saamaan seuraavan sukupolven tietokeskussirunsa joidenkin asiakkaiden käsiin - ainakin virtuaalisesti.

Google on vain uusin Intel-kumppani, joka tarjoaa Sapphire Rapids -pohjaisia ​​resursseja asiakkaiden saataville jossain määrin. Google tarjoaa pilvipohjaisia ​​virtuaalikoneita, Supermicro ja Intel tarjoavat kumpikin etäpääsyn paljasmetallijärjestelmiin tarjotakseen asiakkaille mahdollisuuden tutustua sirujen mahdollistamiin uusiin ominaisuuksiin.

Intel on alkanut toimittaa Sapphire-Rapids-käyttöisiä neljännen sukupolven Xeon Scalable -suorittimia joillekin OEM-valmistajille, pilvikaverille ja valtion virastoille. On kuitenkin epäselvää, kuinka monta sirua x86-titan on onnistunut saamaan asiakkaille. ®