Nvidia kesmiyor mu? Google ve Amazon'un en yeni AI çipleri geldi

Bulut tabanlı AI eğitimi, Amazon Web Services (AWS) ve Google Cloud'un en yeni özel AI hızlandırıcılarının genel kullanılabilirliğini duyurmasının ardından bu hafta biraz daha çeşitlendi.

Bulut sağlayıcısının Trainium yongaları, Amazon'la birlikte AWS'de genel kullanıma sunuldu. Öncelikle Önizlemesi Geçen yıl AWS re:Invent'te Amazon'un Trainium destekli Trn1n bulut sunucuları, doğal dil işleme ve görüntü tanımada kullanılanlar gibi büyük makine öğrenimi modellerini eğitmek için tasarlandı.

Amazon, Amazon'un dahili kıyaslamalarına göre, örneklerin BF40 ve 250-bit TensorFlow iş yüklerinde Nvidia A16 destekli P32d örneklerinden yüzde 100 ila yüzde 4 daha yüksek performans gösterdiğini iddia ediyor. Hızlandırıcı ayrıca FP32, FP16, UINT8 ve yapılandırılabilir bir FP8 veri tipini de destekler. FP8 var popüler olmak Son yıllarda yapay zeka dünyasında ham performans için doğruluk ticareti yapmak için bir araç olarak.

Bulut sunucuları iki boyutta mevcuttur: Amazon'un trn1.2xlarge'ı sekiz vCPU'yu tek bir Trainium yongası, CPU ve hızlandırıcı arasında eşit olarak bölünmüş 64 GB bellek, 12.5 Gbit/sn ağ iletişimi ve 500 GB yerel SSD depolama ile eşleştirir. Bu arada, daha büyük iş yükleri için trn1.32xlarge 16 kat daha büyüktür ve 128 vCPU, 16 Trainium yongası, 1 TB birleşik bellek ve örnek başına 800 Gbit/sn ağ bant genişliği içerir.

Büyük ölçekli model eğitimi için, birden çok trn1.32xlarge bulut sunucusu, Amazon'un FSx Lustre depolama hizmeti ve "petabit sınıfı" engellemeyen raf üstü anahtarları kullanılarak kümelenebilir.

Hızlandırıcı, bir derleyici, çerçeve uzantıları, bir çalışma zamanı kitaplığı ve geliştirici araçlarıyla birlikte gelen Amazon'un daha önce duyurulan Inferentia çıkarım çipi ile aynı Neuron SDK'sını kullanır. Amazon, PyTorch ve TensorFlow gibi popüler makine öğrenimi çerçevelerinde yazılan iş yüklerinin, minimum yeniden düzenleme ile Trainium üzerinde çalışacak şekilde uyarlanabileceğini iddia ediyor.

Trn1n bulut sunucuları bu hafta Amazon'un ABD Doğu ve ABD Batı bölgelerinde kullanılabilir.

Google'ın TPU v4'ü artık genel kullanıma sunuldu

Google ayrıca, bu haftaki Cloud Next etkinliğinde bir dizi donanım güncellemesini tanıttı. genel uygunluk dördüncü nesil Tensör İşlem Birimlerinin (TPU)

Google Cloud'un TPU v4 destekli sanal makineleri, dört yongadan (tek bir TPU modülü) tümü yüksek hızlı bir yapı üzerinden bağlanan 4,096 adede kadar yonga içeren bir kapsüle kadar değişen yapılandırmalarda sunulur.

Google'ın TPU hızlandırıcıları, aşina olmayanlar için, doğal dil işlemede, öneri sistemlerinde ve bilgisayarla görmede kullanılanlar gibi donanım büyük makine öğrenimi modellerini hızlandırmak için özel olarak tasarlanmıştır.

Yüksek düzeyde, hızlandırıcı, temelde, programlanabilir hale getirmek için bazı yüksek bant genişlikli bellek ve birkaç CPU çekirdeği tarafından desteklenen, MXU'lar olarak adlandırılan bir grup büyük bfloat matris matematik motorudur; CPU çekirdeklerine, yüksek hızlı işleme için bir iş yükünün AI matematik işlemlerini MXU'lara beslemesi talimatı verilir. Her TPU VM, her biri iki işlem çekirdeğine ve toplam 128 GB belleğe sahip dört yongadan oluşur.

Google'ın en son TPU mimarisinin tam bir dökümü için şunu öneririz: kontrol etmek kardeş sitesi Bir Sonraki Platform.

Özel hızlandırıcılar, Google'ın kendi AI iş yüklerini hızlandırmak için tasarlandı, ancak daha sonra GCP'de müşterilere açıldı. Beklediğiniz gibi, TPU'lar JAX, PyTorch ve TensorFlow dahil olmak üzere çeşitli popüler ML çerçevelerini destekler. Ve Google'a göre TPU v4, bir önceki modele göre iki kat daha hızlı ve aynı zamanda dolar başına yüzde 40 daha yüksek performans sunuyor.

TPU v4 Kapsül dilimleri artık GCP'nin Oklahoma bölgesinde, çip başına saat başına 0.97 ila 3.22 ABD doları arasında bir fiyatla sunulmaktadır. Google'ın en küçük örneği için bu, bir yıllık taahhütle ayda 5,924 ABD dolarına çıkıyor.

Google, Intel'in yeni nesil CPU'ları olan smartNIC'lere bir göz atıyor

Intel'in Sapphire Rapids CPU'ları ve Mount Evans IPU'ları da bu hafta Google Cloud'da özel bir önizleme olarak göründü.

Belirli müşteriler artık Intel'in Uzun gecikmiş Sapphire Rapids CPU'lar bir dönüm noktası, ancak bugünkü duyuru, mikroişlemcilerden neler bekleyebileceğimize dair birkaç ipucu sunuyor. Bunun yerine biz, Intel ile birlikte geliştirdiği Mount Evans IPU'larını kullandı.

Intel ağına liderlik eden Nick McKeown, "Herhangi bir genel bulutta türünün ilk örneği olan C3 VM'ler, iş yüklerini 4. Nesil Intel Xeon Ölçeklenebilir işlemcilerde çalıştırırken, programlanabilir paket işlemeyi IPU'lara 200 Gbit/sn hat hızlarında güvenli bir şekilde serbest bırakacak." ve kenar grubu, bir ifade.

Geçen yıl Intel'in Mimari Günü'nde duyurulan Mount Evans - şimdi E2000 olarak yeniden adlandırıldı - Intel'in ilk IPU ASIC'i. IPU, bir Altyapı İşlem Birimidir, temelde ağ oluşturma ve depolama görevleri için başka bir donanım hızlandırıcıdır.

SmartNIC sınıfı çip, Google'ın bulut altyapısı iş yüklerini hızlandırmak için kullanılacak. Bunlardan ilki depolama olacak. Bulut sağlayıcısı, IPU ile güçlendirilmiş C3 bulut sunucularının, kendi C10 bulut sunucularını kullanırken 4 kat daha yüksek IOPS ve giden C2 bulut sunucularının verimini XNUMX kat daha fazla sunduğunu iddia ediyor. geçenlerde açıkladı Hiper disk hizmeti.

IPU'lar, veri işleme birimleri ve SmartNIC'ler, bulut dünyasında pek yeni bir olgu değildir. Amazon, Microsoft Azure ve Alibaba Cloud ayrıca ağ oluşturma, depolama ve güvenlik gibi altyapı görevlerini ana bilgisayardan boşaltmak için SmartNIC'leri kullanıyor ve süreçte kiracı iş yükleri tarafından kullanılmak üzere CPU döngülerini serbest bırakıyor.

Intel'in Sapphire Rapids'i hala bulutta kaldı

Sapphire Rapids tarafından desteklenen "genel buluttaki ilk sanal makine" olarak C3 örneklerini tanıtmasına rağmen, burada "genel" muhtemelen yanlış kelimedir. Google'ın C3 örnekleri, muhtemelen katı bir Gizlilik Sözleşmesi kapsamında, uygulamaya göre belirli müşterilerle sınırlı kalır.

Bu hafta itibariyle Intel, programın bir yıldan fazla gerisinde olan Sapphire Rapids işlemci ailesi için henüz bir lansman tarihi açıklamadı. Bununla birlikte, AMD'nin bu sonbaharda piyasaya sürülmesi planlanan dördüncü nesil Epyc işlemcilerinin piyasaya sürülmesiyle, Intel, yeni nesil veri merkezi yongalarını bazı müşterilerin ellerine - en azından sanal olarak - almak için her zamankinden daha istekli görünüyor.

Google, Sapphire Rapids tabanlı kaynakları belirli bir kapasitede müşterilere sunan en yeni Intel iş ortağıdır. Google bulut sanal makineleri sunarken, Supermicro ve Intel, müşterilere çiplerin sağladığı yeni yetenekleri keşfetme fırsatı sağlamak için çıplak metal sistemlere uzaktan erişim sunuyor.

Intel, bazı OEM'lere, bulut arkadaşlarına ve devlet kurumlarına Sapphire-Rapids destekli dördüncü nesil Xeon Ölçeklenebilir işlemciler göndermeye başladı. Bununla birlikte, x86 titanının müşterilere kaç çip vermeyi başardığı belli değil. ®