Yapay zeka (AI) hesaplamalarını hızlandırmada öncü olan Cerebras Systems, bugün Andromeda'yı tanıttı. 13.5 milyon çekirdekli bir yapay zeka süper bilgisayarı şu anda mevcut ve ticari ve akademik çalışmalar için kullanılıyor. 16 Cerebras CS-2 sisteminden oluşan bir kümeyle oluşturulan ve Cerebras MemoryX ve SwarmX teknolojilerinden yararlanan Andromeda, 1 bit yarı hassasiyette 120 Exaflop'tan fazla yapay zeka hesaplaması ve 16 Petaflop'luk yoğun bilgi işlem sunar. Yalnızca basit veri paralelliğine dayanan büyük dil modeli iş yüklerinde mükemmele yakın doğrusal ölçeklendirme sergileyen tek yapay zeka süper bilgisayarıdır.
Yapay zekâyla optimize edilmiş 13.5 milyon bilgi işlem çekirdeği ve 18,176 3. Nesil AMD EPYC™ işlemciyle beslenen Andromeda, 1,953 Nvidia A100 GPU'dan daha fazla çekirdeğe ve 1.6 milyon çekirdeğe sahip dünyanın en büyük süper bilgisayarı Frontier'dan 8.7 kat daha fazla çekirdeğe sahip. Bilinen herhangi bir GPU tabanlı kümenin aksine Andromeda, GPT-3, GPT-J ve GPT-NeoX dahil olmak üzere GPT sınıfı büyük dil modellerinde basit veri paralelliği yoluyla mükemmele yakın ölçeklendirme sağlar.
Mükemmele yakın ölçeklendirme, ek CS-2'ler kullanıldıkça eğitim süresinin mükemmele yakın oranda azalması anlamına gelir. Bu, GPU'larda başarılması imkansız olan, çok büyük dizi uzunluklarına sahip büyük dil modellerini içerir. Aslında, GPU'nun olanaksız çalışması, Andromeda'nın ilk kullanıcılarından biri tarafından, GPT-J'de uzun dizi uzunluklarıyla (2.5 MSL) 25 milyar ve 10,240 milyar parametrede mükemmele yakın ölçeklendirme elde ederek kanıtlandı. Kullanıcılar aynı işi 2,000 Nvidia A100 kümesi olan Polaris üzerinde yapmaya çalıştılar ve GPU'lar, GPU belleği ve bellek bant genişliği sınırlamaları nedeniyle işi yapamadı.
Cerebras CS-2 sistemine güç veren Gofret Ölçekli Motor (WSE-2), şimdiye kadar yapılmış en büyük çiptir. WSE-2, en büyük GPU'dan 56 kat daha büyüktür, 123 kat daha fazla bilgi işlem çekirdeğine ve 1000 kat daha yüksek performanslı çip üzerinde belleğe sahiptir. Şimdiye kadar üretilmiş tek yonga levha ölçeğinde işlemci olan bu işlemci, 2.6 trilyon transistör, 850,000 yapay zeka için optimize edilmiş çekirdek ve 40 gigabaytlık yüksek performanslı yonga levha üzerinde bellek içerir ve bunların tümü yapay zeka çalışmalarınızı hızlandırır.
Tek Çipte Küme Ölçeği
Küçük miktarlarda çip üzerinde önbellek ve sınırlı iletişim bant genişliğine sahip geleneksel cihazların aksine, WSE-2, çipin tüm yüzeyine eşit olarak yayılmış 40 GB çip üzerinde SRAM özelliğine sahiptir ve her çekirdeğe tek saat döngüsü erişimi sağlar. 20PB/s'lik son derece yüksek bant genişliğinde hızlı bellek. Bu, lider GPU'ya göre 1,000 kat daha fazla kapasite ve 9,800 kat daha fazla bant genişliği demektir.
Yüksek Bant Genişliği, Düşük Gecikme
WSE-2 yonga üstü ara bağlantısı, yüzlerce küçük cihazın teller ve kablolar aracılığıyla bağlanmasından kaynaklanan iletişim yavaşlamasını ve verimsizliklerini ortadan kaldırır. Çekirdekler arasında şaşırtıcı bir 220 Pb/s ara bağlantı bant genişliği sunar. Bu, grafik işlemciler arasında sağlanan bant genişliğinin 45,000 katından fazladır. Sonuç, geleneksel GPU kümelerinin güç tüketiminin çok küçük bir kısmıyla derin öğrenme çalışmalarınızın daha hızlı, daha verimli yürütülmesidir.
Brian Wang, Fütürist Düşünce Lideri ve ayda 1 milyon okuyucusu olan popüler bir Bilim blog yazarıdır. Blogu Nextbigfuture.com, Science News Blog'da 1. sırada yer alıyor. Uzay, Robotik, Yapay Zeka, Tıp, Yaşlanma Karşıtı Biyoteknoloji ve Nanoteknoloji dahil olmak üzere birçok yıkıcı teknoloji ve trendi kapsar.
En son teknolojileri tanımlamasıyla tanınan, şu anda yüksek potansiyele sahip erken aşamadaki şirketler için bir başlangıç ve bağış toplama kuruluşunun Kurucu Ortağıdır. Derin teknoloji yatırımları için Tahsis Araştırma Başkanı ve Space Angels'ta Melek Yatırımcıdır.
Şirketlerde sık sık konuşmacı olarak, TEDx konuşmacısı, Singularity Üniversitesi konuşmacısı ve radyo ve podcast'ler için çok sayıda röportajda konuk olmuştur. Topluluk önünde konuşma ve danışmanlık görüşmelerine açıktır.
