Cerebras Systems ผู้บุกเบิกการเร่งความเร็วการประมวลผลปัญญาประดิษฐ์ (AI) เปิดตัว Andromeda ซูเปอร์คอมพิวเตอร์ AI จำนวน 13.5 ล้านคอร์ พร้อมใช้งานแล้วและใช้งานเชิงพาณิชย์และงานวิชาการ สร้างขึ้นด้วยคลัสเตอร์ของระบบ Cerebras CS-16 2 ระบบ และใช้ประโยชน์จากเทคโนโลยี Cerebras MemoryX และ SwarmX Andromeda มอบการประมวลผล AI มากกว่า 1 Exaflop และ 120 Petaflops ของการประมวลผลหนาแน่นที่ความแม่นยำครึ่งหนึ่ง 16 บิต เป็นซูเปอร์คอมพิวเตอร์ AI เพียงเครื่องเดียวที่เคยสาธิตการปรับขนาดเชิงเส้นที่เกือบจะสมบูรณ์แบบบนเวิร์กโหลดโมเดลภาษาขนาดใหญ่ โดยอาศัยความเท่าเทียมของข้อมูลอย่างง่ายเพียงอย่างเดียว
ด้วยคอร์ประมวลผลที่ปรับให้เหมาะสมโดย AI จำนวน 13.5 ล้านคอร์ และขับเคลื่อนโดยโปรเซสเซอร์ AMD EPYC™ เจนเนอเรชั่นที่ 18,176 จำนวน 3 ตัว Andromeda มีคอร์มากกว่า 1,953 Nvidia A100 GPUs และมีคอร์มากกว่า 1.6 เท่าของซูเปอร์คอมพิวเตอร์ที่ใหญ่ที่สุดในโลกอย่าง Frontier ซึ่งมี 8.7 ล้านคอร์ Andromeda แตกต่างจากคลัสเตอร์ที่ใช้ GPU ใดๆ ที่รู้จัก โดยให้การปรับขนาดที่เกือบจะสมบูรณ์แบบผ่านการขนานข้อมูลอย่างง่ายในโมเดลภาษาขนาดใหญ่ระดับ GPT รวมถึง GPT-3, GPT-J และ GPT-NeoX
การปรับขนาดที่ใกล้สมบูรณ์แบบหมายความว่าเมื่อใช้ CS-2 เพิ่มเติม เวลาการฝึกอบรมจะลดลงในสัดส่วนที่ใกล้สมบูรณ์แบบ ซึ่งรวมถึงโมเดลภาษาขนาดใหญ่ที่มีความยาวลำดับที่ใหญ่มาก ซึ่งเป็นงานที่เป็นไปไม่ได้ที่จะบรรลุผลสำเร็จด้วย GPU ในความเป็นจริง การทำงานที่เป็นไปไม่ได้ของ GPU ได้รับการสาธิตโดยหนึ่งในผู้ใช้กลุ่มแรกๆ ของ Andromeda ซึ่งสามารถปรับขนาดได้เกือบสมบูรณ์แบบบน GPT-J ที่ 2.5 พันล้านและ 25 พันล้านพารามิเตอร์ที่มีความยาวลำดับยาว — MSL ที่ 10,240 ผู้ใช้พยายามทำงานเดียวกันกับ Polaris ซึ่งเป็นคลัสเตอร์ Nvidia A2,000 จำนวน 100 ตัว และ GPU ไม่สามารถทำงานได้เนื่องจากหน่วยความจำ GPU และข้อจำกัดแบนด์วิดท์หน่วยความจำ
Wafer-Scale Engine (WSE-2) ซึ่งขับเคลื่อนระบบ Cerebras CS-2 ถือเป็นชิปที่ใหญ่ที่สุดที่เคยสร้างมา WSE-2 มีขนาดใหญ่กว่า GPU ที่ใหญ่ที่สุด 56 เท่า มีคอร์ประมวลผลมากกว่า 123 เท่า และหน่วยความจำบนชิปประสิทธิภาพสูงมากกว่า 1000 เท่า โปรเซสเซอร์ขนาดเวเฟอร์เพียงตัวเดียวที่เคยผลิตมา ประกอบด้วยทรานซิสเตอร์ 2.6 ล้านล้านคอร์ คอร์ที่ปรับให้เหมาะสมกับ AI 850,000 คอร์ และหน่วยความจำออนเวเฟอร์ประสิทธิภาพสูง 40 กิกะไบต์ ทั้งหมดนี้ช่วยเร่งการทำงานของ AI ของคุณ
คลัสเตอร์-สเกลในชิปตัวเดียว
แตกต่างจากอุปกรณ์ทั่วไปที่มีหน่วยความจำแคชบนชิปจำนวนเล็กน้อยและแบนด์วิธการสื่อสารที่จำกัด WSE-2 มี SRAM บนชิปขนาด 40GB กระจายอย่างเท่าเทียมกันทั่วทั้งพื้นผิวของชิป ทำให้ทุกคอร์สามารถเข้าถึงรอบสัญญาณนาฬิกาเดียวได้ หน่วยความจำที่รวดเร็วด้วยแบนด์วิธที่สูงมากถึง 20PB/s นี่คือความจุที่มากกว่า 1,000 เท่า และแบนด์วิธที่มากกว่า 9,800 เท่า มากกว่า GPU ชั้นนำ
แบนด์วิธสูง เวลาแฝงต่ำ
การเชื่อมต่อระหว่างกันบนเวเฟอร์ WSE-2 ช่วยลดการชะลอตัวของการสื่อสารและความไร้ประสิทธิภาพของการเชื่อมต่ออุปกรณ์ขนาดเล็กหลายร้อยเครื่องผ่านสายไฟและสายเคเบิล ให้แบนด์วิธการเชื่อมต่อระหว่างคอร์ที่ 220 Pb/s อย่างน่าอัศจรรย์ ซึ่งมากกว่า 45,000x ของแบนด์วิธที่ส่งระหว่างโปรเซสเซอร์กราฟิก ผลลัพธ์คือการดำเนินการที่รวดเร็วและมีประสิทธิภาพยิ่งขึ้นสำหรับงานการเรียนรู้เชิงลึกของคุณโดยใช้พลังงานเพียงเล็กน้อยจากคลัสเตอร์ GPU แบบดั้งเดิม
Brian Wang เป็นผู้นำทางความคิดแห่งอนาคตและบล็อกเกอร์วิทยาศาสตร์ยอดนิยมที่มีผู้อ่าน 1 ล้านคนต่อเดือน บล็อก Nextbigfuture.com ของเขาอยู่ในอันดับที่ 1 บล็อกข่าววิทยาศาสตร์ ครอบคลุมเทคโนโลยีและแนวโน้มที่ก่อกวนมากมาย เช่น อวกาศ วิทยาการหุ่นยนต์ ปัญญาประดิษฐ์ การแพทย์ เทคโนโลยีชีวภาพต่อต้านวัย และนาโนเทคโนโลยี
เขาเป็นที่รู้จักในด้านการระบุเทคโนโลยีล้ำสมัย ปัจจุบันเขาเป็นผู้ร่วมก่อตั้งบริษัทสตาร์ทอัพและผู้ระดมทุนสำหรับบริษัทระยะเริ่มต้นที่มีศักยภาพสูง เขาเป็นหัวหน้าฝ่ายวิจัยเพื่อการจัดสรรสำหรับการลงทุนด้านเทคโนโลยีระดับลึกและเป็น Angel Investor ที่ Space Angels
เขาเป็นวิทยากรประจำในองค์กร เขาเป็นวิทยากร TEDx เป็นวิทยากรของ Singularity University และเป็นแขกรับเชิญในการสัมภาษณ์หลายครั้งทางวิทยุและพอดแคสต์ เขาเปิดให้พูดในที่สาธารณะและให้คำปรึกษา
