সেরেব্রাস সিস্টেমস, কৃত্রিম বুদ্ধিমত্তা (AI) গণনাকে ত্বরান্বিত করার পথপ্রদর্শক, আজ অ্যান্ড্রোমিডা উন্মোচন করেছে, একটি 13.5 মিলিয়ন কোর AI সুপার কম্পিউটার, এখন উপলব্ধ এবং বাণিজ্যিক এবং একাডেমিক কাজের জন্য ব্যবহৃত হচ্ছে। 16টি সেরিব্রাস CS-2 সিস্টেমের একটি ক্লাস্টার এবং সেরিব্রাস মেমোরিএক্স এবং সোয়ারমএক্স প্রযুক্তির সাহায্যে তৈরি, অ্যান্ড্রোমিডা 1-বিট অর্ধেক নির্ভুলতায় 120টিরও বেশি এআই কম্পিউটের এক্সাফ্লপ এবং ঘন গণনার 16 পেটাফ্লপ প্রদান করে। এটিই একমাত্র AI সুপার কম্পিউটার যা শুধুমাত্র সাধারণ ডেটা সমান্তরালতার উপর নির্ভর করে বৃহৎ ভাষার মডেল ওয়ার্কলোডের কাছাকাছি-নিখুঁত লিনিয়ার স্কেলিং প্রদর্শন করে।
13.5 মিলিয়ন AI-অপ্টিমাইজ করা কম্পিউট কোর এবং 18,176 3rd Gen AMD EPYC™ প্রসেসর দ্বারা খাওয়ানো হয়েছে, Andromeda 1,953 Nvidia A100 GPU-এর থেকেও বেশি কোর এবং বিশ্বের বৃহত্তম সুপার কম্পিউটার, Frontier.1.6 মিলিয়ন কোরের তুলনায় 8.7 গুণ বেশি কোর বৈশিষ্ট্যযুক্ত। যে কোনো পরিচিত GPU-ভিত্তিক ক্লাস্টারের বিপরীতে, অ্যান্ড্রোমিডা GPT-3, GPT-J এবং GPT-NeoX সহ GPT-শ্রেণীর বৃহৎ ভাষার মডেলগুলিতে সাধারণ ডেটা সমান্তরালতার মাধ্যমে কাছাকাছি-নিখুঁত স্কেলিং সরবরাহ করে।
কাছাকাছি-নিখুঁত স্কেলিং মানে অতিরিক্ত CS-2 ব্যবহার করা হলে, প্রশিক্ষণের সময় প্রায় নিখুঁত অনুপাতে কমে যায়। এর মধ্যে অনেক বড় সিকোয়েন্স দৈর্ঘ্য সহ বৃহৎ ভাষার মডেল রয়েছে, এমন একটি কাজ যা GPU-তে অর্জন করা অসম্ভব। প্রকৃতপক্ষে, জিপিইউ অসম্ভব কাজটি অ্যান্ড্রোমিডার প্রথম ব্যবহারকারীদের একজনের দ্বারা প্রদর্শিত হয়েছিল, যিনি GPT-J-এ 2.5 বিলিয়ন এবং 25 বিলিয়ন প্যারামিটারে দীর্ঘ ক্রম দৈর্ঘ্যের সাথে নিখুঁত স্কেলিং অর্জন করেছিলেন — 10,240-এর MSL। ব্যবহারকারীরা পোলারিস, একটি 2,000 Nvidia A100 ক্লাস্টারে একই কাজ করার চেষ্টা করেছিল এবং GPU মেমরি এবং মেমরি ব্যান্ডউইথ সীমাবদ্ধতার কারণে GPU গুলি কাজটি করতে পারেনি।
ওয়েফার-স্কেল ইঞ্জিন (WSE-2), যা সেরিব্রাস CS-2 সিস্টেমকে শক্তি দেয়, এটি এখন পর্যন্ত নির্মিত বৃহত্তম চিপ। WSE-2 বৃহত্তম GPU থেকে 56 গুণ বড়, এর 123 গুণ বেশি কম্পিউট কোর এবং 1000 গুণ বেশি উচ্চ-পারফরম্যান্স অন-চিপ মেমরি রয়েছে। এখন পর্যন্ত উৎপাদিত একমাত্র ওয়েফার স্কেল প্রসেসর, এতে 2.6 ট্রিলিয়ন ট্রানজিস্টর, 850,000 AI-অপ্টিমাইজড কোর এবং 40 গিগাবাইট উচ্চ কার্যক্ষমতার অন-ওয়েফার মেমরি রয়েছে যা আপনার AI কাজকে ত্বরান্বিত করে।
একটি একক চিপে ক্লাস্টার-স্কেল
অল্প পরিমাণে অন-চিপ ক্যাশ মেমরি এবং সীমিত যোগাযোগ ব্যান্ডউইথ সহ প্রচলিত ডিভাইসগুলির বিপরীতে, WSE-2-এ 40GB অন-চিপ SRAM রয়েছে, যা চিপের সমগ্র পৃষ্ঠ জুড়ে সমানভাবে ছড়িয়ে রয়েছে, প্রতিটি কোরকে একক-ঘড়ি-চক্র অ্যাক্সেস প্রদান করে। 20PB/s একটি অত্যন্ত উচ্চ ব্যান্ডউইথের দ্রুত মেমরি। এটি নেতৃস্থানীয় GPU এর চেয়ে 1,000x বেশি ক্ষমতা এবং 9,800x বেশি ব্যান্ডউইথ।
উচ্চ ব্যান্ডউইথ, কম লেটেন্সি
WSE-2 অন-ওয়েফার ইন্টারকানেক্ট তার এবং তারের মাধ্যমে শত শত ছোট ডিভাইস সংযোগের যোগাযোগের মন্থরতা এবং অদক্ষতা দূর করে। এটি কোরগুলির মধ্যে একটি আশ্চর্যজনক 220 Pb/s ইন্টারকানেক্ট ব্যান্ডউইথ প্রদান করে। এটি গ্রাফিক্স প্রসেসরের মধ্যে বিতরণ করা ব্যান্ডউইথের 45,000 গুণ বেশি। ফলাফল হল প্রথাগত GPU ক্লাস্টারগুলির পাওয়ার ড্রয়ের একটি ভগ্নাংশে আপনার গভীর শিক্ষার কাজের জন্য দ্রুত, আরও কার্যকরী সম্পাদন।
ব্রায়ান ওয়াং একজন ফিউচারিস্ট থট লিডার এবং প্রতি মাসে 1 মিলিয়ন পাঠক সহ একটি জনপ্রিয় বিজ্ঞান ব্লগার। তার ব্লগ Nextbigfuture.com স্থান পেয়েছে #1 বিজ্ঞান সংবাদ ব্লগ। এটি স্পেস, রোবোটিক্স, আর্টিফিশিয়াল ইন্টেলিজেন্স, মেডিসিন, অ্যান্টি-এজিং বায়োটেকনোলজি, এবং ন্যানো টেকনোলজিসহ অনেক ব্যাহতকারী প্রযুক্তি এবং প্রবণতা জুড়েছে।
অত্যাধুনিক প্রযুক্তি চিহ্নিত করার জন্য পরিচিত, তিনি বর্তমানে উচ্চ সম্ভাব্য প্রাথমিক পর্যায়ের কোম্পানিগুলির জন্য একটি স্টার্টআপ এবং তহবিল সংগ্রহের সহ-প্রতিষ্ঠাতা। তিনি গভীর প্রযুক্তি বিনিয়োগের জন্য বরাদ্দের জন্য গবেষণা প্রধান এবং স্পেস এঞ্জেলসে একজন দেবদূত বিনিয়োগকারী।
কর্পোরেশনে ঘন ঘন বক্তা, তিনি একজন TEDx বক্তা, এককত্ব বিশ্ববিদ্যালয়ের বক্তা এবং রেডিও এবং পডকাস্টের জন্য অসংখ্য সাক্ষাৎকারে অতিথি ছিলেন। তিনি জনসাধারণের বক্তৃতা এবং পরামর্শের জন্য উন্মুক্ত।
