গড় AI দোকানের জন্য, স্পার্স মডেল এবং সস্তা মেমরি জিতবে

নেতৃস্থানীয় বৃহৎ-স্কেল ভাষার মডেলগুলি যতটা বাধ্যতামূলক হতে পারে, সত্যটি রয়ে গেছে যে কেবলমাত্র বৃহত্তম সংস্থাগুলির কাছেই অর্থপূর্ণ স্কেলে তাদের স্থাপন এবং প্রশিক্ষণের সংস্থান রয়েছে।

প্রতিযোগিতামূলক সুবিধার জন্য AI-এর সুবিধা নিতে আগ্রহী উদ্যোগগুলির জন্য, একটি সস্তা, প্যারড-ডাউন বিকল্প একটি ভাল ফিট হতে পারে, বিশেষত যদি এটি নির্দিষ্ট শিল্প বা ডোমেনে টিউন করা যায়।

এখানেই AI স্টার্টআপগুলির একটি উদীয়মান সেট একটি বিশেষ স্থান তৈরি করার আশা করছে: বিক্ষিপ্ত, মানানসই মডেল তৈরি করে যা হয়তো ততটা শক্তিশালী নয় GPT-3, এন্টারপ্রাইজ ব্যবহারের ক্ষেত্রে যথেষ্ট ভাল এবং কমোডিটি ডিডিআর-এর জন্য ব্যয়বহুল উচ্চ-ব্যান্ডউইথ মেমরি (HBM) ঘাটতি হার্ডওয়্যারে চালানো হয়।

জার্মান এআই স্টার্টআপ আলেফ আলফা এমন একটি উদাহরণ। 2019 সালে প্রতিষ্ঠিত, হাইডেলবার্গ, জার্মানি ভিত্তিক কোম্পানির ভাস্বর প্রাকৃতিক-ভাষা মডেলটি OpenAI-এর GPT-3-এর মতো একই শিরোনাম-আঁকড়ে ধরার বৈশিষ্ট্যগুলি নিয়ে গর্ব করে: কপিরাইটিং, শ্রেণিবিন্যাস, সংক্ষিপ্তকরণ এবং অনুবাদ, কয়েকটি নাম।

মডেল স্টার্টআপটি গ্রাফকোরের সাথে যুক্ত হয়েছে ব্রিটিশদের বিক্ষিপ্ত ভাষার মডেলগুলি অন্বেষণ এবং বিকাশ করতে চিপমেকারের হার্ডওয়্যার.

"গ্রাফকোরের আইপিইউগুলি শর্তসাপেক্ষ স্প্যার্সিটির মতো উন্নত প্রযুক্তিগত পদ্ধতির মূল্যায়ন করার একটি সুযোগ উপস্থাপন করে," আলেফ আলফার সিইও জোনাস অ্যান্ড্রুলিয়াস একটি বার্তায় বলেছেন বিবৃতি. "এই স্থাপত্যগুলি নিঃসন্দেহে আলেফ আলফার ভবিষ্যতের গবেষণায় একটি ভূমিকা পালন করবে।"

স্পার্সিটির উপর গ্রাফকোরের বড় বাজি

শর্তসাপেক্ষে স্পার্স মডেলগুলি — যাকে কখনও কখনও বিশেষজ্ঞদের মিশ্রণ বা রাউটেড মডেল বলা হয় — শুধুমাত্র প্রযোজ্য প্যারামিটারগুলির বিরুদ্ধে ডেটা প্রক্রিয়া করা হয়, যা তাদের চালানোর জন্য প্রয়োজনীয় গণনা সংস্থানগুলিকে উল্লেখযোগ্যভাবে হ্রাস করতে পারে।

উদাহরণস্বরূপ, যদি একটি ভাষা মডেল ইন্টারনেটে সমস্ত ভাষায় প্রশিক্ষিত হয়, এবং তারপরে রাশিয়ান ভাষায় একটি প্রশ্ন জিজ্ঞাসা করা হয়, তবে পুরো মডেলের মাধ্যমে সেই ডেটা চালানোর কোন মানে হয় না, শুধুমাত্র রাশিয়ান ভাষার সাথে সম্পর্কিত প্যারামিটারগুলি, গ্রাফকোর সিটিও সাইমন নোলসের সাথে একটি সাক্ষাত্কারে ব্যাখ্যা করেছেন নিবন্ধনকর্মী.

“এটা সম্পূর্ণ সুস্পষ্ট। এইভাবে আপনার মস্তিষ্ক কাজ করে, এবং এটি একটি AI কিভাবে কাজ করা উচিত,” তিনি বলেন। "আমি এটি অনেকবার বলেছি, কিন্তু যদি একটি AI অনেক কিছু করতে পারে, তবে একটি জিনিস করার জন্য এটির সমস্ত জ্ঞান অ্যাক্সেস করার প্রয়োজন নেই।"

নোলস, যার কোম্পানি এই ধরণের মডেলের জন্য তৈরি এক্সিলারেটর তৈরি করে, আশ্চর্যজনকভাবে বিশ্বাস করে যে তারা AI এর ভবিষ্যত। "আমি অবাক হব যদি, আগামী বছরের মধ্যে, কেউ ঘন-ভাষার মডেল তৈরি করে," তিনি যোগ করেন।

HBM-2 দামি? পরিবর্তে ডিডিআর-এ ক্যাশে ইন করুন

স্পার্স ভাষা মডেল তাদের চ্যালেঞ্জ ছাড়া হয় না. সবচেয়ে চাপা এক, নোলস অনুযায়ী, মেমরি সঙ্গে কি করতে হবে. এই মডেলগুলির প্রয়োজনীয় ব্যান্ডউইথ এবং ধারণক্ষমতা অর্জনের জন্য হাই-এন্ড GPU-তে ব্যবহৃত HBM ব্যয়বহুল এবং আরও বেশি ব্যয়বহুল অ্যাক্সিলারেটরের সাথে সংযুক্ত।

এটি ঘন-ভাষা মডেলগুলির জন্য একটি সমস্যা নয় যেখানে আপনার সেই সমস্ত গণনা এবং মেমরির প্রয়োজন হতে পারে, তবে এটি স্পার্স মডেলগুলির জন্য একটি সমস্যা তৈরি করে, যা গণনার চেয়ে মেমরির পক্ষে, তিনি ব্যাখ্যা করেছিলেন।

ইন্টারকানেক্ট টেক, এনভিডিয়ার এনভিলিঙ্কের মতো, একাধিক জিপিইউ জুড়ে মেমরি পুল করতে ব্যবহার করা যেতে পারে, কিন্তু যদি মডেলটির জন্য সেই সমস্ত গণনার প্রয়োজন না হয় তবে জিপিইউগুলি নিষ্ক্রিয় বসে থাকতে পারে। "এটি মেমরি কেনার একটি সত্যিই ব্যয়বহুল উপায়," নোলস বলেন.

গ্রাফকোরের এক্সিলারেটররা কম্পিউটিংয়ের মতো পুরানো একটি কৌশল ধার করে এই চ্যালেঞ্জটি এড়িয়ে যাওয়ার চেষ্টা করে: ক্যাশিং। এই মডেলগুলির ব্যান্ডউইথের প্রয়োজনীয়তা পূরণ করার জন্য প্রতিটি IPU-তে একটি অপেক্ষাকৃত বড় SRAM ক্যাশে — 1GB — বৈশিষ্ট্য রয়েছে, যেখানে সস্তা DDR4 মেমরির বড় পুল ব্যবহার করে কাঁচা ক্ষমতা অর্জন করা হয়।

"আপনি যত বেশি SRAM পেয়েছেন, আপনার প্রয়োজন তত কম DRAM ব্যান্ডউইথ, এবং এটিই আমাদের HBM ব্যবহার না করার অনুমতি দেয়," নোলস বলেছিলেন।

এক্সিলারেটর থেকে মেমরি ডিকপল করার মাধ্যমে, এটি অনেক কম ব্যয়বহুল — কয়েকটি পণ্য ডিডিআর মডিউলের খরচ — বড় এআই মডেলগুলিকে সমর্থন করার জন্য উদ্যোগগুলির জন্য৷

সস্তা মেমরি সমর্থন করার পাশাপাশি, নোলস দাবি করেন যে কোম্পানির আইপিইউ-এর জিপিইউগুলির তুলনায় একটি আর্কিটেকচারাল সুবিধা রয়েছে, অন্তত যখন এটি বিচ্ছিন্ন মডেলগুলির ক্ষেত্রে আসে।

অল্প সংখ্যক বড় ম্যাট্রিক্স মাল্টিপ্লায়ারে চালানোর পরিবর্তে — যেমন আপনি একটি টেনসর প্রসেসিং ইউনিটে খুঁজে পান — গ্রাফকোরের চিপগুলিতে প্রচুর পরিমাণে ছোট ম্যাট্রিক্স গণিত ইউনিট রয়েছে যা মেমরিকে স্বাধীনভাবে সম্বোধন করতে পারে।

এটি স্পার্স মডেলের জন্য বৃহত্তর কণিকা প্রদান করে, যেখানে "প্রাসঙ্গিক উপসেটগুলি আনার জন্য আপনার স্বাধীনতার প্রয়োজন এবং আপনি যত ছোট ইউনিট আনতে বাধ্য, আপনার তত বেশি স্বাধীনতা থাকবে," তিনি ব্যাখ্যা করেছিলেন।

রায় এখনও বাইরে

একসাথে রাখলে, নোলস যুক্তি দেয় যে এই পদ্ধতিটি তার IPU গুলিকে GPU গুলির তুলনায় যথেষ্ট কম খরচে শত শত বিলিয়ন বা এমনকি ট্রিলিয়ন প্যারামিটার সহ বড় AI/ML মডেলগুলিকে প্রশিক্ষণ দিতে সক্ষম করে।

যাইহোক, এন্টারপ্রাইজ এআই মার্কেট এখনও তার শৈশবকালে, এবং গ্রাফকোর এই স্থানটিতে বৃহত্তর, আরও প্রতিষ্ঠিত প্রতিদ্বন্দ্বীদের কাছ থেকে কঠোর প্রতিযোগিতার মুখোমুখি।

তাই যখন AI-এর জন্য অতি-স্পর্স, কাট-রেট ল্যাঙ্গুয়েজ মডেলগুলির বিকাশ যে কোনও সময় শীঘ্রই হ্রাস পাওয়ার সম্ভাবনা নেই, এটি গ্রাফকোরের আইপিইউ বা অন্য কারও অ্যাক্সিলারেটর যা এন্টারপ্রাইজ এআই কাজের চাপকে শক্তিশালী করে কিনা তা দেখা বাকি রয়েছে। ®