এআই চিপ পরিধানযোগ্য, ড্রোনগুলিতে ব্যবহারের জন্য প্রতিরোধী র‌্যামে কৃত্রিম নিউরন যুক্ত করে

একটি সদ্য প্রকাশিত গবেষণা পত্রে একটি কম্পিউট-ইন-মেমরি (সিআইএম) চিপ বর্ণনা করা হয়েছে যা কৃত্রিম নিউরনকে প্রতিরোধী RAM (RRAM) এর সাথে একত্রিত করে যাতে AI মডেলের ওজন একই চিপে সংরক্ষণ এবং প্রক্রিয়াজাত করা যায়।

ডিজাইনের পিছনে গবেষকরা দাবি করেছেন যে এটি প্রান্তের অ্যাপ্লিকেশনগুলির জন্য আরও দক্ষ হবে কারণ এটি পৃথক গণনা এবং মেমরি ব্লকের মধ্যে ডেটা চলাচল দূর করে।

এজ কম্পিউটিং এবং কৃত্রিম বুদ্ধিমত্তা উভয়ই অদূর ভবিষ্যতে আবহাওয়া বৃদ্ধির পথে রয়েছে, অন্তত বিশ্লেষক কোম্পানি IDC অনুযায়ী. কিছু পরিস্থিতিতে এগুলিকে একত্রিত করে কারণ এজ ডিপ্লোয়মেন্টগুলি শক্তি এবং সংযোগে সীমাবদ্ধ হতে পারে, তবুও এখনও উল্লেখযোগ্য পরিমাণ ডেটা বিশ্লেষণ করতে হবে এবং ইভেন্টগুলির কাছে একটি রিয়েল-টাইম প্রতিক্রিয়া প্রদান করতে হবে, যা ডিভাইসে একটি AI মডেলকে "বসন্ত" করে তোলে সবচেয়ে অনুকূল সমাধান। .

এর আলোকে, একদল গবেষক একটি চিপ তৈরি করেছেন যাকে বলা হয় NeuRRAM, কারণ এটি একটি অভিনব স্থাপত্যে RRAM-এর সাথে কৃত্রিম নিউরনকে একত্রিত করে। প্রকল্পের লক্ষ্য ছিল এমন একটি নকশা প্রদান করা যা একই সাথে উচ্চ শক্তির দক্ষতা প্রদান করতে পারে সেইসাথে বিভিন্ন এআই মডেলকে সমর্থন করার বহুমুখিতা এবং সফ্টওয়্যারে একই মডেল চালানোর জন্য তুলনীয় নির্ভুলতা।

প্রকল্পটি প্রাথমিকভাবে "কম্পিউটিং-এ এক্সপিডিশনস" নামে একটি প্রকৃতি বিজ্ঞান ফাউন্ডেশন প্রকল্পের অংশ হিসাবে শুরু হয়েছিল। এই প্রকল্পটি স্ট্যানফোর্ড এবং ইউসিএসডি সহ বিভিন্ন প্রতিষ্ঠানের গবেষকদের একটি দলকে একত্র করেছে, সেইসাথে চীনের সিংহুয়া বিশ্ববিদ্যালয়ের গবেষকরা যারা RRAM ডিভাইস তৈরিতে বিশেষজ্ঞ।

শক্তি দক্ষতা: ব্যাটারি চালিত গিজমোতে এআই অনুমান করা হয়েছে

স্ট্যানফোর্ড ইউনিভার্সিটির একজন স্নাতক গবেষক ওয়েয়ার ওয়ানের মতে কাগজের লেখক, গতকাল Nature-এ প্রকাশিত, NeuRRAM একটি AI চিপ হিসেবে তৈরি করা হয়েছে যা AI অনুমানের শক্তির দক্ষতাকে ব্যাপকভাবে উন্নত করে, যার ফলে জটিল AI ফাংশনগুলি সরাসরি ব্যাটারি-চালিত এজ ডিভাইসগুলির মধ্যে উপলব্ধি করা যায়, যেমন স্মার্ট পরিধানযোগ্য, ড্রোন এবং শিল্প IoT সেন্সর। .

“আজকের AI চিপগুলিতে, ডেটা প্রসেসিং এবং ডেটা স্টোরেজ আলাদা জায়গায় হয় - কম্পিউটিং ইউনিট এবং মেমরি ইউনিট। এই ইউনিটগুলির মধ্যে ঘন ঘন ডেটা চলাচল সবচেয়ে বেশি শক্তি খরচ করে এবং প্রান্ত ডিভাইসগুলির জন্য কম-পাওয়ার এআই প্রসেসরগুলি উপলব্ধি করার জন্য বাধা হয়ে দাঁড়ায়, "তিনি বলেছিলেন।

এটি মোকাবেলার জন্য, NeuRRAM চিপ একটি "কম্পিউট-ইন-মেমরি" মডেল প্রয়োগ করে, যেখানে প্রক্রিয়াকরণ সরাসরি মেমরির মধ্যে ঘটে। এটি প্রতিরোধী RAM (RRAM) ব্যবহার করে, একটি মেমরি টাইপ যা স্ট্যাটিক র‍্যামের মতো দ্রুত কিন্তু অ-উদ্বায়ী, এটি AI মডেলের ওজন সংরক্ষণ করতে দেয়। RRAM কোষের একটি মূল বৈশিষ্ট্য হল নিউরাল ওয়েটগুলি মেমরি কোষগুলিতে বিভিন্ন কন্ডাক্টেন্স লেভেল হিসাবে সংরক্ষণ করা যেতে পারে, ডিজিটাল-টু-অ্যানালগ কনভার্টার (DACs) এর মাধ্যমে এনকোড করা হয় এবং মেমরি অ্যারেতে খাওয়ানো হয়।

এটি একটি সফ্টওয়্যার সিমুলেশন নয়, এটি হার্ডওয়্যার

সিআইএম আর্কিটেকচারের উপর পূর্ববর্তী অধ্যয়ন করা হয়েছে, তবে এটিই প্রথম যেটি সফ্টওয়্যার সিমুলেশনের পরিবর্তে হার্ডওয়্যারে বিস্তৃত পরিসরে এআই অ্যাপ্লিকেশন প্রদর্শন করে, যখন আরও শক্তি-দক্ষ এবং অ্যালগরিদমগুলি সঠিকভাবে চালাতে সক্ষম হয়, যা পূর্ববর্তী গবেষণাগুলির কোনটিই নয়। ওয়ানের মতে একযোগে দেখাতে সক্ষম হয়েছিল।

NeuRRAM 48 CIM কোর নিয়ে গঠিত যাতে মোট 3 মিলিয়ন RRAM কোষ থাকে। প্রতিটি কোরকে 256 × 256 RRAM কোষ এবং 256 CMOS কৃত্রিম নিউরন সার্কিটের একটি গ্রিড নিয়ে গঠিত একটি ট্রান্সপোজেবল নিউরোসিন্যাপটিক অ্যারে (TNSA) হিসাবে বর্ণনা করা হয়েছে যা অ্যানালগ-টু-ডিজিটাল রূপান্তরকারী (ADCs) এবং অ্যাক্টিভেশন ফাংশন বাস্তবায়ন করে।

কাগজের মতে, টিএনএসএ আর্কিটেকচারটি ডেটাফ্লোগুলির দিকের নমনীয় নিয়ন্ত্রণের প্রস্তাব দেওয়ার জন্য ডিজাইন করা হয়েছে, যা বিভিন্ন ডেটাফ্লো প্যাটার্ন সহ বিভিন্ন ধরণের এআই মডেলকে সমর্থন করার জন্য অত্যন্ত গুরুত্বপূর্ণ।

উদাহরণ স্বরূপ, কনভোলিউশনাল নিউরাল নেটওয়ার্কে (CNN) যা দৃষ্টি-সম্পর্কিত কাজগুলিতে সাধারণ, বিভিন্ন বিমূর্ত স্তরে ডেটা উপস্থাপনা তৈরি করতে স্তরগুলির মাধ্যমে ডেটা একক দিকে প্রবাহিত হয়, যখন কিছু অন্যান্য মডেলে সম্ভাব্য নমুনাগুলি স্তরগুলির মধ্যে সামনে পিছনে সঞ্চালিত হয়। যতক্ষণ না নেটওয়ার্ক একটি উচ্চ-সম্ভাব্য অবস্থায় রূপান্তরিত হয়।

যাইহোক, অন্যান্য ডিজাইন যা CIM-এর সাথে RRAM কে একত্রিত করেছে সেগুলি একক দিকে কাজ করার মধ্যে সীমাবদ্ধ ছিল, সাধারণত RRAM ক্রসবার অ্যারের হার্ডওয়্যার সারি এবং কলামগুলিকে ইনপুটগুলি চালানোর জন্য এবং আউটপুটগুলি পরিমাপ করার জন্য পেরিফেরিতে ডেডিকেটেড সার্কিটের জন্য, কাগজটি বলে।

কিভাবে এটা কাজ করে

NeuRRAM এর পুনর্গঠনের গোপনীয়তা হল যে এটি RRAM কোষগুলির মধ্যে CMOS নিউরন সার্কিটগুলিকে বিতরণ করে এবং উভয় সারি এবং কলামের দৈর্ঘ্য বরাবর তাদের সংযোগ করে।

প্রতিটি TNSA কয়েকটি কোরলেটে বিভক্ত, যার প্রতিটিতে 16 × 16 RRAM কোষ এবং একটি নিউরন সার্কিট থাকে। কোরলেটগুলি অনুভূমিক দিক বরাবর শেয়ার্ড বিট-লাইন (BLs) এবং শব্দ-লাইন (WLs) এবং উল্লম্ব দিক বরাবর সোর্স-লাইন (SLs) দ্বারা সংযুক্ত থাকে।

নিউরন সার্কিট কোরলেটের মধ্য দিয়ে যাওয়া প্রতিটি 16টির মধ্যে একটি BL এবং একটি SL-এর সাথে সুইচের মাধ্যমে সংযোগ করে এবং একই BL বা SL-এর সাথে সংযোগকারী সমস্ত 256 RRAM থেকে ইনপুট একত্রিত করার জন্য দায়ী।

প্রতিটি নিউরন সার্কিট ইনপুট এবং আউটপুটের জন্য তার BL এবং SL সুইচ ব্যবহার করতে পারে। এর অর্থ হল এটি সুইচগুলির মাধ্যমে BL বা SL থেকে আসা একটি RRAM সেল থেকে অ্যানালগ ম্যাট্রিক্স-ভেক্টর মাল্টিপ্লিকেশন (MVM) গ্রহণ করতে পারে, তবে একই সুইচগুলির মাধ্যমে রূপান্তরিত ডিজিটাল ফলাফলগুলি পেরিফেরাল রেজিস্টারে পাঠাতে পারে।

এই বিন্যাসের অর্থ হল প্রতিটি নিউরন সার্কিটের ইনপুট এবং আউটপুট পর্যায়ে কোন সুইচটি ব্যবহার করতে হবে তা কনফিগার করে ভিন্ন ভিন্ন ডেটাফ্লো নির্দেশাবলী প্রয়োগ করা যেতে পারে।

(এই স্থাপত্যটি আমাদের কিছুটা মনে রাখে SambaNova এর AI প্রসেসর চিপ, যা কম্পিউট ইউনিট এবং মেমরি ইউনিটগুলির একটি গ্রিড হিসাবে প্রয়োগ করা হয়, একটি অন-চিপ কমিউনিকেশন ফ্যাব্রিক দ্বারা সংযুক্ত যা ডেটাফ্লো নিয়ন্ত্রণ করে।)

নিউআরআরএএম-এ 48 সিআইএম কোর ব্যবহার করে এআই ইনফারেন্স পারফরম্যান্সকে সর্বাধিক করার জন্য, বিভিন্ন ওজন-ম্যাপিং কৌশল বাস্তবায়ন করা সম্ভব যা মডেলের সমান্তরালতা এবং ডেটা সমান্তরালতা উভয়কেই কাজে লাগায়, কাগজ অনুসারে।

একটি সিএনএন-এর ক্ষেত্রে, কৌশলটি হতে পারে সমান্তরাল ইনফারেন্সিংয়ের জন্য একাধিক সিআইএম কোরে প্রাথমিক, সর্বাধিক গণনামূলকভাবে নিবিড় স্তরগুলির ওজনের নকল করা। কাগজটি উপলব্ধ ওজন-ম্যাপিং কৌশলগুলির আরও বিশদ বিবরণ প্রদান করে।

কাগজটি বিভিন্ন AI মডেলের সাথে বাস্তবায়িত CIFAR-10 এবং MNIST ডেটাসেট, Google স্পিচ কমান্ড রিকগনিশন এবং MNIST ইমেজ পুনরুদ্ধার সহ ইমেজ শ্রেণীবিভাগ সহ বিভিন্ন AI টাস্কের জন্য চিপ ব্যবহার করে হার্ডওয়্যার-মাপা অনুমান ফলাফল রিপোর্ট করে।

এই সমস্ত বেঞ্চমার্ক টাস্ক জুড়ে 4-বিট ওজন সহ প্রশিক্ষিত সফ্টওয়্যার মডেলগুলির সাথে তুলনীয় অনুমান নির্ভুলতা অর্জন করার দাবি করা হয়। উদাহরণস্বরূপ, এটি 0.98-স্তর CNN ব্যবহার করে MNIST হাতে লেখা অঙ্কের স্বীকৃতিতে 7 শতাংশ ত্রুটির হার, ResNet-14.34 ব্যবহার করে CIFAR-10 অবজেক্ট শ্রেণীবিভাগে 20 শতাংশ ত্রুটির হার এবং Google স্পিচ কমান্ড শনাক্তকরণে 15.34 শতাংশ ত্রুটির হার অর্জন করে 4-সেল LSTM (দীর্ঘ স্বল্পমেয়াদী মেমরি)।

NeuRRAM চিপটির একটি শক্তি দক্ষতা রয়েছে বলেও দাবি করা হয় যা RRAM ব্যবহার করে আগের CIM চিপ ডিজাইনের চেয়ে দুইগুণ ভালো, বিভিন্ন কম্পিউটেশনাল বিট নির্ভুলতা জুড়ে। যাইহোক, কাগজে শক্তি খরচ এমন আকারে উদ্ধৃত করা হয় না যা বাজারের বাণিজ্যিক ডিভাইসের সাথে তুলনা করা সহজ, এবং নীচে দেখানো চিত্রটি ফেমটোজুল (fJ) এ পরিমাপ করা বিভিন্ন বিট নির্ভুলতায় অপারেশন প্রতি শক্তি খরচকে চিত্রিত করে।

যাইহোক, ওয়ান আমাদের বলেছেন যে একটি সাধারণ রিয়েল-টাইম কীওয়ার্ড স্পটিং টাস্কের জন্য যা আজ অনেক স্মার্ট হোম ডিভাইসে চলে (যেমন একটি স্মার্ট স্পিকারকে আলো জ্বালাতে বলা), NeuRRAM 2 মাইক্রোওয়াটের কম শক্তি খরচ করবে বলে অনুমান করা হয়।

"এর মানে হল একটি ছোট মুদ্রার ব্যাটারিতেও, এটি 10 ​​বছরেরও বেশি সময় ধরে চলতে পারে (অন্যান্য সিস্টেমের উপাদানগুলির দ্বারা বিদ্যুতের ব্যবহার বিবেচনা না করে)," তিনি বলেছিলেন।

কাগজ অনুসারে, চিপটি একটি 130nm CMOS প্রযুক্তি ব্যবহার করে তৈরি করা হয়েছে, এবং অন্যান্য সেমিকন্ডাক্টর পণ্যগুলির ক্ষেত্রে যেমন প্রযুক্তি স্কেলিং এর সাথে শক্তির দক্ষতা উন্নত হবে বলে আশা করা হচ্ছে।

উত্পাদন এখনও বছর দূরে

তাহলে আমরা কি এই প্রযুক্তির উপর ভিত্তি করে একটি শিপিং বাণিজ্যিক ডিভাইস দেখতে পাব? ওয়ান বলেছেন যে এটির বাণিজ্যিকীকরণের দুর্দান্ত সম্ভাবনা রয়েছে এবং ব্যক্তিগতভাবে এটিকে নিজেই উত্পাদন করার বিষয়ে কাজ করার কথা বিবেচনা করছেন।

"সবচেয়ে উপযুক্ত প্রাথমিক ব্যবহারের ক্ষেত্রে খুব সম্ভবত চরম প্রান্ত / IoT, " তিনি আমাদের বলেছিলেন।

NeuRRAM চিপের উপর ভিত্তি করে একটি পণ্য সিপিইউ সহ অন্যান্য এক্সিলারেটরের মতো সিস্টেমে একত্রিত করা যেতে পারে, তবে এটি প্রতিটি অ্যাপ্লিকেশনের জন্য প্রয়োজনীয় নয়।

"সম্প্রতি সিপিইউ বা অতিরিক্ত মেমরির মধ্য দিয়ে না গিয়ে সেন্সর থেকে ডেটা সরাসরি এআই প্রসেসরে খাওয়ানোর প্রবণতা দেখা গেছে," ওয়ান বলেছেন, তবে তিনি আরও যোগ করেছেন যে বেশিরভাগ বাস্তব-বিশ্ব স্থাপনের ক্ষেত্রে, এআই অ্যাক্সিলারেটরগুলি সহ-প্রসেসর হিসাবে কাজ করে একটি CPU এর জন্য, যেখানে CPU অন্যান্য কাজ পরিচালনা করে।

NeuRRAM চিপটি শুধুমাত্র কাজের অনুমান করার উদ্দেশ্যে তৈরি করা হয়েছে, মূলত কারণ RRAM প্রযুক্তিটি তার বর্তমান আকারে প্রশিক্ষণের জন্য খুব উপযুক্ত নয় কারণ প্রশিক্ষণ প্রক্রিয়ার জন্য মেমরিতে ঘন ঘন আপডেটের প্রয়োজন হয়, এবং এটি "RRAM-এর একটি অত্যন্ত ব্যয়বহুল অপারেশন" ওয়ান বলেছেন।

“বর্তমানে অনেক বাণিজ্যিক ফাউন্ড্রিতে ইতিমধ্যেই আরআরএএম ডিভাইস তৈরি করার ক্ষমতা রয়েছে, তবে বেশিরভাগই কম্পিউট-ইন-মেমরির পরিবর্তে এমবেডেড মেমরি ব্যবহারের জন্য। একবার RRAM প্রক্রিয়া IC ডিজাইনারদের কাছে আরও ব্যাপকভাবে উপলব্ধ হয়ে গেলে, একটি NeuRRAM পণ্য ঘটতে পারে।"

যদিও এটি ঘটবে তার সঠিক টাইমলাইন ভবিষ্যদ্বাণী করা কঠিন, এবং ওয়ান বলেছিলেন যে আগামী দুই থেকে তিন বছর বা আরও বেশি সময় হতে পারে। ®