AWS উদ্দেশ্য-নির্মিত এক্সিলারেটরের সাহায্যে আপনার মেশিন লার্নিং ওয়ার্কলোডের শক্তি খরচ 90% পর্যন্ত হ্রাস করুন | আমাজন ওয়েব সার্ভিসেস

মেশিন লার্নিং (এমএল) ইঞ্জিনিয়াররা ঐতিহ্যগতভাবে মডেল প্রশিক্ষণ এবং স্থাপনার খরচ বনাম কর্মক্ষমতার মধ্যে ভারসাম্য বজায় রাখার উপর দৃষ্টি নিবদ্ধ করে। ক্রমবর্ধমানভাবে, স্থায়িত্ব (শক্তি দক্ষতা) গ্রাহকদের জন্য একটি অতিরিক্ত উদ্দেশ্য হয়ে উঠছে। এটি গুরুত্বপূর্ণ কারণ ML মডেলগুলিকে প্রশিক্ষণ দেওয়া এবং তারপরে প্রশিক্ষিত মডেলগুলিকে ভবিষ্যদ্বাণী (অনুমান) করার জন্য ব্যবহার করা অত্যন্ত শক্তি-নিবিড় কাজ হতে পারে। এছাড়াও, আমাদের চারপাশে আরও বেশি বেশি অ্যাপ্লিকেশন ML-এর সাথে মিশে গেছে, এবং প্রতিদিন নতুন ML-চালিত অ্যাপ্লিকেশনগুলি কল্পনা করা হচ্ছে। একটি জনপ্রিয় উদাহরণ হল OpenAI এর ChatGPT, যা একটি অত্যাধুনিক বড় ভাষা মডেল (LMM) দ্বারা চালিত। রেফারেন্সের জন্য, GPT-3, একটি আগের প্রজন্মের এলএলএম 175 বিলিয়ন প্যারামিটার রয়েছে এবং হাজার হাজার ত্বরিত প্রসেসরের ক্লাস্টারে মাসের বিরতিহীন প্রশিক্ষণ প্রয়োজন। দ্য কার্বনট্র্যাকার স্টাডি অনুমান করা হয়েছে যে স্ক্র্যাচ থেকে GPT-3 প্রশিক্ষণ বিশেষ হার্ডওয়্যার এক্সিলারেটরের ক্লাস্টার ব্যবহার করে 85 মেট্রিক টন CO2 সমতুল্য নির্গত করতে পারে।

বিভিন্ন উপায়ে AWS ML অনুশীলনকারীদের তাদের কাজের চাপের পরিবেশগত প্রভাব কমাতে সক্ষম করে। একটি উপায় প্রদান মাধ্যমে হয় স্থায়িত্বের জন্য আপনার এআই/এমএল ওয়ার্কলোডগুলিকে আর্কিটেক্ট করার বিষয়ে নির্দেশমূলক নির্দেশিকা. আরেকটি উপায় হল পরিচালিত এমএল প্রশিক্ষণ এবং অর্কেস্ট্রেশন পরিষেবা যেমন অ্যামাজন সেজমেকার স্টুডিও, যা ব্যবহার না করার সময় স্বয়ংক্রিয়ভাবে ML রিসোর্সগুলিকে বিচ্ছিন্ন করে এবং স্কেল করে, এবং অনেকগুলি আউট-অফ-দ্য-বক্স টুলিং প্রদান করে যা খরচ এবং সংস্থানগুলি সাশ্রয় করে৷ আরেকটি প্রধান enabler এর উন্নয়ন হয় শক্তি দক্ষ, উচ্চ-কর্মক্ষমতা, উদ্দেশ্য-নির্মিত ত্বরণকারী প্রশিক্ষণ এবং এমএল মডেল স্থাপনের জন্য।

এই পোস্টের ফোকাস টেকসই ML এর জন্য একটি লিভার হিসাবে হার্ডওয়্যারের উপর। আমরা AWS দ্বারা পরিচালিত সাম্প্রতিক পারফরম্যান্স এবং পাওয়ার ড্র পরীক্ষার ফলাফলগুলি উপস্থাপন করি যা অন্যান্য অনুমান- এবং প্রশিক্ষণ-অপ্টিমাইজ করা ত্বরিত থেকে আপনার গভীর শিক্ষার কাজের চাপগুলি স্থানান্তর করার সময় আপনি যে শক্তি দক্ষতা সুবিধাগুলি আশা করতে পারেন তা পরিমাপ করে। অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) দৃষ্টান্ত থেকে এডাব্লুএস ইনফেরেন্টিয়া এবং এডব্লিউএস ট্রেনিয়াম. Inferentia এবং Trainium হল উদ্দেশ্য-নির্মিত এক্সিলারেটরের পোর্টফোলিওতে AWS এর সাম্প্রতিক সংযোজন বিশেষভাবে অ্যামাজন এর দ্বারা ডিজাইন করা অন্নপূর্ণা ল্যাবস এমএল অনুমান এবং প্রশিক্ষণ কাজের চাপের জন্য।

টেকসই ML এর জন্য AWS Inferentia এবং AWS Trainium

একটি বাস্তব-বিশ্ব অ্যাপ্লিকেশনে AWS Inferentia এবং AWS Trainium-এর শক্তি সঞ্চয় সম্ভাবনার বাস্তবসম্মত সংখ্যা প্রদান করতে, আমরা বেশ কয়েকটি পাওয়ার ড্র বেঞ্চমার্ক পরীক্ষা পরিচালনা করেছি। আমরা নিম্নলিখিত মূল মানদণ্ডগুলি মাথায় রেখে এই বেঞ্চমার্কগুলি ডিজাইন করেছি:

• প্রথমত, আমরা নিশ্চিত করতে চেয়েছিলাম যে আমরা পরীক্ষার কাজের চাপের জন্য দায়ী সরাসরি শক্তি খরচ ক্যাপচার করেছি, যার মধ্যে শুধু ML অ্যাক্সিলারেটর নয়, কম্পিউট, মেমরি এবং নেটওয়ার্কও রয়েছে। অতএব, আমাদের পরীক্ষা সেটআপে, আমরা সেই স্তরে পাওয়ার ড্র পরিমাপ করেছি।
• দ্বিতীয়ত, প্রশিক্ষণ এবং অনুমান কাজের লোডগুলি চালানোর সময়, আমরা নিশ্চিত করেছি যে সমস্ত দৃষ্টান্তগুলি তাদের নিজ নিজ শারীরিক হার্ডওয়্যার সীমাতে কাজ করছে এবং তুলনা নিশ্চিত করার জন্য সেই সীমাতে পৌঁছানোর পরেই পরিমাপ করা হয়েছে।
• পরিশেষে, আমরা নিশ্চিত হতে চেয়েছিলাম যে এই পোস্টে উল্লিখিত শক্তি সঞ্চয় একটি বাস্তব বাস্তব-বিশ্বের প্রয়োগে অর্জন করা যেতে পারে। অতএব, আমরা বেঞ্চমার্কিং এবং পরীক্ষার জন্য সাধারণ গ্রাহক-অনুপ্রাণিত এমএল ব্যবহারের ক্ষেত্রে ব্যবহার করেছি।

ফলাফল নিম্নলিখিত বিভাগে রিপোর্ট করা হয়.

অনুমান পরীক্ষা: LayoutLM এর সাথে রিয়েল-টাইম নথি বোঝার

অনুমান, প্রশিক্ষণের বিপরীতে, একটি অবিচ্ছিন্ন, সীমাহীন কাজের চাপ যার একটি সংজ্ঞায়িত সমাপ্তি বিন্দু নেই। তাই এটি একটি ML কাজের চাপের আজীবন সম্পদ খরচের একটি বড় অংশ তৈরি করে। সম্পূর্ণ এমএল জীবনচক্রে উচ্চ কার্যক্ষমতা, কম খরচে এবং স্থায়িত্ব (উন্নত শক্তি দক্ষতা) অর্জনের জন্য সঠিক অনুমান পাওয়া চাবিকাঠি। অনুমানের কাজগুলির সাথে, গ্রাহকরা সাধারণত ইনজেস্ট চাহিদার সাথে তাল মিলিয়ে একটি নির্দিষ্ট অনুমান হার অর্জন করতে আগ্রহী হন।

এই পোস্টে উপস্থাপিত পরীক্ষাটি একটি রিয়েল-টাইম ডকুমেন্ট বোঝার ব্যবহার কেস দ্বারা অনুপ্রাণিত, যা ব্যাঙ্কিং বা বীমার মতো শিল্পগুলিতে একটি সাধারণ অ্যাপ্লিকেশন (উদাহরণস্বরূপ, দাবি বা আবেদন ফর্ম প্রক্রিয়াকরণের জন্য)৷ বিশেষ করে, আমরা নির্বাচন করি লেআউট এলএম, একটি প্রাক-প্রশিক্ষিত ট্রান্সফরমার মডেল ডকুমেন্ট ইমেজ প্রক্রিয়াকরণ এবং তথ্য নিষ্কাশনের জন্য ব্যবহৃত হয়। আমরা প্রতি ঘন্টায় 1,000,000 অনুমানের একটি লক্ষ্য SLA সেট করি, একটি মান প্রায়শই রিয়েল টাইম হিসাবে বিবেচিত হয় এবং তারপরে এই প্রয়োজনীয়তা পূরণ করতে সক্ষম দুটি হার্ডওয়্যার কনফিগারেশন নির্দিষ্ট করি: একটি ব্যবহার করে Amazon EC2 Inf1 দৃষ্টান্ত, AWS Inferentia সমন্বিত, এবং একটি অনুমানের কাজগুলির জন্য অপ্টিমাইজ করা তুলনাযোগ্য ত্বরিত EC2 উদাহরণ ব্যবহার করে৷ পরীক্ষা জুড়ে, আমরা উভয় হার্ডওয়্যার কনফিগারেশনের অনুমান কার্যক্ষমতা, খরচ এবং শক্তি দক্ষতা পরিমাপ করতে বেশ কয়েকটি সূচক ট্র্যাক করি। ফলাফল নিম্নলিখিত চিত্রে উপস্থাপন করা হয়.

AWS Inferentia 6.3 গুণ বেশি ইনফারেন্স থ্রুপুট প্রদান করে। ফলস্বরূপ, Inferentia-এর সাহায্যে, আপনি একই রিয়েল-টাইম LayoutLM-ভিত্তিক নথি বোঝার কাজের চাপ কম দৃষ্টান্তে চালাতে পারেন (6 AWS Inferentia দৃষ্টান্ত বনাম 33 অন্যান্য অনুমান-অপ্টিমাইজ করা ত্বরিত EC2 দৃষ্টান্ত, একটি 82% হ্রাসের সমতুল্য), কম ব্যবহার করুন প্রক্রিয়ায় শক্তির এক দশমাংশের (-92%) থেকে, সমস্ত অনুমান প্রতি উল্লেখযোগ্যভাবে কম খরচ অর্জন করার সময় (USD 2 বনাম USD 25 প্রতি মিলিয়ন অনুমান, 91% খরচ হ্রাসের সমতুল্য)।

প্রশিক্ষণ পরীক্ষা: BERT স্ক্র্যাচ থেকে বড় প্রশিক্ষণ

প্রশিক্ষণ, অনুমানের বিপরীতে, একটি সীমাবদ্ধ প্রক্রিয়া যা অনেক কম ঘন ঘন পুনরাবৃত্তি হয়। এমএল ইঞ্জিনিয়াররা সাধারণত খরচ নিয়ন্ত্রণে রেখে প্রশিক্ষণের সময় কমাতে উচ্চ ক্লাস্টার পারফরম্যান্সে আগ্রহী। শক্তি দক্ষতা একটি গৌণ (এখনও ক্রমবর্ধমান) উদ্বেগ। AWS Trainium-এর সাথে, কোনও ট্রেড-অফ সিদ্ধান্ত নেই: ML ইঞ্জিনিয়াররা উচ্চ প্রশিক্ষণ কর্মক্ষমতা থেকে উপকৃত হতে পারে এবং খরচের জন্য অনুকূলকরণ এবং পরিবেশগত প্রভাব হ্রাস করতে পারে।

এটি ব্যাখ্যা করার জন্য, আমরা নির্বাচন করি BERT বড়, একটি জনপ্রিয় ভাষা মডেল যা প্রাকৃতিক ভাষা বোঝার ক্ষেত্রে ব্যবহৃত হয় যেমন চ্যাটবট-ভিত্তিক প্রশ্নের উত্তর এবং কথোপকথনমূলক প্রতিক্রিয়া পূর্বাভাস। স্ক্র্যাচ থেকে একটি ভাল-পারফর্মিং BERT বড় মডেলের প্রশিক্ষণের জন্য সাধারণত 450 মিলিয়ন সিকোয়েন্স প্রক্রিয়া করা প্রয়োজন। আমরা দুটি ক্লাস্টার কনফিগারেশনের তুলনা করি, যার প্রতিটি নির্দিষ্ট আকারের 16টি দৃষ্টান্ত সহ এবং BERT Large কে স্ক্র্যাচ থেকে প্রশিক্ষণ দিতে সক্ষম (450 মিলিয়ন সিকোয়েন্স প্রক্রিয়া করা হয়েছে) এক দিনেরও কম সময়ে। প্রথমটি ঐতিহ্যগত ত্বরিত EC2 দৃষ্টান্ত ব্যবহার করে। দ্বিতীয় সেটআপ ব্যবহার করে Amazon EC2 Trn1 উদাহরণ AWS Trainium সমন্বিত। আবার, আমরা প্রশিক্ষণ কর্মক্ষমতা, খরচ, এবং পরিবেশগত প্রভাব (শক্তি দক্ষতা) পরিপ্রেক্ষিতে উভয় কনফিগারেশন বেঞ্চমার্ক করি। ফলাফল নিম্নলিখিত চিত্রে দেখানো হয়.

পরীক্ষায়, AWS Trainium-ভিত্তিক দৃষ্টান্তগুলি তুলনীয় প্রশিক্ষণ-অপ্টিমাইজ করা ত্বরিত EC2 দৃষ্টান্তগুলিকে প্রতি ঘন্টায় প্রক্রিয়াকৃত সিকোয়েন্সের পরিপ্রেক্ষিতে 1.7 এর ফ্যাক্টর দ্বারা ছাড়িয়ে গেছে, মোট প্রশিক্ষণের সময় 43% (2.3 ঘন্টা বনাম 4 ঘন্টা তুলনীয় ত্বরিত EC2 এ) কমিয়েছে। . ফলস্বরূপ, ট্রেনিয়াম-ভিত্তিক দৃষ্টান্ত ক্লাস্টার ব্যবহার করার সময়, BERT Large ফ্রম স্ক্র্যাচ-এর প্রশিক্ষণের জন্য মোট শক্তি খরচ তুলনামূলক ত্বরিত EC29 দৃষ্টান্তগুলির একই আকারের ক্লাস্টারের তুলনায় প্রায় 2% কম। আবার, এই পারফরম্যান্স এবং শক্তি দক্ষতার সুবিধাগুলিও উল্লেখযোগ্য খরচের উন্নতির সাথে আসে: BERT ML কাজের চাপের জন্য প্রশিক্ষণের খরচ ট্রেনিয়ামের ক্ষেত্রে প্রায় 62% কম (USD 787 বনাম USD 2091 প্রতি সম্পূর্ণ প্রশিক্ষণে)।

ML এর জন্য AWS উদ্দেশ্য-নির্মিত এক্সিলারেটর দিয়ে শুরু করা

যদিও এখানে পরিচালিত পরীক্ষাগুলি সমস্ত প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) ডোমেন থেকে আদর্শ মডেল ব্যবহার করে, AWS Inferentia এবং AWS Trainium LLM সহ অন্যান্য জটিল মডেল আর্কিটেকচারের সাথে এক্সেল এবং সবচেয়ে চ্যালেঞ্জিং জেনারেটিভ এআই স্থাপত্য যা ব্যবহারকারীরা নির্মাণ করছেন (যেমন GPT-3)। এই এক্সিলারেটরগুলি 10 বিলিয়নের বেশি প্যারামিটার সহ মডেলগুলির সাথে বা স্থিতিশীল প্রসারণের মতো কম্পিউটার দৃষ্টি মডেলগুলির সাথে বিশেষভাবে ভাল করে (দেখুন মডেল আর্কিটেকচার ফিট নির্দেশিকা আরো বিস্তারিত জানার জন্য). প্রকৃতপক্ষে, আমাদের অনেক গ্রাহক ইতিমধ্যেই বিভিন্ন ধরণের জন্য Inferentia এবং Trainium ব্যবহার করছেন এমএল ব্যবহারের ক্ষেত্রে.

AWS Inferentia- এবং AWS Trainium-ভিত্তিক দৃষ্টান্তগুলিতে আপনার এন্ড-টু-এন্ড ডিপ লার্নিং ওয়ার্কলোড চালানোর জন্য, আপনি ব্যবহার করতে পারেন AWS নিউরন. নিউরন হল একটি এন্ড-টু-এন্ড সফ্টওয়্যার ডেভেলপমেন্ট কিট (SDK) যাতে একটি গভীর শিক্ষার কম্পাইলার, রানটাইম এবং টুল রয়েছে যা টেনসরফ্লো এবং পাইটর্চের মতো সবচেয়ে জনপ্রিয় এমএল ফ্রেমওয়ার্কগুলিতে স্থানীয়ভাবে একীভূত। আপনার বিদ্যমান TensorFlow বা PyTorch ডিপ লার্নিং ML ওয়ার্কলোডগুলিকে Inferentia এবং Trainium-এ সহজে পোর্ট করতে এবং একই সুপরিচিত ML ফ্রেমওয়ার্ক ব্যবহার করে নতুন মডেল তৈরি করতে আপনি Neuron SDK ব্যবহার করতে পারেন৷ সহজ সেটআপের জন্য, আমাদের একটি ব্যবহার করুন গভীর শিক্ষার জন্য Amazon Machine Images (AMIs), যা অনেক প্রয়োজনীয় প্যাকেজ এবং নির্ভরতার সাথে আসে। এমনকি সহজ: আপনি Amazon SageMaker স্টুডিও ব্যবহার করতে পারেন, যা স্থানীয়ভাবে Inferentia এবং Trainium-এ TensorFlow এবং PyTorch সমর্থন করে (দেখুন aws-নমুনা GitHub রেপো একটি উদাহরণের জন্য)।

একটি চূড়ান্ত নোট: যদিও Inferentia এবং Trainium গভীর শিক্ষার কাজের চাপের জন্য তৈরি করা হয়েছে, অনেক কম জটিল ML অ্যালগরিদম CPU-ভিত্তিক দৃষ্টান্তগুলিতে ভাল কাজ করতে পারে (উদাহরণস্বরূপ, XGBoost এবং LightGBM আর যদি কিছু সিএনএন) এই ক্ষেত্রে, একটি মাইগ্রেশন AWS Graviton3 আপনার ML কাজের চাপের পরিবেশগত প্রভাব উল্লেখযোগ্যভাবে কমাতে পারে। AWS Graviton-ভিত্তিক দৃষ্টান্তগুলি তুলনীয় ত্বরিত EC60 দৃষ্টান্তগুলির তুলনায় একই কর্মক্ষমতার জন্য 2% পর্যন্ত কম শক্তি ব্যবহার করে।

উপসংহার

একটি সাধারণ ভুল ধারণা রয়েছে যে টেকসই এবং শক্তি-দক্ষ ফ্যাশনে এমএল ওয়ার্কলোড চালানো মানে কর্মক্ষমতা বা খরচের উপর ত্যাগ। মেশিন লার্নিংয়ের জন্য AWS উদ্দেশ্য-নির্মিত এক্সিলারেটরগুলির সাথে, ML ইঞ্জিনিয়ারদের সেই ট্রেড-অফ করতে হবে না। পরিবর্তে, তারা তাদের ডিপ লার্নিং ওয়ার্কলোডগুলিকে অত্যন্ত বিশেষায়িত উদ্দেশ্য-নির্মিত ডিপ লার্নিং হার্ডওয়্যারের উপর চালাতে পারে, যেমন AWS Inferentia এবং AWS Trainium, যা উল্লেখযোগ্যভাবে তুলনীয় ত্বরিত EC2 উদাহরণের ধরনকে ছাড়িয়ে যায়, কম খরচে, উচ্চ কার্যকারিতা এবং উন্নত শক্তির দক্ষতা প্রদান করে — পর্যন্ত 90%—সব একই সময়ে। Inferentia এবং Trainium-এ আপনার এমএল ওয়ার্কলোড চালানো শুরু করতে, দেখুন AWS নিউরন ডকুমেন্টেশন অথবা একটি স্পিন আপ নমুনা নোটবুক. এছাড়াও আপনি AWS re:Invent 2022 টক অন দেখতে পারেন স্থায়িত্ব এবং AWS সিলিকন (SUS206), যা এই পোস্টে আলোচিত অনেক বিষয় কভার করে।

---

লেখক সম্পর্কে

কার্স্টেন শ্রোয়ার AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের তাদের আইটি অবকাঠামোর টেকসইতা চালনা করার জন্য ডেটা এবং প্রযুক্তির ব্যবহারে সহায়তা করেন এবং ডেটা-চালিত সমাধানগুলি তৈরি করেন যা তাদের নিজ নিজ উল্লম্বে টেকসই অপারেশন সক্ষম করে। ফলিত মেশিন লার্নিং এবং অপারেশন ম্যানেজমেন্টে পিএইচডি অধ্যয়নের পর কার্স্টেন AWS-এ যোগ দেন। তিনি সামাজিক চ্যালেঞ্জগুলির প্রযুক্তি-সক্ষম সমাধানগুলির বিষয়ে সত্যই উত্সাহী এবং এই সমাধানগুলির অন্তর্নিহিত পদ্ধতি এবং অ্যাপ্লিকেশন আর্কিটেকচারগুলির মধ্যে গভীরভাবে ডুব দিতে ভালবাসেন৷

কামরান খান AWS অন্নপূর্ণা ল্যাবসে একজন সিনিয়র টেকনিক্যাল প্রোডাক্ট ম্যানেজার। তিনি আমাজনের অন্নপূর্ণা ল্যাব থেকে বেরিয়ে আসা AWS উদ্দেশ্য-নির্মিত সিলিকন উদ্ভাবনের জন্য রোডম্যাপ তৈরি করতে AI/ML গ্রাহকদের সাথে ঘনিষ্ঠভাবে কাজ করেন। তার নির্দিষ্ট ফোকাস AWS Trainium এবং AWS Inferentia সহ ত্বরিত গভীর-শিক্ষার চিপগুলির উপর। সেমিকন্ডাক্টর শিল্পে কামরানের 18 বছরের অভিজ্ঞতা রয়েছে। ডেভেলপারদের তাদের এমএল লক্ষ্য অর্জনে সহায়তা করার এক দশকেরও বেশি অভিজ্ঞতা কামরানের রয়েছে।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• ইভিএম ফাইন্যান্স। বিকেন্দ্রীভূত অর্থের জন্য ইউনিফাইড ইন্টারফেস। এখানে প্রবেশ করুন.
• কোয়ান্টাম মিডিয়া গ্রুপ। IR/PR প্রশস্ত। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ডেটা ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/reduce-energy-consumption-of-your-machine-learning-workloads-by-up-to-90-with-aws-purpose-built-accelerators/