Amazon SageMaker JumpStart-এ দৃষ্টান্তমূলক নোটবুক

আমাজন সেজমেকার জাম্পস্টার্ট SageMaker-এর মেশিন লার্নিং (ML) হাব হল আপনাকে মেশিন লার্নিং শুরু করতে সাহায্য করার জন্য বিভিন্ন ধরণের সমস্যার জন্য প্রাক-প্রশিক্ষিত, সর্বজনীনভাবে উপলব্ধ মডেলগুলি প্রদান করে৷

জাম্পস্টার্ট উদাহরণ নোটবুকও অফার করে যা ব্যবহার করে আমাজন সেজমেকার স্পট ইন্সট্যান্স ট্রেনিং এবং বিভিন্ন ধরণের মডেল এবং ব্যবহারের ক্ষেত্রে পরীক্ষা-নিরীক্ষার মতো বৈশিষ্ট্য। এই উদাহরণ নোটবুকগুলিতে কোড রয়েছে যা দেখায় কিভাবে সেজমেকার এবং জাম্পস্টার্ট ব্যবহার করে এমএল সমাধান প্রয়োগ করতে হয়। এগুলিকে আপনার নিজের প্রয়োজনের সাথে মানিয়ে নেওয়া যেতে পারে এবং এইভাবে অ্যাপ্লিকেশন বিকাশকে ত্বরান্বিত করতে পারে।

সম্প্রতি, আমরা জাম্পস্টার্ট ইন-এ 10টি নতুন নোটবুক যোগ করেছি অ্যামাজন সেজমেকার স্টুডিও. এই পোস্ট এই নতুন নোটবুক উপর ফোকাস. এই লেখার মতো, জাম্পস্টার্ট 56টি নোটবুক অফার করে, যার মধ্যে অত্যাধুনিক প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) মডেল ব্যবহার করা থেকে শুরু করে মডেলদের প্রশিক্ষণের সময় ডেটাসেটে পক্ষপাত দূর করা পর্যন্ত।

10টি নতুন নোটবুক আপনাকে নিম্নলিখিত উপায়ে সাহায্য করতে পারে:

• তারা আপনাকে স্টুডিওতে জাম্পস্টার্ট UI থেকে চালানোর জন্য উদাহরণ কোড অফার করে এবং কোডটি কীভাবে কাজ করে তা দেখুন
• তারা বিভিন্ন SageMaker এবং JumpStart API-এর ব্যবহার দেখায়
• তারা একটি প্রযুক্তিগত সমাধান অফার করে যা আপনি আপনার নিজের প্রয়োজনের উপর ভিত্তি করে আরও কাস্টমাইজ করতে পারেন

জাম্পস্টার্টের মাধ্যমে অফার করা নোটবুকের সংখ্যা নিয়মিতভাবে বৃদ্ধি পায় কারণ আরও নোটবুক যুক্ত হয়। এই নোটবুক এছাড়াও পাওয়া যায় GitHub.

নোটবুক ওভারভিউ

10টি নতুন নোটবুক নিম্নরূপ:

• আলেক্সাটিএম 20B-এর সাথে প্রেক্ষাপটে শিক্ষা- পাঁচটি উদাহরণ টাস্কে জিরো-শট এবং কয়েক-শট লার্নিং সহ ইন-প্রেক্ষাপট শেখার জন্য AlexaTM 20B কীভাবে ব্যবহার করবেন তা প্রদর্শন করে: পাঠ্য সংক্ষিপ্তকরণ, প্রাকৃতিক ভাষা তৈরি, মেশিন অনুবাদ, নিষ্কাশনমূলক প্রশ্নের উত্তর এবং প্রাকৃতিক ভাষা অনুমান এবং শ্রেণিবিন্যাস।
• সেজমেকারে ন্যায্যতা লিনিয়ার লার্নার - বিদ্যমান মানবীয় কুসংস্কার নকল করার ফলে সম্প্রতি এমএল অ্যালগরিদমগুলিতে পক্ষপাত নিয়ে উদ্বেগ রয়েছে। মডেল ভবিষ্যদ্বাণী যথাযথভাবে সামঞ্জস্য করতে এই নোটবুকটি ন্যায্যতার ধারণাগুলি প্রয়োগ করে৷
• সেজমেকার অনুসন্ধান ব্যবহার করে এমএল পরীক্ষা পরিচালনা করুন - Amazon SageMaker অনুসন্ধান আপনাকে সম্ভাব্য শত শত এবং হাজার হাজার SageMaker মডেল প্রশিক্ষণের চাকরি থেকে সবচেয়ে প্রাসঙ্গিক মডেল প্রশিক্ষণ দ্রুত খুঁজে পেতে এবং মূল্যায়ন করতে দেয়।
• সেজমেকার নিউরাল টপিক মডেল - সেজমেকার নিউরাল টপিক মডেল (এনটিএম) হল একটি তত্ত্বাবধানহীন লার্নিং অ্যালগরিদম যা পর্যবেক্ষণের একটি সেটকে স্বতন্ত্র বিভাগের মিশ্রণ হিসাবে বর্ণনা করার চেষ্টা করে।
• ড্রাইভিং গতি লঙ্ঘনের পূর্বাভাস - SageMaker DeepAR অ্যালগরিদমটি একই সাথে একাধিক রাস্তার জন্য একটি মডেলকে প্রশিক্ষণ দিতে এবং একাধিক রাস্তার ক্যামেরার লঙ্ঘনের পূর্বাভাস দিতে ব্যবহার করা যেতে পারে।
• স্তন ক্যান্সারের পূর্বাভাস - এই নোটবুকটি UCI-এর স্তন ক্যান্সার ডায়াগনস্টিক ডেটাসেট ব্যবহার করে একটি ভবিষ্যদ্বাণীমূলক মডেল তৈরি করে যে স্তনের ভরের ছবি একটি সৌম্য বা ম্যালিগন্যান্ট টিউমার নির্দেশ করে কিনা।
• একাধিক মডেল থেকে এনসেম্বল ভবিষ্যদ্বাণী - একাধিক উত্স এবং মডেল থেকে ভবিষ্যদ্বাণী একত্রিত করে বা গড় করে, আমরা সাধারণত একটি উন্নত পূর্বাভাস পাই। এই নোটবুক এই ধারণাটি ব্যাখ্যা করে।
• সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স - অ্যাসিঙ্ক্রোনাস ইনফারেন্স হল কাছাকাছি-রিয়েল-টাইম অনুমানের প্রয়োজনের জন্য একটি নতুন অনুমান বিকল্প। অনুরোধগুলি প্রক্রিয়া করতে 15 মিনিট পর্যন্ত সময় নিতে পারে এবং 1 জিবি পর্যন্ত পেলোড আকার থাকতে পারে।
• টেনসরফ্লো আপনার নিজস্ব মডেল আনুন - স্থানীয়ভাবে একটি টেনসরফ্লো মডেলকে কীভাবে প্রশিক্ষণ দেওয়া যায় এবং এই নোটবুকটি ব্যবহার করে সেজমেকারে স্থাপন করা যায় তা শিখুন।
• স্কিট-লার্ন আপনার নিজস্ব মডেল আনুন- এই নোটবুকটি সেই মডেলের জন্য দ্রুত একটি হোস্টেড এন্ডপয়েন্ট তৈরি করতে সেজমেকার স্কিট-লার্ন কন্টেইনারের সাথে একটি প্রাক-প্রশিক্ষিত স্কিট-লার্ন মডেল কীভাবে ব্যবহার করতে হয় তা দেখায়।

পূর্বশর্ত

এই নোটবুকগুলি ব্যবহার করতে, নিশ্চিত করুন যে আপনার কাছে একটি এক্সিকিউশন ভূমিকা সহ স্টুডিওতে অ্যাক্সেস রয়েছে যা আপনাকে সেজমেকার কার্যকারিতা চালানোর অনুমতি দেয়। নীচের ছোট ভিডিওটি আপনাকে জাম্পস্টার্ট নোটবুকগুলিতে নেভিগেট করতে সহায়তা করবে।

নিম্নলিখিত বিভাগে, আমরা 10টি নতুন সমাধানের প্রতিটির মধ্য দিয়ে যাই এবং তাদের কিছু আকর্ষণীয় বিবরণ নিয়ে আলোচনা করি।

আলেক্সাটিএম 20বি-এর সাথে প্রেক্ষাপটে শিক্ষা

AlexaTM 20B হল একটি মাল্টিটাস্ক, বহুভাষিক, বড় আকারের সিকোয়েন্স-টু-সিকোয়েন্স (seq2seq) মডেল, 4টি ভাষায় কমন ক্রল (mC12) এবং উইকিপিডিয়া ডেটার মিশ্রণে প্রশিক্ষিত, ডিনোইসিং এবং ক্যাসাল ল্যাঙ্গুয়েজ মডেলিং (CLM) টাস্ক ব্যবহার করে। এটি সাধারণ ইন-কনটেক্সট ল্যাঙ্গুয়েজ টাস্কে অত্যাধুনিক পারফরম্যান্স অর্জন করে যেমন ওয়ান-শট সারসংক্ষেপ এবং ওয়ান-শট মেশিন অনুবাদ, ডিকোডারকে ছাড়িয়ে যাওয়া শুধুমাত্র মডেল যেমন Open AI এর GPT3 এবং Google এর PaLM, যা আট গুণেরও বেশি বড়।

ইন-প্রেক্ষাপট শিক্ষা, নামেও পরিচিত প্ররোচনা, এমন একটি পদ্ধতিকে বোঝায় যেখানে আপনি একটি নতুন টাস্কে একটি NLP মডেল ব্যবহার করেন এটিকে সূক্ষ্ম-টিউন না করেই। কিছু টাস্ক উদাহরণ শুধুমাত্র অনুমান ইনপুটের অংশ হিসাবে মডেলে প্রদান করা হয়, একটি দৃষ্টান্ত হিসাবে পরিচিত কয়েক শট ইন-প্রসঙ্গ শিক্ষা. কিছু ক্ষেত্রে, মডেলটি কোনও প্রশিক্ষণের ডেটা ছাড়াই ভাল পারফর্ম করতে পারে, শুধুমাত্র কী ভবিষ্যদ্বাণী করা উচিত তার ব্যাখ্যা দেওয়া হয়। এই বলা হয় জিরো-শট ইন-কনটেক্সট লার্নিং.

এই নোটবুকটি প্রদর্শন করে যে কিভাবে JumpStart API এর মাধ্যমে AlexaTM 20B স্থাপন করতে হয় এবং অনুমান চালাতে হয়। এটি আরও প্রদর্শন করে যে কীভাবে AlexaTM 20B পাঁচটি উদাহরণ টাস্ক সহ প্রাসঙ্গিক শিক্ষার জন্য ব্যবহার করা যেতে পারে: পাঠ্য সংক্ষিপ্তকরণ, প্রাকৃতিক ভাষা তৈরি, মেশিন অনুবাদ, নিষ্কাশনমূলক প্রশ্নের উত্তর এবং প্রাকৃতিক ভাষা অনুমান এবং শ্রেণীবিভাগ।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• এই প্রতিটি কাজের জন্য একক প্রশিক্ষণ উদাহরণ ব্যবহার করে এক-শট পাঠ্য সংক্ষিপ্তকরণ, প্রাকৃতিক ভাষা তৈরি এবং মেশিন অনুবাদ
• জিরো-শট প্রশ্নের উত্তর এবং প্রাকৃতিক ভাষা অনুমান প্লাস মডেল ব্যবহার করে শ্রেণীবিভাগ, কোনো প্রশিক্ষণ উদাহরণ প্রদানের প্রয়োজন ছাড়াই।

এই মডেলের বিপরীতে আপনার নিজস্ব পাঠ্য চালানোর চেষ্টা করুন এবং দেখুন কিভাবে এটি পাঠ্যের সারসংক্ষেপ করে, প্রশ্নোত্তর বের করে বা এক ভাষা থেকে অন্য ভাষাতে অনুবাদ করে।

সেজমেকারে ন্যায্যতা লিনিয়ার লার্নার

বিদ্যমান মানবীয় কুসংস্কার নকল করার ফলে সম্প্রতি এমএল অ্যালগরিদমগুলিতে পক্ষপাত নিয়ে উদ্বেগ রয়েছে। আজকাল, বেশ কয়েকটি ML পদ্ধতির শক্তিশালী সামাজিক প্রভাব রয়েছে, উদাহরণস্বরূপ এগুলি ব্যাঙ্ক ঋণ, বীমা হার বা বিজ্ঞাপনের পূর্বাভাস দিতে ব্যবহৃত হয়। দুর্ভাগ্যবশত, একটি অ্যালগরিদম যা ঐতিহাসিক তথ্য থেকে শেখে স্বাভাবিকভাবেই অতীতের পক্ষপাতের উত্তরাধিকারী হবে। এই নোটবুকটি লিনিয়ার লার্নার্সের প্রসঙ্গে সেজমেকার এবং ন্যায্য অ্যালগরিদম ব্যবহার করে কীভাবে এই সমস্যাটি কাটিয়ে উঠতে হয় তা উপস্থাপন করে।

এটি ন্যায্যতার পিছনে কিছু ধারণা এবং গণিত প্রবর্তনের মাধ্যমে শুরু হয়, তারপর এটি ডেটা ডাউনলোড করে, একটি মডেলকে প্রশিক্ষণ দেয় এবং অবশেষে মডেলের ভবিষ্যদ্বাণীগুলিকে যথাযথভাবে সামঞ্জস্য করতে ন্যায্যতার ধারণাগুলি প্রয়োগ করে৷

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• UCI এর অ্যাডাল্ট ডেটাসেটে একটি স্ট্যান্ডার্ড লিনিয়ার মডেল চালানো।
• মডেল ভবিষ্যদ্বাণীতে অন্যায় দেখানো হচ্ছে
• পক্ষপাত দূর করতে ডেটা ঠিক করা
• মডেল পুনরায় প্রশিক্ষণ

এই উদাহরণ কোড ব্যবহার করে আপনার নিজস্ব ডেটা চালানোর চেষ্টা করুন এবং পক্ষপাত আছে কিনা তা সনাক্ত করুন। এর পরে, এই উদাহরণ নোটবুকে দেওয়া ফাংশনগুলি ব্যবহার করে আপনার ডেটাসেটে পক্ষপাত দূর করার চেষ্টা করুন, যদি থাকে।

SageMaker অনুসন্ধান ব্যবহার করে ML পরীক্ষা পরিচালনা করুন

SageMaker অনুসন্ধান আপনাকে সম্ভাব্য শত শত এবং হাজার হাজার SageMaker মডেল প্রশিক্ষণের চাকরি থেকে সবচেয়ে প্রাসঙ্গিক মডেল প্রশিক্ষণগুলি দ্রুত খুঁজে পেতে এবং মূল্যায়ন করতে দেয়৷ একটি ML মডেল তৈরি করার জন্য ক্রমাগত পরীক্ষা-নিরীক্ষার প্রয়োজন, নতুন শেখার অ্যালগরিদম চেষ্টা করা, এবং হাইপারপ্যারামিটারগুলি টিউন করা, মডেলের কর্মক্ষমতা এবং নির্ভুলতার উপর এই ধরনের পরিবর্তনগুলির প্রভাব পর্যবেক্ষণ করার সময়। এই পুনরাবৃত্তিমূলক অনুশীলন প্রায়শই শত শত মডেল প্রশিক্ষণ পরীক্ষা এবং মডেল সংস্করণগুলির একটি বিস্ফোরণের দিকে নিয়ে যায়, একটি বিজয়ী মডেলের মিলন এবং আবিষ্কারকে ধীর করে দেয়। উপরন্তু, তথ্যের বিস্ফোরণটি একটি মডেল সংস্করণের বংশের সন্ধান করা খুব কঠিন করে তোলে - ডেটাসেট, অ্যালগরিদম এবং প্যারামিটারগুলির অনন্য সমন্বয় যা সেই মডেলটিকে প্রথম স্থানে তৈরি করেছিল।

এই নোটবুকটি দেখায় কিভাবে SageMaker-এ আপনার মডেল প্রশিক্ষণের কাজগুলি দ্রুত এবং সহজে সংগঠিত করতে, ট্র্যাক করতে এবং মূল্যায়ন করতে SageMaker অনুসন্ধান ব্যবহার করতে হয়৷ আপনি ব্যবহৃত লার্নিং অ্যালগরিদম, হাইপারপ্যারামিটার সেটিংস, ট্রেনিং ডেটাসেট এবং মডেল ট্রেনিং জবগুলিতে আপনার যোগ করা ট্যাগগুলি থেকে সমস্ত সংজ্ঞায়িত বৈশিষ্ট্যগুলি অনুসন্ধান করতে পারেন। এছাড়াও আপনি দ্রুত তুলনা করতে পারেন এবং তাদের কর্মক্ষমতা মেট্রিক্সের উপর ভিত্তি করে আপনার প্রশিক্ষণের র‍্যাঙ্ক করতে পারেন, যেমন প্রশিক্ষণের ক্ষতি এবং বৈধতা নির্ভুলতা, যার ফলে বিজয়ী মডেলগুলি সনাক্ত করার জন্য লিডারবোর্ড তৈরি করা হয় যা উত্পাদন পরিবেশে স্থাপন করা যেতে পারে। সেজমেকার অনুসন্ধান দ্রুত একটি লাইভ পরিবেশে মোতায়েন করা একটি মডেল সংস্করণের সম্পূর্ণ বংশের সন্ধান করতে পারে, যতক্ষণ না প্রশিক্ষণে ব্যবহৃত ডেটাসেটগুলি মডেলটি যাচাই করা হয়।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• একটি লিনিয়ার মডেল তিনবার প্রশিক্ষণ
• এই পরীক্ষাগুলি সংগঠিত এবং মূল্যায়ন করতে SageMaker অনুসন্ধান ব্যবহার করে৷
• একটি লিডারবোর্ডে ফলাফল ভিজ্যুয়ালাইজ করা
• একটি শেষ পয়েন্টে একটি মডেল স্থাপন করা হচ্ছে
• শেষ বিন্দু থেকে শুরু মডেলের বংশ ট্রেসিং

আপনার নিজের ভবিষ্যদ্বাণীমূলক মডেলগুলির বিকাশে, আপনি হয়তো বেশ কয়েকটি পরীক্ষা চালাচ্ছেন। এই ধরনের পরীক্ষায় সেজমেকার অনুসন্ধান ব্যবহার করার চেষ্টা করুন এবং এটি কীভাবে আপনাকে একাধিক উপায়ে সাহায্য করতে পারে তা অনুভব করুন।

সেজমেকার নিউরাল টপিক মডেল

সেজমেকার নিউরাল টপিক মডেল (এনটিএম) হল একটি তত্ত্বাবধানহীন লার্নিং অ্যালগরিদম যা পর্যবেক্ষণের একটি সেটকে স্বতন্ত্র বিভাগের মিশ্রণ হিসাবে বর্ণনা করার চেষ্টা করে। NTM সাধারণত একটি টেক্সট কর্পাসের মধ্যে নথি দ্বারা ভাগ করা একটি ব্যবহারকারী-নির্দিষ্ট সংখ্যক বিষয় আবিষ্কার করতে ব্যবহৃত হয়। এখানে প্রতিটি পর্যবেক্ষণ একটি নথি, বৈশিষ্ট্যগুলি হল প্রতিটি শব্দের উপস্থিতি (বা ঘটনার সংখ্যা) এবং বিভাগগুলি হল বিষয়৷ যেহেতু পদ্ধতিটি তত্ত্বাবধানহীন, তাই বিষয়গুলি সামনে নির্দিষ্ট করা হয় না এবং কীভাবে একজন মানুষ স্বাভাবিকভাবে নথি শ্রেণীবদ্ধ করতে পারে তার সাথে সারিবদ্ধ হওয়ার গ্যারান্টি দেওয়া হয় না। প্রতিটি নথিতে থাকা শব্দগুলির উপর সম্ভাব্যতা বন্টন হিসাবে বিষয়গুলি শেখা হয়। প্রতিটি নথি, ঘুরে, বিষয়ের মিশ্রণ হিসাবে বর্ণনা করা হয়।

এই নোটবুকটি 20NewsGroups ডেটাসেটে একটি মডেলকে প্রশিক্ষণ দিতে SageMaker NTM অ্যালগরিদম ব্যবহার করে৷ এই ডেটাসেটটি একটি টপিক মডেলিং বেঞ্চমার্ক হিসাবে ব্যাপকভাবে ব্যবহৃত হয়েছে।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• একটি এনটিএম মডেল তৈরি করার জন্য একটি ডেটাসেটে সেজমেকার প্রশিক্ষণের কাজ তৈরি করা
• SageMaker এন্ডপয়েন্টের সাথে অনুমান সঞ্চালনের জন্য মডেলটি ব্যবহার করা
• প্রশিক্ষিত মডেল অন্বেষণ এবং শেখা বিষয় ভিজ্যুয়ালাইজ করা

আপনার পাঠ্য নথিতে চালানোর জন্য আপনি সহজেই এই নোটবুকটি পরিবর্তন করতে পারেন এবং সেগুলিকে বিভিন্ন বিষয়ে ভাগ করতে পারেন।

ড্রাইভিং গতি লঙ্ঘন পূর্বাভাস

এই নোটবুকটি শিকাগো শহরের স্পিড ক্যামেরা লঙ্ঘন ডেটাসেট বিশ্লেষণ করে SageMaker DeepAR অ্যালগরিদম ব্যবহার করে সময় সিরিজের পূর্বাভাস প্রদর্শন করে৷ ডেটাসেটটি Data.gov দ্বারা হোস্ট করা হয় এবং মার্কিন জেনারেল সার্ভিসেস অ্যাডমিনিস্ট্রেশন, টেকনোলজি ট্রান্সফরমেশন সার্ভিস দ্বারা পরিচালিত হয়।

এই লঙ্ঘনগুলি ক্যামেরা সিস্টেম দ্বারা ধারণ করা হয় এবং শিকাগো শহরের ডেটা পোর্টালের মাধ্যমে জনসাধারণের জীবন উন্নত করার জন্য উপলব্ধ৷ স্পিড ক্যামেরা লঙ্ঘন ডেটাসেট ডেটাতে প্যাটার্নগুলি বুঝতে এবং অর্থপূর্ণ অন্তর্দৃষ্টি অর্জন করতে ব্যবহার করা যেতে পারে।

ডেটাসেটে একাধিক ক্যামেরা অবস্থান এবং দৈনিক লঙ্ঘনের সংখ্যা রয়েছে। একটি ক্যামেরার জন্য প্রতিটি দৈনিক লঙ্ঘনের গণনা একটি পৃথক সময় সিরিজ হিসাবে বিবেচিত হতে পারে। আপনি SageMaker DeepAR অ্যালগরিদম ব্যবহার করতে পারেন এক সাথে একাধিক রাস্তার জন্য একটি মডেলকে প্রশিক্ষণ দিতে এবং একাধিক রাস্তার ক্যামেরার জন্য লঙ্ঘনের পূর্বাভাস দিতে পারেন৷

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• স্পট ইনস্ট্যান্স ব্যবহার করে টাইম সিরিজ ডেটাসেটে সেজমেকার ডিপএআর অ্যালগরিদমকে প্রশিক্ষণ দেওয়া
• ট্র্যাফিক লঙ্ঘনের পূর্বাভাস দিতে প্রশিক্ষিত মডেলের উপর অনুমান করা

এই নোটবুকের সাহায্যে, আপনি শিখতে পারেন কিভাবে SageMaker-এ DeepAR অ্যালগরিদম ব্যবহার করে টাইম সিরিজের সমস্যাগুলি সমাধান করা যায় এবং আপনার নিজের টাইম সিরিজ ডেটাসেটে এটি প্রয়োগ করার চেষ্টা করুন।

স্তন ক্যান্সারের পূর্বাভাস

এই নোটবুকটি UCI'S স্তন ক্যান্সার ডায়াগনস্টিক ডেটাসেট ব্যবহার করে স্তন ক্যান্সারের পূর্বাভাসের জন্য একটি উদাহরণ নেয়। এটি একটি ভবিষ্যদ্বাণীমূলক মডেল তৈরি করতে এই ডেটাসেটটি ব্যবহার করে যে একটি স্তন ভরের ছবি একটি সৌম্য বা ম্যালিগন্যান্ট টিউমার নির্দেশ করে কিনা।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• সেজমেকার ব্যবহারের জন্য মৌলিক সেটআপ
• সেজমেকার অ্যালগরিদম দ্বারা ব্যবহৃত প্রোটোবাফ ফর্ম্যাটে ডেটাসেটগুলি রূপান্তর করা এবং এতে আপলোড করা আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)
• ডেটাসেটে সেজমেকার লিনিয়ার লার্নার মডেলের প্রশিক্ষণ দেওয়া
• প্রশিক্ষিত মডেল হোস্টিং
• প্রশিক্ষিত মডেল ব্যবহার করে স্কোরিং

SageMaker ব্যবহার করে কিভাবে ব্যবসায়িক সমস্যার সমাধান করতে হয় এবং মডেল প্রশিক্ষণ ও হোস্ট করার জন্য জড়িত পদক্ষেপগুলি বুঝতে আপনি এই নোটবুকের মাধ্যমে যেতে পারেন।

একাধিক মডেল থেকে এনসেম্বল ভবিষ্যদ্বাণী

ভবিষ্যদ্বাণীমূলক কাজগুলিতে এমএল-এর ব্যবহারিক প্রয়োগগুলিতে, একটি মডেল প্রায়শই যথেষ্ট নয়। বেশিরভাগ ভবিষ্যদ্বাণী প্রতিযোগিতায় একটি উন্নত পূর্বাভাস পেতে সাধারণত একাধিক উত্স থেকে পূর্বাভাস একত্রিত করতে হয়। একাধিক উৎস বা মডেল থেকে ভবিষ্যদ্বাণী একত্রিত করে বা গড় করে, আমরা সাধারণত একটি উন্নত পূর্বাভাস পাই। এটি ঘটে কারণ মডেলের পছন্দের ক্ষেত্রে যথেষ্ট অনিশ্চয়তা রয়েছে এবং অনেকগুলি ব্যবহারিক প্রয়োগে একটিও সত্যিকারের মডেল নেই। অতএব, বিভিন্ন মডেল থেকে ভবিষ্যদ্বাণী একত্রিত করা উপকারী। বায়েসিয়ান সাহিত্যে, এই ধারণাটিকে বায়েসিয়ান মডেল গড় হিসাবে উল্লেখ করা হয়েছে, এবং এটি শুধুমাত্র একটি মডেল বাছাই করার চেয়ে অনেক ভাল কাজ করে দেখানো হয়েছে।

এই নোটবুকটি তার শিক্ষা, কাজের অভিজ্ঞতা, লিঙ্গ এবং আরও অনেক কিছুর উপর ভিত্তি করে একজন ব্যক্তি বছরে $50,000 এর বেশি উপার্জন করে কিনা তা ভবিষ্যদ্বাণী করার জন্য একটি দৃষ্টান্তমূলক উদাহরণ উপস্থাপন করে।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• আপনার সেজমেকার নোটবুক প্রস্তুত করা হচ্ছে
• SageMaker ব্যবহার করে Amazon S3 থেকে একটি ডেটাসেট লোড করা হচ্ছে
• তদন্ত এবং তথ্য রূপান্তর যাতে এটি SageMaker অ্যালগরিদম খাওয়ানো যেতে পারে
• SageMaker XGBoost (এক্সট্রিম গ্রেডিয়েন্ট বুস্টিং) অ্যালগরিদম ব্যবহার করে একটি মডেল অনুমান করা
• চলমান ভবিষ্যদ্বাণী করতে SageMaker-এ মডেল হোস্ট করা
• সেজমেকার লিনিয়ার লার্নার পদ্ধতি ব্যবহার করে একটি দ্বিতীয় মডেল অনুমান করা
• উভয় মডেলের ভবিষ্যদ্বাণী একত্রিত করা এবং সম্মিলিত পূর্বাভাস মূল্যায়ন করা
• পরীক্ষার ডেটাসেটে চূড়ান্ত ভবিষ্যদ্বাণী তৈরি করা হচ্ছে

আপনার ডেটাসেটে এই নোটবুকটি চালানোর চেষ্টা করুন এবং একাধিক অ্যালগরিদম ব্যবহার করুন৷ SageMaker এবং JumpStart দ্বারা অফার করা বিভিন্ন মডেলের সংমিশ্রণ নিয়ে পরীক্ষা করার চেষ্টা করুন এবং দেখুন কোন মডেলের সংমিশ্রণটি আপনার নিজের ডেটাতে সেরা ফলাফল দেয়৷

সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স

সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স হল সেজমেকারের একটি নতুন ক্ষমতা যা আগত অনুরোধগুলিকে সারিবদ্ধ করে এবং সেগুলিকে অ্যাসিঙ্ক্রোনাসভাবে প্রক্রিয়া করে। সেজমেকার বর্তমানে গ্রাহকদের এমএল মডেল স্থাপনের জন্য দুটি অনুমান বিকল্প অফার করে: লো-ল্যাটেন্সি ওয়ার্কলোডের জন্য একটি রিয়েল-টাইম বিকল্প এবং ব্যাচ ট্রান্সফর্ম, সামনে উপলব্ধ ডেটার ব্যাচগুলিতে অনুমান অনুরোধগুলি প্রক্রিয়া করার একটি অফলাইন বিকল্প। রিয়েল-টাইম ইনফারেন্স 6 MB-এর কম পেলোডের আকার সহ কাজের চাপের জন্য উপযুক্ত এবং অনুমানের অনুরোধগুলি 60 সেকেন্ডের মধ্যে প্রক্রিয়া করা প্রয়োজন৷ ব্যাচ ট্রান্সফর্ম ডেটার ব্যাচগুলিতে অফলাইন অনুমানের জন্য উপযুক্ত।

অ্যাসিঙ্ক্রোনাস ইনফারেন্স হল কাছাকাছি-রিয়েল-টাইম অনুমানের প্রয়োজনের জন্য একটি নতুন অনুমান বিকল্প। অনুরোধগুলি প্রক্রিয়া করতে 15 মিনিট পর্যন্ত সময় নিতে পারে এবং 1 জিবি পর্যন্ত পেলোড আকার থাকতে পারে। অ্যাসিঙ্ক্রোনাস ইনফারেন্স সেই কাজের চাপের জন্য উপযুক্ত যেগুলির সাবসেকেন্ড লেটেন্সি প্রয়োজনীয়তা নেই এবং শিথিল লেটেন্সি প্রয়োজনীয়তা রয়েছে৷ উদাহরণস্বরূপ, আপনাকে 5 মিনিটের মধ্যে বেশ কয়েকটি এমবি-এর একটি বড় চিত্রে একটি অনুমান প্রক্রিয়া করতে হতে পারে। এছাড়াও, অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টগুলি যখন নিষ্ক্রিয় থাকে তখন এন্ডপয়েন্ট ইন্সট্যান্স কাউন্ট শূন্যে স্কেল করে আপনাকে খরচ নিয়ন্ত্রণ করতে দেয়, তাই আপনি শুধুমাত্র তখনই অর্থ প্রদান করবেন যখন আপনার এন্ডপয়েন্ট অনুরোধগুলি প্রক্রিয়া করছে৷

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• একটি সেজমেকার মডেল তৈরি করা হচ্ছে
• এই মডেল এবং অ্যাসিঙ্ক্রোনাস ইনফারেন্স কনফিগারেশন ব্যবহার করে একটি শেষ পয়েন্ট তৈরি করা হচ্ছে
• এই অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্টের বিরুদ্ধে ভবিষ্যদ্বাণী করা

এই নোটবুকটি আপনাকে সেজমেকার মডেলের জন্য একটি অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট একসাথে রাখার একটি কার্যকর উদাহরণ দেখায়।

TensorFlow আপনার নিজস্ব মডেল আনুন

একটি TensorFlow মডেল স্থানীয়ভাবে একটি শ্রেণীবিভাগের কাজ যেখানে এই নোটবুক চালানো হচ্ছে প্রশিক্ষণ দেওয়া হয়। তারপর এটি একটি সেজমেকার এন্ডপয়েন্টে স্থাপন করা হয়েছে।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• IRIS ডেটাসেটে স্থানীয়ভাবে একটি TensorFlow মডেলকে প্রশিক্ষণ দেওয়া
• সেজমেকারে সেই মডেলটি আমদানি করা হচ্ছে
• একটি শেষ পয়েন্টে এটি হোস্টিং

আপনার যদি TensorFlow মডেল থাকে যা আপনি নিজেই তৈরি করেছেন, তাহলে এই উদাহরণ নোটবুকটি আপনাকে SageMaker পরিচালিত এন্ডপয়েন্টে আপনার মডেল হোস্ট করতে সাহায্য করতে পারে।

স্কিট-লার্ন নিয়ে আসুন নিজের মডেল

সেজমেকার একটি হোস্ট করা নোটবুক পরিবেশ, বিতরণ করা, সার্ভারহীন প্রশিক্ষণ এবং রিয়েল-টাইম হোস্টিংকে সমর্থন করার কার্যকারিতা অন্তর্ভুক্ত করে। এটি সর্বোত্তম কাজ করে যখন এই তিনটি পরিষেবা একসাথে ব্যবহার করা হয়, তবে সেগুলি স্বাধীনভাবেও ব্যবহার করা যেতে পারে। কিছু ব্যবহারের ক্ষেত্রে শুধুমাত্র হোস্টিং প্রয়োজন হতে পারে। হতে পারে মডেলটিকে সেজমেকারের আগে প্রশিক্ষিত করা হয়েছিল, একটি ভিন্ন পরিষেবাতে।

নোটবুক নিম্নলিখিত প্রদর্শন করে:

• সেই মডেলের জন্য দ্রুত একটি হোস্টেড এন্ডপয়েন্ট তৈরি করতে সেজমেকার স্কিট-লার্ন কনটেইনার সহ একটি প্রাক-প্রশিক্ষিত স্কিট-লার্ন মডেল ব্যবহার করা

আপনার যদি স্কিট-লার্ন মডেল থাকে যা আপনি নিজেই তৈরি করেছেন, এই উদাহরণ নোটবুকটি আপনাকে SageMaker পরিচালিত এন্ডপয়েন্টে আপনার মডেল হোস্ট করতে সাহায্য করতে পারে।

সম্পদ পরিষ্কার করুন

আপনি জাম্পস্টার্টে একটি নোটবুক চালানো শেষ করার পরে, নিশ্চিত করুন সমস্ত সংস্থান মুছুন যাতে আপনি প্রক্রিয়াটিতে তৈরি করা সমস্ত সংস্থান মুছে ফেলা হয় এবং আপনার বিলিং বন্ধ হয়ে যায়। এই নোটবুকের শেষ সেল সাধারণত তৈরি করা শেষ পয়েন্টগুলি মুছে দেয়।

সারাংশ

এই পোস্টটি আপনাকে 10টি নতুন উদাহরণ নোটবুকের মধ্য দিয়ে নিয়ে গেছে যা সম্প্রতি জাম্পস্টার্টে যোগ করা হয়েছে। যদিও এই পোস্টটি এই 10টি নতুন নোটবুকের উপর দৃষ্টি নিবদ্ধ করেছে, তবে এই লেখা পর্যন্ত মোট 56টি উপলব্ধ নোটবুক রয়েছে। আমরা আপনাকে স্টুডিওতে লগ ইন করতে এবং নিজেরাই জাম্পস্টার্ট নোটবুকগুলি অন্বেষণ করার জন্য উত্সাহিত করি এবং তাদের থেকে অবিলম্বে মূল্য অর্জন করা শুরু করি৷ আরো তথ্যের জন্য, পড়ুন অ্যামাজন সেজমেকার স্টুডিও এবং সেজমেকার জাম্পস্টার্ট.

---

লেখক সম্পর্কে

রাজু পেনমচা ডা AWS-এ AI প্ল্যাটফর্মে একজন AI/ML বিশেষজ্ঞ সমাধান স্থপতি৷ তিনি স্ট্যানফোর্ড ইউনিভার্সিটি থেকে পিএইচডি লাভ করেন। তিনি SageMaker-এ কম/নো-কোড স্যুট পরিষেবাগুলিতে ঘনিষ্ঠভাবে কাজ করেন যা গ্রাহকদের সহজেই মেশিন লার্নিং মডেল এবং সমাধানগুলি তৈরি এবং স্থাপন করতে সহায়তা করে।