ক্লাউডে রানিং মেশিন লার্নিং (ML) পরীক্ষাগুলি অনেক পরিষেবা এবং উপাদান জুড়ে বিস্তৃত হতে পারে। এমএল মডেলগুলির দ্রুত বিকাশ সক্ষম করার জন্য এমএল পরীক্ষাগুলি গঠন, স্বয়ংক্রিয় এবং ট্র্যাক করার ক্ষমতা অপরিহার্য। স্বয়ংক্রিয় মেশিন লার্নিং (AutoML) ক্ষেত্রে সাম্প্রতিক অগ্রগতির সাথে, অর্থাৎ ML প্রক্রিয়াগুলির অটোমেশনের জন্য নিবেদিত ML-এর এলাকা, আপনি গভীর ML জ্ঞানের প্রয়োজন ছাড়াই সঠিক সিদ্ধান্ত নেওয়ার মডেল তৈরি করতে পারেন। এই পোস্টে, আমরা AutoGluon, একটি ওপেন-সোর্স AutoML ফ্রেমওয়ার্ক দেখছি যা আপনাকে পাইথনের মাত্র কয়েকটি লাইনের সাথে সঠিক ML মডেল তৈরি করতে দেয়।
AWS ML কার্যপ্রবাহ পরিচালনা এবং চালানোর জন্য বিস্তৃত পরিসরের পরিষেবা অফার করে, যা আপনাকে আপনার দক্ষতা এবং প্রয়োগের উপর ভিত্তি করে একটি সমাধান নির্বাচন করতে দেয়। উদাহরণস্বরূপ, যদি আপনি ইতিমধ্যে ব্যবহার করেন এডাব্লুএস স্টেপ ফাংশন বিতরণ করা অ্যাপ্লিকেশনগুলির উপাদানগুলিকে অর্কেস্ট্রেট করতে, আপনি আপনার এমএল ওয়ার্কফ্লোগুলি তৈরি এবং স্বয়ংক্রিয় করতে একই পরিষেবা ব্যবহার করতে পারেন। AWS দ্বারা প্রদত্ত অন্যান্য MLOps সরঞ্জাম অন্তর্ভুক্ত অ্যামাজন সেজমেকার পাইপলাইন, যা আপনাকে এমএল মডেল তৈরি করতে সক্ষম করে অ্যামাজন সেজমেকার স্টুডিও MLOps ক্ষমতা সহ (যেমন CI/CD সামঞ্জস্য, মডেল পর্যবেক্ষণ, এবং মডেল অনুমোদন)। ওপেন সোর্স টুল, যেমন অ্যাপাচি এয়ারফ্লো— AWS এর মাধ্যমে উপলব্ধ Apache Airflow এর জন্য Amazon পরিচালিত ওয়ার্কফ্লো-এবং কুবেফ্লো, পাশাপাশি হাইব্রিড সমাধানগুলিও সমর্থিত। উদাহরণস্বরূপ, সেজমেকার পাইপলাইনগুলির সাথে আপনার এমএল মডেলগুলিকে প্রশিক্ষণ এবং স্থাপন করার সময় আপনি স্টেপ ফাংশনগুলির সাথে ডেটা ইনজেশন এবং প্রক্রিয়াকরণ পরিচালনা করতে পারেন৷
এই পোস্টে, আমরা দেখাই যে কীভাবে এমএল দক্ষতা ছাড়া বিকাশকারীরাও অটোগ্লুওন ব্যবহার করে অত্যাধুনিক এমএল মডেলগুলি সহজেই তৈরি এবং বজায় রাখতে পারে আমাজন সেজমেকার এবং ওয়ার্কফ্লো উপাদান অর্কেস্ট্রেট করার জন্য ধাপ ফাংশন।
AutoGluon অ্যালগরিদমের একটি ওভারভিউ করার পরে, আমরা উদাহরণ সহ ওয়ার্কফ্লো সংজ্ঞা উপস্থাপন করি এবং a কোড টিউটোরিয়াল যে আপনি আপনার নিজের তথ্য আবেদন করতে পারেন.
অটোগ্লুওন
অটোগ্লুওন হল একটি ওপেন-সোর্স অটোএমএল ফ্রেমওয়ার্ক যা পাইথন কোডের মাত্র কয়েকটি লাইনের সাথে সঠিক এমএল মডেল প্রশিক্ষণের মাধ্যমে এমএল গ্রহণকে ত্বরান্বিত করে। যদিও এই পোস্টটি ট্যাবুলার ডেটার উপর ফোকাস করে, অটোগ্লুওন আপনাকে ইমেজ শ্রেণীবিভাগ, অবজেক্ট ডিটেকশন এবং টেক্সট শ্রেণীবিভাগের জন্য অত্যাধুনিক মডেলের প্রশিক্ষণ দেওয়ার অনুমতি দেয়। অটোগ্লুওন ট্যাবুলার সর্বোত্তম সমাধান খুঁজে পেতে বিভিন্ন মডেল তৈরি করে এবং একত্রিত করে।
AWS-এ AutoGluon টিম একটি প্রকাশ করেছে কাগজ লাইব্রেরি গঠন করে এমন নীতিগুলি উপস্থাপন করে:
- সরলতা - আপনি ডেটা বিশ্লেষণ বা বৈশিষ্ট্য প্রকৌশল সঞ্চালন না করে সরাসরি কাঁচা ডেটা থেকে শ্রেণীবিভাগ এবং রিগ্রেশন মডেল তৈরি করতে পারেন
- বলিষ্ঠতা - কিছু পৃথক মডেল ব্যর্থ হলেও সামগ্রিক প্রশিক্ষণ প্রক্রিয়া সফল হওয়া উচিত
- অনুমানযোগ্য সময় - আপনি প্রশিক্ষণের জন্য বিনিয়োগ করতে চান এমন সময়ের মধ্যে আপনি সর্বোত্তম ফলাফল পেতে পারেন
- ফল্ট সহনশীলতা - আপনি প্রশিক্ষণ বন্ধ করতে পারেন এবং যে কোনো সময় এটি পুনরায় শুরু করতে পারেন, যা ক্লাউডের স্পট চিত্রগুলিতে প্রক্রিয়াটি চললে খরচগুলিকে অপ্টিমাইজ করে।
অ্যালগরিদম সম্পর্কে আরও বিস্তারিত জানার জন্য, পড়ুন কাগজ AWS-এ AutoGluon টিম দ্বারা প্রকাশিত।
আপনি ইনস্টল করার পরে অটোগ্লুওন প্যাকেজ এবং এর নির্ভরতা, একটি মডেলকে প্রশিক্ষণ দেওয়া কোডের তিনটি লাইন লেখার মতোই সহজ:
অটোগ্লুওন দল একাধিক কাগল প্রতিযোগিতায় শীর্ষ 10 লিডারবোর্ডে পৌঁছে কাঠামোর শক্তি প্রমাণ করেছে।
সমাধান ওভারভিউ
প্রশিক্ষণ, মূল্যায়ন এবং স্থাপনাকে কভার করে এমন একটি ML কার্যপ্রবাহ বাস্তবায়ন করতে আমরা ধাপ ফাংশন ব্যবহার করি। পাইপলাইন ডিজাইন আপনি রানটাইমে পাইপলাইনে যে ইনপুট প্যারামিটারগুলি ফিড করেন তা পরিবর্তন করে দ্রুত এবং কনফিগারযোগ্য পরীক্ষাগুলি সক্ষম করে৷
আপনি বিভিন্ন কর্মপ্রবাহ বাস্তবায়নের জন্য পাইপলাইন কনফিগার করতে পারেন, যেমন নিম্নলিখিত:
- একটি নতুন এমএল মডেল প্রশিক্ষিত করুন এবং এটিকে সেজমেকার মডেল রেজিস্ট্রিতে সংরক্ষণ করুন, যদি এই সময়ে কোনো স্থাপনার প্রয়োজন না হয়
- একটি প্রাক-প্রশিক্ষিত এমএল মডেল স্থাপন করুন, হয় অনলাইনের জন্য (সেজমেকার এন্ডপয়েন্ট) বা অফলাইন (সেজমেকার ব্যাচের রূপান্তর) অনুমান
- স্ক্র্যাচ থেকে একটি ML মডেল প্রশিক্ষণ, মূল্যায়ন এবং স্থাপন করার জন্য একটি সম্পূর্ণ পাইপলাইন চালান
সমাধানগুলি একটি সাধারণ নিয়ে গঠিত রাষ্ট্র মেশিন (নিম্নলিখিত চিত্রটি দেখুন) যা ইনপুট পরামিতির সেটের উপর ভিত্তি করে চালানোর জন্য ক্রিয়াগুলির সেটকে সাজায়।
রাষ্ট্রযন্ত্রের ধাপগুলো নিম্নরূপ:
- প্রথম পদক্ষেপ
IsTraining
আমরা একটি প্রাক-প্রশিক্ষিত মডেল ব্যবহার করছি নাকি স্ক্র্যাচ থেকে একটি মডেলকে প্রশিক্ষণ দিচ্ছি তা নির্ধারণ করে। একটি প্রাক-প্রশিক্ষিত মডেল ব্যবহার করলে, রাষ্ট্রীয় যন্ত্রটি ধাপ 7 এ চলে যায়। - যখন একটি নতুন ML মডেল প্রয়োজন হয়,
TrainSteps
একটি দ্বিতীয় স্টেট মেশিন ট্রিগার করে যা সমস্ত প্রয়োজনীয় ক্রিয়া সম্পাদন করে এবং ফলাফলটি বর্তমান রাজ্য মেশিনে ফিরিয়ে দেয়। আমরা পরবর্তী বিভাগে ট্রেনিং স্টেট মেশিনের আরও বিশদে যাই। - প্রশিক্ষণ শেষ হলে,
PassModelName
নিম্নলিখিত রাজ্যগুলিতে পুনঃব্যবহারের জন্য রাজ্য মেশিন প্রসঙ্গে একটি নির্দিষ্ট স্থানে প্রশিক্ষণ কাজের নাম সংরক্ষণ করে। - যদি একটি মূল্যায়ন পর্যায় নির্বাচন করা হয়,
IsEvaluation
রাষ্ট্রীয় মেশিনকে মূল্যায়ন শাখার দিকে পুনঃনির্দেশিত করে। অন্যথায়, এটি ধাপ 7 এ চলে যায়। - তারপর একটি ব্যবহার করে মূল্যায়ন পর্যায়টি বাস্তবায়িত হয় এডাব্লুএস ল্যাম্বদা ফাংশন দ্বারা আহ্বান করা হয়েছে
ModelValidation
পদক্ষেপ ল্যাম্বডা ফাংশন একটি টেস্ট সেটে মডেলের পারফরম্যান্স পুনরুদ্ধার করে এবং এটিকে ইনপুট প্যারামিটারে নির্দিষ্ট একটি ব্যবহারকারী-কনফিগারযোগ্য থ্রেশহোল্ডের সাথে তুলনা করে। নিম্নলিখিত কোডটি মূল্যায়ন ফলাফলের একটি উদাহরণ: - যদি মডেল মূল্যায়ন এ
EvaluationResults
সফল হয়েছে, রাষ্ট্রীয় মেশিন চূড়ান্ত স্থাপনার পদক্ষেপের সাথে চলতে থাকে। যদি মডেলটি ব্যবহারকারী-সংজ্ঞায়িত মানদণ্ডের নিচে কাজ করে, তবে রাষ্ট্রীয় মেশিন বন্ধ হয়ে যায় এবং স্থাপনা এড়িয়ে যায়। - যদি স্থাপনা নির্বাচন করা হয়,
IsDeploy
মাধ্যমে একটি তৃতীয় রাষ্ট্র মেশিন শুরু করেDeploySteps
, যা আমরা এই পোস্টে পরে বর্ণনা করব। স্থাপনার প্রয়োজন না হলে, রাষ্ট্রীয় যন্ত্র এখানে থেমে যায়।
ইনপুট পরামিতি নমুনার একটি সেট পাওয়া যায় গিটহুব রেপো.
প্রশিক্ষণ রাষ্ট্র মেশিন
অটোগ্লুওন ব্যবহার করে একটি নতুন এমএল মডেলের প্রশিক্ষণের জন্য রাষ্ট্রীয় যন্ত্রটি দুটি ধাপ নিয়ে গঠিত, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে। প্রথম ধাপ হল একটি সেজমেকার প্রশিক্ষণের কাজ যা মডেল তৈরি করে। দ্বিতীয়টি সেজমেকার মডেল রেজিস্ট্রিতে এন্ট্রি সংরক্ষণ করে।
আপনি প্রধান রাষ্ট্র মেশিনের অংশ হিসাবে স্বয়ংক্রিয়ভাবে এই পদক্ষেপগুলি চালাতে পারেন, বা একটি স্বতন্ত্র প্রক্রিয়া হিসাবে।
স্থাপনা রাষ্ট্র মেশিন
আসুন এখন ডিপ্লোয়মেন্ট ফেজে নিবেদিত স্টেট মেশিনের দিকে তাকাই (নিচের চিত্রটি দেখুন)। পূর্বে উল্লিখিত হিসাবে, আর্কিটেকচার অনলাইন এবং অফলাইন স্থাপনা উভয় সমর্থন করে। আগেরটি একটি সেজমেকার এন্ডপয়েন্ট স্থাপন করে, যেখানে পরেরটি একটি সেজমেকার ব্যাচ ট্রান্সফর্ম জব চালায়।
বাস্তবায়নের পদক্ষেপগুলি নিম্নরূপ:
ChoiceDeploymentMode
কোন স্থাপনার মোড প্রয়োজন তা নির্ধারণ করতে ইনপুট পরামিতিগুলি দেখে এবং সংশ্লিষ্ট শাখার দিকে রাজ্য মেশিনকে নির্দেশ করে।- একটি শেষবিন্দু নির্বাচন করা হলে,
EndpointConfig
ধাপ তার কনফিগারেশন সংজ্ঞায়িত করে, যখনCreateEndpoint
প্রয়োজনীয় কম্পিউটিং সংস্থান বরাদ্দ করার প্রক্রিয়া শুরু করে। এই বরাদ্দের জন্য কয়েক মিনিট সময় লাগতে পারে, তাই রাষ্ট্রীয় যন্ত্রটি বিরতি দেয়WaitForEndpoint
এবং এন্ডপয়েন্ট স্ট্যাটাস পোল করতে একটি Lambda ফাংশন ব্যবহার করে। - যখন শেষ পয়েন্ট কনফিগার করা হচ্ছে,
ChoiceEndpointStatus
ফিরেWaitForEndpoint
রাষ্ট্র, অন্যথায় এটি চলতে থাকেDeploymentFailed
orDeploymentSucceeded
. - অফলাইন স্থাপনা নির্বাচন করা হলে, রাষ্ট্রীয় মেশিন একটি সেজমেকার ব্যাচ ট্রান্সফর্ম কাজ চালায়, যার পরে রাষ্ট্রীয় মেশিন বন্ধ হয়ে যায়।
উপসংহার
এই পোস্টটি অটোএমএল ওয়ার্কফ্লো অর্কেস্ট্রেট করার জন্য একটি সহজে ব্যবহারযোগ্য পাইপলাইন উপস্থাপন করে এবং ক্লাউডে দ্রুত পরীক্ষাগুলি সক্ষম করে, উন্নত ML জ্ঞানের প্রয়োজন ছাড়াই সঠিক ML সমাধানের অনুমতি দেয়৷
আমরা একটি সাধারণ পাইপলাইন এবং সেইসাথে দুটি মডুলার সরবরাহ করি যা প্রয়োজনে আপনাকে আলাদাভাবে প্রশিক্ষণ এবং স্থাপনা সম্পাদন করতে দেয়। অধিকন্তু, সমাধানটি সম্পূর্ণরূপে সেজমেকারের সাথে একত্রিত, এর বৈশিষ্ট্য এবং গণনামূলক সংস্থানগুলি থেকে উপকৃত।
এটি দিয়ে এখনই শুরু করুন কোড টিউটোরিয়াল এই পোস্টে উপস্থাপিত সংস্থানগুলিকে আপনার AWS অ্যাকাউন্টে স্থাপন করতে এবং আপনার প্রথম AutoML পরীক্ষা চালাতে।
লেখক সম্পর্কে
ফেদেরিকো পিকিনিনি আমাজন মেশিন লার্নিং সলিউশন ল্যাবের জন্য একজন ডিপ লার্নিং আর্কিটেক্ট। তিনি মেশিন লার্নিং, ব্যাখ্যাযোগ্য AI, এবং MLOps সম্পর্কে উত্সাহী। তিনি AWS গ্রাহকদের জন্য ML পাইপলাইন ডিজাইন করার দিকে মনোনিবেশ করেন। কাজের বাইরে, তিনি খেলাধুলা এবং পিজা উপভোগ করেন।
পাওলো ইরেরা আমাজন মেশিন লার্নিং সলিউশন ল্যাবের একজন ডেটা সায়েন্টিস্ট, যেখানে তিনি গ্রাহকদের এমএল এবং ক্লাউড ক্ষমতার সাথে ব্যবসায়িক সমস্যা সমাধানে সহায়তা করেন। তিনি প্যারিসের টেলিকম প্যারিসটেক থেকে কম্পিউটার ভিশনে পিএইচডি করেছেন।
- Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
- ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
- সূত্র: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- ক্ষমতা
- সম্পর্কে
- হিসাব
- সঠিক
- দিয়ে
- স্টক
- ঠিকানা
- গ্রহণ
- অগ্রসর
- উন্নয়নের
- AI
- অ্যালগরিদম
- সব
- বণ্টন
- অনুমতি
- অনুমতি
- ইতিমধ্যে
- যদিও
- মর্দানী স্ত্রীলোক
- বিশ্লেষণ করা
- আবেদন
- অ্যাপ্লিকেশন
- প্রয়োগ করা
- স্থাপত্য
- এলাকায়
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- অটোমেটেড
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়তা
- সহজলভ্য
- ডেস্কটপ AWS
- হচ্ছে
- নিচে
- নির্মাণ করা
- ব্যবসায়
- পেতে পারি
- ক্ষমতা
- মনোনীত
- শ্রেণীবিন্যাস
- মেঘ
- কোড
- সঙ্গতি
- কম্পিটিসনস
- সম্পূর্ণ
- উপাদান
- কম্পিউটার
- কম্পিউটিং
- কনফিগারেশন
- চলতে
- অনুরূপ
- খরচ
- সৃষ্টি
- সৃষ্টি
- নির্ণায়ক
- বর্তমান
- বর্তমান অবস্থা
- গ্রাহকদের
- উপাত্ত
- তথ্য বিজ্ঞানী
- নিবেদিত
- গভীর
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- বর্ণনা করা
- নকশা
- ফন্দিবাজ
- বিস্তারিত
- বিস্তারিত
- সনাক্তকরণ
- ডেভেলপারদের
- উন্নয়ন
- বিভিন্ন
- সরাসরি
- বণ্টিত
- সহজে
- ব্যবহার করা সহজ
- সক্ষম করা
- সম্ভব
- শেষপ্রান্ত
- অপরিহার্য
- মূল্যায়ন
- মূল্যায়ন
- উদাহরণ
- উদাহরণ
- ল্যাপারোস্কোপিক পদ্ধতি
- দ্রুত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- প্রথম
- গুরুত্ত্ব
- অনুসরণ
- অনুসরণ
- ফ্রেমওয়ার্ক
- থেকে
- ক্রিয়া
- ক্রিয়াকলাপ
- সাধারণ
- জমিদারি
- সাহায্য
- এখানে
- ঝুলিতে
- কিভাবে
- HTTPS দ্বারা
- অকুলীন
- ভাবমূর্তি
- চিত্র
- বাস্তবায়ন
- বাস্তবায়ন
- বাস্তবায়িত
- অন্তর্ভুক্ত করা
- স্বতন্ত্র
- ইনপুট
- ইনস্টল
- সংহত
- IT
- কাজ
- জ্ঞান
- গবেষণাগার
- সর্বশেষ
- শিক্ষা
- লাইব্রেরি
- লাইন
- অবস্থান
- দেখুন
- মেশিন
- মেশিন লার্নিং
- বজায় রাখা
- পরিচালনা করা
- পরিচালিত
- উল্লিখিত
- ML
- মডেল
- মডেল
- মডুলার
- পর্যবেক্ষণ
- অধিক
- বহু
- যথা
- প্রয়োজনীয়
- প্রয়োজন
- পরবর্তী
- প্রদত্ত
- অফার
- অফলাইন
- অনলাইন
- অন্যান্য
- অন্যভাবে
- সামগ্রিক
- নিজের
- প্যারী
- অংশ
- কামুক
- ক্রিয়াকাণ্ড
- করণ
- ফেজ
- পিজা
- ভোটগ্রহণ
- বর্তমান
- উপস্থাপন
- সমস্যা
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- প্রদান
- পরিসর
- কাঁচা
- মুক্ত
- প্রয়োজনীয়
- Resources
- ফলাফল
- জীবনবৃত্তান্ত
- আয়
- চালান
- একই
- বিজ্ঞানী
- নির্বাচিত
- সেবা
- সেবা
- সেট
- বিভিন্ন
- প্রদর্শনী
- দক্ষতা
- So
- সমাধান
- সলিউশন
- কিছু
- বিজ্ঞাপন
- অকুস্থল
- স্বতন্ত্র
- শুরু
- শুরু
- রাষ্ট্র
- রাষ্ট্র-এর-শিল্প
- যুক্তরাষ্ট্র
- অবস্থা
- দোকান
- দোকান
- শক্তি
- সফল
- সমর্থিত
- সমর্থন
- টীম
- টেলিকম
- পরীক্ষা
- সার্জারির
- তিন
- গোবরাট
- দ্বারা
- সময়
- সরঞ্জাম
- শীর্ষ
- প্রতি
- পথ
- রেলগাড়ি
- প্রশিক্ষণ
- রুপান্তর
- ব্যবহার
- দৃষ্টি
- কিনা
- যখন
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কর্মপ্রবাহ
- লেখা
- আপনার