কয়েক হাজার AWS গ্রাহক সম্পূর্ণরূপে পরিচালিত অবকাঠামো এবং সরঞ্জামগুলির সাথে তাদের ML বিকাশকে ত্বরান্বিত করতে AWS মেশিন লার্নিং (ML) পরিষেবাগুলি ব্যবহার করে৷ যেসব গ্রাহকরা তাদের স্থানীয় ডেস্কটপের মতো প্রাঙ্গনে ML মডেল তৈরি করছেন, তারা AWS ক্লাউডে তাদের লিগ্যাসি ML মডেলগুলি স্থানান্তর করতে চান যাতে AWS-এ উপলব্ধ এমএল পরিষেবা, অবকাঠামো, এবং বাস্তবায়ন সংস্থানগুলির সম্পূর্ণরূপে সুবিধা নিতে পারে। .
মেয়াদ উত্তরাধিকার কোড কোডকে বোঝায় যা স্থানীয় ডেস্কটপে ম্যানুয়ালি চালানোর জন্য তৈরি করা হয়েছিল, এবং ক্লাউড-রেডি SDKগুলির সাথে নির্মিত নয় যেমন Python (Boto3) এর জন্য AWS SDK or অ্যামাজন সেজমেকার পাইথন এসডিকে. অন্য কথায়, এই লিগ্যাসি কোডগুলি ক্লাউড স্থাপনার জন্য অপ্টিমাইজ করা হয় না। মাইগ্রেশনের জন্য সর্বোত্তম অনুশীলন হল এই লিগ্যাসি কোডগুলি ব্যবহার করে রিফ্যাক্টর করা Amazon SageMaker API অথবা SageMaker Python SDK। যাইহোক, কিছু ক্ষেত্রে, প্রচুর সংখ্যক লিগ্যাসি মডেল সহ সংস্থাগুলির কাছে সেই সমস্ত মডেলগুলি পুনরায় লেখার জন্য সময় বা সংস্থান নাও থাকতে পারে।
এই পোস্টে, আমরা ব্যবহার করে অনুমান করার জন্য AWS ক্লাউডে উত্তরাধিকার এমএল কোড স্থানান্তর করার জন্য একটি পরিমাপযোগ্য এবং সহজে-বাস্তবায়ন পদ্ধতি শেয়ার করেছি আমাজন সেজমেকার এবং এডাব্লুএস স্টেপ ফাংশন, ন্যূনতম পরিমাণ কোড রিফ্যাক্টরিং প্রয়োজন। আপনি আরও কার্যকারিতা যোগ করতে এই সমাধানটি সহজেই প্রসারিত করতে পারেন। আমরা দেখাই কিভাবে দুইজন ভিন্ন ব্যক্তি, একজন ডেটা সায়েন্টিস্ট এবং একজন MLOps প্রকৌশলী, শত শত লিগ্যাসি মডেল তুলতে এবং স্থানান্তর করতে সহযোগিতা করতে পারেন।
সমাধান ওভারভিউ
এই ফ্রেমওয়ার্কে, আমরা একটি পাত্রে একটি হিসাবে লিগ্যাসি কোড চালাই সেজমেকার প্রসেসিং চাকরি সেজমেকার একটি প্রসেসিং কন্টেইনারের ভিতরে লিগ্যাসি স্ক্রিপ্ট চালায়। প্রসেসিং কন্টেইনার ইমেজ হয় একটি সেজমেকার বিল্ট-ইন ইমেজ বা একটি কাস্টম ইমেজ হতে পারে। একটি প্রসেসিং কাজের জন্য অন্তর্নিহিত অবকাঠামো সম্পূর্ণরূপে সেজমেকার দ্বারা পরিচালিত হয়। উত্তরাধিকার কোডে কোন পরিবর্তনের প্রয়োজন নেই। সেজমেকার প্রসেসিং কাজ তৈরির সাথে পরিচিতি যা প্রয়োজন।
আমরা দুই ব্যক্তিত্বের জড়িত থাকার অনুমান করি: একজন ডেটা বিজ্ঞানী এবং একজন MLOps প্রকৌশলী। ডেটা সায়েন্টিস্ট কোডটিকে সেজমেকারে সরানোর জন্য দায়বদ্ধ, হয় ম্যানুয়ালি বা কোড রিপোজিটরি থেকে ক্লোন করে যেমন এডাব্লুএস কোডকমিট. অ্যামাজন সেজমেকার স্টুডিও এমএল লাইফসাইকেলে বিভিন্ন ধাপ বাস্তবায়নের জন্য একটি সমন্বিত উন্নয়ন পরিবেশ (আইডিই) প্রদান করে এবং ডেটা সায়েন্টিস্ট ম্যানুয়ালি একটি কাস্টম কন্টেইনার তৈরি করতে এটি ব্যবহার করে যাতে স্থাপনার জন্য প্রয়োজনীয় কোড আর্টিফ্যাক্ট থাকে। কন্টেইনার রেজিস্ট্রি যেমন কনটেইনার রেজিস্ট্রি করা হবে অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR) স্থাপনার উদ্দেশ্যে।
MLOps ইঞ্জিনিয়ার একটি স্টেপ ফাংশন ওয়ার্কফ্লো তৈরির মালিকানা নেয় যা আমরা উপযুক্ত প্যারামিটার সহ ডেটা বিজ্ঞানী দ্বারা তৈরি কাস্টম কন্টেইনার স্থাপন করতে পুনরায় ব্যবহার করতে পারি। স্টেপ ফাংশন ওয়ার্কফ্লো ব্যবহার ক্ষেত্রে ফিট করার জন্য প্রয়োজনীয় হিসাবে মডুলার হতে পারে, অথবা এটি একটি একক প্রক্রিয়া শুরু করার জন্য শুধুমাত্র একটি ধাপ নিয়ে গঠিত হতে পারে। কোড স্থানান্তর করার জন্য প্রয়োজনীয় প্রচেষ্টা কমাতে, আমরা একটি সম্পূর্ণ কার্যকরী স্থাপনার প্রক্রিয়া তৈরি করতে তিনটি মডুলার উপাদান চিহ্নিত করেছি:
- প্রাক প্রসেসিং
- অনুমিতি
- পোস্ট প্রসেসিং
নিম্নলিখিত চিত্রটি আমাদের সমাধান আর্কিটেকচার এবং কর্মপ্রবাহকে চিত্রিত করে।
নিম্নলিখিত পদক্ষেপগুলি এই সমাধানের সাথে জড়িত:
- ডেটা সায়েন্টিস্ট পার্সোনা স্টুডিও ব্যবহার করে একটি কোড রিপোজিটরি থেকে ক্লোনিংয়ের মাধ্যমে লিগ্যাসি কোড আমদানি করতে, এবং তারপর কোডটিকে আলাদা উপাদানে মডুলারাইজ করে যা এমএল লাইফসাইকেলের (প্রিপ্রসেসিং, ইনফারেন্স এবং পোস্টপ্রসেসিং) ধাপ অনুসরণ করে।
- তথ্য বিজ্ঞানী স্টুডিও ব্যবহার করে, এবং বিশেষভাবে স্টুডিও ইমেজ বিল্ড CLI একটি ডকার ইমেজ তৈরি করতে SageMaker দ্বারা সরবরাহ করা টুল। এই CLI টুলটি ডেটা সায়েন্টিস্টকে সরাসরি স্টুডিওর মধ্যে ইমেজ তৈরি করতে দেয় এবং স্বয়ংক্রিয়ভাবে অ্যামাজন ইসিআর-এ ইমেজ রেজিস্টার করে।
- MLOps ইঞ্জিনিয়ার নিবন্ধিত কন্টেইনার ইমেজ ব্যবহার করে এবং স্টেপ ফাংশন ব্যবহার করে একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে একটি স্থাপনা তৈরি করে। স্টেপ ফাংশন হল একটি সার্ভারবিহীন ওয়ার্কফ্লো পরিষেবা যা অ্যামাজন স্টেটস ল্যাঙ্গুয়েজ ব্যবহারের মাধ্যমে সরাসরি সেজমেকার এপিআই নিয়ন্ত্রণ করতে পারে।
সেজমেকার প্রসেসিং কাজ
আসুন বুঝতে পারি কিভাবে একটি সেজমেকার প্রসেসিং কাজ রান নিচের চিত্রটি দেখায় কিভাবে সেজমেকার একটি প্রসেসিং কাজ শুরু করে।
সেজমেকার আপনার স্ক্রিপ্ট নেয়, আপনার ডেটা কপি করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3), এবং তারপর একটি প্রসেসিং কন্টেইনার টানে। প্রক্রিয়াকরণ ধারক চিত্রটি হয় একটি সেজমেকার অন্তর্নির্মিত চিত্র বা আপনার সরবরাহ করা একটি কাস্টম চিত্র হতে পারে। একটি প্রসেসিং কাজের জন্য অন্তর্নিহিত অবকাঠামো সম্পূর্ণরূপে সেজমেকার দ্বারা পরিচালিত হয়। ক্লাস্টার রিসোর্স আপনার কাজের সময়কালের জন্য প্রবিধান করা হয়, এবং একটি কাজ সম্পূর্ণ হলে পরিষ্কার করা হয়। প্রসেসিং কাজের আউটপুট আপনার নির্দিষ্ট করা S3 বালতিতে সংরক্ষণ করা হয়। আপনার নিজস্ব ধারক নির্মাণ সম্পর্কে আরও জানতে, পড়ুন আপনার নিজস্ব প্রক্রিয়াকরণ ধারক তৈরি করুন (উন্নত দৃশ্য).
সেজমেকার প্রসেসিং কাজ একটি ডকার কন্টেইনার এন্ট্রিপয়েন্ট স্ক্রিপ্ট ব্যবহার করে আপনার প্রসেসিং ইমেজ সেট আপ করে। আপনি ContainerEntrypoint এবং ContainerArguments প্যারামিটার ব্যবহার করে আপনার নিজস্ব কাস্টম এন্ট্রিপয়েন্ট প্রদান করতে পারেন অ্যাপ স্পেসিফিকেশন API আপনি যদি আপনার নিজস্ব কাস্টম এন্ট্রিপয়েন্ট ব্যবহার করেন, তাহলে আপনার ছবিগুলি পুনর্নির্মাণ না করেই এটিকে একটি স্বতন্ত্র স্ক্রিপ্ট হিসাবে চালানোর জন্য আপনার কাছে অতিরিক্ত নমনীয়তা রয়েছে৷
এই উদাহরণের জন্য, আমরা একটি কাস্টম ধারক তৈরি করি এবং অনুমানের জন্য একটি সেজমেকার প্রসেসিং কাজ ব্যবহার করি। প্রি-প্রসেসিং এবং পোস্টপ্রসেসিং কাজগুলি একটি প্রাক-নির্মিত স্কিট-লার্ন কন্টেইনার সহ স্ক্রিপ্ট মোড ব্যবহার করে।
পূর্বশর্ত
এই পোস্টটি অনুসরণ করতে, নিম্নলিখিত পূর্বশর্ত পদক্ষেপগুলি সম্পূর্ণ করুন:
- একটি স্টুডিও ডোমেন তৈরি করুন। নির্দেশাবলীর জন্য, পড়ুন দ্রুত সেটআপ ব্যবহার করে অ্যামাজন সেজমেকার ডোমেনে অনবোর্ড.
- একটি S3 বালতি তৈরি করুন।
- প্রদত্ত ক্লোন করুন গিটহুব রেপো স্টুডিওতে
GitHub রেপো বিভিন্ন ফোল্ডারে সংগঠিত হয় যা ML লাইফসাইকেলের বিভিন্ন পর্যায়ের সাথে মিলে যায়, সহজে নেভিগেশন এবং পরিচালনার সুবিধা দেয়:
উত্তরাধিকার কোড স্থানান্তর করুন
এই ধাপে, আমরা উত্তরাধিকার কোড স্থানান্তর করার জন্য দায়ী ডেটা বিজ্ঞানী হিসাবে কাজ করি।
আমরা খোলার মাধ্যমে শুরু build_and_push.ipynb
নোটবই.
নোটবুকের প্রাথমিক কক্ষটি আপনাকে ইনস্টল করার জন্য গাইড করে স্টুডিও ইমেজ বিল্ড CLI. এই CLI স্বয়ংক্রিয়ভাবে একটি পুনঃব্যবহারযোগ্য বিল্ড এনভায়রনমেন্ট তৈরি করে সেটআপ প্রক্রিয়াটিকে সহজ করে যার সাথে আপনি উচ্চ-স্তরের কমান্ডের মাধ্যমে যোগাযোগ করতে পারেন। CLI-এর সাহায্যে, একটি ছবি তৈরি করা যতটা সহজ তা নির্মাণ করতে বলার মতো, এবং ফলাফলটি অ্যামাজন ইসিআর-এ আপনার ছবির অবস্থানের একটি লিঙ্ক হবে। এই পদ্ধতিটি CLI দ্বারা সংগঠিত জটিল অন্তর্নিহিত কর্মপ্রবাহ পরিচালনা করার প্রয়োজনীয়তা দূর করে, চিত্র নির্মাণের প্রক্রিয়াটিকে সুগম করে।
আমরা বিল্ড কমান্ড চালনা করার আগে, CLI-তে উল্লেখ করা কমান্ডটি চালানোর ভূমিকার প্রয়োজনীয় অনুমতি রয়েছে তা নিশ্চিত করা গুরুত্বপূর্ণ GitHub readme বা সম্পর্কিত পোস্ট. প্রয়োজনীয় অনুমতি প্রদান করতে ব্যর্থ হলে বিল্ড প্রক্রিয়া চলাকালীন ত্রুটি হতে পারে।
নিম্নলিখিত কোডটি দেখুন:
আপনার লিগ্যাসি কোড স্ট্রীমলাইন করতে, এটিকে preprocessing.py, predict.py এবং postprocessing.py নামে তিনটি স্বতন্ত্র পাইথন স্ক্রিপ্টে ভাগ করুন। কোডটিকে একটি প্রধান ফাংশন থেকে কল করা ফাংশনে রূপান্তর করে সেরা প্রোগ্রামিং অনুশীলনগুলি মেনে চলুন। নিশ্চিত করুন যে সমস্ত প্রয়োজনীয় লাইব্রেরি আমদানি করা হয়েছে এবং কোনো কাস্টম লাইব্রেরি অন্তর্ভুক্ত করার জন্য requirements.txt ফাইল আপডেট করা হয়েছে।
আপনি কোডটি সংগঠিত করার পরে, এটিকে প্রয়োজনীয় ফাইলের সাথে একটি ডকার কন্টেইনারে প্যাকেজ করুন। আপনি নিম্নলিখিত কমান্ড ব্যবহার করে স্টুডিওর মধ্যে থেকে সহজেই ধারক তৈরি করতে পারেন:
ডিফল্টরূপে, ইমেজটি লেটেস্ট ট্যাগ সহ sagemakerstudio নামে একটি ECR সংগ্রহস্থলে পুশ করা হবে। উপরন্তু, ডিফল্ট SageMaker Python SDK S3 বালতি সহ, স্টুডিও অ্যাপের কার্যকরী ভূমিকা ব্যবহার করা হবে। যাইহোক, উপযুক্ত CLI বিকল্পগুলি ব্যবহার করে এই সেটিংস সহজেই পরিবর্তন করা যেতে পারে। নিম্নলিখিত কোড দেখুন:
এখন যেহেতু কনটেইনারটি তৈরি করা হয়েছে এবং একটি ECR সংগ্রহস্থলে নিবন্ধিত হয়েছে, এটি predict.py চালানোর জন্য আমরা কীভাবে এটি ব্যবহার করতে পারি সে সম্পর্কে গভীরভাবে ডুব দেওয়ার সময় এসেছে। আমরা আপনাকে একটি পূর্ব-নির্মিত ব্যবহার করার প্রক্রিয়াও দেখাই scikit-শিখতে preprocessing.py এবং postprocessing.py চালানোর জন্য ধারক।
ধারক উত্পাদন
এই ধাপে, আমরা MLOps প্রকৌশলী হিসাবে কাজ করি যিনি পূর্ববর্তী ধাপে তৈরি কন্টেইনার তৈরি করেন।
ওয়ার্কফ্লো অর্কেস্ট্রেট করতে আমরা স্টেপ ফাংশন ব্যবহার করি। স্টেপ ফাংশনগুলি ওয়ার্কফ্লোতে বিভিন্ন পরিসরের পরিষেবাগুলিকে একীভূত করার ক্ষেত্রে ব্যতিক্রমী নমনীয়তার অনুমতি দেয়, উত্তরাধিকার ব্যবস্থায় বিদ্যমান যে কোনও বিদ্যমান নির্ভরতাকে মিটমাট করে। এই পদ্ধতিটি নিশ্চিত করে যে সমস্ত প্রয়োজনীয় উপাদানগুলি নির্বিঘ্নে একত্রিত হয়েছে এবং পছন্দসই ক্রমানুসারে চালিত হয়েছে, যার ফলে একটি দক্ষ এবং কার্যকর কর্মপ্রবাহ সমাধান।
স্টেপ ফাংশন সরাসরি Amazon State Language থেকে নির্দিষ্ট AWS পরিষেবাগুলিকে নিয়ন্ত্রণ করতে পারে। স্টেপ ফাংশনগুলির সাথে কাজ করা এবং সেজমেকারের সাথে এর একীকরণ সম্পর্কে আরও জানতে, পড়ুন স্টেপ ফাংশন সহ সেজমেকার পরিচালনা করুন. সেজমেকারের সাথে স্টেপ ফাংশন ইন্টিগ্রেশন ক্ষমতা ব্যবহার করে, আমরা স্ক্রিপ্ট মোডে সেজমেকার প্রসেসিং কাজ ব্যবহার করে প্রিপ্রসেসিং এবং পোস্টপ্রসেসিং স্ক্রিপ্টগুলি চালাই এবং একটি সেজমেকার প্রসেসিং কাজ হিসাবে অনুমান চালাই কাস্টম ধারক. আমরা পাইথন (Boto3) এর জন্য AWS SDK ব্যবহার করে তা করি প্রসেসিং জব তৈরি করুন API কল।
প্রাক প্রসেসিং
সেজমেকার কাস্টম কোড চালানোর জন্য বিভিন্ন বিকল্প অফার করে। আপনার যদি কোনো কাস্টম নির্ভরতা ছাড়াই শুধুমাত্র একটি স্ক্রিপ্ট থাকে, তাহলে আপনি স্ক্রিপ্টটিকে Bring Your Own Script (BYOS) হিসেবে চালাতে পারেন। এটি করার জন্য, আপনার স্ক্রিপ্টটি পূর্ব-নির্মিত স্কিট-লার্ন ফ্রেমওয়ার্ক কন্টেইনারে পাস করুন এবং কনটেইনার আর্গুমেন্টস এবং কনটেইনার এন্ট্রিপয়েন্ট প্যারামিটার ব্যবহার করে স্ক্রিপ্ট মোডে একটি সেজমেকার প্রসেসিং কাজ চালান। অ্যাপ স্পেসিফিকেশন API সহজ স্ক্রিপ্ট চালানোর জন্য এটি একটি সহজবোধ্য এবং সুবিধাজনক পদ্ধতি।
তে "প্রিপ্রসেসিং স্ক্রিপ্ট মোড" স্টেট কনফিগারেশন দেখুন নমুনা ধাপ ফাংশন কর্মপ্রবাহ একটি কাস্টম স্ক্রিপ্ট চালানোর জন্য CreateProcessingJob API কল কীভাবে কনফিগার করতে হয় তা বোঝার জন্য।
অনুমিতি
আপনি ব্যবহার করে একটি কাস্টম ধারক চালাতে পারেন আপনার নিজস্ব প্রসেসিং কন্টেইনার তৈরি করুন পন্থা SageMaker প্রসেসিং কাজ এর সাথে কাজ করে /opt/ml
স্থানীয় পাথ, এবং আপনি কনফিগারেশনে আপনার প্রসেসিংইনপুট এবং তাদের স্থানীয় পাথ নির্দিষ্ট করতে পারেন। প্রসেসিং কাজ তারপর স্থানীয় কন্টেইনারে শিল্পকর্ম কপি করে এবং কাজ শুরু করে। কাজটি সম্পূর্ণ হওয়ার পরে, এটি প্রসেসিংআউটপুটগুলির স্থানীয় পাথে নির্দিষ্ট করা শিল্পকর্মগুলিকে তার নির্দিষ্ট বাহ্যিক অবস্থানে অনুলিপি করে।
তে "ইনফারেন্স কাস্টম কন্টেইনার" স্টেট কনফিগারেশন দেখুন নমুনা ধাপ ফাংশন কর্মপ্রবাহ একটি কাস্টম কন্টেইনার চালানোর জন্য CreateProcessingJob API কল কীভাবে কনফিগার করতে হয় তা বুঝতে।
পোস্ট প্রসেসিং
আপনি স্টেপ ফাংশন CreateProcessingJob ধাপ ব্যবহার করে একটি প্রিপ্রসেসিং স্ক্রিপ্টের মতোই একটি পোস্টপ্রসেসিং স্ক্রিপ্ট চালাতে পারেন। একটি পোস্টপ্রসেসিং স্ক্রিপ্ট চালানো আপনাকে অনুমান কাজ সম্পূর্ণ হওয়ার পরে কাস্টম প্রক্রিয়াকরণের কাজগুলি সম্পাদন করতে দেয়।
স্টেপ ফাংশন ওয়ার্কফ্লো তৈরি করুন
দ্রুত প্রোটোটাইপ করার জন্য, আমরা স্টেপ ফাংশন ব্যবহার করি অ্যামাজন স্টেটস ল্যাঙ্গুয়েজ. স্টেট ল্যাঙ্গুয়েজ ব্যবহার করে আপনি স্টেপ ফাংশনের সংজ্ঞা সরাসরি সম্পাদনা করতে পারেন। পড়ুন নমুনা ধাপ ফাংশন কর্মপ্রবাহ.
আপনি নির্বাচন করে স্টেপ ফাংশন কনসোলে একটি নতুন স্টেপ ফাংশন স্টেট মেশিন তৈরি করতে পারেন কোডে আপনার কর্মপ্রবাহ লিখুন.
স্টেপ ফাংশনগুলি আপনার ব্যবহার করা সংস্থানগুলি দেখতে এবং একটি ভূমিকা তৈরি করতে পারে। যাইহোক, আপনি নিম্নলিখিত বার্তা দেখতে পারেন:
“SageMaker এর জন্য RoleArn যদি পাথ থেকে হয় তাহলে স্টেপ ফাংশনগুলি একটি IAM নীতি তৈরি করতে পারে না৷ আপনার স্টেট মেশিনের সংজ্ঞায় সেজমেকার রোলআর্নকে হার্ডকোড করুন, অথবা সেজমেকারকে কল করার জন্য স্টেপ ফাংশনের জন্য যথাযথ অনুমতি সহ একটি বিদ্যমান ভূমিকা বেছে নিন।"
এটি মোকাবেলা করার জন্য, আপনাকে একটি তৈরি করতে হবে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট স্টেপ ফাংশনের জন্য (IAM) ভূমিকা। নির্দেশাবলীর জন্য, পড়ুন আপনার রাজ্য মেশিনের জন্য একটি IAM ভূমিকা তৈরি করা. তারপর ওয়ার্কফ্লো চালানোর জন্য প্রয়োজনীয় অনুমতি প্রদান করতে নিম্নলিখিত IAM নীতি সংযুক্ত করুন:
নিম্নলিখিত চিত্রটি ধাপ ফাংশন কর্মপ্রবাহের প্রতিটি ধাপে ডেটা এবং ধারক চিত্রগুলির প্রবাহকে চিত্রিত করে৷
ধাপ ফাংশন শুরু করার জন্য নিম্নে ন্যূনতম প্রয়োজনীয় পরামিতিগুলির একটি তালিকা রয়েছে; এছাড়াও আপনি উল্লেখ করতে পারেন নমুনা ইনপুট পরামিতি JSON:
- input_uri - ইনপুট ফাইলের জন্য S3 URI
- output_uri - আউটপুট ফাইলের জন্য S3 URI
- কোড_উরি - স্ক্রিপ্ট ফাইলের জন্য S3 URI
- custom_image_uri - আপনার তৈরি করা কাস্টম কন্টেইনারের জন্য ধারক URI
- scikit_image_uri - পূর্ব-নির্মিত স্কিট-লার্ন ফ্রেমওয়ার্কের জন্য ধারক URI
- ভূমিকা - কাজ চালানোর জন্য মৃত্যুদন্ড কার্যকর করার ভূমিকা
- example_type - কনটেইনার চালানোর জন্য আপনাকে যে উদাহরণ টাইপ ব্যবহার করতে হবে
- ভলিউম_সাইজ - ধারকটির জন্য আপনার প্রয়োজনীয় স্টোরেজ ভলিউম আকার
- সর্বোচ্চ_রানটাইম - কন্টেইনারের জন্য সর্বোচ্চ রানটাইম, 1 ঘন্টার ডিফল্ট মান সহ
কর্মপ্রবাহ চালান
আমরা লিগ্যাসি কোডকে পরিচালনাযোগ্য অংশে ভেঙে দিয়েছি: প্রিপ্রসেসিং, ইনফারেন্স এবং পোস্টপ্রসেসিং। আমাদের অনুমান চাহিদা সমর্থন করার জন্য, আমরা প্রয়োজনীয় লাইব্রেরি নির্ভরতা দিয়ে সজ্জিত একটি কাস্টম ধারক তৈরি করেছি। আমাদের পরিকল্পনা হল SageMaker API কল করার ক্ষমতার সুবিধা নিয়ে স্টেপ ফাংশনগুলি ব্যবহার করা। আমরা সেজমেকার এপিআই ব্যবহার করে কাস্টম কোড চালানোর জন্য দুটি পদ্ধতি দেখিয়েছি: একটি সেজমেকার প্রসেসিং কাজ যা একটি প্রি-বিল্ট ইমেজ ব্যবহার করে এবং রানটাইমে একটি কাস্টম স্ক্রিপ্ট নেয় এবং একটি সেজমেকার প্রসেসিং কাজ যা একটি কাস্টম কন্টেইনার ব্যবহার করে, যা প্রয়োজনীয় প্যাকেজ করা হয়। কাস্টম অনুমান চালানোর জন্য শিল্পকর্ম।
নিচের চিত্রটি স্টেপ ফাংশন ওয়ার্কফ্লো চালানো দেখায়।
সারাংশ
এই পোস্টে, আমরা স্থানীয় উন্নয়ন পরিবেশ থেকে উত্তরাধিকার এমএল পাইথন কোড স্থানান্তরিত করার প্রক্রিয়া নিয়ে আলোচনা করেছি এবং একটি প্রমিত MLOps পদ্ধতি বাস্তবায়ন করেছি। এই পদ্ধতির সাহায্যে, আপনি অনায়াসে শত শত মডেল স্থানান্তর করতে পারেন এবং আপনার পছন্দসই এন্টারপ্রাইজ স্থাপনা অনুশীলনগুলিকে অন্তর্ভুক্ত করতে পারেন। আমরা সেজমেকারে কাস্টম কোড চালানোর জন্য দুটি ভিন্ন পদ্ধতি উপস্থাপন করেছি, এবং আপনি আপনার প্রয়োজন অনুসারে সবচেয়ে উপযুক্ত একটি নির্বাচন করতে পারেন।
আপনার যদি একটি অত্যন্ত কাস্টমাইজযোগ্য সমাধানের প্রয়োজন হয়, তাহলে কাস্টম কন্টেইনার পদ্ধতি ব্যবহার করার পরামর্শ দেওয়া হয়। আপনার কাস্টম স্ক্রিপ্ট চালানোর জন্য পূর্বনির্মাণ চিত্রগুলি ব্যবহার করা আপনার কাছে আরও উপযুক্ত মনে হতে পারে যদি আপনার কাছে মৌলিক স্ক্রিপ্ট থাকে এবং আপনার কাস্টম ধারক তৈরি করার প্রয়োজন না হয়, যেমনটি পূর্বে উল্লিখিত প্রিপ্রসেসিং ধাপে বর্ণিত হয়েছে। তদ্ব্যতীত, যদি প্রয়োজন হয়, আপনি এই সমাধানটি উত্তরাধিকার মডেল প্রশিক্ষণ এবং মূল্যায়ন পদক্ষেপগুলিকে কন্টেইনারাইজ করার জন্য প্রয়োগ করতে পারেন, ঠিক যেমন এই পোস্টে অনুমান পদক্ষেপটি কন্টেইনারাইজ করা হয়েছে।
লেখক সম্পর্কে
ভাবনা চিরুমামিল্লা ডেটা এবং মেশিন লার্নিং অপারেশনগুলির জন্য একটি শক্তিশালী আবেগ সহ AWS-এর একজন সিনিয়র আবাসিক স্থপতি৷ তিনি এন্টারপ্রাইজগুলিকে কার্যকর ডেটা এবং ML কৌশলগুলি তৈরি করতে সহায়তা করার জন্য প্রচুর অভিজ্ঞতা এবং উত্সাহ নিয়ে আসেন। তার অবসর সময়ে, ভাবনা তার পরিবারের সাথে সময় কাটাতে এবং ভ্রমণ, হাইকিং, বাগান করা এবং ডকুমেন্টারি দেখার মতো বিভিন্ন ক্রিয়াকলাপে জড়িত থাকতে উপভোগ করে।
শ্যাম নামাভারম তিনি আমাজন ওয়েব সার্ভিসেস (AWS) এর একজন সিনিয়র কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) বিশেষজ্ঞ সমাধানের স্থপতি। তিনি প্রযুক্তিগত দিকনির্দেশনা প্রদান করে এবং AWS-এ নিরাপদ ক্লাউড সমাধানগুলি উদ্ভাবন ও তৈরি করতে সহায়তা করে গ্রাহকদের তাদের AI এবং ML গ্রহণকে ত্বরান্বিত করতে তাদের সাথে কাজ করেন। তিনি AI এবং ML, কন্টেইনার এবং বিশ্লেষণ প্রযুক্তিতে বিশেষজ্ঞ। কাজের বাইরে, তিনি খেলাধুলা করতে এবং ট্রেকিংয়ের সাথে প্রকৃতির অভিজ্ঞতা নিতে পছন্দ করেন।
কিংওয়েই লি অ্যামাজন ওয়েব সার্ভিসের একজন মেশিন লার্নিং বিশেষজ্ঞ। তিনি তার উপদেষ্টার গবেষণা অনুদান অ্যাকাউন্ট ভেঙ্গে এবং প্রতিশ্রুতি নোবেল পুরস্কার প্রদানে ব্যর্থ হওয়ার পরে অপারেশন রিসার্চে পিএইচডি লাভ করেন। বর্তমানে, তিনি আর্থিক পরিষেবা এবং বীমা শিল্পের গ্রাহকদের AWS-এ মেশিন লার্নিং সমাধান তৈরি করতে সহায়তা করেন। অবসর সময়ে তিনি পড়া ও পড়াতে পছন্দ করেন।
শ্রীনিবাস শাইক বোস্টনে অবস্থিত AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি এন্টারপ্রাইজ গ্রাহকদের ক্লাউডে তাদের যাত্রা ত্বরান্বিত করতে সহায়তা করেন। তিনি কন্টেইনার এবং মেশিন লার্নিং প্রযুক্তি সম্পর্কে উত্সাহী। তার অবসর সময়ে, তিনি তার পরিবারের সাথে সময় কাটাতে, রান্না করা এবং ভ্রমণ করতে উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/bring-legacy-machine-learning-code-into-amazon-sagemaker-using-aws-step-functions/
- : হয়
- $ ইউপি
- 1
- 10
- 100
- 214
- 7
- 8
- a
- ক্ষমতা
- সম্পর্কে
- দ্রুততর করা
- প্রবেশ
- হিসাব
- আইন
- কর্ম
- ক্রিয়াকলাপ
- যোগ
- উপরন্তু
- ঠিকানা
- মেনে চলে
- গ্রহণ
- অগ্রসর
- সুবিধা
- পর
- AI
- সব
- অনুমতি
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- আমাজন ওয়েব সার্ভিসেস (এডব্লিউএস)
- পরিমাণ
- বৈশ্লেষিক ন্যায়
- এবং
- API
- API গুলি
- অ্যাপ্লিকেশন
- প্রয়োগ করা
- অভিগমন
- যথাযথ
- স্থাপত্য
- রয়েছি
- কৃত্রিম
- কৃত্রিম বুদ্ধিমত্তা
- কৃত্রিম বুদ্ধিমত্তা (এআই)
- AS
- At
- সংযুক্ত
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- ডেস্কটপ AWS
- এডাব্লুএস মেশিন লার্নিং
- এডাব্লুএস স্টেপ ফাংশন
- ভিত্তি
- মৌলিক
- BE
- শুরু করা
- সর্বোত্তম
- ত্তয়াল্জ্বিশেষ
- আনা
- আনে
- ভেঙে
- ভাঙা
- নির্মাণ করা
- ভবন
- নির্মিত
- বিল্ট-ইন
- by
- কল
- নামক
- কল
- CAN
- না পারেন
- কেস
- মামলা
- কিছু
- পরিবর্তন
- বেছে নিন
- মক্কেল
- মেঘ
- গুচ্ছ
- কোড
- সহযোগিতা করা
- এর COM
- সম্পূর্ণ
- জটিল
- উপাদান
- ব্যাপক
- শর্ত
- কনফিগারেশন
- কনসোল
- গঠন করা
- আধার
- কন্টেনারগুলি
- ধারণ
- নিয়ন্ত্রণ
- সুবিধাজনক
- সৃষ্টি
- সৃষ্টি
- তৈরি করা হচ্ছে
- এখন
- প্রথা
- গ্রাহকদের
- স্বনির্ধারিত
- উপাত্ত
- তথ্য বিজ্ঞানী
- গভীর
- ডিফল্ট
- প্রদান করা
- প্রদর্শন
- স্থাপন
- বিস্তৃতি
- বর্ণিত
- আকাঙ্ক্ষিত
- ডেস্কটপ
- উন্নত
- উন্নয়নশীল
- উন্নয়ন
- বিভিন্ন
- সরাসরি
- আলোচনা
- স্বতন্ত্র
- বিচিত্র
- ডকশ্রমিক
- ডকুমেন্টারি
- ডোমেইন
- Dont
- নিচে
- সময়
- প্রতি
- পূর্বে
- সহজে
- প্রভাব
- কার্যকর
- দক্ষ
- প্রচেষ্টা
- পারেন
- ঘটিয়েছে
- আকর্ষক
- প্রকৌশলী
- নিশ্চিত করা
- নিশ্চিত
- উদ্যোগ
- উদ্যোগ
- উদ্যম
- পরিবেশ
- পরিবেশের
- সজ্জিত
- ত্রুটি
- মূল্যায়ন
- উদাহরণ
- ব্যতিক্রমী
- ফাঁসি
- বিদ্যমান
- অভিজ্ঞতা
- সম্মুখীন
- প্রসারিত করা
- বহিরাগত
- সুবিধা
- ব্যর্থ
- ঘনিষ্ঠতা
- পরিবার
- ব্যক্তিত্ব
- ফাইল
- আর্থিক
- অর্থনৈতিক সেবা
- আবিষ্কার
- ফিট
- নমনীয়তা
- প্রবাহ
- অনুসরণ করা
- অনুসরণ
- জন্য
- ফ্রেমওয়ার্ক
- থেকে
- সম্পূর্ণরূপে
- ক্রিয়া
- কার্মিক
- কার্যকারিতা
- ক্রিয়াকলাপ
- তদ্ব্যতীত
- উত্পাদন করা
- GitHub
- প্রদান
- পথপ্রদর্শন
- নির্দেশিকা
- আছে
- সাহায্য
- সাহায্য
- সাহায্য
- উচ্চস্তর
- অত্যন্ত
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- শত শত
- চিহ্নিত
- পরিচয়
- ভাবমূর্তি
- চিত্র
- বাস্তবায়ন
- বাস্তবায়ন
- আমদানি
- গুরুত্বপূর্ণ
- in
- অন্যান্য
- অন্তর্ভুক্ত করা
- নিগমবদ্ধ
- শিল্প
- পরিকাঠামো
- প্রারম্ভিক
- আরম্ভ করা
- পরিবর্তন করা
- ইনপুট
- ইনস্টল
- ইনস্টল করার
- উদাহরণ
- নির্দেশাবলী
- বীমা
- সংহত
- একীভূত
- ইন্টিগ্রেশন
- বুদ্ধিমত্তা
- গর্ভনাটিকা
- জড়িত
- জড়িত থাকার
- IT
- এর
- কাজ
- জবস
- যাত্রা
- JPG
- JSON
- শুধু একটি
- ভাষা
- বড়
- সর্বশেষ
- শিখতে
- শিক্ষা
- উত্তরাধিকার
- লাইব্রেরি
- লাইব্রেরি
- জীবনচক্র
- মত
- LINK
- তালিকা
- স্থানীয়
- অবস্থান
- দেখুন
- মেশিন
- মেশিন লার্নিং
- প্রধান
- পরিচালনা করা
- পরিচালিত
- ব্যবস্থাপনা
- ম্যানুয়ালি
- সর্বাধিক
- উল্লিখিত
- বার্তা
- পদ্ধতি
- পদ্ধতি
- মাইগ্রেট
- অভিপ্রয়াণ
- সর্বনিম্ন
- ML
- এমএলওএস
- মোড
- মডেল
- মডেল
- মডুলার
- অধিক
- সেতু
- চলন্ত
- নামে
- প্রকৃতি
- ন্যাভিগেশন
- প্রয়োজনীয়
- প্রয়োজন
- চাহিদা
- নতুন
- নোবেল পুরস্কার
- নোটবই
- সংখ্যা
- of
- অফার
- on
- ONE
- উদ্বোধন
- পরিচালনা
- অপারেশনস
- অপ্টিমাইজ
- অপশন সমূহ
- অর্কেস্ট্রেটেড
- সংগঠন
- সংগঠিত
- অন্যান্য
- আউটপুট
- বাহিরে
- নিজের
- মালিকানা
- প্যাকেজ
- পরামিতি
- যন্ত্রাংশ
- আবেগ
- কামুক
- পথ
- সম্পাদন করা
- অনুমতি
- পরিকল্পনা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- নীতি
- পোস্ট
- অনুশীলন
- চর্চা
- ভবিষ্যদ্বাণী করা
- উপস্থাপন
- আগে
- পুরস্কার
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- প্রোগ্রামিং
- প্রতিশ্রুত
- সঠিক
- প্রোটোটাইপিং
- প্রদান
- প্রদত্ত
- উপলব্ধ
- প্রদানের
- pulls
- উদ্দেশ্য
- ধাক্কা
- পাইথন
- দ্রুত
- দ্রুত
- পরিসর
- পড়া
- গৃহীত
- সুপারিশ করা
- রিফ্যাক্টর
- বোঝায়
- নিবন্ধভুক্ত
- খাতাপত্র
- রেজিস্ট্রি
- সংগ্রহস্থলের
- প্রয়োজন
- প্রয়োজনীয়
- আবশ্যকতা
- গবেষণা
- সংস্থান
- Resources
- দায়ী
- ফল
- ফলে এবং
- পুনর্ব্যবহারযোগ্য
- ভূমিকা
- চালান
- দৌড়
- ঋষি নির্মাতা
- মাপযোগ্য
- দৃশ্যকল্প
- বিজ্ঞানী
- scikit-শিখতে
- স্ক্রিপ্ট
- SDK
- নির্বিঘ্নে
- নিরাপদ
- নির্বাচন
- জ্যেষ্ঠ
- আলাদা
- ক্রম
- Serverless
- সেবা
- সেবা
- সেট
- সেট
- সেটিংস
- সেটআপ
- বিভিন্ন
- শেয়ার
- পরিবর্তন
- প্রদর্শনী
- প্রদর্শিত
- শো
- সহজ
- কেবল
- একক
- আয়তন
- So
- সমাধান
- সলিউশন
- কিছু
- বিশেষজ্ঞ
- বিশেষ
- নির্দিষ্ট
- বিশেষভাবে
- নিদিষ্ট
- খরচ
- স্পিনস
- বিজ্ঞাপন
- ইন্টার্নশিপ
- স্বতন্ত্র
- শুরু
- রাষ্ট্র
- বিবৃতি
- যুক্তরাষ্ট্র
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- সঞ্চিত
- অকপট
- কৌশল
- স্ট্রিমলাইন
- streamlining
- শক্তিশালী
- চিত্রশালা
- এমন
- উপযুক্ত
- সমর্থন
- SYS
- পদ্ধতি
- TAG
- গ্রহণ করা
- লাগে
- গ্রহণ
- কাজ
- শিক্ষাদান
- কারিগরী
- প্রযুক্তি
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- এইগুলো
- হাজার হাজার
- তিন
- দ্বারা
- সময়
- থেকে
- টুল
- সরঞ্জাম
- প্রশিক্ষণ
- হস্তান্তর
- ভ্রমণ
- নিম্নাবস্থিত
- বোঝা
- আপডেট
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- উপযোগ
- সদ্ব্যবহার করা
- ব্যবহার
- ব্যবহার
- মূল্য
- বিভিন্ন
- সংস্করণ
- আয়তন
- পর্যবেক্ষক
- ধন
- ওয়েব
- ওয়েব সার্ভিস
- যে
- হু
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- শব্দ
- হয়া যাই ?
- কাজ
- কাজ
- আপনি
- আপনার
- zephyrnet