Amazon SageMaker-এ সিরিয়াল ইনফারেন্সের জন্য ডিজাইন প্যাটার্ন

যেহেতু মেশিন লার্নিং (ML) মূলধারায় চলে যায় এবং ব্যাপকভাবে গ্রহণ করে, এমএল-চালিত অ্যাপ্লিকেশনগুলি জটিল ব্যবসায়িক সমস্যার একটি পরিসর সমাধানের জন্য ক্রমশ সাধারণ হয়ে উঠছে। এই জটিল ব্যবসায়িক সমস্যার সমাধানের জন্য প্রায়ই একাধিক এমএল মডেল ব্যবহার করতে হয়। এই মডেলগুলিকে ক্রমানুসারে বিভিন্ন কাজ সম্পাদনের জন্য একত্রিত করা যেতে পারে, যেমন প্রিপ্রসেসিং, ডেটা ট্রান্সফরমেশন, মডেল নির্বাচন, ইনফারেন্স জেনারেশন, ইনফারেন্স কনসোলিডেশন এবং পোস্ট-প্রসেসিং। এই জটিল এমএল ওয়ার্কফ্লোগুলি অর্কেস্ট্রেট করার জন্য সংস্থাগুলির নমনীয় বিকল্পগুলির প্রয়োজন৷ সিরিয়াল ইনফরেন্স পাইপলাইনগুলি এই ধরনের একটি ডিজাইন প্যাটার্ন যাতে এই ওয়ার্কফ্লোগুলিকে কয়েকটি ধাপে সাজানো হয়, প্রতিটি ধাপে পূর্ববর্তী ধাপগুলির দ্বারা উত্পন্ন আউটপুটকে সমৃদ্ধ বা আরও প্রক্রিয়াকরণ করে এবং আউটপুটকে পাইপলাইনের পরবর্তী ধাপে নিয়ে যায়।

অতিরিক্তভাবে, এই সিরিয়াল ইনফারেন্স পাইপলাইনগুলিকে নিম্নলিখিতগুলি প্রদান করা উচিত:

• নমনীয় এবং কাস্টমাইজড বাস্তবায়ন (নির্ভরতা, অ্যালগরিদম, ব্যবসায়িক যুক্তি, এবং তাই)
• উত্পাদন বাস্তবায়নের জন্য পুনরাবৃত্তিযোগ্য এবং সামঞ্জস্যপূর্ণ
• অবকাঠামো ব্যবস্থাপনাকে ন্যূনতম করে ভিন্ন ভিন্ন ভারী উত্তোলন

এই পোস্টে, আমরা সিরিয়াল ইনফরেন্স পাইপলাইনগুলির জন্য কিছু সাধারণ ব্যবহারের কেস দেখি এবং এই প্রতিটি ব্যবহারের ক্ষেত্রে কিছু বাস্তবায়ন বিকল্পের মাধ্যমে হেঁটে যাই আমাজন সেজমেকার. আমরা এই প্রতিটি বাস্তবায়ন বিকল্পের জন্য বিবেচনার বিষয়েও আলোচনা করি।

নিম্নলিখিত সারণীটি ক্রমিক অনুমান, বাস্তবায়ন বিবেচনা এবং বিকল্পগুলির জন্য বিভিন্ন ব্যবহারের ক্ষেত্রে সংক্ষিপ্ত করে। এগুলো নিয়ে আলোচনা করা হয়েছে এই পোস্টে।

নিম্নলিখিত বিভাগে, আমরা প্রতিটি ব্যবহারের ক্ষেত্রে আরও বিশদে আলোচনা করি।

অনুমান কন্টেইনার ব্যবহার করে সিরিয়াল ইনফরেন্স পাইপলাইন

সিরিয়াল ইনফরেন্স পাইপলাইন ব্যবহারের ক্ষেত্রে অনুমান তৈরির জন্য একটি প্রাক-প্রশিক্ষিত এমএল মডেল আহ্বান করার আগে আগত ডেটা প্রিপ্রসেস করার প্রয়োজনীয়তা রয়েছে। উপরন্তু, কিছু ক্ষেত্রে, উত্পন্ন অনুমানগুলি আরও প্রক্রিয়াকরণের প্রয়োজন হতে পারে, যাতে সেগুলি ডাউনস্ট্রিম অ্যাপ্লিকেশনগুলির দ্বারা সহজেই গ্রাস করা যায়। এটি ব্যবহারের ক্ষেত্রে একটি সাধারণ দৃশ্য যেখানে একটি মডেল লাগানোর আগে একটি স্ট্রিমিং ডেটা উৎসকে রিয়েল টাইমে প্রক্রিয়া করতে হবে। যাইহোক, এই ব্যবহারের ক্ষেত্রে ব্যাচ অনুমানের জন্যও প্রকাশ পেতে পারে।

সেজমেকার অনুমান কন্টেইনারগুলি কাস্টমাইজ করার এবং একটি সিরিয়াল ইনফারেন্স পাইপলাইন তৈরি করতে তাদের ব্যবহার করার একটি বিকল্প সরবরাহ করে। অনুমান পাত্রে ব্যবহার করুন সেজমেকার ইনফারেন্স টুলকিট এবং নির্মিত হয় সেজমেকার মাল্টি মডেল সার্ভার (MMS), যা ML মডেল পরিবেশন করার জন্য একটি নমনীয় প্রক্রিয়া প্রদান করে। নিম্নোক্ত চিত্রটি অনুমান কন্টেনার ব্যবহার করে একটি সিরিয়াল ইনফারেন্স পাইপলাইন কীভাবে বাস্তবায়ন করতে হয় তার একটি রেফারেন্স প্যাটার্নকে চিত্রিত করে।

সেজমেকার এমএমএস একটি পাইথন স্ক্রিপ্ট আশা করে যা মডেল লোড করতে, ইনপুট ডেটা প্রিপ্রসেস করতে, মডেল থেকে ভবিষ্যদ্বাণী পেতে এবং আউটপুট ডেটা পোস্টপ্রসেস করতে নিম্নলিখিত ফাংশনগুলি প্রয়োগ করে:

• ইনপুট_ফএন () - ইনপুট ডেটা ডিসিরিয়ালাইজিং এবং প্রিপ্রসেস করার জন্য দায়ী
• মডেল_ফএন () - আর্টিফ্যাক্ট থেকে প্রশিক্ষিত মডেল লোড করার জন্য দায়ী আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)
• পূর্বাভাস_ফএন () - মডেল থেকে অনুমান তৈরি করার জন্য দায়ী
• output_fn() - আউটপুট ডেটা (অনুমান) সিরিয়ালাইজিং এবং পোস্টপ্রসেসিংয়ের জন্য দায়ী

একটি অনুমান ধারক কাস্টমাইজ করার বিস্তারিত পদক্ষেপের জন্য, পড়ুন আপনার নিজস্ব অনুমান ধারক অভিযোজিত.

অনুমান কন্টেইনারগুলি নিম্নলিখিত প্রাথমিক বিবেচনার সাথে সিরিয়াল ইনফরেন্স পাইপলাইন ব্যবহারের ক্ষেত্রে একটি আদর্শ নকশা প্যাটার্ন:

• উচ্চ সংহতি - প্রসেসিং লজিক এবং সংশ্লিষ্ট মডেল একক ব্যবসায়িক কার্যকারিতা চালায় এবং সহ-অবস্থান করা প্রয়োজন
• কম সামগ্রিক বিলম্ব - একটি অনুমান অনুরোধ করা এবং প্রতিক্রিয়া প্রাপ্তির মধ্যে অতিবাহিত সময়

একটি সিরিয়াল ইনফরেন্স পাইপলাইনে, প্রসেসিং লজিক এবং মডেল একই একক কন্টেইনারের মধ্যে এনক্যাপসুলেট করা হয়, তাই অনেক আহ্বান কল কন্টেইনারের মধ্যে থেকে যায়। এটি হপগুলির সামগ্রিক সংখ্যা কমাতে সাহায্য করে, যার ফলে পাইপলাইনের সামগ্রিক বিলম্বিতা এবং প্রতিক্রিয়াশীলতা আরও ভাল হয়।

এছাড়াও, ব্যবহারের ক্ষেত্রে যেখানে বাস্তবায়নের সহজতা একটি গুরুত্বপূর্ণ মানদণ্ড, অনুমান কন্টেইনারগুলি সাহায্য করতে পারে, পাইপলাইনের বিভিন্ন প্রক্রিয়াকরণের ধাপগুলি একই পাত্রের মধ্যে সহ-অবস্থিত হতে পারে।

একটি SageMaker অনুমান পাইপলাইন ব্যবহার করে সিরিয়াল ইনফরেন্স পাইপলাইন

সিরিয়াল ইনফারেন্স পাইপলাইন ব্যবহারের ক্ষেত্রে আরেকটি পরিবর্তনের জন্য পাইপলাইনের বিভিন্ন ধাপের (যেমন ডেটা প্রিপ্রসেসিং, ইনফারেন্স জেনারেশন, ডেটা পোস্টপ্রসেসিং, এবং ফরম্যাটিং এবং সিরিয়ালাইজেশন) এর মধ্যে পরিষ্কার ডিকপলিং প্রয়োজন। এটি বিভিন্ন কারণে হতে পারে:

• Decoupling - পাইপলাইনের বিভিন্ন ধাপের একটি সুস্পষ্টভাবে সংজ্ঞায়িত উদ্দেশ্য রয়েছে এবং জড়িত অন্তর্নিহিত নির্ভরতার কারণে পৃথক পাত্রে চালানো প্রয়োজন। এটি পাইপলাইনকে সুগঠিত রাখতেও সাহায্য করে।
• ফ্রেমওয়ার্ক – পাইপলাইনের বিভিন্ন ধাপে নির্দিষ্ট ফিট-ফর-পারপাস ফ্রেমওয়ার্ক ব্যবহার করা হয় (যেমন স্কিট বা স্পার্ক এমএল) এবং তাই আলাদা পাত্রে চালানো প্রয়োজন।
• সম্পদ বিচ্ছিন্নতা - পাইপলাইনের বিভিন্ন ধাপে বিভিন্ন সম্পদ খরচের প্রয়োজনীয়তা রয়েছে এবং তাই আরও নমনীয়তা এবং নিয়ন্ত্রণের জন্য আলাদা পাত্রে চালানো প্রয়োজন।

তদ্ব্যতীত, কিছুটা জটিল সিরিয়াল ইনফরেন্স পাইপলাইনগুলির জন্য, একটি অনুরোধ প্রক্রিয়া করতে এবং একটি অনুমান তৈরি করতে একাধিক পদক্ষেপ জড়িত থাকতে পারে। অতএব, একটি অপারেশনাল দৃষ্টিকোণ থেকে, ভাল কার্যকরী বিচ্ছিন্নতার জন্য এই পদক্ষেপগুলি পৃথক পাত্রে হোস্ট করা উপকারী হতে পারে, এবং সহজতর আপগ্রেড এবং বর্ধিতকরণের সুবিধা দিতে পারে (অন্যান্য মডেল বা প্রক্রিয়াকরণের পদক্ষেপগুলিকে প্রভাবিত না করে একটি ধাপ পরিবর্তন করুন)।

যদি আপনার ব্যবহারের ক্ষেত্রে এই বিবেচনার কিছুর সাথে সারিবদ্ধ হয়, a সেজমেকার ইনফারেন্স পাইপলাইন একটি সিরিয়াল ইনফারেন্স পাইপলাইন তৈরি করার জন্য একটি সহজ এবং নমনীয় বিকল্প প্রদান করে। নিম্নলিখিত চিত্রটি একটি সেজমেকার অনুমান পাইপলাইন ব্যবহার করে উত্সর্গীকৃত পাত্রে হোস্ট করা একাধিক পদক্ষেপ ব্যবহার করে কীভাবে একটি সিরিয়াল ইনফারেন্স পাইপলাইন বাস্তবায়ন করতে হয় তার একটি রেফারেন্স প্যাটার্ন চিত্রিত করে৷

একটি সেজমেকার ইনফারেন্স পাইপলাইনে 2-15টি পাত্রের একটি রৈখিক ক্রম থাকে যা ডেটাতে অনুমানের জন্য অনুরোধগুলি প্রক্রিয়া করে। ইনফারেন্স পাইপলাইনটি প্রাক-প্রশিক্ষিত সেজমেকার বিল্ট-ইন অ্যালগরিদম বা ডকার পাত্রে প্যাকেজ করা কাস্টম অ্যালগরিদম ব্যবহার করার বিকল্প সরবরাহ করে। কন্টেইনারগুলি একই অন্তর্নিহিত উদাহরণে হোস্ট করা হয়, যা সামগ্রিক বিলম্ব কমাতে এবং খরচ কমাতে সাহায্য করে।

নিম্নলিখিত কোড স্নিপেট দেখায় কিভাবে একাধিক প্রক্রিয়াকরণ পদক্ষেপ এবং মডেলগুলিকে একত্রিত করে একটি সিরিয়াল ইনফারেন্স পাইপলাইন তৈরি করা যেতে পারে।

আমরা স্পার্ক ML এবং XGBoost-ভিত্তিক মডেলগুলি তৈরি এবং নির্দিষ্ট করে শুরু করি যা আমরা পাইপলাইনের অংশ হিসাবে ব্যবহার করতে চাই:

from sagemaker.model import Model
from sagemaker.pipeline_model import PipelineModel
from sagemaker.sparkml.model import SparkMLModel
sparkml_data = 's3://{}/{}/{}'.format(s3_model_bucket, s3_model_key_prefix, 'model.tar.gz')
sparkml_model = SparkMLModel(model_data=sparkml_data)
xgb_model = Model(model_data=xgb_model.model_data, image=training_image)

মডেলগুলি তারপর পাইপলাইন মডেল সংজ্ঞার মধ্যে ক্রমানুসারে সাজানো হয়:

model_name = 'serial-inference-' + timestamp_prefix
endpoint_name = 'serial-inference-ep-' + timestamp_prefix
sm_model = PipelineModel(name=model_name, role=role, models=[sparkml_model, xgb_model])

হোস্ট এমএল দৃষ্টান্তের ধরন এবং সংখ্যা উল্লেখ করে অনুমান পাইপলাইনটি রিয়েল-টাইম অনুমানের জন্য একটি শেষ পয়েন্টের পিছনে স্থাপন করা হয়:

sm_model.deploy(initial_instance_count=1, instance_type='ml.c4.xlarge', endpoint_name=endpoint_name)

সম্পূর্ণ একত্রিত অনুমান পাইপলাইনটিকে একটি সেজমেকার মডেল হিসাবে বিবেচনা করা যেতে পারে যা আপনি হয় রিয়েল-টাইম ভবিষ্যদ্বাণী করতে বা ব্যাচের রূপান্তর প্রক্রিয়া সরাসরি করতে ব্যবহার করতে পারেন, কোনো বাহ্যিক প্রিপ্রসেসিং ছাড়াই। একটি অনুমান পাইপলাইন মডেলের মধ্যে, SageMaker একটি বহিরাগত অ্যাপ্লিকেশন থেকে উদ্ভূত HTTP অনুরোধগুলির একটি ক্রম হিসাবে আমন্ত্রণগুলি পরিচালনা করে। পাইপলাইনের প্রথম ধারকটি প্রাথমিক অনুরোধটি পরিচালনা করে, কিছু প্রক্রিয়াকরণ করে এবং তারপরে পাইপলাইনের দ্বিতীয় পাত্রে অনুরোধ হিসাবে মধ্যবর্তী প্রতিক্রিয়া প্রেরণ করে। পাইপলাইনের প্রতিটি কন্টেইনারের জন্য এটি ঘটে এবং অবশেষে কলিং ক্লায়েন্ট অ্যাপ্লিকেশনের চূড়ান্ত প্রতিক্রিয়া প্রদান করে।

SageMaker অনুমান পাইপলাইন সম্পূর্ণরূপে পরিচালিত হয়. যখন পাইপলাইনটি স্থাপন করা হয়, সেজমেকার প্রতিটিতে সমস্ত সংজ্ঞায়িত পাত্রে ইনস্টল করে এবং চালায় অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) দৃষ্টান্তগুলি এন্ডপয়েন্ট বা ব্যাচ ট্রান্সফর্ম কাজের অংশ হিসাবে বিধান করা হয়েছে। তদ্ব্যতীত, যেহেতু কন্টেইনারগুলি একই EC2 দৃষ্টান্তে সহ-অবস্থিত এবং হোস্ট করা হয়েছে, সামগ্রিক পাইপলাইন লেটেন্সি হ্রাস পেয়েছে৷

একটি SageMaker অনুমান পাইপলাইন ব্যবহার করে সিরিয়াল মডেল ensemble

একটি ensemble মডেল হল ML-এর একটি পদ্ধতি যেখানে একাধিক ML মডেল একত্রিত হয় এবং চূড়ান্ত অনুমান তৈরি করতে অনুমান প্রক্রিয়ার অংশ হিসাবে ব্যবহৃত হয়। এনসেম্বল মডেলের অনুপ্রেরণাগুলির মধ্যে সঠিকতা উন্নত করা, নির্দিষ্ট ইনপুট বৈশিষ্ট্যগুলির প্রতি মডেলের সংবেদনশীলতা হ্রাস করা এবং একক মডেলের পক্ষপাত হ্রাস করা অন্তর্ভুক্ত থাকতে পারে। এই পোস্টে, আমরা একটি সিরিয়াল মডেলের সংমিশ্রণ সম্পর্কিত ব্যবহারের ক্ষেত্রে ফোকাস করি, যেখানে একাধিক এমএল মডেল ক্রমিকভাবে একটি সিরিয়াল ইনফারেন্স পাইপলাইনের অংশ হিসাবে একত্রিত হয়।

আসুন একটি সিরিয়াল মডেলের সংমিশ্রণ সম্পর্কিত একটি নির্দিষ্ট উদাহরণ বিবেচনা করি যেখানে আমাদের নির্দিষ্ট থিম বা বিষয়ের উপর ভিত্তি করে ব্যবহারকারীর আপলোড করা ছবিগুলিকে গোষ্ঠীবদ্ধ করতে হবে। এই পাইপলাইনে তিনটি এমএল মডেল থাকতে পারে:

• মডেল 1 - একটি ছবিকে ইনপুট হিসেবে গ্রহণ করে এবং ছবির রেজোলিউশন, ওরিয়েন্টেশন এবং আরও অনেক কিছুর উপর ভিত্তি করে ছবির গুণমান মূল্যায়ন করে। এই মডেলটি তারপর ছবির গুণমানকে উন্নত করার চেষ্টা করে এবং প্রক্রিয়াকৃত ছবিগুলিকে পরবর্তী মডেলে (মডেল 2) একটি নির্দিষ্ট মানের থ্রেশহোল্ড পূরণ করে পাঠায়।
• মডেল 2 - মডেল 1 এর মাধ্যমে যাচাইকৃত ছবি গ্রহণ করে এবং সম্পাদন করে চিত্র স্বীকৃতি ইমেজে বস্তু, স্থান, মানুষ, পাঠ্য এবং অন্যান্য কাস্টম ক্রিয়া এবং ধারণা সনাক্ত করতে। মডেল 2 থেকে আউটপুট যেটিতে চিহ্নিত বস্তু রয়েছে তা মডেল 3 এ পাঠানো হয়।
• মডেল 3 - মডেল 2 থেকে আউটপুট গ্রহণ করে এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) কার্য সম্পাদন করে যেমন থিমগুলির উপর ভিত্তি করে ছবিগুলিকে একত্রিত করার জন্য টপিক মডেলিং। উদাহরণস্বরূপ, অবস্থান বা চিহ্নিত ব্যক্তিদের উপর ভিত্তি করে চিত্রগুলিকে গোষ্ঠীভুক্ত করা যেতে পারে। আউটপুট (গ্রুপিং) ক্লায়েন্ট অ্যাপ্লিকেশনে ফেরত পাঠানো হয়।

নিম্নলিখিত চিত্রটি একটি সেজমেকার ইনফারেন্স পাইপলাইন ব্যবহার করে সিরিয়াল মডেল এনসেম্বলে হোস্ট করা একাধিক এমএল মডেল কীভাবে বাস্তবায়ন করতে হয় তার একটি রেফারেন্স প্যাটার্নকে চিত্রিত করে।

যেমনটি আগে আলোচনা করা হয়েছে, সেজমেকার ইনফারেন্স পাইপলাইন পরিচালনা করা হয়, যা আপনাকে এমএল মডেল নির্বাচন এবং বিকাশের উপর ফোকাস করতে সক্ষম করে, যখন সিরিয়াল এনসেম্বল পাইপলাইন তৈরির সাথে সম্পর্কিত অভেদহীন ভারী উত্তোলন হ্রাস করে।

উপরন্তু, মডেল ডেভেলপমেন্টের জন্য ডিকপলিং, অ্যালগরিদম এবং ফ্রেমওয়ার্ক পছন্দ, এবং স্থাপনার বিষয়ে আগে আলোচনা করা কিছু বিবেচনা এখানেও প্রাসঙ্গিক। উদাহরণস্বরূপ, যেহেতু প্রতিটি মডেল একটি পৃথক পাত্রে হোস্ট করা হয়, তাই প্রতিটি মডেল এবং আপনার সামগ্রিক ব্যবহারের ক্ষেত্রে সর্বোত্তম ফিট করে এমন এমএল ফ্রেমওয়ার্ক নির্বাচন করার ক্ষেত্রে আপনার নমনীয়তা রয়েছে। তদ্ব্যতীত, একটি ডিকপলিং এবং অপারেশনাল দৃষ্টিকোণ থেকে, আপনি অন্যান্য মডেলগুলিকে প্রভাবিত না করেই স্বতন্ত্র পদক্ষেপগুলি আরও সহজে আপগ্রেড বা সংশোধন করা চালিয়ে যেতে পারেন।

সেজমেকার ইনফারেন্স পাইপলাইনটিও এর সাথে একীভূত সেজমেকার মডেল রেজিস্ট্রি মডেল ক্যাটালগিং, ভার্সনিং, মেটাডেটা ম্যানেজমেন্ট এবং উৎপাদন পরিবেশে নিয়ন্ত্রিত স্থাপনার জন্য সামঞ্জস্যপূর্ণ অপারেশনাল সেরা অনুশীলনগুলিকে সমর্থন করার জন্য। সেজমেকার ইনফারেন্স পাইপলাইনটিও এর সাথে একীভূত অ্যামাজন ক্লাউডওয়াচ অনুমান পাইপলাইনে মাল্টি-কন্টেইনার মডেলগুলি পর্যবেক্ষণ করতে সক্ষম করতে। এছাড়াও আপনি দৃশ্যমানতা পেতে পারেন রিয়েল-টাইম মেট্রিক্স পাইপলাইনের প্রতিটি কন্টেইনারের জন্য আমন্ত্রণ এবং লেটেন্সি আরও ভালভাবে বুঝতে, যা সমস্যা সমাধান এবং সংস্থান অপ্টিমাইজেশানে সহায়তা করে।

সেজমেকার ইনফারেন্স পাইপলাইন ব্যবহার করে সিরিয়াল ইনফরেন্স পাইপলাইন (একটি গ্রুপ থেকে টার্গেটেড মডেল আহ্বান সহ)

সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট (MMEs) একটি একক এন্ডপয়েন্টের পিছনে বিপুল সংখ্যক ML মডেল স্থাপন করার জন্য একটি ব্যয়-কার্যকর সমাধান প্রদান করে। মাল্টি-মডেল এন্ডপয়েন্ট ব্যবহার করার অনুপ্রেরণার মধ্যে অন্তর্ভুক্ত থাকতে পারে অনুরোধের বৈশিষ্ট্যের (যেমন উৎপত্তি, ভৌগলিক অবস্থান, ব্যবহারকারীর ব্যক্তিগতকরণ ইত্যাদি) উপর ভিত্তি করে একটি নির্দিষ্ট কাস্টমাইজড মডেল আহ্বান করা অথবা খরচ-অপ্টিমাইজেশান অর্জনের জন্য একই শেষ পয়েন্টের পিছনে একাধিক মডেল হোস্ট করা।

আপনি যখন একটি একক মাল্টি-মডেল সক্ষম এন্ডপয়েন্টে একাধিক মডেল স্থাপন করেন, তখন সমস্ত মডেল গণনা সংস্থান এবং মডেল পরিবেশন কন্টেনার ভাগ করে। সেজমেকার ইনফারেন্স পাইপলাইনটি একটি এমএমইতে স্থাপন করা যেতে পারে, যেখানে পাইপলাইনের একটি কন্টেইনার গতিশীলভাবে নির্দিষ্ট মডেলের উপর ভিত্তি করে অনুরোধগুলি পরিবেশন করতে পারে। একটি পাইপলাইন দৃষ্টিকোণ থেকে, মডেলগুলির অভিন্ন প্রিপ্রসেসিং প্রয়োজনীয়তা রয়েছে এবং একই বৈশিষ্ট্য সেট আশা করে, তবে একটি নির্দিষ্ট আচরণের সাথে সারিবদ্ধ করার জন্য প্রশিক্ষিত। নিম্নলিখিত চিত্রটি এই সমন্বিত পাইপলাইনটি কীভাবে কাজ করবে তার একটি রেফারেন্স প্যাটার্ন চিত্রিত করে।

এমএমই-এর সাথে, ক্লায়েন্ট অ্যাপ্লিকেশন থেকে উদ্ভূত অনুমান অনুরোধে লক্ষ্য মডেল নির্দিষ্ট করা উচিত যা আহ্বান করা প্রয়োজন। পাইপলাইনের প্রথম ধারকটি প্রাথমিক অনুরোধটি পরিচালনা করে, কিছু প্রক্রিয়াকরণ করে এবং তারপরে মধ্যবর্তী প্রতিক্রিয়াটি পাইপলাইনের দ্বিতীয় ধারকটিতে অনুরোধ হিসাবে প্রেরণ করে, যা একাধিক মডেল হোস্ট করে। অনুমান অনুরোধে নির্দিষ্ট লক্ষ্য মডেলের উপর ভিত্তি করে, মডেলটিকে একটি অনুমান তৈরি করতে আহ্বান করা হয়। উৎপন্ন অনুমান আরও প্রক্রিয়াকরণের জন্য পাইপলাইনের পরবর্তী পাত্রে পাঠানো হয়। পাইপলাইনের প্রতিটি পরবর্তী কন্টেইনারের জন্য এটি ঘটে এবং অবশেষে সেজমেকার কলিং ক্লায়েন্ট অ্যাপ্লিকেশনের চূড়ান্ত প্রতিক্রিয়া প্রদান করে।

একাধিক মডেলের নিদর্শন একটি S3 বালতিতে টিকে থাকে৷ যখন একটি নির্দিষ্ট মডেল আহ্বান করা হয়, সেজমেকার গতিশীলভাবে এটিকে শেষ পয়েন্ট হোস্টিং কন্টেইনারে লোড করে। যদি মডেলটি ইতিমধ্যেই কন্টেইনারের মেমরিতে লোড করা থাকে তবে আহ্বান দ্রুততর কারণ SageMaker-এর Amazon S3 থেকে মডেলটি ডাউনলোড করার প্রয়োজন নেই৷ যদি উদাহরণ মেমরি ব্যবহার বেশি হয় এবং একটি নতুন মডেল আহ্বান করা হয় এবং তাই লোড করার প্রয়োজন হয়, অব্যবহৃত মডেলগুলি মেমরি থেকে আনলোড করা হয়। আনলোড করা মডেলগুলি ইনস্ট্যান্সের স্টোরেজ ভলিউমে থাকে, এবং S3 বাকেট থেকে আবার ডাউনলোড না করে পরে আবার কন্টেইনারের মেমরিতে লোড করা যেতে পারে।

MMEs ব্যবহার করার সময় মূল বিবেচ্য বিষয়গুলির মধ্যে একটি হল মডেল আহ্বানের লেটেন্সি আচরণ বোঝা। যেমনটি আগে আলোচনা করা হয়েছে, মডেলগুলি ডায়নামিকভাবে কন্টেইনারের মেমরিতে লোড করা হয় যখন আহ্বান করা হয় তখন শেষ পয়েন্ট হোস্ট করে। অতএব, প্রথমবারের জন্য আমন্ত্রণ জানানো হলে মডেল আহ্বানে বেশি সময় লাগতে পারে। যখন মডেলটি ইতিমধ্যেই ইন্সট্যান্স কন্টেইনারের মেমরিতে থাকে, তখন পরবর্তী আহ্বানগুলি দ্রুততর হয়৷ যদি একটি উদাহরণ মেমরি ব্যবহার বেশি হয় এবং একটি নতুন মডেল লোড করার প্রয়োজন হয়, অব্যবহৃত মডেলগুলি আনলোড করা হয়। উদাহরণের স্টোরেজ ভলিউম পূর্ণ হলে, অব্যবহৃত মডেলগুলি স্টোরেজ ভলিউম থেকে মুছে ফেলা হয়। SageMaker সম্পূর্ণরূপে মডেলগুলির লোডিং এবং আনলোডিং পরিচালনা করে, আপনাকে কোনও নির্দিষ্ট পদক্ষেপ না নিয়েই৷ যাইহোক, এই আচরণটি বোঝা গুরুত্বপূর্ণ কারণ এটি মডেল আহ্বানের বিলম্বের উপর প্রভাব ফেলে এবং তাই সামগ্রিকভাবে শেষ থেকে শেষ বিলম্বিত হয়।

পাইপলাইন হোস্টিং বিকল্প

সেজমেকার একাধিক প্রদান করে উদাহরণ টাইপ আপনার ব্যবহারের ক্ষেত্রে, থ্রুপুট এবং খরচের প্রয়োজনীয়তার উপর ভিত্তি করে এমএল মডেল স্থাপন এবং অনুমান পাইপলাইন তৈরির জন্য নির্বাচন করার বিকল্পগুলি। উদাহরণস্বরূপ, আপনি একটি একক পাত্রে বা একাধিক পাত্রে সিরিয়াল ইনফারেন্স পাইপলাইন তৈরি করতে সিপিইউ বা জিপিইউ অপ্টিমাইজ করা উদাহরণগুলি বেছে নিতে পারেন। যাইহোক, কখনও কখনও এমন প্রয়োজনীয়তা রয়েছে যেখানে অতিরিক্ত নমনীয়তার জন্য একই পাইপলাইনের মধ্যে সিপিইউ বা জিপিইউ ভিত্তিক দৃষ্টান্তগুলিতে মডেলগুলি চালানোর জন্য নমনীয়তা এবং সমর্থন থাকা চাই।

ভিন্নধর্মী গণনার প্রয়োজনীয়তার জন্য SageMaker-এ অনুমানের জন্য মডেলগুলি পরিবেশন করতে আপনি এখন NVIDIA Triton Inference Server ব্যবহার করতে পারেন। চেক আউট Amazon SageMaker-এ NVIDIA Triton Inference সার্ভারের সাথে দ্রুত এবং স্কেলযোগ্য AI স্থাপন করুন অতিরিক্ত বিশদ জন্য।

উপসংহার

যেহেতু সংস্থাগুলি এমএল দ্বারা চালিত নতুন সমাধানগুলি আবিষ্কার করে এবং তৈরি করে, এই পাইপলাইনগুলিকে সাজানোর জন্য প্রয়োজনীয় সরঞ্জামগুলি প্রদত্ত ব্যবহারের ক্ষেত্রে সমর্থন করার জন্য যথেষ্ট নমনীয় হওয়া উচিত, যখন চলমান অপারেশনাল ওভারহেডগুলিকে সরলীকরণ এবং হ্রাস করে৷ SageMaker আপনার প্রয়োজনীয়তার উপর ভিত্তি করে এই সিরিয়াল ইনফারেন্স ওয়ার্কফ্লো ডিজাইন এবং তৈরি করার জন্য একাধিক বিকল্প প্রদান করে।

সিরিয়াল ইনফারেন্স পাইপলাইন ব্যবহার করে আপনি কোন ব্যবহারের কেস তৈরি করছেন সে সম্পর্কে আমরা আপনার কাছ থেকে শোনার অপেক্ষায় আছি। আপনার যদি প্রশ্ন বা প্রতিক্রিয়া থাকে তবে অনুগ্রহ করে সেগুলি মন্তব্যে ভাগ করুন।

লেখক সম্পর্কে

রাহুল শর্মা তিনি AWS ডেটা ল্যাবের একজন সিনিয়র সলিউশন আর্কিটেক্ট, AWS গ্রাহকদের AI/ML সলিউশন ডিজাইন ও তৈরি করতে সাহায্য করেন। AWS-এ যোগদানের আগে, রাহুল অর্থ ও বীমা খাতে বেশ কয়েক বছর কাটিয়েছেন, গ্রাহকদের ডেটা এবং বিশ্লেষণাত্মক প্ল্যাটফর্ম তৈরি করতে সহায়তা করেছেন।

আনন্দ প্রকাশ AWS ডেটা ল্যাবের একজন সিনিয়র সলিউশন আর্কিটেক্ট। আনন্দ গ্রাহকদের তাদের উৎপাদনের পথ ত্বরান্বিত করতে AI/ML, ডেটা অ্যানালিটিক্স এবং ডাটাবেস সমাধানগুলি ডিজাইন এবং তৈরি করতে সহায়তা করার উপর দৃষ্টি নিবদ্ধ করে।

ধাওয়াল প্যাটেল AWS-এর একজন প্রধান মেশিন লার্নিং আর্কিটেক্ট। তিনি ডিস্ট্রিবিউটেড কম্পিউটিং এবং কৃত্রিম বুদ্ধিমত্তা সম্পর্কিত সমস্যা নিয়ে বড় উদ্যোগ থেকে শুরু করে মাঝারি আকারের স্টার্টআপ পর্যন্ত সংস্থাগুলির সাথে কাজ করেছেন। তিনি এনএলপি এবং কম্পিউটার ভিশন ডোমেন সহ গভীর শিক্ষার উপর ফোকাস করেন। তিনি গ্রাহকদের SageMaker-এ উচ্চ কর্মক্ষমতা মডেল অনুমান অর্জনে সহায়তা করেন।

সৌরভ ত্রিকন্দে অ্যামাজন সেজমেকার ইনফারেন্সের জন্য একজন সিনিয়র প্রোডাক্ট ম্যানেজার। তিনি গ্রাহকদের সাথে কাজ করার এবং মেশিন লার্নিংকে আরও অ্যাক্সেসযোগ্য করে তোলার বিষয়ে আগ্রহী। অবসর সময়ে, সৌরভ হাইকিং উপভোগ করেন, উদ্ভাবনী প্রযুক্তি সম্পর্কে শেখেন, টেকক্রাঞ্চ অনুসরণ করেন এবং তার পরিবারের সাথে সময় কাটান।