Hugging Face এবং Amazon SageMaker অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের সাথে উচ্চ-মূল্যের গবেষণা উন্নত করুন

আমাদের অনেক AWS গ্রাহক একটি পরিষেবা হিসাবে গবেষণা, বিশ্লেষণ এবং ব্যবসায়িক বুদ্ধিমত্তা প্রদান করে। এই ধরণের গবেষণা এবং ব্যবসায়িক বুদ্ধিমত্তা তাদের শেষ গ্রাহকদের বাজার এবং প্রতিযোগীদের থেকে এগিয়ে থাকতে, বৃদ্ধির সুযোগগুলি চিহ্নিত করতে এবং সক্রিয়ভাবে সমস্যাগুলির সমাধান করতে সক্ষম করে। উদাহরণস্বরূপ, আমাদের কিছু আর্থিক পরিষেবা সেক্টরের গ্রাহকরা ইক্যুইটি, হেজ ফান্ড এবং বিনিয়োগ ব্যবস্থাপনা কোম্পানিগুলির জন্য গবেষণা করে তাদের প্রবণতাগুলি বুঝতে এবং পোর্টফোলিও কৌশলগুলি সনাক্ত করতে সহায়তা করে৷ স্বাস্থ্য শিল্পে, স্বাস্থ্য গবেষণার একটি ক্রমবর্ধমান বড় অংশ এখন তথ্য-ভিত্তিক। গবেষণার একটি বড় অংশের মধ্যে ডেটা বিশ্লেষণ করা হয় যা প্রাথমিকভাবে ডায়াগনস্টিক, চিকিত্সা বা অন্যান্য গবেষণা প্রকল্পের জন্য সংগ্রহ করা হয়েছিল এবং এখন নতুন গবেষণার উদ্দেশ্যে ব্যবহার করা হচ্ছে। স্বাস্থ্য গবেষণার এই ফর্মগুলি নতুন কেস এড়াতে কার্যকর প্রাথমিক প্রতিরোধ, প্রাথমিক সনাক্তকরণের জন্য দ্বিতীয় প্রতিরোধ এবং আরও ভাল রোগ ব্যবস্থাপনার জন্য প্রতিরোধের দিকে পরিচালিত করেছে। গবেষণার ফলাফল শুধুমাত্র জীবনের মান উন্নত করে না বরং স্বাস্থ্যসেবা ব্যয় কমাতেও সাহায্য করে।

গ্রাহকরা সরকারী এবং ব্যক্তিগত উত্স থেকে তথ্য হজম করার প্রবণতা রাখে। তারপরে তারা একটি প্রবণতাকে সংক্ষিপ্ত করতে এবং সনাক্ত করতে এবং এই তথ্যের উপর ভিত্তি করে অন্তর্দৃষ্টি তৈরি করতে প্রতিষ্ঠিত বা কাস্টম প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) মডেলগুলি প্রয়োগ করে। এই ধরনের গবেষণা কাজের জন্য ব্যবহৃত এনএলপি মডেলগুলি বড় মডেলগুলির সাথে ডিল করে এবং সাধারণত কার্পাসের আকার এবং ডেডিকেটেড এন্ডপয়েন্টগুলি বিবেচনা করে সংক্ষিপ্ত করার জন্য দীর্ঘ নিবন্ধগুলি অন্তর্ভুক্ত করে, যা এই মুহূর্তে খরচ-অপ্টিমাইজ করা হয় না। এই অ্যাপ্লিকেশনগুলি দিনের বিভিন্ন সময়ে ইনকামিং ট্রাফিকের একটি বিস্ফোরণ পায়।

আমরা বিশ্বাস করি গ্রাহকরা শূন্যে নামিয়ে আনার ক্ষমতা থেকে ব্যাপকভাবে উপকৃত হবেন এবং প্রয়োজনীয় ভিত্তিতে তাদের অনুমান ক্ষমতা বাড়াতে পারবেন। এটি গবেষণার খরচকে অপ্টিমাইজ করে এবং এখনও অনুমানের মানের সাথে আপস করে না। এই পোস্টে কিভাবে মুখ আলিঙ্গন বরাবর আলোচনা আমাজন সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স এটি অর্জন করতে সাহায্য করতে পারে।

আপনি TensorFlow, PyTorch, এবং Apache MXNet এর মত একাধিক গভীর-শিক্ষার কাঠামোর সাথে পাঠ্য সংক্ষিপ্তকরণ মডেল তৈরি করতে পারেন। এই মডেলগুলিতে সাধারণত বিভিন্ন আকারের একাধিক পাঠ্য নথির একটি বড় ইনপুট পেলোড থাকে। উন্নত ডিপ লার্নিং মডেলের জন্য মডেল অনুমানের আগে কম্পিউট-ইনটেনসিভ প্রিপ্রসেসিং প্রয়োজন। প্রক্রিয়াকরণের সময়গুলি কয়েক মিনিটের মতো দীর্ঘ হতে পারে, যা একটি HTTP API এর উপর পেলোড পাস করে রিয়েল-টাইম ইনফারেন্স চালানোর বিকল্পটি সরিয়ে দেয়। পরিবর্তে, আপনাকে একটি অবজেক্ট স্টোর থেকে অ্যাসিঙ্ক্রোনাসভাবে ইনপুট পেলোডগুলি প্রক্রিয়া করতে হবে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) স্বয়ংক্রিয় সারিবদ্ধতা এবং একটি পূর্বনির্ধারিত সমগত থ্রেশহোল্ড সহ। সিস্টেমটি স্থিতি বিজ্ঞপ্তিগুলি পেতে এবং কাজগুলি সম্পূর্ণ হয়ে গেলে সংস্থানগুলি পরিষ্কার করে অপ্রয়োজনীয় খরচ কমাতে সক্ষম হওয়া উচিত।

SageMaker ডেটা বিজ্ঞানী এবং ডেভেলপারদের ML-এর জন্য উদ্দেশ্য-নির্মিত ক্ষমতার একটি বিস্তৃত সেট একত্রিত করে দ্রুত উচ্চ-মানের মেশিন লার্নিং (ML) মডেলগুলি প্রস্তুত, তৈরি, প্রশিক্ষণ এবং স্থাপনে সহায়তা করে৷ সেজমেকার XGBoost (আধার, SDK এর), স্কিট-লার্ন (আধার, SDK এর, PyTorch (আধার, SDK এর), টেনসরফ্লো (আধার, SDK এর), এবং Apache MXNet (আধার, SDK এর).

1. রিয়েল-টাইম অনুমান এন্ডপয়েন্টগুলি কাজের চাপের জন্য উপযুক্ত যেগুলি মিসে থেকে সেকেন্ডের ক্রমে কম লেটেন্সি প্রয়োজনীয়তার সাথে প্রক্রিয়া করা দরকার৷
2. ব্যাচ রূপান্তর ডেটার বড় ব্যাচে অফলাইন ভবিষ্যদ্বাণীর জন্য আদর্শ।
3. অ্যামাজন সেজমেকার সার্ভারলেস ইনফারেন্স (প্রিভিউ মোডে এবং এই লেখা পর্যন্ত প্রোডাকশন ওয়ার্কলোডের জন্য প্রস্তাবিত নয়) একটি উদ্দেশ্য-নির্মিত অনুমান বিকল্প যা আপনার জন্য এমএল মডেল স্থাপন এবং স্কেল করা সহজ করে তোলে। সার্ভারলেস ইনফরেন্স এমন কাজের চাপের জন্য আদর্শ যা ট্র্যাফিক স্ফুর্টের মধ্যে অলস সময় থাকে এবং ঠান্ডা শুরু সহ্য করতে পারে।
4. অ্যাসিঙ্ক্রোনাস ইনফারেন্স শেষ পয়েন্ট সারি ইনকামিং অনুরোধ. এগুলি কাজের চাপের জন্য আদর্শ যেখানে অনুরোধের আকার বড় (1 GB পর্যন্ত) এবং অনুমান প্রক্রিয়াকরণের সময়গুলি মিনিটের ক্রমে (15 মিনিট পর্যন্ত)। অ্যাসিঙ্ক্রোনাস ইনফারেন্স প্রক্রিয়া করার জন্য কোনো অনুরোধ না থাকলে স্বয়ংক্রিয়ভাবে দৃষ্টান্তের সংখ্যা শূন্যে স্কেল করে খরচ বাঁচাতে সক্ষম করে।

সমাধান ওভারভিউ

এই পোস্টে, আমরা একটি স্থাপন পেগাসাস মডেল যেটি থেকে পাঠ্য সংক্ষিপ্তকরণ করার জন্য প্রাক-প্রশিক্ষিত ছিল আলিঙ্গন মুখ থেকে সেজমেকার হোস্টিং পরিষেবা. আমরা সরলতার জন্য হাগিং ফেস থেকে মডেলটি ব্যবহার করি। যাইহোক, আপনি পারেন একটি কাস্টম ডেটাসেটের উপর ভিত্তি করে মডেলটি সুন্দর করুন. এছাড়াও আপনি উপলব্ধ অন্যান্য মডেল চেষ্টা করতে পারেন হাগিং ফেস মডেল হাব. আমরা একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের ব্যবস্থাও করি যা এই মডেলটিকে হোস্ট করে, যেখান থেকে আপনি ভবিষ্যদ্বাণী পেতে পারেন।

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের ইনফারেন্স হ্যান্ডলার ইনপুট পেলোড হিসাবে একটি নিবন্ধ আশা করে। নিবন্ধের সংক্ষিপ্ত পাঠ্য হল আউটপুট। প্রবণতা বিশ্লেষণের জন্য আউটপুট ডাটাবেসে সংরক্ষণ করা হয় বা আরও বিশ্লেষণের জন্য ডাউনস্ট্রিম খাওয়ানো হয়। এই ডাউনস্ট্রিম বিশ্লেষণ ডেটা অন্তর্দৃষ্টি অর্জন করে যা গবেষণায় সহায়তা করে।

আমরা দেখাই যে কীভাবে অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট আপনাকে ব্যবহারকারী-সংজ্ঞায়িত সঙ্গতি এবং সমাপ্তির বিজ্ঞপ্তি পেতে সক্ষম করে। ট্র্যাফিক কমে গেলে শূন্যে নামাতে এবং অনুরোধের সারি পূরণ হওয়ার সাথে সাথে ব্যাক আপ স্কেল করার জন্য আমরা এন্ডপয়েন্টের পিছনের দৃষ্টান্তগুলির স্বয়ংক্রিয় স্কেলিং কনফিগার করি।

আমরাও ব্যবহার করি অ্যামাজন ক্লাউডওয়াচ সারির আকার, মোট প্রক্রিয়াকরণের সময়, এবং প্রক্রিয়াকৃত আহ্বানগুলি নিরীক্ষণ করার জন্য মেট্রিক্স।

নিম্নলিখিত চিত্রে, আমরা একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট ব্যবহার করে অনুমান সম্পাদন করার সময় জড়িত পদক্ষেপগুলি দেখাই।

1. আমাদের প্রাক-প্রশিক্ষিত পক্ষিরাজ ঘোড়া এমএল মডেল প্রথমে স্কেলিং এন্ডপয়েন্টে হোস্ট করা হয়।
2. ব্যবহারকারী একটি ইনপুট S3 বালতিতে সংক্ষিপ্ত করার জন্য নিবন্ধটি আপলোড করে।
3. অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট একটি API ব্যবহার করে আহ্বান করা হয়।
4. অনুমান সম্পূর্ণ হওয়ার পরে, ফলাফল আউটপুট S3 বালতিতে সংরক্ষণ করা হয়।
5. An অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS) ব্যবহারকারীকে সম্পূর্ণ সাফল্য বা ব্যর্থতা সম্পর্কে অবহিত করে বিজ্ঞপ্তি পাঠানো হয়।

একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট তৈরি করুন

আমরা একটি রিয়েল-টাইম হোস্টেড এন্ডপয়েন্টের অনুরূপ অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট তৈরি করি। ধাপগুলির মধ্যে একটি সেজমেকার মডেল তৈরি করা, তারপরে শেষ পয়েন্ট কনফিগার করা এবং শেষ পয়েন্ট স্থাপন করা অন্তর্ভুক্ত। দুই ধরনের এন্ডপয়েন্টের মধ্যে পার্থক্য হল অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট কনফিগারেশনে একটি AsyncInferenceConfig অধ্যায়. এখানে আমরা এন্ডপয়েন্ট ইনভোকেশন থেকে ফলাফলের জন্য S3 আউটপুট পাথ নির্দিষ্ট করি এবং ঐচ্ছিকভাবে সাফল্য এবং ব্যর্থতার বিজ্ঞপ্তির জন্য SNS বিষয় অন্তর্ভুক্ত করি। আমরা গ্রাহকের দ্বারা নির্ধারিত হিসাবে প্রতি দৃষ্টান্তে সহযোগে আহ্বানের সর্বাধিক সংখ্যাও নির্দিষ্ট করি। নিম্নলিখিত কোড দেখুন:

AsyncInferenceConfig={ "OutputConfig": { "S3OutputPath": f"s3://{bucket}/{bucket_prefix}/output", # Optionally specify Amazon SNS topics for notifications "NotificationConfig": { "SuccessTopic": success_topic, "ErrorTopic": error_topic, } }, "ClientConfig": { "MaxConcurrentInvocationsPerInstance": 2 #increase this value up to throughput peak for ideal performance } }

অ্যাসিঙ্ক্রোনাস ইনফারেন্সের জন্য একটি এন্ডপয়েন্ট কনফিগারেশন তৈরি করতে API-এর বিশদ বিবরণের জন্য, দেখুন একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট তৈরি করুন.

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টকে আহ্বান করুন

নিম্নলিখিত স্ক্রিনশটটি একটি সংক্ষিপ্ত নিবন্ধ দেখায় যা আমরা আমাদের ইনপুট পেলোড হিসাবে ব্যবহার করি:

নিম্নলিখিত কোড একটি হিসাবে নিবন্ধ আপলোড input.json Amazon S3 এ ফাইল করুন:

sm_session.upload_data( input_location, bucket=sm_session.default_bucket(), key_prefix=prefix, extra_args={"ContentType": "text/plain"})

আমরা এন্ডপয়েন্ট চালু করতে ইনপুট পেলোড ফাইলে Amazon S3 URI ব্যবহার করি। সমাপ্তির পরে ফলাফল পুনরুদ্ধার করতে প্রতিক্রিয়া বস্তুটিতে Amazon S3-এ আউটপুট অবস্থান রয়েছে:

response = sm_runtime.invoke_endpoint_async(EndpointName=endpoint_name, InputLocation=input_1_s3_location)
output_location = response['OutputLocation']

নিম্নলিখিত স্ক্রিনশট নমুনা আউটপুট পোস্ট সারসংক্ষেপ দেখায়:

একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট চালু করার জন্য API এর বিশদ বিবরণের জন্য, দেখুন একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট আহ্বান করুন.

ইউজার-ডিফাইন কনকারেন্সি সহ আমন্ত্রণ অনুরোধগুলি সারিবদ্ধ করুন

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট স্বয়ংক্রিয়ভাবে আমন্ত্রণ অনুরোধের সারিবদ্ধ করে। এটি বিভিন্ন মনিটরিং মেট্রিক্স সহ একটি সম্পূর্ণরূপে পরিচালিত সারি এবং এর জন্য আর কোন কনফিগারেশনের প্রয়োজন নেই। এটি ব্যবহার করে MaxConcurrentInvocationsPerInstance পূর্ববর্তী অনুরোধগুলি সম্পূর্ণ হওয়ার পরে সারি থেকে নতুন অনুরোধগুলি প্রক্রিয়া করার জন্য পূর্ববর্তী এন্ডপয়েন্ট কনফিগারেশনে প্যারামিটার। MaxConcurrentInvocationsPerInstance SageMaker ক্লায়েন্ট দ্বারা মডেল কন্টেইনারে প্রেরিত সমসাময়িক অনুরোধের সর্বাধিক সংখ্যা। যদি কোন মান প্রদান করা না হয়, SageMaker আপনার জন্য একটি সর্বোত্তম মান বেছে নেয়।

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের মধ্যে স্বয়ংক্রিয় স্কেলিং উদাহরণ

আমরা ন্যূনতম শূন্য এবং সর্বাধিক পাঁচটি দৃষ্টান্তের ক্ষমতা সহ স্বয়ংক্রিয় স্কেলিং নীতি সেট করি৷ রিয়েল-টাইম হোস্টেড এন্ডপয়েন্টের বিপরীতে, অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট ন্যূনতম ক্ষমতাকে শূন্যে সেট করে শূন্যে স্কেল করাকে সমর্থন করে। আমরা ব্যবহার করি ApproximateBacklogSizePerInstance স্কেলিং নীতি কনফিগারেশনের জন্য মেট্রিক আরও স্কেল আউট করার জন্য প্রতি দৃষ্টান্তে পাঁচটির লক্ষ্য সারি ব্যাকলগ সহ। আমরা এর জন্য কুলডাউন পিরিয়ড সেট করেছি ScaleInCooldown 120 সেকেন্ড এবং ScaleOutCooldown 120 সেকেন্ড পর্যন্ত। জন্য মান ApproximateBacklogSizePerInstance ট্র্যাফিক এবং স্কেলিং গতিতে আপনার সংবেদনশীলতার উপর ভিত্তি করে বেছে নেওয়া হয়। আপনি যত দ্রুত স্কেল করবেন, আপনার খরচ তত কম হবে, কিন্তু নতুন অনুরোধ আসার সময় আপনাকে আবার স্কেল করতে হবে। আপনি যত ধীর গতিতে স্কেল করবেন, তত বেশি খরচ হবে, কিন্তু আপনার খরচ হওয়ার সম্ভাবনা কম। যখন আপনি আন্ডার-স্কেল করেন তখন একটি অনুরোধ আসে।

client = boto3.client('application-autoscaling') # Common class representing Application Auto Scaling for SageMaker amongst other services resource_id='endpoint/' + endpoint_name + '/variant/' + 'variant1' # This is the format in which application autoscaling references the endpoint response = client.register_scalable_target(
ServiceNamespace='sagemaker', #
ResourceId=resource_id,
ScalableDimension='sagemaker:variant:DesiredInstanceCount',
MinCapacity=0,
MaxCapacity=5
) response = client.put_scaling_policy(
PolicyName='Invocations-ScalingPolicy',
ServiceNamespace='sagemaker', # The namespace of the AWS service that provides the resource.
ResourceId=resource_id, # Endpoint name
ScalableDimension='sagemaker:variant:DesiredInstanceCount', # SageMaker supports only Instance Count
PolicyType='TargetTrackingScaling', # 'StepScaling'|'TargetTrackingScaling'
TargetTrackingScalingPolicyConfiguration={ 'TargetValue': 5.0, # The target value for the metric. 'CustomizedMetricSpecification': { 'MetricName': 'ApproximateBacklogSizePerInstance', 'Namespace': 'AWS/SageMaker', 'Dimensions': [{'Name': 'EndpointName', 'Value': endpoint_name }], 'Statistic': 'Average',
}, 'ScaleInCooldown': 120, # ScaleInCooldown - The amount of time, in seconds, after a scale-in activity completes before another scale in activity can start. 'ScaleOutCooldown': 120 # ScaleOutCooldown - The amount of time, in seconds, after a scale-out activity completes before another scale out activity can start.
# 'DisableScaleIn': True|False - indicates whether scale in by the target tracking policy is disabled.
# If the value is true, scale-in is disabled and the target tracking policy won't remove capacity from the scalable resource.
}
)

একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট স্বয়ংক্রিয়ভাবে স্কেল করার জন্য API এর বিশদ বিবরণের জন্য, দেখুন অটোস্কেল একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট.

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট থেকে বিজ্ঞপ্তি কনফিগার করুন

আমরা প্রতিটি এন্ডপয়েন্ট ইনভোকেশন ফলাফলের জন্য সাফল্য এবং ত্রুটি বিজ্ঞপ্তির জন্য দুটি পৃথক SNS বিষয় তৈরি করি:

sns_client = boto3.client('sns')
response = sns_client.create_topic(Name="Async-Demo-ErrorTopic2")
error_topic = response['TopicArn']
response = sns_client.create_topic(Name="Async-Demo-SuccessTopic2")
success_topic = response['TopicArn']

বিজ্ঞপ্তির জন্য অন্যান্য বিকল্পগুলির মধ্যে রয়েছে পর্যায়ক্রমে S3 বাকেটের আউটপুট পরীক্ষা করা, অথবা একটি শুরু করতে S3 বালতি বিজ্ঞপ্তিগুলি ব্যবহার করা এডাব্লুএস ল্যাম্বদা ফাইল আপলোড ফাংশন. পূর্বে বর্ণিত হিসাবে SNS বিজ্ঞপ্তিগুলি শেষ পয়েন্ট কনফিগারেশন বিভাগে অন্তর্ভুক্ত করা হয়েছে।

কিভাবে একটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট থেকে বিজ্ঞপ্তি সেট আপ করতে হয় তার বিস্তারিত জানার জন্য, দেখুন ভবিষ্যদ্বাণী ফলাফল পরীক্ষা করুন.

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট নিরীক্ষণ করুন

আমরা অ্যাসিঙ্ক্রোনাস ইনফারেন্সের জন্য নির্দিষ্ট বিল্ট-ইন অতিরিক্ত ক্লাউডওয়াচ মেট্রিক্স সহ অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট নিরীক্ষণ করি। উদাহরণস্বরূপ, আমরা প্রতিটি উদাহরণে সারির দৈর্ঘ্য নিরীক্ষণ করি ApproximateBacklogSizePerInstance এবং এর সাথে মোট সারির দৈর্ঘ্য ApproximateBacklogSize.

মেট্রিক্সের সম্পূর্ণ তালিকার জন্য, পড়ুন অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট পর্যবেক্ষণ করা.

আমরা উচ্চ কর্মক্ষমতা সহ সবচেয়ে সাশ্রয়ী দৃষ্টান্ত পেতে এন্ডপয়েন্ট কনফিগারেশন অপ্টিমাইজ করতে পারি। উদাহরণস্বরূপ, আমরা Amazon Elastic Inference বা AWS Inferentia-এর সাথে একটি উদাহরণ ব্যবহার করতে পারি। অন্যান্য মডেল সার্ভার এবং কন্টেইনার পরামিতিগুলি সামঞ্জস্য করার সময় আমরা ধীরে ধীরে থ্রুপুট শিখর পর্যন্ত সঙ্গতি স্তর বৃদ্ধি করতে পারি।

ক্লাউডওয়াচ গ্রাফ

আমরা পূর্ববর্তী বিভাগে বর্ণিত স্বয়ংক্রিয় স্কেলিং নীতির সাথে সক্ষম অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টে একটি সময়ের মধ্যে প্রবাহিত 10,000 অনুমান অনুরোধের একটি ট্র্যাফিক সিমুলেট করেছি।

অনুরোধগুলি প্রবাহ শুরু হওয়ার আগে নিম্নলিখিত স্ক্রিনশটটি ইনস্ট্যান্স মেট্রিক্স দেখায়৷ আমরা একটি লাইভ এন্ডপয়েন্ট দিয়ে শুরু করি যেখানে শূন্য দৃষ্টান্ত চলছে:

নিম্নলিখিত গ্রাফ দেখায় কিভাবে BacklogSize এবং BacklogSizePerInstance স্বয়ংক্রিয় স্কেলিং শুরু হওয়ার সাথে সাথে মেট্রিক্স পরিবর্তিত হয় এবং এন্ডপয়েন্টে লোডটি একাধিক দৃষ্টান্ত দ্বারা ভাগ করা হয় যা স্বয়ংক্রিয় স্কেলিং প্রক্রিয়ার অংশ হিসাবে প্রবিধান করা হয়েছিল।

নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে, অনুমান গণনা বৃদ্ধির সাথে সাথে দৃষ্টান্তের সংখ্যা বৃদ্ধি পেয়েছে:

নিম্নলিখিত স্ক্রিনশটটি দেখায় যে কীভাবে স্কেলিং ইন শেষবিন্দুকে শূন্য চলমান উদাহরণের প্রাথমিক অবস্থায় ফিরিয়ে আনে:

পরিষ্কার কর

সমস্ত অনুরোধ সম্পূর্ণ হওয়ার পরে, আমরা রিয়েল-টাইম হোস্ট করা এন্ডপয়েন্ট মুছে ফেলার মতই এন্ডপয়েন্ট মুছে ফেলতে পারি। মনে রাখবেন যে যদি আমরা অ্যাসিঙ্ক্রোনাস ইনফরেন্স এন্ডপয়েন্টের ন্যূনতম ক্ষমতাকে শূন্যে সেট করি, তাহলে এটি শূন্যে নেমে যাওয়ার পরে কোনও দৃষ্টান্ত চার্জ লাগবে না।

আপনি যদি আপনার এন্ডপয়েন্টের জন্য স্বয়ংক্রিয় স্কেলিং সক্ষম করে থাকেন, তাহলে নিশ্চিত করুন যে আপনি এন্ডপয়েন্ট মুছে ফেলার আগে একটি স্কেলযোগ্য টার্গেট হিসেবে এন্ডপয়েন্টটিকে নিবন্ধনমুক্ত করেছেন। এটি করতে, নিম্নলিখিত কোড চালান:

response = client.deregister_scalable_target(ServiceNamespace='sagemaker',ResourceId='resource_id',ScalableDimension='sagemaker:variant:DesiredInstanceCount')

ব্যবহারের পরে আপনার শেষ পয়েন্ট মুছে ফেলতে মনে রাখবেন কারণ এই ডেমোতে ব্যবহৃত উদাহরণগুলির জন্য আপনাকে চার্জ করা হবে।

sm_client.delete_endpoint(EndpointName=endpoint_name)

এছাড়াও আপনাকে S3 অবজেক্ট এবং SNS বিষয় মুছে ফেলতে হবে। আপনি যদি SNS বিজ্ঞপ্তিগুলি ব্যবহার করতে এবং কাজ করার জন্য অন্য কোনও AWS সংস্থান তৈরি করেন তবে আপনি সেগুলি মুছতেও চাইতে পারেন৷

উপসংহার

এই পোস্টে, আমরা প্রদর্শন করেছি কিভাবে SageMaker থেকে নতুন অ্যাসিঙ্ক্রোনাস ইনফারেন্স ক্ষমতা ব্যবহার করতে হয় একটি সাধারণ বড় ইনপুট পেলোড প্রক্রিয়া করার জন্য যা একটি সংক্ষিপ্তকরণ টাস্কের অংশ। অনুমানের জন্য, আমরা হাগিং ফেস থেকে একটি মডেল ব্যবহার করেছি এবং এটিকে অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টে স্থাপন করেছি। আমরা বিস্ফোরিত ট্র্যাফিক, উচ্চ মডেল প্রক্রিয়াকরণের সময় এবং গবেষণা বিশ্লেষণের সাথে জড়িত বড় পেলোডগুলির সাধারণ চ্যালেঞ্জগুলি ব্যাখ্যা করেছি। অসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের অভ্যন্তরীণ সারিগুলি পরিচালনা করার অন্তর্নিহিত ক্ষমতা, পূর্বনির্ধারিত সমসাময়িক সীমা, প্রতিক্রিয়া বিজ্ঞপ্তিগুলি কনফিগার করা এবং স্বয়ংক্রিয়ভাবে শূন্যে স্কেল করা আমাদের এই চ্যালেঞ্জগুলি মোকাবেলায় সহায়তা করেছে। এই উদাহরণের জন্য সম্পূর্ণ কোড পাওয়া যায় GitHub.

SageMaker অ্যাসিঙ্ক্রোনাস ইনফারেন্স দিয়ে শুরু করতে, চেক আউট করুন অ্যাসিঙ্ক্রোনাস ইনফারেন্স.

লেখক সম্পর্কে

দীনেশ কুমার সুব্রামণি স্কটল্যান্ডের এডিনবার্গে অবস্থিত ইউকেআইআর এসএমবি দলের একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিংয়ে বিশেষজ্ঞ। AWS পরিষেবাগুলির সাথে তাদের সমস্যাগুলি সমাধান করতে দীনেশ সমস্ত শিল্পের গ্রাহকদের সাথে কাজ করা উপভোগ করেন৷ কাজের বাইরে, তিনি তার পরিবারের সাথে সময় কাটাতে, দাবা খেলতে এবং জেনার জুড়ে সঙ্গীত উপভোগ করতে পছন্দ করেন।

রঘু রমেশা অ্যামাজন সেজমেকার সার্ভিস টিমের সাথে একজন এমএল সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের এমএল উৎপাদন কাজের লোড তৈরি, স্থাপন এবং স্থানান্তর করতে সাহায্য করার দিকে মনোনিবেশ করেন SageMaker এ স্কেলে। তিনি মেশিন লার্নিং, এআই, এবং কম্পিউটার ভিশন ডোমেনে বিশেষজ্ঞ এবং UT ডালাস থেকে কম্পিউটার সায়েন্সে স্নাতকোত্তর ডিগ্রি অর্জন করেছেন। তার অবসর সময়ে, তিনি ভ্রমণ এবং ফটোগ্রাফি উপভোগ করেন।

• Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
• ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
• সূত্র: https://aws.amazon.com/blogs/machine-learning/improve-high-value-research-with-hugging-face-and-amazon-sagemaker-asynchronous-inference-endpoints/