একটি Amazon Comprehend কাস্টম ক্লাসিফায়ার দিয়ে আইটি পরিষেবার অনুরোধগুলির স্বয়ংক্রিয় শ্রেণীবিভাগ

এন্টারপ্রাইজগুলি প্রায়শই আইটি পরিষেবার অনুরোধের বড় ভলিউম নিয়ে কাজ করে। ঐতিহ্যগতভাবে, প্রতিটি সমস্যার জন্য সঠিক বিভাগ বেছে নেওয়ার জন্য অনুরোধকারীর উপর বোঝা চাপানো হয়। একটি ম্যানুয়াল ত্রুটি বা টিকিটের ভুল শ্রেণিবদ্ধকরণের অর্থ সাধারণত আইটি পরিষেবার অনুরোধের সমাধানে বিলম্ব হয়৷ এর ফলে উৎপাদনশীলতা হ্রাস, গ্রাহক সন্তুষ্টি হ্রাস, পরিষেবা স্তরের চুক্তি (SLAs) এবং বৃহত্তর পরিচালন প্রভাবের উপর প্রভাব পড়তে পারে। আপনার এন্টারপ্রাইজ বাড়ার সাথে সাথে সঠিক দলের কাছে সঠিক পরিষেবার অনুরোধ পাওয়ার সমস্যাটি আরও গুরুত্বপূর্ণ হয়ে ওঠে। মেশিন লার্নিং (ML) এবং কৃত্রিম বুদ্ধিমত্তার উপর ভিত্তি করে একটি পদ্ধতি ব্যবহার করা আপনার এন্টারপ্রাইজের ক্রমবর্ধমান চাহিদার সাথে সাহায্য করতে পারে।

সুপারভাইজড এমএল হল এমন একটি প্রক্রিয়া যা লেবেলযুক্ত ডেটাসেট এবং আউটপুট ব্যবহার করে শেখার অ্যালগরিদমগুলি কীভাবে ডেটা শ্রেণীবদ্ধ করতে হয় বা একটি ফলাফলের পূর্বাভাস দিতে হয়। অ্যামাজন সমঝোতা একটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) পরিষেবা যা পাঠ্যে মূল্যবান অন্তর্দৃষ্টি এবং সংযোগগুলি উন্মোচন করতে ML ব্যবহার করে৷ এটি মূল বাক্যাংশ, সত্তা, অনুভূতি বিশ্লেষণ এবং আরও অনেক কিছু বের করতে ML দ্বারা চালিত API প্রদান করে।

এই পোস্টে, আমরা আপনাকে দেখাব কিভাবে একটি তত্ত্বাবধানে থাকা এমএল মডেল প্রয়োগ করতে হয় যা স্বয়ংক্রিয়ভাবে ব্যবহার করে আইটি পরিষেবার অনুরোধগুলিকে শ্রেণিবদ্ধ করতে সহায়তা করতে পারে আমাজন কাস্টম শ্রেণীবিভাগ বুঝতে. Amazon Comprehend কাস্টম শ্রেণীবিভাগ আপনাকে ML-ভিত্তিক NLP সমাধান তৈরির জন্য প্রয়োজনীয় দক্ষতা ছাড়াই আপনার নির্দিষ্ট প্রয়োজনীয়তার জন্য Amazon Comprehend কাস্টমাইজ করতে সাহায্য করে। স্বয়ংক্রিয় ML, বা AutoML এর সাথে, Amazon Comprehend কাস্টম শ্রেণীবিভাগ আপনার পক্ষ থেকে কাস্টমাইজড NLP মডেল তৈরি করে, আপনার দেওয়া প্রশিক্ষণ ডেটা ব্যবহার করে।

সমাধান ওভারভিউ

আইটি পরিষেবার অনুরোধের শ্রেণীবিভাগ ব্যাখ্যা করতে, এই সমাধানটি ব্যবহার করে SEOSS ডেটাসেট. এই ডেটাসেটটি 33টি ওপেন-সোর্স সফ্টওয়্যার প্রকল্পের সমন্বয়ে একটি পদ্ধতিগতভাবে পুনরুদ্ধার করা ডেটাসেট যাতে প্রচুর সংখ্যক টাইপ করা আর্টিফ্যাক্ট রয়েছে এবং তাদের মধ্যে লিঙ্কগুলি ট্রেস করে৷ এই সমাধানটি Amazon Comprehend ব্যবহার করে একটি কাস্টম ক্লাসিফায়ার মডেল তৈরি করতে শেষ-ব্যবহারকারীদের দ্বারা রিপোর্ট করা এই 33টি ওপেন-সোর্স প্রকল্প, সারাংশ এবং বিবরণ থেকে ইস্যু ডেটা ব্যবহার করে।

এই পোস্টটি ব্যবহার করে সমাধানটি কীভাবে বাস্তবায়ন এবং স্থাপন করতে হয় তা প্রদর্শন করে এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK) বিচ্ছিন্নভাবে আমাজন ভার্চুয়াল প্রাইভেট ক্লাউড (Amazon VPC) পরিবেশ শুধুমাত্র ব্যক্তিগত সাবনেট নিয়ে গঠিত। আপনি কীভাবে AWS CDK ব্যবহার করতে পারেন তা প্রদর্শন করতে আমরা কোডটিও ব্যবহার করি প্রদানকারী কাঠামো, এর জন্য একটি প্রদানকারী বাস্তবায়নের জন্য একটি মিনি-ফ্রেমওয়ার্ক এডাব্লুএস ক্লাউডফর্মেশন একটি কাস্টম রিসোর্স তৈরি, আপডেট বা মুছে ফেলার জন্য কাস্টম রিসোর্স, যেমন একটি Amazon Comprehend endpoint। Amazon Comprehend এন্ডপয়েন্টে ম্যানেজ করা রিসোর্স রয়েছে যা আপনার কাস্টম মডেলকে ক্লায়েন্ট মেশিন বা থার্ড-পার্টি অ্যাপ্লিকেশনে রিয়েল-টাইম ইনফারেন্সের জন্য উপলব্ধ করে। দ্য এই সমাধানের জন্য কোড Github এ উপলব্ধ।

আপনি সমাধানের জন্য অবকাঠামো, অ্যাপ্লিকেশন কোড এবং কনফিগারেশন স্থাপন করতে AWS CDK ব্যবহার করেন। আপনার একটি AWS অ্যাকাউন্ট এবং AWS সম্পদ তৈরি করার ক্ষমতাও প্রয়োজন। আপনি ব্যক্তিগত সাবনেট সহ একটি VPC এর মতো AWS সংস্থান তৈরি করতে AWS CDK ব্যবহার করেন, আমাজন ভিপিসি এন্ডপয়েন্ট, আমাজন ইলাস্টিক ফাইল সিস্টেম (আমাজন ইএফএস), একটি অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS) বিষয়, একটি আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, Amazon S3 ইভেন্ট বিজ্ঞপ্তি, এবং এডাব্লুএস ল্যাম্বদা ফাংশন সম্মিলিতভাবে, এই AWS সংস্থানগুলি প্রশিক্ষণ স্ট্যাক গঠন করে, যা আপনি কাস্টম ক্লাসিফায়ার মডেল তৈরি এবং প্রশিক্ষণের জন্য ব্যবহার করেন।

আপনি এই AWS সংস্থানগুলি তৈরি করার পরে, আপনি SEOSS ডেটাসেট ডাউনলোড করবেন এবং সমাধান দ্বারা তৈরি S3 বালতিতে ডেটাসেট আপলোড করবেন৷ আপনি যদি এই সমাধানটি AWS অঞ্চল us-east-2-এ স্থাপন করেন, S3 বাকেট নামের বিন্যাসটি হল comprehendcustom--us-east-2-s3stack. সমাধানটি অ্যামাজন S3 মাল্টি-পার্ট আপলোড ট্রিগার ব্যবহার করে একটি Lambda ফাংশন শুরু করে যা ইনপুট ডেটার প্রি-প্রসেসিং শুরু করে এবং কাস্টম ক্লাসিফায়ার মডেল তৈরি করার জন্য Amazon Comprehend কাস্টম ক্লাসিফায়ারকে প্রশিক্ষণ দেওয়ার জন্য প্রি-প্রসেসড ডেটা ব্যবহার করে। তারপরে আপনি ইনফারেন্স স্ট্যাক তৈরি করতে কাস্টম ক্লাসিফায়ার মডেলের অ্যামাজন রিসোর্স নেম (ARN) ব্যবহার করেন, যা AWS CDK ব্যবহার করে একটি Amazon Comprehend এন্ডপয়েন্ট তৈরি করে। প্রদানকারী কাঠামো, যা আপনি তৃতীয় পক্ষের অ্যাপ্লিকেশন বা ক্লায়েন্ট মেশিন থেকে অনুমানের জন্য ব্যবহার করতে পারেন।

নীচের চিত্রটি প্রশিক্ষণ স্ট্যাকের আর্কিটেকচারকে চিত্রিত করে।

কর্মপ্রবাহের ধাপগুলি নিম্নরূপ:

1. প্রশিক্ষণ স্ট্যাক স্থাপন প্রক্রিয়ার অংশ হিসাবে তৈরি করা S3 বালতিতে SEOSS ডেটাসেট আপলোড করুন। এটি একটি ইভেন্ট ট্রিগার তৈরি করে যা আহ্বান করে etl_lambda ফাংশন.
2. সার্জারির etl_lambda ফাংশন Amazon S3 থেকে Amazon EFS এ কাঁচা ডেটা সেট ডাউনলোড করে।
3. সার্জারির etl_lambda ফাংশন SEOSS ডেটাসেটের ডেটা প্রিপ্রসেসিং কাজ করে।
4. যখন ফাংশন এক্সিকিউশন সম্পূর্ণ হয়, এটি এর সাথে রূপান্তরিত ডেটা আপলোড করে prepped_data S3 বালতির উপসর্গ।
5. রূপান্তরিত ডেটা আপলোড সম্পূর্ণ হওয়ার পরে, একটি সফল ETL সমাপ্তির বার্তা Amazon SNS-এ পাঠানো হয়।
6. Amazon Comprehend-এ, আপনি দুটি মোড ব্যবহার করে আপনার নথিগুলিকে শ্রেণীবদ্ধ করতে পারেন: বহু-শ্রেণী বা বহু-লেবেল৷ মাল্টি-ক্লাস মোড প্রতিটি নথির জন্য একটি এবং শুধুমাত্র একটি শ্রেণী চিহ্নিত করে, এবং মাল্টি-লেবেল মোড প্রতিটি নথির জন্য এক বা একাধিক লেবেল সনাক্ত করে। যেহেতু আমরা প্রতিটি নথিতে একটি একক শ্রেণী চিহ্নিত করতে চাই, তাই আমরা কাস্টম ক্লাসিফায়ার মডেলকে মাল্টি-ক্লাস মোডে প্রশিক্ষণ দিই। অ্যামাজন এসএনএস ট্রিগার করে train_classifier_lambda ফাংশন, যা একটি মাল্টি-ক্লাস মোডে Amazon Comprehend ক্লাসিফায়ার প্রশিক্ষণ শুরু করে।
7. সার্জারির train_classifier_lambda ফাংশন Amazon Comprehend কাস্টম ক্লাসিফায়ার প্রশিক্ষণ শুরু করে।
8. Amazon Comprehend থেকে রূপান্তরিত ডেটা ডাউনলোড করে prepped_data কাস্টম ক্লাসিফায়ার মডেলকে প্রশিক্ষণ দিতে Amazon S3-এ উপসর্গ।
9. মডেল প্রশিক্ষণ সম্পূর্ণ হলে, Amazon Comprehend আপলোড করে model.tar.gz ফাইল output_data S3 বালতির উপসর্গ। এই কাস্টম ক্লাসিফায়ার মডেলটি প্রশিক্ষণের গড় সমাপ্তির সময় প্রায় 10 ঘন্টা।
10. আমাজন S3 আপলোড ট্রিগার আহ্বান করে extract_comprehend_model_name_lambda ফাংশন, যা কাস্টম ক্লাসিফায়ার মডেল ARN পুনরুদ্ধার করে।
11. ফাংশনটি S3 ইভেন্ট পেলোড এবং এর প্রতিক্রিয়া থেকে কাস্টম ক্লাসিফায়ার মডেল ARN বের করে list-document-classifiers কল
12. ফাংশনটি কাস্টম ক্লাসিফায়ার মডেল ARN কে সেই ইমেল ঠিকানায় পাঠায় যা আপনি প্রশিক্ষণ স্ট্যাক তৈরির প্রক্রিয়ার অংশ হিসাবে আগে সাবস্ক্রাইব করেছিলেন। আপনি তারপর অনুমান স্ট্যাক স্থাপন করতে এই ARN ব্যবহার করুন.

এই স্থাপনাটি অনুমান স্ট্যাক তৈরি করে, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে। ইনফারেন্স স্ট্যাক আপনাকে একটি REST API প্রদান করে যা একটি দ্বারা সুরক্ষিত এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) অনুমোদনকারী, যা আপনি তৃতীয় পক্ষের অ্যাপ্লিকেশন বা ক্লায়েন্ট মেশিন থেকে সরবরাহ করা ইনপুট পাঠ্যের উপর ভিত্তি করে লেবেলের আত্মবিশ্বাসের স্কোর তৈরি করতে ব্যবহার করতে পারেন।

পূর্বশর্ত

এই ডেমোর জন্য, আপনার নিম্নলিখিত পূর্বশর্ত থাকা উচিত:

• An এডাব্লুএস অ্যাকাউন্ট.
• Python 3.7 বা তার পরে, node.js, এবং git উন্নয়ন মেশিনে। AWS CDK Node.js এর নির্দিষ্ট সংস্করণ ব্যবহার করে (>=10.13.0, সংস্করণ 13.0.0 – 13.6.0 ছাড়া)। সক্রিয় দীর্ঘমেয়াদী সমর্থন (LTS) একটি সংস্করণ সুপারিশ করা হয়.
  Node.js এর সক্রিয় LTS সংস্করণ ইনস্টল করতে, আপনি নিম্নলিখিত ব্যবহার করতে পারেন স্ক্রিপ্ট ইনস্টল করুন উন্নত nvm আর ব্যবহার করুন nvm থেকে ইনস্টল Node.js LTS সংস্করণ। আপনি আপনার পছন্দের অপারেটিং সিস্টেমের উপর নির্ভর করে প্যাকেজ ম্যানেজারের মাধ্যমে বর্তমান সক্রিয় LTS Node.js ইনস্টল করতে পারেন।

  macOS-এর জন্য, আপনি নিম্নলিখিত ব্যবহার করে প্যাকেজ ম্যানেজারের মাধ্যমে Node.js ইনস্টল করতে পারেন নির্দেশাবলী.

  উইন্ডোজের জন্য, আপনি নিম্নলিখিত ব্যবহার করে প্যাকেজ ম্যানেজারের মাধ্যমে Node.js ইনস্টল করতে পারেন নির্দেশাবলী.

• আপনি যদি একটি ব্যবহার করেন তাহলে AWS CDK v2 আগে থেকে ইনস্টল করা আছে এডাব্লুএস ক্লাউড 9 আইডিই। আপনি যদি AWS Cloud9 IDE ব্যবহার করেন, আপনি এই ধাপটি এড়িয়ে যেতে পারেন৷ যদি আপনার ডেভেলপমেন্ট মেশিনে AWS CDK ইনস্টল না থাকে, তাহলে নোড প্যাকেজ ম্যানেজার কমান্ড ব্যবহার করে বিশ্বব্যাপী AWS CDK v2 ইনস্টল করুন৷ npm install -g aws-cdk. এই ধাপের জন্য ডেভেলপমেন্ট মেশিনে Node.js ইনস্টল করতে হবে।
• AWS CDK ব্যবহার করে AWS সম্পদগুলি অ্যাক্সেস করতে এবং তৈরি করতে আপনার AWS শংসাপত্রগুলি কনফিগার করুন৷ নির্দেশাবলীর জন্য, পড়ুন শংসাপত্র এবং অঞ্চল নির্দিষ্ট করা.
• ডাউনলোড SEOSS ডেটাসেট প্রয়োজনীয়তা, বাগ রিপোর্ট, কোড ইতিহাস এবং 33টি ওপেন-সোর্স সফ্টওয়্যার প্রকল্পের ট্রেস লিঙ্ক নিয়ে গঠিত। ফাইলটি সংরক্ষণ করুন dataverse_files.zip আপনার স্থানীয় মেশিনে।

AWS CDK প্রশিক্ষণ স্ট্যাক স্থাপন করুন

AWS CDK স্থাপনার জন্য, আমরা প্রশিক্ষণ স্ট্যাক দিয়ে শুরু করি। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. GitHub সংগ্রহস্থল ক্লোন করুন:

$ git clone https://github.com/aws-samples/amazon-comprehend-custom-automate-classification-it-service-request.git

2. নেভিগেট করুন amazon-comprehend-custom-automate-classification-it-service-request ফোল্ডার:

$ cd amazon-comprehend-custom-automate-classification-it-service-request/

নিম্নলিখিত সমস্ত কমান্ড এর মধ্যে চালানো হয় amazon-comprehend-custom-automate-classification-it-service-request ডিরেক্টরি.

3. amazon-comprehend-custom-automate-classification-it-service-request ডিরেক্টরিতে, Python ভার্চুয়াল এনভায়রনমেন্ট আরম্ভ করুন এবং পিপ দিয়ে requirements.txt ইনস্টল করুন:

$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r requirements.txt

4. আপনি যদি প্রথমবার একটি নির্দিষ্ট AWS অ্যাকাউন্ট এবং অঞ্চলে AWS CDK ব্যবহার করেন, তাহলে নির্দেশাবলী দেখুন আপনার AWS CDK পরিবেশ বুটস্ট্র্যাপিং:

$ cdk bootstrap aws:///

5. ব্যবহার করে এই সমাধানের জন্য ক্লাউডফর্মেশন টেমপ্লেট সংশ্লেষিত করুন cdk synth আর ব্যবহার করুন cdk deploy আগে উল্লিখিত AWS সংস্থান তৈরি করতে:

$ cdk synth
$ cdk deploy VPCStack EFSStack S3Stack SNSStack ExtractLoadTransformEndPointCreateStack --parameters SNSStack:emailaddressarnnotification=

প্রবেশ করার পর cdk deploy, AWS CDK অনুরোধ করে যে আপনি cdk deploy কমান্ডে কল করা প্রতিটি স্ট্যাকের জন্য পরিবর্তন স্থাপন করতে চান কিনা।

6. প্রবেশ করান y প্রতিটি স্ট্যাক তৈরির অনুরোধের জন্য, তারপর cdk স্থাপন পদক্ষেপ এই স্ট্যাকগুলি তৈরি করে। cdk স্থাপনার অংশ হিসাবে তৈরি করা SNS বিষয়ে আপনার দেওয়া ইমেল ঠিকানাটি সাবস্ক্রাইব করুন।
7. cdk deploy সফলভাবে সম্পন্ন হওয়ার পরে, নামক একটি ফোল্ডার তৈরি করুন raw_data S3 বালতিতে comprehendcustom---s3stack.
8. SEOSS ডেটাসেট আপলোড করুন dataverse_files.zip যা আপনি এই ফোল্ডারে আগে ডাউনলোড করেছেন।

আপলোড সম্পূর্ণ হওয়ার পরে, সমাধানটি আহ্বান করে etl_lambda এক্সট্রাক্ট, ট্রান্সফর্ম এবং লোড (ETL) প্রক্রিয়া শুরু করতে একটি Amazon S3 ইভেন্ট ট্রিগার ব্যবহার করে ফাংশন। ETL প্রক্রিয়াটি সফলভাবে সম্পন্ন হওয়ার পর, SNS বিষয়ে একটি বার্তা পাঠানো হয়, যা আহ্বান করে train_classifier_lambda ফাংশন এই ফাংশনটি একটি Amazon Comprehend কাস্টম ক্লাসিফায়ার মডেল প্রশিক্ষণ ট্রিগার করে। আপনি সম্পূর্ণ SEOSS ডেটাসেটে আপনার মডেলকে প্রশিক্ষণ দিচ্ছেন কিনা তার উপর নির্ভর করে, প্রশিক্ষণে 10 ঘন্টা পর্যন্ত সময় লাগতে পারে। প্রশিক্ষণ প্রক্রিয়া সম্পূর্ণ হলে, Amazon Comprehend আপলোড করে model.tar.gz ফাইল output_data S3 বালতিতে উপসর্গ।

এই আপলোড ট্রিগার extract_comprehend_model_name_lambda একটি S3 ইভেন্ট ট্রিগার ব্যবহার করে ফাংশন যা কাস্টম ক্লাসিফায়ার মডেল ARN বের করে এবং আপনার আগে সাবস্ক্রাইব করা ইমেল ঠিকানায় পাঠায়। এই কাস্টম ক্লাসিফায়ার মডেল ARN তারপর ইনফারেন্স স্ট্যাক তৈরি করতে ব্যবহার করা হয়। মডেল প্রশিক্ষণ সম্পূর্ণ হলে, আপনি Amazon Comprehend কনসোলের সংস্করণ বিবরণ বিভাগে নেভিগেট করে বা Amazon Comprehend ব্যবহার করে কাস্টম ক্লাসিফায়ার মডেলের পারফরম্যান্স মেট্রিক্স দেখতে পারেন Boto3 SDK.

AWS CDK ইনফারেন্স স্ট্যাক স্থাপন করুন

এখন আপনি ইনফারেন্স স্ট্যাক স্থাপন করতে প্রস্তুত।

1. আপনার প্রাপ্ত ইমেল থেকে কাস্টম ক্লাসিফায়ার মডেল ARN অনুলিপি করুন এবং নিম্নলিখিতগুলি ব্যবহার করুন৷ cdk deploy অনুমান স্ট্যাক তৈরি করতে কমান্ড।

এই কমান্ডটি IAM অনুমোদনকারী দ্বারা সুরক্ষিত একটি API গেটওয়ে REST API স্থাপন করে, যা আপনি একটি AWS ব্যবহারকারী আইডি বা IAM ভূমিকার সাথে অনুমান করার জন্য ব্যবহার করেন যেটিতে শুধুমাত্র execute-api:Invoke IAM বিশেষাধিকার রয়েছে। নিম্নলিখিত cdk deploy কমান্ড ইনফারেন্স স্ট্যাক স্থাপন করে। এই স্ট্যাক AWS CDK ব্যবহার করে প্রদানকারী কাঠামো আমাজন কম্প্রেহেন্ড এন্ডপয়েন্টকে একটি কাস্টম রিসোর্স হিসেবে তৈরি করতে, যাতে সিডিকে ডিপ্লোয় এবং সিডিকে ডিস্ট্রো কমান্ড ব্যবহার করে ইনফারেন্স স্ট্যাক লাইফসাইকেলের অংশ হিসেবে অ্যামাজন কম্প্রেহেন্ড এন্ডপয়েন্ট তৈরি, মুছে ফেলা এবং আপডেট করা যায়।

কারণ মডেল প্রশিক্ষণ সম্পূর্ণ হওয়ার পরে আপনাকে নিম্নলিখিত কমান্ডটি চালাতে হবে, যা 10 ঘন্টা পর্যন্ত সময় নিতে পারে, নিশ্চিত করুন যে আপনি পাইথন ভার্চুয়াল পরিবেশে আছেন যা আপনি আগের ধাপে শুরু করেছেন এবং amazon-comprehend-custom-automate-classification-it-service-request ডিরেক্টরি:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=

উদাহরণ স্বরূপ:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=arn:aws:comprehend:us-east-2:111122223333:document-classifier/ComprehendCustomClassifier-11111111-2222-3333-4444-abc5d67e891f/version/v1

2. পরে cdk deploy কমান্ড সফলভাবে সম্পন্ন হয়, অনুলিপি করুন APIGWInferenceStack.ComprehendCustomClassfierInvokeAPI কনসোল আউটপুট থেকে মান, এবং এই REST API ব্যবহার করে একটি ক্লায়েন্ট মেশিন বা তৃতীয় পক্ষের অ্যাপ্লিকেশন থেকে অনুমান তৈরি করতে execute-api:Invoke আইএএম বিশেষাধিকার। আপনি যদি এই সমাধানটি us-east-2-এ চালান, তাহলে এই REST API-এর বিন্যাস হল https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1.

বিকল্পভাবে, আপনি পরীক্ষা ক্লায়েন্ট ব্যবহার করতে পারেন apiclientinvoke.py কাস্টম ক্লাসিফায়ার মডেলে একটি অনুরোধ পাঠাতে GitHub সংগ্রহস্থল থেকে। apiclientinvoke.py ব্যবহার করার আগে, নিশ্চিত করুন যে নিম্নলিখিত পূর্বশর্তগুলি রয়েছে:

• আপনার আছে boto3 এবং requests পাইথন প্যাকেজ ক্লায়েন্ট মেশিনে পিপ ব্যবহার করে ইনস্টল করা হয়েছে।
• আপনি Boto3 শংসাপত্র কনফিগার করেছেন৷ ডিফল্টরূপে, পরীক্ষা ক্লায়েন্ট অনুমান করে যে ডিফল্ট নামে একটি প্রোফাইল উপস্থিত রয়েছে এবং এতে রয়েছে execute-api:Invoke REST API-তে IAM বিশেষাধিকার।
• SigV4Auth সেই অঞ্চলের দিকে নির্দেশ করে যেখানে REST API স্থাপন করা হয়েছে। আপডেট করুন মূল্য us-east-2 in apiclientinvoke.py যদি আপনার REST API us-east-2 এ স্থাপন করা হয়।
• আপনি বরাদ্দ করেছেন raw_data আপনি যে পাঠ্যের উপর ক্লাসের পূর্বাভাস বা শ্রেণীবিভাগের অনুরোধ করতে চান তার সাথে পরিবর্তনশীল:

raw_data="""Spark is a unified analytics engine for large-scale data processing. It provides high-level APIs in Scala, Java, Python, and R, and an optimized engine that supports general computation graphs for data analysis."""

• আপনি বরাদ্দ করেছেন restapi REST API এর সাথে ভেরিয়েবল আগে কপি করা হয়েছে:

restapi="https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1"

3. চালান apiclientinvoke.py পূর্ববর্তী আপডেটের পরে:

$ python3 apiclientinvoke.py

আপনি কাস্টম ক্লাসিফায়ার মডেল থেকে নিম্নলিখিত প্রতিক্রিয়া পাবেন:

{
 "statusCode": 200,
 "body": [
	{
	 "Name": "SPARK",
	 "Score": 0.9999773502349854
	},
	{
	 "Name": "HIVE",
	 "Score": 1.1613215974648483e-05
	},
	{
	 "Name": "DROOLS",
	 "Score": 1.1110682862636168e-06
	}
   ]
}

Amazon Comprehend প্রতিটি লেবেলের জন্য আত্মবিশ্বাসের স্কোর প্রদান করে যা এটি সঠিকভাবে আরোপ করেছে। যদি পরিষেবাটি একটি লেবেল সম্পর্কে অত্যন্ত আত্মবিশ্বাসী হয়, তাহলে স্কোরটি 1-এর কাছাকাছি হবে। তাই, SEOSS ডেটাসেট ব্যবহার করে প্রশিক্ষণ দেওয়া Amazon Comprehend কাস্টম ক্লাসিফায়ার মডেলের জন্য, কাস্টম ক্লাসিফায়ার মডেল ভবিষ্যদ্বাণী করে যে পাঠ্যটি SPARK শ্রেণীর অন্তর্গত। Amazon Comprehend কাস্টম ক্লাসিফায়ার মডেল দ্বারা প্রত্যাবর্তিত এই শ্রেণীবিভাগটি তারপর IT পরিষেবার অনুরোধগুলিকে শ্রেণীবদ্ধ করতে বা IT পরিষেবার অনুরোধগুলির সঠিক বিভাগটি ভবিষ্যদ্বাণী করতে ব্যবহার করা যেতে পারে, যার ফলে ম্যানুয়াল ত্রুটিগুলি বা পরিষেবার অনুরোধগুলির ভুল শ্রেণীবিভাগ হ্রাস করা যায়৷

পরিষ্কার কর

প্রশিক্ষণ স্ট্যাক এবং ইনফারেন্স স্ট্যাকের অংশ হিসাবে তৈরি করা এই পোস্টে তৈরি সমস্ত সংস্থানগুলি পরিষ্কার করতে, নিম্নলিখিত কমান্ডটি ব্যবহার করুন। এই কমান্ডটি পূর্ববর্তী cdk ডিপ্লোয় কমান্ডের অংশ হিসাবে তৈরি সমস্ত AWS সংস্থান মুছে দেয়:

$ cdk destroy --all

উপসংহার

এই পোস্টে, আমরা আপনাকে দেখিয়েছি যে কীভাবে এন্টারপ্রাইজগুলি অ্যামাজন কম্প্রেহেন্ড কাস্টম শ্রেণীবিভাগ ব্যবহার করে একটি তত্ত্বাবধানে এমএল মডেল প্রয়োগ করতে পারে যেটি বিষয় বা শেষ-ব্যবহারকারীর দ্বারা জমা দেওয়া অনুরোধের বিবরণের উপর ভিত্তি করে আইটি পরিষেবার অনুরোধের বিভাগটি পূর্বাভাস দিতে পারে। আপনি একটি কাস্টম ক্লাসিফায়ার মডেল তৈরি এবং প্রশিক্ষণের পরে, আপনি একটি শেষ পয়েন্ট তৈরি করে কাস্টম শ্রেণিবিন্যাসের জন্য রিয়েল-টাইম বিশ্লেষণ চালাতে পারেন। আপনি এই মডেলটিকে একটি Amazon Comprehend এন্ডপয়েন্টে স্থাপন করার পরে, এটি আইটি পরিষেবা পরিচালনার সরঞ্জাম সহ তৃতীয় পক্ষের অ্যাপ্লিকেশন বা অন্যান্য ক্লায়েন্ট মেশিনের দ্বারা রিয়েল-টাইম ইনফারেন্স চালানোর জন্য ব্যবহার করা যেতে পারে। তারপরে আপনি ত্রুটি বিভাগের ভবিষ্যদ্বাণী করতে এবং ম্যানুয়াল ত্রুটি বা টিকিটের ভুল শ্রেণিবদ্ধকরণ কমাতে এই অনুমানটি ব্যবহার করতে পারেন। এটি টিকিটের রেজোলিউশনের বিলম্ব কমাতে সাহায্য করে এবং রেজোলিউশনের নির্ভুলতা এবং গ্রাহকের উত্পাদনশীলতা বাড়ায়, যা শেষ পর্যন্ত গ্রাহকের সন্তুষ্টি বৃদ্ধি করে।

আপনি এই পোস্টের ধারণাগুলিকে অন্যান্য ব্যবহারের ক্ষেত্রে প্রসারিত করতে পারেন, যেমন ব্যবসায়িক বিভাগ, গ্রাহক পরিষেবা এজেন্ট এবং টিয়ার 2/3 আইটি সমর্থনের মতো বিভিন্ন অভ্যন্তরীণ দলগুলিতে রাউটিং ব্যবসা বা আইটি টিকেট, শেষ ব্যবহারকারীদের দ্বারা বা স্বয়ংক্রিয় মাধ্যমে তৈরি করা মানে

তথ্যসূত্র

• রাথ, মাইকেল; Mäder, Patrick, 2019, "The SEOSS ডেটাসেট - প্রয়োজনীয়তা, বাগ রিপোর্ট, কোড ইতিহাস, এবং সমগ্র প্রকল্পগুলির জন্য ট্রেস লিঙ্ক", https://doi.org/10.7910/DVN/PDDZ4Q, হার্ভার্ড ডেটাভার্স, V1

লেখক সম্পর্কে

অর্ণব চক্রবর্তী সিনসিনাটি, ওহিওতে অবস্থিত AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি এন্টারপ্রাইজ এবং সলিউশন আর্কিটেকচার, ডেটা অ্যানালিটিক্স, সার্ভারলেস এবং মেশিন লার্নিং বিষয়ে আগ্রহী। অবসর সময়ে, তিনি সিনেমা, ভ্রমণ অনুষ্ঠান এবং খেলাধুলা দেখতে উপভোগ করেন।

ভাইরাল দেশাই AWS-এর একজন প্রধান সমাধান স্থপতি। তথ্য প্রযুক্তিতে 25 বছরেরও বেশি অভিজ্ঞতার সাথে, তিনি গ্রাহকদের AWS গ্রহণ করতে এবং তাদের স্থাপত্যকে আধুনিকীকরণ করতে সহায়তা করছেন। তিনি হাইকিং পছন্দ করেন এবং গ্রাহকদের সাথে AWS সব বিষয়ে গভীরভাবে ডাইভিং উপভোগ করেন।