"টেক্সট, অডিও, সোশ্যাল মিডিয়া এবং অন্যান্য অসংগঠিত উত্সগুলিতে লক করা ডেটা একটি প্রতিযোগিতামূলক সুবিধা হতে পারে যে সংস্থাগুলি এটি কীভাবে ব্যবহার করতে হয় তা নির্ধারণ করে"
শুধুমাত্র 18% প্রতিষ্ঠান ক Deloitte দ্বারা 2019 সমীক্ষা অসংগঠিত ডেটার সুবিধা নিতে সক্ষম বলে রিপোর্ট করা হয়েছে। বেশিরভাগ ডেটা, 80% থেকে 90% এর মধ্যে, অসংগঠিত ডেটা। এটি একটি বড় অব্যবহৃত সংস্থান যা ব্যবসাগুলিকে একটি প্রতিযোগিতামূলক প্রান্ত দেওয়ার সম্ভাবনা রাখে যদি তারা এটি কীভাবে ব্যবহার করতে পারে তা খুঁজে বের করতে পারে। এই ডেটা থেকে অন্তর্দৃষ্টি খুঁজে পাওয়া কঠিন হতে পারে, বিশেষ করে যদি এটিকে শ্রেণিবদ্ধ, ট্যাগ বা লেবেল করার জন্য প্রচেষ্টার প্রয়োজন হয়। অ্যামাজন সমঝোতা কাস্টম শ্রেণীবিভাগ এই পরিস্থিতিতে দরকারী হতে পারে। অ্যামাজন সমঝোতা একটি প্রাকৃতিক-ভাষা প্রক্রিয়াকরণ (NLP) পরিষেবা যা পাঠ্যের মধ্যে মূল্যবান অন্তর্দৃষ্টি এবং সংযোগগুলি উন্মোচন করতে মেশিন লার্নিং ব্যবহার করে৷
নথি শ্রেণীকরণ বা শ্রেণীবিভাগের ব্যবসায়িক ডোমেন জুড়ে উল্লেখযোগ্য সুবিধা রয়েছে -
- উন্নত অনুসন্ধান এবং পুনরুদ্ধার - প্রাসঙ্গিক বিষয় বা বিভাগে নথিগুলিকে শ্রেণিবদ্ধ করে, এটি ব্যবহারকারীদের জন্য তাদের প্রয়োজনীয় নথিগুলি অনুসন্ধান এবং পুনরুদ্ধার করা আরও সহজ করে তোলে৷ ফলাফল সংকুচিত করতে তারা নির্দিষ্ট বিভাগের মধ্যে অনুসন্ধান করতে পারে।
- জ্ঞান ব্যবস্থাপনা - একটি পদ্ধতিগত উপায়ে নথি শ্রেণীবদ্ধ করা একটি প্রতিষ্ঠানের জ্ঞান ভিত্তি সংগঠিত করতে সাহায্য করে। এটি প্রাসঙ্গিক তথ্য সনাক্ত করা এবং সম্পর্কিত বিষয়বস্তুর মধ্যে সংযোগ দেখতে সহজ করে তোলে।
- সুবিন্যস্ত কর্মপ্রবাহ - স্বয়ংক্রিয় ডকুমেন্ট বাছাই অনেক ব্যবসায়িক প্রক্রিয়া যেমন প্রসেসিং ইনভয়েস, কাস্টমার সাপোর্ট, বা নিয়ন্ত্রক সম্মতিতে সাহায্য করতে পারে। নথি স্বয়ংক্রিয়ভাবে সঠিক ব্যক্তি বা কর্মপ্রবাহের কাছে পাঠানো যেতে পারে।
- খরচ এবং সময় সাশ্রয় - ম্যানুয়াল নথি শ্রেণীকরণ ক্লান্তিকর, সময় সাপেক্ষ এবং ব্যয়বহুল। এআই কৌশলগুলি এই জাগতিক কাজটি গ্রহণ করতে পারে এবং অনেক কম খরচে অল্প সময়ের মধ্যে হাজার হাজার নথি শ্রেণীবদ্ধ করতে পারে।
- অন্তর্দৃষ্টি প্রজন্ম - নথি বিভাগে প্রবণতা বিশ্লেষণ দরকারী ব্যবসা অন্তর্দৃষ্টি প্রদান করতে পারে. উদাহরণস্বরূপ, একটি পণ্য বিভাগে গ্রাহকের অভিযোগের বৃদ্ধি এমন কিছু সমস্যাকে নির্দেশ করতে পারে যা সমাধান করা প্রয়োজন।
- শাসন এবং নীতি প্রয়োগ - নথি শ্রেণীকরণের নিয়মগুলি সেট আপ করা নিশ্চিত করতে সাহায্য করে যে নথিগুলি একটি সংস্থার নীতি এবং পরিচালনার মান অনুযায়ী সঠিকভাবে শ্রেণীবদ্ধ করা হয়েছে৷ এটি আরও ভাল পর্যবেক্ষণ এবং নিরীক্ষার জন্য অনুমতি দেয়।
- ব্যক্তিগতকৃত অভিজ্ঞতা – ওয়েবসাইটের বিষয়বস্তুর মতো প্রেক্ষাপটে, ডকুমেন্ট শ্রেণীকরণ ব্যবহারকারীদের তাদের আগ্রহ এবং পছন্দের ভিত্তিতে তাদের ব্রাউজিং আচরণ থেকে নির্ধারিত বিষয়বস্তু দেখানোর অনুমতি দেয়। এটি ব্যবহারকারীর ব্যস্ততা বাড়াতে পারে।
একটি বেসপোক ক্লাসিফিকেশন মেশিন লার্নিং মডেল তৈরির জটিলতা বিভিন্ন দিকের উপর নির্ভর করে যেমন ডেটার গুণমান, অ্যালগরিদম, স্কেলেবিলিটি এবং ডোমেন জ্ঞান, কয়েকটি উল্লেখ করার জন্য। একটি পরিষ্কার সমস্যা সংজ্ঞা, পরিষ্কার এবং প্রাসঙ্গিক ডেটা দিয়ে শুরু করা এবং ধীরে ধীরে মডেল বিকাশের বিভিন্ন পর্যায়ে কাজ করা অপরিহার্য। যাইহোক, ব্যবসাগুলি তাদের নিজস্ব অনন্য মেশিন লার্নিং মডেল তৈরি করতে পারে Amazon Comprehend কাস্টম শ্রেণীবিভাগ ব্যবহার করে স্বয়ংক্রিয়ভাবে টেক্সট নথিগুলিকে বিভাগ বা ট্যাগে শ্রেণীবদ্ধ করতে, ব্যবসার নির্দিষ্ট প্রয়োজনীয়তাগুলি পূরণ করতে এবং ব্যবসায়িক প্রযুক্তি এবং নথির বিভাগে মানচিত্র। যেহেতু মানুষের ট্যাগিং বা শ্রেণীকরণের আর প্রয়োজন নেই, এটি ব্যবসার অনেক সময়, অর্থ এবং শ্রম বাঁচাতে পারে। আমরা পুরো প্রশিক্ষণ পাইপলাইনটি স্বয়ংক্রিয়ভাবে এই প্রক্রিয়াটিকে সহজ করে দিয়েছি।
এই মাল্টি-সিরিজ ব্লগ পোস্টের প্রথম অংশে, আপনি শিখবেন কীভাবে একটি স্কেলযোগ্য প্রশিক্ষণ পাইপলাইন তৈরি করতে হয় এবং কাস্টম ক্লাসিফিকেশন মডেলগুলি বোঝার জন্য প্রশিক্ষণের ডেটা প্রস্তুত করতে হয়। আমরা একটি কাস্টম ক্লাসিফায়ার প্রশিক্ষণ পাইপলাইন প্রবর্তন করব যা আপনার AWS অ্যাকাউন্টে কয়েকটি ক্লিকে স্থাপন করা যেতে পারে। আমরা বিবিসি নিউজ ডেটাসেট ব্যবহার করছি, এবং একটি নথিভুক্ত শ্রেণী (যেমন রাজনীতি, খেলাধুলা) শনাক্ত করার জন্য একটি শ্রেণিবিন্যাসকারীকে প্রশিক্ষণ দেব। পাইপলাইনটি আপনার প্রতিষ্ঠানকে পরিবর্তনের প্রতি দ্রুত সাড়া দিতে এবং প্রতিবার স্ক্র্যাচ থেকে শুরু না করেই নতুন মডেলকে প্রশিক্ষণ দিতে সক্ষম করবে। আপনি সহজেই আপনার চাহিদার উপর ভিত্তি করে একাধিক মডেল স্কেল করতে এবং প্রশিক্ষণ দিতে পারেন।
পূর্বশর্ত
- একটি সক্রিয় AWS অ্যাকাউন্ট (ক্লিক করুন এখানে একটি নতুন AWS অ্যাকাউন্ট তৈরি করতে)
- Amazon Comprehend, Amazon S3, Amazon Lambda, Amazon Step Function, Amazon SNS, এবং Amazon CloudFormation-এ অ্যাক্সেস
- প্রশিক্ষণের তথ্য (আধা-কাঠামো বা পাঠ্য) নিম্নলিখিত বিভাগে প্রস্তুত করা হয়েছে
- সাধারণভাবে পাইথন এবং মেশিন লার্নিং সম্পর্কে প্রাথমিক জ্ঞান
প্রশিক্ষণ তথ্য প্রস্তুত
এই সমাধান উভয় হিসাবে ইনপুট নিতে পারে পাঠ্য বিন্যাস (উদাঃ CSV) বা আধা-গঠিত বিন্যাস (যেমন পিডিএফ)।
পাঠ্য ইনপুট
অ্যামাজন সমঝোতা কাস্টম শ্রেণীবিভাগ দুটি মোড সমর্থন করে: মাল্টি-ক্লাস এবং মাল্টি-লেবেল।
মাল্টি-ক্লাস মোডে, প্রতিটি নথিতে একটি এবং শুধুমাত্র একটি শ্রেণী থাকতে পারে। প্রশিক্ষণের ডেটা দুটি-কলামের CSV ফাইল হিসাবে প্রস্তুত করা উচিত ফাইলের প্রতিটি লাইনে একটি একক ক্লাস এবং একটি নথির পাঠ্য যা ক্লাস প্রদর্শন করে।
জন্য উদাহরণ বিবিসি নিউজ ডেটাসেট:
মাল্টি-লেবেল মোডে, প্রতিটি নথিতে কমপক্ষে একটি শ্রেণী বরাদ্দ থাকে, তবে আরও থাকতে পারে। প্রশিক্ষণের ডেটা একটি দুই-কলামের CSV ফাইল হিসাবে হওয়া উচিত, যা ফাইলের প্রতিটি লাইনে এক বা একাধিক ক্লাস এবং প্রশিক্ষণ নথির পাঠ্য রয়েছে। প্রতিটি শ্রেণীর মধ্যে একটি বিভাজন ব্যবহার করে একাধিক শ্রেণী নির্দেশ করা উচিত।
প্রশিক্ষণ মোডের যেকোনো একটির জন্য CSV ফাইলে কোনো শিরোনাম অন্তর্ভুক্ত করা উচিত নয়।
আধা-গঠিত ইনপুট
2023 সালে শুরু, অ্যামাজন সমঝোতা এখন আধা-কাঠামোগত নথি ব্যবহার করে প্রশিক্ষণ মডেল সমর্থন করে। সেমি-স্ট্রাকচার ইনপুটের প্রশিক্ষণ ডেটা লেবেলযুক্ত নথিগুলির একটি সেট নিয়ে গঠিত, যা আপনার ইতিমধ্যেই অ্যাক্সেস আছে এমন একটি নথি সংগ্রহস্থল থেকে প্রাক-শনাক্ত নথি হতে পারে। প্রশিক্ষণের জন্য প্রয়োজনীয় একটি টীকা ফাইল CSV ডেটার উদাহরণ নিচে দেওয়া হল (নমুনা তথ্য):
টীকা CSV ফাইলটিতে তিনটি কলাম রয়েছে: প্রথম কলামটিতে নথির লেবেল রয়েছে, দ্বিতীয় কলামটি নথির নাম (যেমন, ফাইলের নাম) এবং শেষ কলামটি হল নথির পৃষ্ঠা নম্বর যা আপনি অন্তর্ভুক্ত করতে চান প্রশিক্ষণ ডেটাসেট। বেশিরভাগ ক্ষেত্রে, যদি টীকা CSV ফাইলটি অন্য সমস্ত নথির সাথে একই ফোল্ডারে অবস্থিত থাকে, তাহলে আপনাকে শুধুমাত্র দ্বিতীয় কলামে নথির নাম উল্লেখ করতে হবে। যাইহোক, যদি CSV ফাইলটি একটি ভিন্ন অবস্থানে থাকে, তাহলে আপনাকে দ্বিতীয় কলামে অবস্থানের পথ নির্দিষ্ট করতে হবে, যেমন path/to/prefix/document1.pdf
.
বিস্তারিত জানার জন্য, আপনার প্রশিক্ষণের ডেটা কীভাবে প্রস্তুত করবেন, অনুগ্রহ করে দেখুন এখানে.
সমাধান ওভারভিউ
- অ্যামাজন সমঝোতা প্রশিক্ষণ পাইপলাইন শুরু হয় যখন প্রশিক্ষণ ডেটা (টেক্সট ইনপুটের জন্য .csv ফাইল এবং সেমি-স্ট্রাকচার ইনপুটের জন্য .csv ফাইল) একটি ডেডিকেটেড অ্যামাজন সিম্পল স্টোরেজ সার্ভিসে আপলোড করা হয় (আমাজন S3) বালতি।
- An এডাব্লুএস ল্যাম্বদা ফাংশন দ্বারা আহ্বান করা হয় আমাজন S3 এমনভাবে ট্রিগার করুন যে প্রতিবার একটি বস্তু নির্দিষ্ট করে আপলোড করা হয় আমাজন S3 অবস্থান, AWS Lambda ফাংশন সোর্স বাকেটের নাম এবং আপলোড করা বস্তুর মূল নাম পুনরুদ্ধার করে এবং প্রশিক্ষণে পাঠায় ধাপ ফাংশন কর্মধারা.
- ট্রেনিং স্টেপ ফাংশনে, ইনপুট প্যারামিটার হিসাবে ট্রেনিং ডাটা বাকেটের নাম এবং অবজেক্ট কী নাম পাওয়ার পর, একটি কাস্টম মডেল ট্রেনিং ওয়ার্কফ্লো কিক-অফ করে ল্যাম্বডাস ফাংশনগুলির একটি সিরিজ হিসাবে বর্ণনা করা হয়েছে:
StartComprehendTraining
: এই AWS Lambda ফাংশন একটি সংজ্ঞায়িত করেComprehendClassifier
অবজেক্ট ইনপুট ফাইলের প্রকারের উপর নির্ভর করে (যেমন, টেক্সট বা আধা-গঠিত) এবং তারপরে একটি কিক-অফ অ্যামাজন সমঝোতা কল করে কাস্টম শ্রেণীবিভাগ প্রশিক্ষণ টাস্ক তৈরি_দস্তাবেজ_শ্রেণীবিন্যাসকারী অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফ্যাক্ট (এপিআই), যা একটি প্রশিক্ষণ চাকরি প্রদান করে অ্যামাজন রিসোর্স নেমস (এআরএন)। পরবর্তীকালে, এই ফাংশন আহ্বান করে প্রশিক্ষণ কাজের অবস্থা পরীক্ষা করে describe_document_classifier API অবশেষে, এটি প্রশিক্ষণ কর্মপ্রবাহের পরবর্তী পর্যায়ে আউটপুট হিসাবে একটি প্রশিক্ষণ জব ARN এবং কাজের স্থিতি প্রদান করে।GetTrainingJobStatus
: এই AWS Lambda কল করে প্রতি 15 মিনিটে প্রশিক্ষণের চাকরির অবস্থা পরীক্ষা করে describe_document_classifier API, যতক্ষণ না প্রশিক্ষণের চাকরির স্থিতি সম্পূর্ণ বা ব্যর্থ হয়।GenerateMultiClass
orGenerateMultiLabel
: আপনি যদি নির্বাচন করেন হাঁ স্ট্যাক চালু করার সময় পারফরম্যান্স রিপোর্টের জন্য, এই দুটি AWS Lambdas-এর মধ্যে একটি আপনার Amazon Comprehend মডেলের আউটপুট অনুযায়ী বিশ্লেষণ চালাবে, যা প্রতি ক্লাস পারফরম্যান্স বিশ্লেষণ তৈরি করে এবং এটিকে সংরক্ষণ করে আমাজন S3.GenerateMultiClass
: আপনার ইনপুট হলে এই AWS Lambda বলা হবে মাল্টিক্লাস এবং আপনি নির্বাচন করুন হাঁ কর্মক্ষমতা প্রতিবেদনের জন্য।GenerateMultiLabel
: আপনার ইনপুট হলে এই AWS Lambda বলা হবে মাল্টিলেবেল এবং আপনি নির্বাচন করুন হাঁ কর্মক্ষমতা প্রতিবেদনের জন্য।
- একবার প্রশিক্ষণ সফলভাবে সম্পন্ন হলে, সমাধান নিম্নলিখিত আউটপুট তৈরি করে:
- কাস্টম ক্লাসিফিকেশন মডেল: একটি প্রশিক্ষিত মডেল ARN ভবিষ্যতের অনুমান কাজের জন্য আপনার অ্যাকাউন্টে উপলব্ধ হবে।
- বিভ্রান্তি ম্যাট্রিক্স [অপশনl]: একটি বিভ্রান্তি ম্যাট্রিক্স (
confusion_matrix
.json) ব্যবহারকারী সংজ্ঞায়িত আউটপুট পাওয়া যাবে আমাজন S3 পথ, ব্যবহারকারী নির্বাচনের উপর নির্ভর করে। - অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা বিজ্ঞপ্তি [অপশনl]: প্রাথমিক ব্যবহারকারী নির্বাচনের উপর নির্ভর করে গ্রাহকদের প্রশিক্ষণের চাকরির অবস্থা সম্পর্কে একটি বিজ্ঞপ্তি ইমেল পাঠানো হবে।
walkthrough
সমাধান চালু করা হচ্ছে
আপনার পাইপলাইন স্থাপন করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- বেছে নিন স্ট্যাক চালু করুন বোতাম:
- পরবর্তী চয়ন করুন
- আপনার ব্যবহারের ক্ষেত্রে উপযুক্ত বিকল্পগুলির সাথে পাইপলাইনের বিবরণ নির্দিষ্ট করুন:
প্রতিটি স্ট্যাকের বিস্তারিত তথ্য:
- স্ট্যাকের নাম (প্রয়োজনীয়) - এর জন্য আপনি যে নামটি উল্লেখ করেছেন এডাব্লুএস ক্লাউডফর্মেশন স্ট্যাক আপনি যে অঞ্চলে এটি তৈরি করছেন সেখানে নামটি অবশ্যই অনন্য হতে হবে৷
- Q01ClassifierInputBucketName (প্রয়োজনীয়) - আপনার ইনপুট ডেটা সঞ্চয় করার জন্য Amazon S3 বাকেটের নাম। এটি একটি বিশ্বব্যাপী অনন্য নাম হওয়া উচিত এবং AWS CloudFormation স্ট্যাক আপনাকে এটি চালু করার সময় বালতি তৈরি করতে সহায়তা করে৷
- Q02ClassifierOutputBucketName (প্রয়োজনীয়) - Amazon Comprehend এবং পাইপলাইন থেকে আউটপুট সঞ্চয় করার জন্য Amazon S3 বাকেটের নাম। এটি একটি বিশ্বব্যাপী অনন্য নাম হওয়া উচিত।
- Q03 ইনপুট ফরম্যাট - একটি ড্রপডাউন নির্বাচন, আপনি চয়ন করতে পারেন পাঠ (যদি আপনার প্রশিক্ষণের ডেটা csv ফাইল হয়) বা আধা-কাঠামো (যদি আপনার প্রশিক্ষণের ডেটা সেমি-স্ট্রাকচার হয় [যেমন, পিডিএফ ফাইল]) আপনার ডেটা ইনপুট ফর্ম্যাটের উপর ভিত্তি করে।
- Q04 ভাষা - একটি ড্রপডাউন নির্বাচন, সমর্থিত তালিকা থেকে নথির ভাষা নির্বাচন করে। অনুগ্রহ করে মনে রাখবেন, আপনার ইনপুট বিন্যাস আধা-কাঠামো হলে বর্তমানে শুধুমাত্র ইংরেজি সমর্থিত।
- Q05 মাল্টিক্লাস - একটি ড্রপডাউন নির্বাচন, নির্বাচন করুন হাঁ যদি আপনার ইনপুট মাল্টিক্লাস মোড হয়। অন্যথায়, নির্বাচন করুন না।.
- Q06 লেবেল ডেলিমিটার - শুধুমাত্র প্রয়োজন যদি আপনার Q05MultiClass উত্তর হয় না।. এই বিভেদকটি প্রতিটি ক্লাসকে আলাদা করতে আপনার প্রশিক্ষণের ডেটাতে ব্যবহার করা হয়।
- Q07ValidationDataset - একটি ড্রপডাউন নির্বাচন, উত্তর পরিবর্তন করুন হাঁ আপনি যদি আপনার নিজস্ব পরীক্ষার ডেটা দিয়ে প্রশিক্ষিত শ্রেণীবদ্ধকারীর কর্মক্ষমতা পরীক্ষা করতে চান।
- Q08S3ValidationPath - শুধুমাত্র প্রয়োজন যদি আপনার Q07ValidationDataset উত্তর হয় হাঁ.
- Q09 পারফরম্যান্স রিপোর্ট - একটি ড্রপডাউন নির্বাচন, নির্বাচন করুন হাঁ আপনি যদি ক্লাস-লেভেল পারফরম্যান্স রিপোর্ট তৈরি করতে চান মডেল প্রশিক্ষণের পরে। প্রতিবেদনটি Q02ClassifierOutputBucketName-এ আপনার নির্দিষ্ট আউটপুট বাকেটের মধ্যে সংরক্ষণ করা হবে।
- Q10ইমেল বিজ্ঞপ্তি - একটি ড্রপডাউন নির্বাচন। নির্বাচন করুন হাঁ আপনি মডেল প্রশিক্ষিত হওয়ার পরে বিজ্ঞপ্তি পেতে চান।
- প্রশ্ন 11 ইমেইল আইডি - পারফরম্যান্স রিপোর্ট বিজ্ঞপ্তি পাওয়ার জন্য বৈধ ইমেল ঠিকানা লিখুন। অনুগ্রহ করে মনে রাখবেন, AWS CloudFormation স্ট্যাক চালু হওয়ার পরে আপনাকে আপনার ইমেল থেকে সাবস্ক্রিপশন নিশ্চিত করতে হবে, প্রশিক্ষণ শেষ হলে বিজ্ঞপ্তি পাওয়ার আগে।
- অ্যামাজন কনফিগার স্ট্যাক বিকল্প বিভাগে, ঐচ্ছিক ট্যাগ, অনুমতি এবং অন্যান্য উন্নত সেটিংস যোগ করুন।
- বেছে নিন পরবর্তী
- স্ট্যাকের বিশদ বিবরণ পর্যালোচনা করুন এবং আমি যে স্বীকার করি নির্বাচন করুন এডাব্লুএস ক্লাউডফর্মেশন AWS তৈরি করতে পারে আমি সম্পদ।
- বেছে নিন জমা দিন. এটি আপনার AWS অ্যাকাউন্টে পাইপলাইন স্থাপনা শুরু করে।
- স্ট্যাক সফলভাবে স্থাপন করার পরে, তারপর আপনি পাইপলাইন ব্যবহার শুরু করতে পারেন। একটা তৈরি কর
/training-data
ইনপুট জন্য আপনার নির্দিষ্ট Amazon S3 অবস্থানের অধীনে ফোল্ডার. বিঃদ্রঃ: আমাজন S3 স্বয়ংক্রিয়ভাবে প্রতিটি নতুন বস্তুর জন্য সার্ভার-সাইড এনক্রিপশন (SSE-S3) প্রয়োগ করে যদি না আপনি একটি ভিন্ন এনক্রিপশন বিকল্প উল্লেখ করেন। দয়া করে পড়ুন Amazon S3 এ ডেটা সুরক্ষা তথ্য সুরক্ষা এবং এনক্রিপশন সম্পর্কে আরও বিশদ বিবরণের জন্য আমাজন S3.
- ফোল্ডারে আপনার প্রশিক্ষণ ডেটা আপলোড করুন। (যদি প্রশিক্ষণের ডেটা সেমি-স্ট্রাকচার হয়, তাহলে .csv ফর্ম্যাট লেবেল তথ্য আপলোড করার আগে সমস্ত পিডিএফ ফাইল আপলোড করুন)।
তুমি করেছ! আপনি সফলভাবে আপনার পাইপলাইন স্থাপন করেছেন এবং আপনি স্থাপন করা ধাপ ফাংশনে পাইপলাইনের স্থিতি পরীক্ষা করতে পারেন। (আপনার Amazon Comprehend কাস্টম ক্লাসিফিকেশন প্যানেলে একটি প্রশিক্ষিত মডেল থাকবে)।
যদি আপনি মডেল এবং ভিতরে তার সংস্করণ নির্বাচন করুন অ্যামাজন সমঝোতা কনসোল, তারপরে আপনি এখন যে মডেলটি প্রশিক্ষণ দিয়েছেন সে সম্পর্কে আরও বিশদ দেখতে পাবেন। এতে আপনার নির্বাচন করা মোড অন্তর্ভুক্ত রয়েছে, যেটি Q05MultiClass বিকল্প, লেবেলের সংখ্যা এবং আপনার প্রশিক্ষণ ডেটার মধ্যে প্রশিক্ষিত ও পরীক্ষা নথির সংখ্যার সাথে মিলে যায়। আপনি নীচের সামগ্রিক কর্মক্ষমতা পরীক্ষা করতে পারেন; যাইহোক, আপনি যদি প্রতিটি শ্রেণীর জন্য বিস্তারিত কর্মক্ষমতা পরীক্ষা করতে চান, তাহলে অনুগ্রহ করে নিয়োজিত পাইপলাইন দ্বারা তৈরি কর্মক্ষমতা প্রতিবেদনটি পড়ুন।
পরিষেবা কোটা
আপনার AWS অ্যাকাউন্টের জন্য ডিফল্ট কোটা আছে অ্যামাজন সমঝোতা এবং AmazonTextract, যদি ইনপুট আধা-কাঠামো বিন্যাসে হয়। পরিষেবা কোটা দেখতে, অনুগ্রহ করে দেখুন এখানে উন্নত অ্যামাজন সমঝোতা এবং এখানে উন্নত AmazonTextract.
পরিষ্কার কর
চলমান চার্জগুলি এড়াতে, আপনার কাজ শেষ হয়ে গেলে এই সমাধানের অংশ হিসাবে আপনার তৈরি সংস্থানগুলি মুছুন৷
- উপরে আমাজন S3 কনসোল, ইনপুট এবং আউটপুট ডেটার জন্য আপনার তৈরি করা বালতির ভিতরের বিষয়বস্তু ম্যানুয়ালি মুছে দিন।
- উপরে এডাব্লুএস ক্লাউডফর্মেশন কনসোল, নির্বাচন করুন স্ট্যাক নেভিগেশন ফলকে।
- প্রধান স্ট্যাক নির্বাচন করুন এবং নির্বাচন করুন মুছে ফেলা.
এটি স্বয়ংক্রিয়ভাবে স্থাপন করা স্ট্যাক মুছে দেয়।
- আপনার প্রশিক্ষিত অ্যামাজন সমঝোতা কাস্টম শ্রেণীবিভাগ মডেল আপনার অ্যাকাউন্টে থাকবে। যদি আপনার আর এটির প্রয়োজন না হয়, ইন অ্যামাজন সমঝোতা কনসোল, তৈরি মডেল মুছুন।
উপসংহার
এই পোস্টে, আমরা আপনাকে একটি পরিমাপযোগ্য প্রশিক্ষণ পাইপলাইনের ধারণা দেখিয়েছি অ্যামাজন সমঝোতা কাস্টম শ্রেণীবিভাগ মডেল এবং দক্ষতার সাথে নতুন মডেল প্রশিক্ষণ একটি স্বয়ংক্রিয় সমাধান প্রদান. দ্য এডাব্লুএস ক্লাউডফর্মেশন প্রদত্ত টেমপ্লেট অনায়াসে আপনার নিজস্ব পাঠ্য শ্রেণিবিন্যাস মডেল তৈরি করা সম্ভব করে তোলে, চাহিদা স্কেল পূরণ করে। সমাধানটি সাম্প্রতিক ঘোষিত ইউক্লিড বৈশিষ্ট্য গ্রহণ করে এবং পাঠ্য বা আধা-গঠিত বিন্যাসে ইনপুট গ্রহণ করে।
এখন, আমরা আপনাকে, আমাদের পাঠকদের, এই সরঞ্জামগুলি পরীক্ষা করার জন্য উত্সাহিত করি৷ আপনি সম্পর্কে আরো বিস্তারিত জানতে পারেন প্রশিক্ষণ তথ্য প্রস্তুতি এবং বুঝতে কাস্টম ক্লাসিফায়ার মেট্রিক্স. এটি ব্যবহার করে দেখুন এবং দেখুন কিভাবে এটি আপনার মডেল প্রশিক্ষণ প্রক্রিয়াকে প্রবাহিত করতে পারে এবং দক্ষতা বাড়াতে পারে। আমাদের আপনার প্রতিক্রিয়া শেয়ার করুন!
লেখক সম্পর্কে
সন্দীপ সিং AWS প্রফেশনাল সার্ভিসেসের একজন সিনিয়র ডেটা সায়েন্টিস্ট। তিনি অত্যাধুনিক AI/ML চালিত সমাধানগুলি বিকাশের মাধ্যমে গ্রাহকদের উদ্ভাবন এবং তাদের ব্যবসায়িক উদ্দেশ্যগুলি অর্জনে সহায়তা করার বিষয়ে উত্সাহী৷ তিনি বর্তমানে জেনারেটিভ এআই, এলএলএম, প্রম্পট ইঞ্জিনিয়ারিং এবং এন্টারপ্রাইজ জুড়ে মেশিন লার্নিং স্কেলিং এর উপর দৃষ্টি নিবদ্ধ করছেন। গ্রাহকদের জন্য মান তৈরি করতে তিনি সাম্প্রতিক এআই অগ্রগতি নিয়ে এসেছেন।
ইয়ানিয়ান ঝাং AWS প্রফেশনাল সার্ভিসের সাথে এনার্জি ডেলিভারি টিমের একজন সিনিয়র ডেটা সায়েন্টিস্ট। তিনি গ্রাহকদের এআই/এমএল জ্ঞানের সাথে প্রকৃত সমস্যা সমাধানে সহায়তা করার বিষয়ে উত্সাহী। সম্প্রতি, তার ফোকাস জেনারেটিভ এআই এবং এলএলএম-এর সম্ভাব্যতা অন্বেষণের দিকে রয়েছে। কাজের বাইরে, তিনি ভ্রমণ, কাজ এবং নতুন জিনিস অন্বেষণ ভালবাসেন.
রিক তালুকদার আমাজন কম্প্রেহেন্ড সার্ভিস টিমের একজন সিনিয়র আর্কিটেক্ট। তিনি এডব্লিউএস গ্রাহকদের সাথে কাজ করেন যাতে তারা বড় আকারে মেশিন লার্নিং গ্রহণ করে। কাজের বাইরে, তিনি পড়া এবং ফটোগ্রাফি উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- চার্টপ্রাইম। ChartPrime এর সাথে আপনার ট্রেডিং গেমটি উন্নত করুন। এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/build-a-classification-pipeline-with-amazon-comprehend-custom-classification-part-i/
- : আছে
- : হয়
- $ ইউপি
- 1
- 100
- 11
- 15%
- 2023
- 24
- 26%
- 7
- 9
- a
- সক্ষম
- সম্পর্কে
- গ্রহণ
- প্রবেশ
- অনুযায়ী
- হিসাব
- অর্জন করা
- স্বীকার করা
- দিয়ে
- সক্রিয়
- যোগ
- ঠিকানা
- উদ্দেশ্য
- পোষ্যপুত্র গ্রহণ করা
- অগ্রসর
- উন্নয়নের
- সুবিধা
- পর
- AI
- এআই / এমএল
- অ্যালগরিদম
- সব
- অনুমতি
- ইতিমধ্যে
- এছাড়াও
- মর্দানী স্ত্রীলোক
- অ্যামাজন সমঝোতা
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষণ
- বিশ্লেষণ
- এবং
- ঘোষিত
- উত্তর
- আর
- API
- আবেদন
- প্রযোজ্য
- রয়েছি
- AS
- আ
- নির্ধারিত
- At
- অডিও
- নিরীক্ষণ
- অটোমেটেড
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়করণ
- সহজলভ্য
- এড়াতে
- দূরে
- ডেস্কটপ AWS
- এডাব্লুএস ক্লাউডফর্মেশন
- এডাব্লুএস ল্যাম্বদা
- AWS প্রফেশনাল সার্ভিসেস
- ভিত্তি
- ভিত্তি
- বিবিসি
- BE
- হয়েছে
- আগে
- আচরণ
- হচ্ছে
- জন্যে
- নিচে
- সুবিধা
- ফরমাশী
- উত্তম
- মধ্যে
- বিশাল
- ব্লগ
- আনে
- ব্রাউজিং
- নির্মাণ করা
- ব্যবসায়
- ব্যবসা
- কিন্তু
- বোতাম
- by
- নামক
- কলিং
- CAN
- কেস
- মামলা
- বিভাগ
- শ্রেণীকরণ
- বিভাগ
- পরিবর্তন
- পরিবর্তন
- চার্জ
- চেক
- চেক
- বেছে নিন
- নির্বাচন
- শ্রেণী
- ক্লাস
- শ্রেণীবিন্যাস
- শ্রেণীবদ্ধ
- শ্রেণীভুক্ত করা
- পরিষ্কার
- ক্লিক
- সংগ্রহ করা
- স্তম্ভ
- কলাম
- প্রতিযোগিতামূলক
- অভিযোগ
- সম্পূর্ণ
- সম্পন্ন হয়েছে
- জটিলতা
- সম্মতি
- বোঝা
- গঠিত
- ধারণা
- নিশ্চিত করা
- বিশৃঙ্খলা
- সংযোগ
- কনসোল
- ধারণ
- বিষয়বস্তু
- সুখী
- প্রসঙ্গ
- অনুরূপ
- মূল্য
- পারা
- সৃষ্টি
- মান তৈরি করুন
- নির্মিত
- তৈরি করা হচ্ছে
- এখন
- প্রথা
- ক্রেতা
- গ্রাহক সমর্থন
- গ্রাহকদের
- উপাত্ত
- তথ্য সুরক্ষা
- তথ্য বিজ্ঞানী
- নিবেদিত
- ডিফল্ট
- সংজ্ঞায়িত
- সংজ্ঞায়িত
- সংজ্ঞা
- বিলি
- ডেলোইট
- চাহিদা
- প্রমান
- নির্ভর করে
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- বর্ণিত
- বিস্তারিত
- বিশদ
- বিস্তারিত
- নির্ধারিত
- উন্নয়নশীল
- উন্নয়ন
- বিভিন্ন
- কঠিন
- দলিল
- কাগজপত্র
- ডলার
- ডোমেইন
- ডোমেইনের
- সম্পন্ন
- Dont
- নিচে
- e
- প্রতি
- সহজ
- সহজে
- প্রান্ত
- দক্ষতা
- দক্ষতার
- অনায়াসে
- প্রচেষ্টা
- পারেন
- ইমেইল
- সক্ষম করা
- উত্সাহিত করা
- এনক্রিপশন
- শক্তি
- প্রবৃত্তি
- প্রকৌশল
- ইংরেজি
- উন্নত করা
- নিশ্চিত করা
- প্রবেশ করান
- উদ্যোগ
- অপরিহার্য
- ইউরোপ
- প্রতি
- উদাহরণ
- ব্যয়বহুল
- এক্সপ্লোরিং
- ব্যর্থ
- বৈশিষ্ট্য
- প্রতিক্রিয়া
- কয়েক
- ব্যক্তিত্ব
- ফাইল
- নথি পত্র
- পরিশেষে
- আবিষ্কার
- সংস্থাগুলো
- প্রথম
- মানানসই
- কেন্দ্রবিন্দু
- দৃষ্টি নিবদ্ধ করা
- অনুসরণ
- জন্য
- বিন্যাস
- থেকে
- ক্রিয়া
- ক্রিয়াকলাপ
- ভবিষ্যৎ
- উত্পাদন করা
- উত্পন্ন
- উত্পন্ন
- সৃজক
- জেনারেটিভ এআই
- দাও
- বিশ্বব্যাপী
- শাসন
- ধীরে ধীরে
- আছে
- জমিদারি
- he
- সাহায্য
- সাহায্য
- সাহায্য
- তার
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTPS দ্বারা
- মানবীয়
- i
- সনাক্ত করা
- if
- in
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- অন্তর্ভুক্ত
- বৃদ্ধি
- জ্ঞাপিত
- তথ্য
- প্রারম্ভিক
- initiates
- পরিবর্তন করা
- ইনপুট
- ইনপুট
- ভিতরে
- অর্ন্তদৃষ্টি
- মধ্যে রয়েছে
- মধ্যে
- প্রবর্তন করা
- প্রার্থনা
- সমস্যা
- IT
- এর
- কাজ
- JPG
- JSON
- মাত্র
- চাবি
- জ্ঞান
- লেবেল
- লেবেলগুলি
- শ্রম
- ভাষা
- বড়
- গত
- চালু
- চালু করা
- শিখতে
- শিক্ষা
- অন্তত
- মত
- লাইন
- তালিকা
- LLM
- অবস্থিত
- অবস্থান
- লক
- আর
- অনেক
- ভালবাসে
- নিম্ন
- মেশিন
- মেশিন লার্নিং
- প্রণীত
- প্রধান
- সংখ্যাগুরু
- তৈরি করে
- ম্যানুয়াল
- ম্যানুয়ালি
- অনেক
- মানচিত্র
- জরায়ু
- মে..
- মিডিয়া
- সম্মেলন
- হতে পারে
- মিনিট
- মোড
- মডেল
- মডেল
- মোড
- টাকা
- পর্যবেক্ষণ
- অধিক
- সেতু
- পর্বত
- অনেক
- বহু
- অবশ্যই
- নাম
- নাম
- সংকীর্ণ
- ন্যাভিগেশন
- প্রয়োজনীয়
- প্রয়োজন
- প্রয়োজন
- নতুন
- সংবাদ
- পরবর্তী
- NLP
- না।
- প্রজ্ঞাপন
- এখন
- সংখ্যা
- লক্ষ্য
- উদ্দেশ্য
- of
- on
- ONE
- নিরন্তর
- কেবল
- পছন্দ
- অপশন সমূহ
- or
- সংগঠন
- সংগঠন
- অন্যান্য
- অন্যভাবে
- আমাদের
- বাইরে
- আউটপুট
- বাহিরে
- শেষ
- সামগ্রিক
- নিজের
- পৃষ্ঠা
- শার্সি
- প্যানেল
- পরামিতি
- অংশ
- বিশেষত
- পাস
- কামুক
- পথ
- পিডিএফ
- সম্প্রদায়
- প্রতি
- কর্মক্ষমতা
- অনুমতি
- ফটোগ্রাফি
- পাইপলাইন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- নীতি
- নীতি
- রাজনীতি
- সম্ভব
- পোস্ট
- সম্ভাব্য
- চালিত
- পছন্দগুলি
- প্রস্তুত করা
- প্রস্তুত
- সমস্যা
- সমস্যা
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- পণ্য
- পেশাদারী
- প্রোগ্রামিং
- রক্ষা
- প্রদান
- প্রদত্ত
- প্রদানের
- পাইথন
- গুণ
- দ্রুত
- পাঠকদের
- পড়া
- বাস্তব
- গ্রহণ করা
- গ্রহণ
- সাম্প্রতিক
- সম্প্রতি
- পড়ুন
- এলাকা
- নিয়ন্ত্রক
- রেগুলেটরি সম্মতি
- সংশ্লিষ্ট
- প্রাসঙ্গিক
- থাকা
- রিপোর্ট
- রিপোর্ট
- সংগ্রহস্থলের
- প্রয়োজনীয়
- আবশ্যকতা
- সংস্থান
- Resources
- প্রতিক্রিয়া
- ফলাফল
- আয়
- অধিকার
- নিয়ম
- চালান
- একই
- সংরক্ষণ করুন
- সংরক্ষিত
- স্কেলেবিলিটি
- মাপযোগ্য
- স্কেল
- দাঁড়িপাল্লা
- আরোহী
- বিজ্ঞানী
- আঁচড়ের দাগ
- সার্চ
- দ্বিতীয়
- অধ্যায়
- দেখ
- নির্বাচন
- জ্যেষ্ঠ
- প্রেরিত
- আলাদা
- ক্রম
- সেবা
- সেবা
- সেট
- বিন্যাস
- সেটিংস
- শেয়ার
- সে
- সংক্ষিপ্ত
- উচিত
- দেখিয়েছেন
- প্রদর্শিত
- গুরুত্বপূর্ণ
- ইঙ্গিত করা
- সহজ
- একক
- অবস্থা
- সামাজিক
- সামাজিক মাধ্যম
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- উৎস
- সোর্স
- নির্দিষ্ট
- নিদিষ্ট
- বিজ্ঞাপন
- গাদা
- পর্যায়
- ইন্টার্নশিপ
- মান
- শুরু
- শুরু
- রাষ্ট্র-এর-শিল্প
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- দোকান
- স্ট্রিমলাইন
- গ্রাহক
- চাঁদা
- পরবর্তীকালে
- সফলভাবে
- এমন
- সমর্থন
- সমর্থিত
- সমর্থন
- জরিপ
- TAG
- উপযোগী
- গ্রহণ করা
- কার্য
- টীম
- প্রযুক্তি
- প্রযুক্তি
- প্রযুক্তিঃ
- টেমপ্লেট
- পরীক্ষা
- পাঠ
- পাঠ্য শ্রেণিবিন্যাস
- চেয়ে
- যে
- সার্জারির
- উৎস
- তাদের
- তাহাদিগকে
- তারপর
- এইগুলো
- তারা
- কিছু
- এই
- হাজার হাজার
- তিন
- দ্বারা
- সময়
- সময় অপগিত হয় এমন
- থেকে
- সরঞ্জাম
- টপিক
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- ভ্রমণ
- প্রবণতা
- ট্রিগার
- চেষ্টা
- দুই
- আদর্শ
- উন্মোচন
- অধীনে
- বোঝা
- অনন্য
- untapped
- পর্যন্ত
- আপলোড করা
- আপলোড
- us
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- দামি
- মূল্য
- বৈচিত্র্য
- সংস্করণ
- চেক
- প্রয়োজন
- উপায়..
- we
- ওয়েব
- ওয়েব সার্ভিস
- ওয়েবসাইট
- কখন
- যে
- যখন
- সমগ্র
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কর্মপ্রবাহ
- কর্মপ্রবাহ
- কাজ
- কাজের বাইরে
- কাজ
- আপনি
- আপনার
- zephyrnet
- ফ্যাস্ শব্দ