Amazon SageMaker Clarify ব্যবহার করে টেক্সট ক্লাসিফিকেশন মডেল ভবিষ্যদ্বাণী ব্যাখ্যা করুন

মডেল ব্যাখ্যাযোগ্যতা একটি মেশিন লার্নিং (এমএল) মডেলের ভবিষ্যদ্বাণীকে মানুষেরভাবে বোধগম্য পদে একটি উদাহরণের ইনপুট বৈশিষ্ট্য মানগুলির সাথে সম্পর্কিত করার প্রক্রিয়াকে বোঝায়। এই ক্ষেত্র প্রায়ই হিসাবে উল্লেখ করা হয় ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা (XAI)। আমাজন সেজমেকার স্পষ্ট করুন এর একটি বৈশিষ্ট্য আমাজন সেজমেকার যা ডেটা বিজ্ঞানী এবং এমএল ইঞ্জিনিয়ারদের তাদের এমএল মডেলের ভবিষ্যদ্বাণী ব্যাখ্যা করতে সক্ষম করে। এটি মডেল অজ্ঞেয়বাদী পদ্ধতি ব্যবহার করে শালীনভাবে সংযোজিত ব্যাখ্যা বৈশিষ্ট্য বৈশিষ্ট্যের জন্য (SHAP)। ট্যাবুলার ডেটার জন্য ব্যাখ্যা সমর্থন করার পাশাপাশি, ক্ল্যারিফাই একই SHAP অ্যালগরিদম ব্যবহার করে কম্পিউটার দৃষ্টি (CV) এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) উভয়ের জন্য ব্যাখ্যাযোগ্যতা সমর্থন করে।

এই পোস্টে, আমরা এনএলপি মডেল ব্যাখ্যা করার জন্য ক্ল্যারিফাই এর ব্যবহার চিত্রিত করি। বিশেষভাবে, আমরা দেখাই যে আপনি কীভাবে একটি পাঠ্য শ্রেণিবিন্যাসের মডেলের ভবিষ্যদ্বাণী ব্যাখ্যা করতে পারেন যা ব্যবহার করে প্রশিক্ষণ দেওয়া হয়েছে সেজমেকার ব্লেজিং টেক্সট অ্যালগরিদম এটি আপনাকে বুঝতে সাহায্য করে যে পাঠ্যের কোন অংশ বা শব্দগুলি মডেল দ্বারা তৈরি ভবিষ্যদ্বাণীগুলির জন্য সবচেয়ে গুরুত্বপূর্ণ। অন্যান্য বিষয়গুলির মধ্যে, এই পর্যবেক্ষণগুলি তারপরে ডেটা অধিগ্রহণের মতো বিভিন্ন প্রক্রিয়াগুলিকে উন্নত করতে ব্যবহার করা যেতে পারে যা ডেটাসেটের পক্ষপাত হ্রাস করে এবং মডেলগুলি যে উদ্দেশ্য অনুসারে কাজ করছে তা নিশ্চিত করতে এবং মডেলটি মোতায়েন করা হলে সমস্ত স্টেকহোল্ডারদের সাথে আস্থা অর্জন করে৷ অনুভূতি বিশ্লেষণ, আইনি পর্যালোচনা, চিকিৎসা নির্ণয় এবং আরও অনেক কিছুর মতো অ্যাপ্লিকেশন ডোমেনে এটি একটি মূল প্রয়োজনীয়তা হতে পারে।

আমরা একটি সাধারণ ডিজাইন প্যাটার্নও প্রদান করি যা আপনি যেকোনওটির সাথে Clarify ব্যবহার করার সময় ব্যবহার করতে পারেন সেজমেকার অ্যালগরিদম.

সমাধান ওভারভিউ

সেজমেকার অ্যালগরিদমগুলিতে নির্দিষ্ট ইনপুট এবং আউটপুট ডেটা ফর্ম্যাট রয়েছে। উদাহরণস্বরূপ, BlazingText অ্যালগরিদম কন্টেইনার JSON ফর্ম্যাটে ইনপুট গ্রহণ করে। কিন্তু গ্রাহকদের প্রায়ই নির্দিষ্ট ফরম্যাটের প্রয়োজন হয় যা তাদের ডেটা পাইপলাইনের সাথে সামঞ্জস্যপূর্ণ। আমরা কয়েকটি বিকল্প উপস্থাপন করি যা আপনি স্পষ্ট ব্যবহার করতে অনুসরণ করতে পারেন।

অপশন A

এই বিকল্পে, আমরা সেজমেকার হোস্টিংয়ের অনুমান পাইপলাইন বৈশিষ্ট্যটি ব্যবহার করি। একটি অনুমান পাইপলাইন হল একটি সেজমেকার মডেল যা অনুমান অনুরোধগুলি প্রক্রিয়া করে এমন কন্টেইনারগুলির একটি ক্রম গঠন করে। নিম্নলিখিত চিত্রটি একটি উদাহরণ তুলে ধরে।

আপনি বিভিন্ন পাত্রে প্যাকেজ করা আপনার নিজস্ব কাস্টম মডেল এবং সেজমেকার বিল্ট-ইন অ্যালগরিদমগুলির সংমিশ্রণ স্থাপন করতে অনুমান পাইপলাইনগুলি ব্যবহার করতে পারেন। আরো তথ্যের জন্য, পড়ুন একটি শেষ পয়েন্টের পিছনে সিরিয়াল ইনফরেন্স পাইপলাইন হিসাবে প্রাক-প্রক্রিয়াকরণ যুক্তি সহ হোস্টিং মডেল. যেহেতু Clarify শুধুমাত্র CSV এবং JSON লাইনগুলিকে ইনপুট হিসাবে সমর্থন করে, তাই আপনাকে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করতে হবে:

1. CSV (বা JSON লাইন) থেকে JSON-এ ডেটা রূপান্তর করতে একটি মডেল এবং একটি ধারক তৈরি করুন।
2. সরাসরি BlazingText অ্যালগরিদম সহ মডেল প্রশিক্ষণ ধাপের পর মডেল স্থাপন. এটি BlazingText ধারক ব্যবহার করে মডেলটি স্থাপন করবে, যা JSON কে ইনপুট হিসাবে গ্রহণ করে। একটি ভিন্ন অ্যালগরিদম ব্যবহার করার সময়, SageMaker সেই অ্যালগরিদমের ধারকটি ব্যবহার করে মডেল তৈরি করে।
3. একটি তৈরি করতে পূর্ববর্তী দুটি মডেল ব্যবহার করুন পাইপলাইন মডেল. এটি একটি রৈখিক ক্রমানুসারে দুটি মডেলকে চেইন করে এবং একটি একক মডেল তৈরি করে। একটি উদাহরণের জন্য, পড়ুন স্কিট-লার্ন এবং লিনিয়ার লার্নারের সাথে ইনফারেন্স পাইপলাইন.

এই সমাধানের সাথে, আমরা সফলভাবে একটি একক মডেল তৈরি করেছি যার ইনপুট স্পষ্টতার সাথে সামঞ্জস্যপূর্ণ এবং ব্যাখ্যা তৈরি করতে এটি ব্যবহার করা যেতে পারে।

বিকল্প বি

এই বিকল্পটি দেখায় কিভাবে আপনি SageMaker মডেল হোস্ট করার জন্য আপনার নিজস্ব কন্টেইনার এনে Clarify এবং SageMaker অ্যালগরিদমের মধ্যে বিভিন্ন ডেটা ফরম্যাটের ব্যবহারকে একীভূত করতে পারেন। নিম্নলিখিত চিত্রটি আর্কিটেকচার এবং সমাধানের সাথে জড়িত পদক্ষেপগুলিকে চিত্রিত করে:

নিম্নরূপ পদক্ষেপ:

1. একটি পাঠ্য শ্রেণিবিন্যাস মডেল প্রশিক্ষণের জন্য SageMaker এস্টিমেটরের মাধ্যমে BlazingText অ্যালগরিদম ব্যবহার করুন।
2. মডেল প্রশিক্ষিত হওয়ার পরে, একটি কাস্টম ডকার কন্টেইনার তৈরি করুন যা একটি সেজমেকার মডেল তৈরি করতে ব্যবহার করা যেতে পারে এবং বিকল্পভাবে মডেলটিকে সেজমেকার মডেল এন্ডপয়েন্ট হিসাবে স্থাপন করতে পারে।
3. একটি ব্যাখ্যাযোগ্যতা প্রতিবেদন তৈরি করার জন্য হোস্টিং কন্টেইনার ব্যবহার করার জন্য একটি স্পষ্ট কাজ কনফিগার করুন এবং তৈরি করুন।
4. কাস্টম ধারক একটি CSV হিসাবে অনুমান অনুরোধ গ্রহণ করে এবং ব্যাখ্যা তৈরি করতে স্পষ্টীকরণ সক্ষম করে৷

এটি লক্ষ করা উচিত যে এই সমাধানটি একটি BlazingText মডেলের জন্য Clarify ব্যবহার করে অফলাইন ব্যাখ্যা পাওয়ার ধারণাটি প্রদর্শন করে। অনলাইন ব্যাখ্যাযোগ্যতা সম্পর্কে আরও তথ্যের জন্য, পড়ুন সেজমেকার ক্ল্যারিফাইয়ের সাথে অনলাইন ব্যাখ্যাযোগ্যতা.

এই পোস্টের বাকি অংশটি দ্বিতীয় বিকল্পের প্রতিটি ধাপের ব্যাখ্যা করে।

একটি BlazingText মডেল প্রশিক্ষণ

আমরা প্রথমে BlazingText অ্যালগরিদম ব্যবহার করে একটি পাঠ্য শ্রেণিবিন্যাস মডেলকে প্রশিক্ষণ দিই। এই উদাহরণে, আমরা ব্যবহার করি ডিবিপিডিয়া অন্টোলজি ডেটাসেট. ডিবিপিডিয়া হল উইকিপিডিয়ার মতো বিভিন্ন উইকিমিডিয়া প্রকল্প থেকে তথ্য ব্যবহার করে কাঠামোগত বিষয়বস্তু বের করার জন্য একটি ভিড়-সোর্স উদ্যোগ। বিশেষত, আমরা DBpedia অন্টোলজি ডেটাসেট ব্যবহার করি যা তৈরি করা হয়েছে জাং এট আল. এটি ডিবিপিডিয়া 14 থেকে 2014টি নন-ওভারল্যাপিং ক্লাস নির্বাচন করে তৈরি করা হয়েছে। ক্ষেত্রগুলিতে উইকিপিডিয়া নিবন্ধের একটি বিমূর্ত এবং সংশ্লিষ্ট ক্লাস রয়েছে। একটি পাঠ্য শ্রেণিবিন্যাস মডেলের লক্ষ্য হল বিমূর্ত দেওয়া একটি নিবন্ধের শ্রেণির ভবিষ্যদ্বাণী করা।

মডেল প্রশিক্ষণের জন্য একটি বিস্তারিত ধাপে ধাপে প্রক্রিয়া নিম্নলিখিত পাওয়া যায় নোটবই. আপনি মডেল প্রশিক্ষণের পরে, নোট করুন আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) URI পাথ যেখানে মডেল আর্টিফ্যাক্ট সংরক্ষণ করা হয়। একটি ধাপে ধাপে গাইডের জন্য, পড়ুন SageMaker BlazingText ব্যবহার করে পাঠ্য শ্রেণিবিন্যাস.

SageMaker-এ আপনার নিজস্ব ধারক ব্যবহার করে প্রশিক্ষিত BlazingText মডেল স্থাপন করুন

স্পষ্ট করার সাথে, মডেলের তথ্য প্রদানের জন্য দুটি বিকল্প রয়েছে:

• একটি শেষবিন্দুতে স্থাপন না করে একটি SageMaker মডেল তৈরি করুন৷ - যখন একটি SageMaker মডেল স্পষ্ট করার জন্য প্রদান করা হয়, এটি মডেল ব্যবহার করে একটি ক্ষণস্থায়ী শেষ বিন্দু তৈরি করে।
• একটি SageMaker মডেল তৈরি করুন এবং এটি একটি শেষ পয়েন্টে স্থাপন করুন - যখন একটি এন্ডপয়েন্ট স্পষ্ট করার জন্য উপলব্ধ করা হয়, তখন এটি ব্যাখ্যা পাওয়ার জন্য এন্ডপয়েন্ট ব্যবহার করে। এটি একটি ক্ষণস্থায়ী এন্ডপয়েন্ট তৈরি এড়ায় এবং একটি স্পষ্ট কাজের রানটাইম কমাতে পারে।

এই পোস্টে, আমরা স্পষ্ট করার সাথে প্রথম বিকল্পটি ব্যবহার করি। আমরা ব্যবহার করি সেজমেকার পাইথন এসডিকে এই উদ্দেশ্যে. অন্যান্য বিকল্প এবং আরও বিশদ বিবরণের জন্য, পড়ুন আপনার এন্ডপয়েন্ট তৈরি করুন এবং আপনার মডেল স্থাপন করুন.

আপনার নিজের ধারক (BYOC) আনুন

আমরা প্রথমে একটি কাস্টম ডকার ইমেজ তৈরি করি যা তৈরি করতে ব্যবহৃত হয় সেজমেকার মডেল. আপনি ফাইল এবং কোড ব্যবহার করতে পারেন উৎস ডিরেক্টরি আমাদের GitHub সংগ্রহস্থলের।

ডকারফাইল আমরা যে ছবিটি তৈরি করতে চাই তা বর্ণনা করে। আমরা একটি আদর্শ উবুন্টু ইনস্টলেশন দিয়ে শুরু করি এবং তারপর Scikit-learn ইনস্টল করি। আমরাও ক্লোন করি দ্রুত পাঠ্য এবং প্যাকেজ ইনস্টল করুন। এটি ভবিষ্যদ্বাণী করার জন্য BlazingText মডেল লোড করতে ব্যবহৃত হয়। অবশেষে, আমরা কোড যোগ করি যা পূর্ববর্তী ফাইলগুলির আকারে আমাদের অ্যালগরিদম প্রয়োগ করে এবং কন্টেইনারে পরিবেশ সেট আপ করি। সমগ্র Dockerfile আমাদের সংগ্রহস্থলে সরবরাহ করা হয়েছে এবং আপনি এটি যেমন আছে তেমন ব্যবহার করতে পারেন। নির্দেশ করে হোস্টিং পরিষেবার সাথে আপনার নিজস্ব ইনফারেন্স কোড ব্যবহার করুন সেজমেকার কীভাবে আপনার ডকার কন্টেইনার এবং এর প্রয়োজনীয়তার সাথে ইন্টারঅ্যাক্ট করে সে সম্পর্কে আরও বিশদ বিবরণের জন্য।

তদ্ব্যতীত, predictor.py মডেল লোড করার এবং ভবিষ্যদ্বাণী করার জন্য কোড রয়েছে। এটি একটি CSV হিসাবে ইনপুট ডেটা গ্রহণ করে, যা এটিকে স্পষ্ট করার সাথে সামঞ্জস্যপূর্ণ করে তোলে।

আপনার ডকারফাইল থাকার পরে, ডকার কন্টেইনার তৈরি করুন এবং এটি আপলোড করুন অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (আমাজন ইসিআর)। আপনি একটি আকারে ধাপে ধাপে প্রক্রিয়া খুঁজে পেতে পারেন শেল স্ক্রিপ্ট আমাদের GitHub সংগ্রহস্থলে, যা আপনি Amazon ECR-তে ডকার ইমেজ তৈরি এবং আপলোড করতে ব্যবহার করতে পারেন।

BlazingText মডেল তৈরি করুন

পরবর্তী ধাপ হল SageMaker Python SDK থেকে একটি মডেল অবজেক্ট তৈরি করা মডেল ক্লাস যেটি একটি HTTPS এন্ডপয়েন্টে স্থাপন করা যেতে পারে। ব্যাখ্যা তৈরি করার জন্য এই মডেলটি ব্যবহার করার জন্য আমরা ক্ল্যারিফাই কনফিগার করি। এই ধাপের জন্য কোড এবং অন্যান্য প্রয়োজনীয়তার জন্য, পড়ুন Amazon SageMaker-এ আপনার নিজস্ব ধারক ব্যবহার করে আপনার প্রশিক্ষিত SageMaker BlazingText মডেল স্থাপন করুন.

ক্ল্যারিফাই কনফিগার করুন

Clarify NLP রিগ্রেশন এবং শ্রেণীবিভাগ মডেলের সাথে সামঞ্জস্যপূর্ণ। এটি আপনাকে বুঝতে সাহায্য করে যে ইনপুট পাঠ্যের কোন অংশগুলি আপনার মডেলের পূর্বাভাসকে প্রভাবিত করে৷ ক্ল্যারিফাই 62টি ভাষা সমর্থন করে এবং একাধিক ভাষার সাথে পাঠ্য পরিচালনা করতে পারে। ব্যাখ্যাযোগ্যতা প্রতিবেদন তৈরির জন্য Clarify দ্বারা ব্যবহৃত তিনটি কনফিগারেশনকে সংজ্ঞায়িত করতে আমরা SageMaker Python SDK ব্যবহার করি।

প্রথমত, আমাদের প্রসেসর অবজেক্ট তৈরি করতে হবে এবং ইনপুট ডেটাসেটের অবস্থানও নির্দিষ্ট করতে হবে যা ভবিষ্যদ্বাণী এবং বৈশিষ্ট্য বৈশিষ্ট্যের জন্য ব্যবহার করা হবে:

import sagemaker
sagemaker_session = sagemaker.Session()
from sagemaker import clarify
clarify_processor = clarify.SageMakerClarifyProcessor(
role=role,
instance_count=1,
instance_type="ml.m5.xlarge",
sagemaker_session=sagemaker_session,
)
file_path = "<location of the input dataset>"

ডেটা কনফিগারেশন

এখানে, আপনাকে ইনপুট ডেটার অবস্থান, বৈশিষ্ট্য কলাম এবং যেখানে আপনি আউটপুট সংরক্ষণ করতে চান তা স্পষ্ট করতে হবে। এটি একটি DataConfig অবজেক্ট তৈরি করার সময় প্রাসঙ্গিক আর্গুমেন্ট পাস করে করা হয়:

explainability_output_path = "s3://{}/{}/clarify-text-explainability".format(
sagemaker_session.default_bucket(), "explainability"
) explainability_data_config = clarify.DataConfig(
s3_data_input_path=file_path,
s3_output_path=explainability_output_path,
headers=["Review Text"],
dataset_type="text/csv",
)

মডেল কনফিগারেশন

ModelConfig এর সাথে, আপনার প্রশিক্ষিত মডেল সম্পর্কে তথ্য উল্লেখ করা উচিত। এখানে, আমরা BlazingText SageMaker মডেলের নাম উল্লেখ করি যা আমরা একটি পূর্বের ধাপে তৈরি করেছি এবং অন্যান্য প্যারামিটার যেমন অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) উদাহরণের ধরন এবং বিষয়বস্তুর বিন্যাস:

model_config = clarify.ModelConfig(
model_name=model_name,
instance_type="ml.m5.xlarge",
instance_count=1,
accept_type="application/jsonlines",
content_type="text/csv",
endpoint_name_prefix=None,
)

SHAPconfig

এটি বৈশিষ্ট্য বৈশিষ্ট্যগুলি কীভাবে পেতে হয় সে সম্পর্কে স্পষ্টতা জানাতে ব্যবহৃত হয়। TextConfig পাঠ্য এবং ভাষার গ্রানুলারিটি নির্দিষ্ট করতে ব্যবহৃত হয়। আমাদের ডেটাসেটে, যেহেতু আমরা ইনপুট টেক্সটকে শব্দে ভাঙ্গতে চাই এবং ভাষা ইংরেজি, আমরা এই মানগুলি যথাক্রমে টোকেন এবং ইংরেজিতে সেট করি। আপনার ডেটাসেটের প্রকৃতির উপর নির্ভর করে, আপনি বাক্য বা অনুচ্ছেদে গ্রানুলারিটি সেট করতে পারেন। বেসলাইন একটি বিশেষ টোকেন সেট করা হয়. এর মানে হল যে Clarify ইনপুট টেক্সটের উপসেটগুলি বাদ দেবে এবং SHAP মানগুলি গণনার জন্য পূর্বাভাস পাওয়ার সময় বেসলাইন থেকে মানগুলির সাথে প্রতিস্থাপন করবে। এইভাবে এটি মডেলের ভবিষ্যদ্বাণীতে টোকেনগুলির প্রভাব নির্ধারণ করে এবং এর ফলে তাদের গুরুত্ব চিহ্নিত করে। কার্নেল SHAP অ্যালগরিদমে ব্যবহৃত নমুনার সংখ্যার মান দ্বারা নির্ধারিত হয় num_samples যুক্তি. উচ্চতর মানগুলির ফলে আরও শক্তিশালী বৈশিষ্ট্য বৈশিষ্ট্যগুলি পাওয়া যায়, তবে এটি কাজের রানটাইমকেও বাড়িয়ে দিতে পারে। অতএব, আপনাকে উভয়ের মধ্যে একটি ট্রেড-অফ করতে হবে। নিম্নলিখিত কোড দেখুন:

shap_config = clarify.SHAPConfig(
baseline=[["<UNK>"]],
num_samples=1000,
agg_method="mean_abs",
save_local_shap_values=True,
text_config=clarify.TextConfig(granularity="token", language="english"),
)

আরও তথ্যের জন্য, দেখুন বৈশিষ্ট্য বৈশিষ্ট্য যা শ্যাপলি মান ব্যবহার করে এবং অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র.

মডেল প্রেডিকটেড লেবেল কনফিগ

একটি পূর্বাভাসিত লেবেল বা পূর্বাভাসিত স্কোর বা সম্ভাব্যতা বের করতে স্পষ্ট করার জন্য, এই কনফিগার বস্তুটি সেট করা প্রয়োজন। নিম্নলিখিত কোড দেখুন:

from sagemaker.clarify import ModelPredictedLabelConfig
modellabel_config = ModelPredictedLabelConfig(probability="prob", label="label")

আরো বিস্তারিত জানার জন্য, পড়ুন ডকুমেন্টেশন SDK-তে।

একটি স্পষ্ট কাজ চালান

আপনি বিভিন্ন কনফিগারেশন তৈরি করার পরে, আপনি এখন পরিষ্কার প্রক্রিয়াকরণ কাজ ট্রিগার করতে প্রস্তুত। প্রক্রিয়াকরণ কাজ ইনপুট এবং পরামিতি যাচাই করে, ক্ষণস্থায়ী এন্ডপয়েন্ট তৈরি করে, এবং SHAP অ্যালগরিদম ব্যবহার করে স্থানীয় এবং বিশ্বব্যাপী বৈশিষ্ট্যগুলি গণনা করে। এটি সম্পূর্ণ হলে, এটি ক্ষণস্থায়ী শেষ বিন্দু মুছে দেয় এবং আউটপুট ফাইল তৈরি করে। নিম্নলিখিত কোড দেখুন:

clarify_processor.run_explainability(
data_config=explainability_data_config,
model_config=model_config,
explainability_config=shap_config,
model_scores=modellabel_config,
)

এই ধাপের রানটাইম ডেটাসেটের আকার এবং SHAP দ্বারা উত্পন্ন নমুনার সংখ্যার উপর নির্ভর করে।

ফলাফলগুলি ভিজ্যুয়ালাইজ করুন

পরিশেষে, আমরা স্থানীয় ফিচার অ্যাট্রিবিউশন রিপোর্ট থেকে ফলাফলের একটি ভিজ্যুয়ালাইজেশন দেখাই যা ক্ল্যারিফাই প্রসেসিং কাজের দ্বারা তৈরি করা হয়েছিল। আউটপুট একটি JSON লাইন ফরম্যাটে এবং কিছু প্রক্রিয়াকরণ সহ; আপনি নিম্নলিখিত উদাহরণের মত ইনপুট টেক্সটে টোকেনের জন্য স্কোর প্লট করতে পারেন। উচ্চতর বারগুলি লক্ষ্য লেবেলে আরও প্রভাব ফেলে। তদ্ব্যতীত, ইতিবাচক মানগুলি লক্ষ্য পরিবর্তনশীলের উচ্চতর ভবিষ্যদ্বাণী এবং নিম্ন ভবিষ্যদ্বাণীগুলির সাথে নেতিবাচক মানগুলির সাথে যুক্ত। এই উদাহরণে, মডেলটি ইনপুট পাঠ্যের জন্য একটি ভবিষ্যদ্বাণী করে "ওয়েসেবাচ হেসে জার্মানির একটি নদী।" ভবিষ্যদ্বাণী করা ক্লাসটি হল প্রাকৃতিক স্থান এবং স্কোরগুলি নির্দেশ করে যে মডেলটি এই ভবিষ্যদ্বাণী করার জন্য "নদী" শব্দটিকে সবচেয়ে তথ্যপূর্ণ বলে মনে করেছে৷ এটি একজন মানুষের জন্য স্বজ্ঞাত এবং আরও নমুনা পরীক্ষা করে, আপনি নির্ধারণ করতে পারেন যে মডেলটি সঠিক বৈশিষ্ট্যগুলি শিখছে এবং প্রত্যাশিত আচরণ করছে কিনা৷

উপসংহার

এই পোস্টে, আমরা ব্যাখ্যা করেছি কিভাবে আপনি SageMaker BlazingText ব্যবহার করে প্রশিক্ষিত একটি পাঠ্য শ্রেণিবিন্যাসের মডেল থেকে ভবিষ্যদ্বাণী ব্যাখ্যা করতে Clarify ব্যবহার করতে পারেন। নমুনা নোটবুক ব্যবহার করে আপনার পাঠ্য শ্রেণিবিন্যাসের মডেলগুলি থেকে ভবিষ্যদ্বাণী ব্যাখ্যা করা শুরু করুন SageMaker BlazingText-এর জন্য পাঠ্য ব্যাখ্যাযোগ্যতা.

আমরা আরও জেনেরিক ডিজাইন প্যাটার্ন নিয়েও আলোচনা করেছি যা আপনি SageMaker বিল্ট-ইন অ্যালগরিদমের সাথে Clarify ব্যবহার করার সময় ব্যবহার করতে পারেন। আরো তথ্যের জন্য, পড়ুন মেশিন লার্নিং ভবিষ্যদ্বাণীগুলির জন্য ন্যায্যতা এবং মডেল ব্যাখ্যাযোগ্যতা কী. আমরা আপনাকে পড়তে উত্সাহিত অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র, যা বিষয়ের উপর একটি ওভারভিউ প্রদান করে এবং সর্বোত্তম অনুশীলন এবং সীমাবদ্ধতা নিয়ে আলোচনা করে।

লেখক সম্পর্কে

পিনাক পানিগ্রাহী AWS-এ কৌশলগত ব্যবসায়িক সমস্যা সমাধানের জন্য মেশিন লার্নিং চালিত সমাধান তৈরি করতে গ্রাহকদের সাথে কাজ করে। যখন মেশিন লার্নিং এর সাথে ব্যস্ত থাকে না, তখন তাকে হাইকিং করতে, বই পড়তে বা খেলাধুলা করতে দেখা যায়।

ধাওয়াল প্যাটেল AWS-এর একজন প্রধান মেশিন লার্নিং আর্কিটেক্ট। তিনি ডিস্ট্রিবিউটেড কম্পিউটিং এবং কৃত্রিম বুদ্ধিমত্তা সম্পর্কিত সমস্যা নিয়ে বড় উদ্যোগ থেকে শুরু করে মাঝারি আকারের স্টার্টআপ পর্যন্ত সংস্থাগুলির সাথে কাজ করেছেন। তিনি এনএলপি এবং কম্পিউটার ভিশন ডোমেন সহ গভীর শিক্ষার উপর ফোকাস করেন। তিনি গ্রাহকদের SageMaker-এ উচ্চ কর্মক্ষমতা মডেল অনুমান অর্জনে সহায়তা করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/explain-text-classification-model-predictions-using-amazon-sagemaker-clarify/