জানুন কিভাবে Amazon SageMaker ক্ল্যারিফাই পক্ষপাত সনাক্ত করতে সাহায্য করে

দায়িত্বশীল কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) মডেল তৈরির জন্য ডেটা এবং মডেলের ফলাফলে পক্ষপাতিত্ব সনাক্তকরণ একটি মৌলিক প্রয়োজন। দুর্ভাগ্যবশত, এটি পরিমাপ করা যায় এমন বিপুল সংখ্যক উপায় এবং পক্ষপাতদুষ্ট ফলাফলে অবদান রাখতে পারে এমন বিভিন্ন কারণের কারণে বেশিরভাগ অনুশীলনকারীদের পক্ষে পক্ষপাত সনাক্ত করা সহজ কাজ নয়। উদাহরণস্বরূপ, প্রশিক্ষণ ডেটার একটি ভারসাম্যহীন নমুনা একটি মডেল হতে পারে যা ডেটার নির্দিষ্ট উপসেটের জন্য কম সঠিক। পক্ষপাত ML অ্যালগরিদম দ্বারাও প্রবর্তিত হতে পারে-এমনকি একটি ভাল-ভারসাম্যপূর্ণ প্রশিক্ষণ ডেটাসেট সহ, ফলাফলগুলি অন্যদের তুলনায় ডেটার নির্দিষ্ট উপসেটের পক্ষে হতে পারে।

পক্ষপাত শনাক্ত করতে, আপনার অবশ্যই বিভিন্ন ধরণের পক্ষপাত এবং সংশ্লিষ্ট পক্ষপাত মেট্রিক্স. উদাহরণস্বরূপ, এই লেখার সময়, আমাজন সেজমেকার স্পষ্ট করুন বেছে নিতে 21টি ভিন্ন মেট্রিক্স অফার করে।

এই পোস্টে, আমরা সেজমেকার ক্ল্যারিফাইতে বিভিন্ন ধরণের পক্ষপাত এবং সংশ্লিষ্ট মেট্রিক্স প্রদর্শন করতে একটি আয়ের পূর্বাভাস ব্যবহারের ক্ষেত্রে (শিক্ষা এবং প্রতি সপ্তাহে কত ঘন্টা কাজ করার মতো ইনপুট বৈশিষ্ট্যগুলি থেকে ব্যবহারকারীর আয়ের পূর্বাভাস) ব্যবহার করি। আপনার আবেদনের জন্য কোন মেট্রিক্স গুরুত্বপূর্ণ তা নির্ধারণ করতে আপনাকে সাহায্য করার জন্য আমরা একটি কাঠামোও তৈরি করি।

সেজমেকার ক্ল্যারিফাই এর ভূমিকা

আর্থিক পরিষেবা, স্বাস্থ্যসেবা, শিক্ষা এবং মানব সম্পদের মতো বিভিন্ন ডোমেনে সিদ্ধান্ত নিতে সাহায্য করার জন্য ML মডেলগুলি ক্রমবর্ধমানভাবে ব্যবহৃত হচ্ছে। অনেক পরিস্থিতিতে, এমএল মডেল কেন একটি নির্দিষ্ট ভবিষ্যদ্বাণী করেছে এবং পূর্বাভাসগুলি পক্ষপাত দ্বারা প্রভাবিত হয়েছে কিনা তা বোঝা গুরুত্বপূর্ণ।

SageMaker Clarify এই উভয় প্রয়োজনের জন্য সরঞ্জাম সরবরাহ করে, কিন্তু এই পোস্টে আমরা শুধুমাত্র পক্ষপাত সনাক্তকরণ কার্যকারিতার উপর ফোকাস করি। ব্যাখ্যাযোগ্যতা সম্পর্কে আরও জানতে, চেক আউট করুন অ্যামাজন সেজমেকার স্পষ্টকরণ ব্যবহার করে বুন্দেসলিগা ম্যাচ ফ্যাক্টস xGoals এর ব্যাখ্যা.

সেজমেকার ক্ল্যারিফাই এর একটি অংশ আমাজন সেজমেকার, যা ML মডেল তৈরি, প্রশিক্ষণ এবং স্থাপন করার জন্য একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা৷

পক্ষপাত সম্পর্কে প্রশ্নের উদাহরণ

আলোচনার ভিত্তি করার জন্য, নিম্নলিখিত কিছু নমুনা প্রশ্ন রয়েছে যা ML নির্মাতা এবং তাদের স্টেকহোল্ডারদের পক্ষপাতের বিষয়ে থাকতে পারে। তালিকায় কিছু সাধারণ প্রশ্ন রয়েছে যা কিছু ML অ্যাপ্লিকেশনের জন্য প্রাসঙ্গিক হতে পারে, সেইসাথে ডকুমেন্ট পুনরুদ্ধারের মতো নির্দিষ্ট অ্যাপ্লিকেশন সম্পর্কে প্রশ্ন।

আপনি জিজ্ঞাসা করতে পারেন, প্রশিক্ষণের ডেটাতে আগ্রহের গোষ্ঠীর প্রেক্ষিতে (উদাহরণস্বরূপ, পুরুষ বনাম মহিলা) নিম্নলিখিত প্রশ্নের উত্তর দিতে আমার কোন মেট্রিক্স ব্যবহার করা উচিত:

• প্রশিক্ষণের তথ্যে গোষ্ঠীর প্রতিনিধিত্ব কি বাস্তব বিশ্বকে প্রতিফলিত করে?
• প্রশিক্ষণের ডেটাতে লক্ষ্য লেবেলগুলি কি আরও ইতিবাচক লেবেলগুলি বরাদ্দ করে একটি গ্রুপের উপর অন্য গ্রুপকে সমর্থন করে?
• মডেল বিভিন্ন দলের জন্য বিভিন্ন নির্ভুলতা আছে?
• একটি মডেলে যার উদ্দেশ্য হল নিয়োগের জন্য যোগ্য প্রার্থীদের চিহ্নিত করা, মডেলটির কি বিভিন্ন গোষ্ঠীর জন্য একই নির্ভুলতা আছে?
• একটি মডেলে যার উদ্দেশ্য একটি ইনপুট কোয়েরির সাথে প্রাসঙ্গিক নথিগুলি পুনরুদ্ধার করা, মডেলটি কি একই অনুপাতে বিভিন্ন গ্রুপ থেকে প্রাসঙ্গিক নথিগুলি পুনরুদ্ধার করে?

এই পোস্টের বাকি অংশে, আমরা সেজমেকার ক্ল্যারিফাই-এ উপলব্ধ মেট্রিক্সের মাধ্যমে এই এবং অন্যান্য প্রশ্নের উত্তর কীভাবে বিবেচনা করব তার জন্য একটি কাঠামো তৈরি করি।

কেস এবং প্রসঙ্গ ব্যবহার করুন

এই পোস্টটি থেকে SageMaker Clarify কাজের একটি বিদ্যমান উদাহরণ ব্যবহার করে৷ সেজমেকার ক্ল্যারিফাই নোটবুকের সাথে ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা এবং উত্পন্ন পক্ষপাত মেট্রিক মান ব্যাখ্যা করে। নোটবুকটি একটি XGBoost মডেলকে প্রশিক্ষণ দেয় UCI প্রাপ্তবয়স্ক ডেটাসেট (Dua, D. and Graff, C. (2019)। ইউসিআই মেশিন লার্নিং রিপোজিটরি. আরভিন, সিএ: ইউনিভার্সিটি অফ ক্যালিফোর্নিয়া, স্কুল অফ ইনফরমেশন অ্যান্ড কম্পিউটার সায়েন্স)।

এই ডেটাসেটের ML টাস্ক হল ভবিষ্যদ্বাণী করা যে একজন ব্যক্তির বার্ষিক আয় $50,000 এর বেশি বা কম। নিম্নলিখিত সারণী তাদের বৈশিষ্ট্য সহ কিছু উদাহরণ দেখায়। আয়ের ভবিষ্যদ্বাণীতে পক্ষপাতিত্ব পরিমাপ করা গুরুত্বপূর্ণ কারণ আমরা ডিসকাউন্ট অফার এবং লক্ষ্যযুক্ত বিপণনের মতো সিদ্ধান্ত জানাতে এই ভবিষ্যদ্বাণীগুলি ব্যবহার করতে পারি।

পক্ষপাতের পরিভাষা

আরও গভীরে যাওয়ার আগে, আসুন কিছু প্রয়োজনীয় পরিভাষা পর্যালোচনা করি। পদের সম্পূর্ণ তালিকার জন্য, দেখুন অ্যামাজন সেজমেকার পক্ষপাত এবং ন্যায্যতার জন্য শর্তাবলী স্পষ্ট করে.

• লেবেল - লক্ষ্য বৈশিষ্ট্য যা ML মডেল ভবিষ্যদ্বাণী করার জন্য প্রশিক্ষিত। একটি পর্যবেক্ষিত লেবেল মডেলটিকে প্রশিক্ষণ বা পরীক্ষা করতে ব্যবহৃত ডেটাতে পরিলক্ষিত লেবেল মান বোঝায়। ক পূর্বাভাসিত লেবেল ML মডেল দ্বারা পূর্বাভাসিত মান। লেবেলগুলি বাইনারি হতে পারে, এবং প্রায়শই 0 এবং 1 হিসাবে এনকোড করা হয়৷ আমরা 1কে একটি অনুকূল বা ইতিবাচক লেবেল (উদাহরণস্বরূপ, $ 50,000 এর বেশি বা সমান) এবং 0 একটি প্রতিকূল বা নেতিবাচক লেবেলকে প্রতিনিধিত্ব করার জন্য অনুমান করি৷ লেবেলে দুটিরও বেশি মান থাকতে পারে। এমনকি এই ক্ষেত্রে, এক বা একাধিক মান অনুকূল লেবেল গঠন করে। সরলতার জন্য, এই পোস্টটি শুধুমাত্র বাইনারি লেবেল বিবেচনা করে। দুইটির বেশি মান সহ লেবেল এবং ক্রমাগত মান সহ লেবেলগুলি পরিচালনার বিশদ বিবরণের জন্য (উদাহরণস্বরূপ, রিগ্রেশনে), দেখুন অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র.
• পল - একটি কলাম বা বৈশিষ্ট্য যার প্রতি পক্ষপাত পরিমাপ করা হয়। আমাদের উদাহরণে, দিক হল sex এবং দুটি মান নেয়: woman এবং man, হিসাবে এনকোড করা হয়েছে female এবং male ডেটাতে (এই ডেটা 1994 সালের আদমশুমারি থেকে নেওয়া হয়েছে এবং একটি বাইনারি বিকল্প প্রয়োগ করে)। যদিও পোস্টটি শুধুমাত্র দুটি মান সহ একটি একক দিক বিবেচনা করে, তবে একাধিক দিক বা দুইটির বেশি মান সহ দিক জড়িত আরও জটিল ক্ষেত্রে, দেখুন অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র.
• পক্ষপাত - বিভিন্ন দিক মান জুড়ে ইনপুট ডেটা বা মডেল ভবিষ্যদ্বাণীতে একটি উল্লেখযোগ্য ভারসাম্যহীনতা। কি গঠন "গুরুত্বপূর্ণ" আপনার আবেদন উপর নির্ভর করে. বেশিরভাগ মেট্রিক্সের জন্য, 0 এর মান কোন ভারসাম্যহীনতা বোঝায় না। সেজমেকার ক্ল্যারিফাইতে বায়াস মেট্রিক্স দুটি বিভাগে বিভক্ত:
  • প্রাক-প্রশিক্ষণ - উপস্থিত হলে, পূর্বপ্রশিক্ষণের পক্ষপাত শুধুমাত্র তথ্যের ভারসাম্যহীনতা নির্দেশ করে।
  • পোস্টট্রেনিং - পোস্টট্রেনিং পক্ষপাত অতিরিক্তভাবে মডেলের ভবিষ্যদ্বাণী বিবেচনা করে।

আসুন প্রতিটি বিভাগ আলাদাভাবে পরীক্ষা করা যাক।

Pretraining পক্ষপাতিত্ব

SageMaker-এ প্রিট্রেইনিং বায়াস মেট্রিক্স নিম্নোক্ত প্রশ্নের উত্তর দিন: সমস্ত মুখী মান কি ডেটাতে সমান (বা অনুরূপ) উপস্থাপনা করে? প্রাক-প্রশিক্ষণের পক্ষপাতের জন্য ডেটা পরিদর্শন করা গুরুত্বপূর্ণ কারণ এটি মডেল ভবিষ্যদ্বাণীতে প্রশিক্ষণ-পরবর্তী পক্ষপাতিত্বে রূপান্তরিত হতে পারে। উদাহরণস্বরূপ, ভারসাম্যহীন ডেটার উপর প্রশিক্ষিত একটি মডেল যেখানে একটি ফেসেট মান খুব কমই দেখা যায় সেই ফেসেট মানের জন্য যথেষ্ট খারাপ নির্ভুলতা প্রদর্শন করতে পারে। সমান প্রতিনিধিত্ব নিম্নলিখিত উপর গণনা করা যেতে পারে:

• লেবেল নির্বিশেষে সমগ্র প্রশিক্ষণ তথ্য
• শুধুমাত্র ইতিবাচক লেবেল সহ প্রশিক্ষণ ডেটার উপসেট
• প্রতিটি লেবেল আলাদাভাবে

নিম্নলিখিত চিত্রটি প্রতিটি মেট্রিক তিনটি বিভাগের প্রতিটিতে কীভাবে ফিট করে তার একটি সারাংশ প্রদান করে।

কিছু বিভাগ একাধিক মেট্রিক নিয়ে গঠিত। মৌলিক মেট্রিক্স (ধূসর বাক্স) সহজতম আকারে সেই বিভাগে পক্ষপাত সম্পর্কে প্রশ্নের উত্তর দেয়। সাদা বাক্সের মেট্রিক্স অতিরিক্ত বিশেষ ক্ষেত্রে (উদাহরণস্বরূপ, সিম্পসনের প্যারাডক্স) এবং ব্যবহারকারীর পছন্দগুলি (উদাহরণস্বরূপ, ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা গণনা করার সময় জনসংখ্যার নির্দিষ্ট অংশের উপর ফোকাস করা) কভার করে।

লেবেল নির্বিশেষে ফ্যাসেট মান উপস্থাপনা

এই বিভাগের একমাত্র মেট্রিক হল ক্লাস ইমব্যালেন্স (CI)। এই মেট্রিকের লক্ষ্য হল পরিমাপ করা যদি সমস্ত মুখী মান ডেটাতে সমান উপস্থাপনা করে।

CI হল দুটি মুখী মান দ্বারা গঠিত ডেটার ভগ্নাংশের পার্থক্য। আমাদের উদাহরণ ডেটাসেটে, দিকের জন্য sex, ব্রেকডাউন (পাই চার্টে দেখানো হয়েছে) দেখায় যে প্রশিক্ষণের তথ্যের 32.4% নারী, যেখানে পুরুষের সংখ্যা 67.6%। ফলস্বরূপ:

CI = 0.676 - 0.324 = 0.352

একটি গুরুতরভাবে উচ্চ শ্রেণীর ভারসাম্যহীনতা ছোট প্রতিনিধিত্বের সাথে মুখী মানের জন্য খারাপ ভবিষ্যদ্বাণীমূলক কর্মক্ষমতার দিকে নিয়ে যেতে পারে।

শুধুমাত্র ইতিবাচক লেবেলের স্তরে অভিহিত মান উপস্থাপনা

সমান উপস্থাপনা পরিমাপ করার আরেকটি উপায় হল সমস্ত মুখী মান ইতিবাচক পর্যবেক্ষিত লেবেল সহ নমুনার অনুরূপ ভগ্নাংশ রয়েছে কিনা তা পরীক্ষা করা। ইতিবাচক লেবেলগুলি অনুকূল ফলাফল নিয়ে গঠিত (উদাহরণস্বরূপ, ঋণ মঞ্জুর করা, কাজের জন্য নির্বাচিত), তাই আলাদাভাবে ইতিবাচক লেবেলগুলি বিশ্লেষণ করলে অনুকূল সিদ্ধান্তগুলি সমানভাবে বিতরণ করা হয় কিনা তা মূল্যায়ন করতে সহায়তা করে।

আমাদের উদাহরণ ডেটাসেটে, পর্যবেক্ষিত লেবেলগুলি ইতিবাচক এবং নেতিবাচক মানগুলিতে বিভক্ত হয়, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।

11.4% সমস্ত মহিলা এবং 31.4% সমস্ত পুরুষের ইতিবাচক লেবেল রয়েছে (বাম এবং ডান বারগুলিতে অন্ধকার ছায়াযুক্ত অঞ্চল)। লেবেলে ইতিবাচক অনুপাতের পার্থক্য (DPL) এই পার্থক্য পরিমাপ করে।

DPL = 0.314 - 0.114 = 0.20

এই বিভাগে উন্নত মেট্রিক, শর্তাধীন ডেমোগ্রাফিক ডিসপ্যারিটি ইন লেবেল (CDDL), ইতিবাচক লেবেলের পার্থক্য পরিমাপ করে, কিন্তু অন্য ভেরিয়েবলের সাপেক্ষে তাদের স্তরবিন্যাস করে। এই মেট্রিক জন্য নিয়ন্ত্রণ সাহায্য করে সিম্পসনের প্যারাডক্স, এমন একটি ক্ষেত্রে যেখানে পুরো ডেটার উপর একটি গণনা পক্ষপাত দেখায়, কিন্তু কিছু পার্শ্ব-তথ্যের সাথে সম্পর্কিত ডেটাকে গোষ্ঠীবদ্ধ করার সময় পক্ষপাতটি অদৃশ্য হয়ে যায়।

সার্জারির 1973 ইউসি বার্কলে ভর্তি স্টাডি একটি উদাহরণ প্রদান করে। তথ্য অনুযায়ী, মহিলাদের তুলনায় পুরুষরা বেশি হারে ভর্তি হয়েছেন। যাইহোক, যখন স্বতন্ত্র বিশ্ববিদ্যালয়ের বিভাগগুলির স্তরে পরীক্ষা করা হয়, তখন প্রতিটি বিভাগে একই বা বেশি হারে মহিলাদের ভর্তি করা হয়েছিল। এই পর্যবেক্ষণটি সিম্পসনের প্যারাডক্স দ্বারা ব্যাখ্যা করা যেতে পারে, যা এখানে উদ্ভূত হয়েছিল কারণ মহিলারা আরও প্রতিযোগিতামূলক স্কুলগুলিতে আবেদন করেছিলেন। ফলস্বরূপ, পুরুষদের তুলনায় কম মহিলাকে সামগ্রিকভাবে ভর্তি করা হয়েছিল, যদিও স্কুলে স্কুলে তারা একই বা বেশি হারে ভর্তি হয়েছিল।

সিডিডিএল কীভাবে গণনা করা হয় সে সম্পর্কে আরও বিশদের জন্য দেখুন অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র.

প্রতিটি লেবেলের লেভেলে আলাদাভাবে ফ্যাসেট মানের উপস্থাপনা

প্রতিনিধিত্বের সমতা প্রতিটি পৃথক লেবেলের জন্যও পরিমাপ করা যেতে পারে, শুধুমাত্র ইতিবাচক লেবেল নয়।

এই বিভাগের মেট্রিক্স বিভিন্ন দিক মানের লেবেল বিতরণের পার্থক্য গণনা করে। একটি দিক মানের জন্য লেবেল বিতরণে সেই লেবেলের মান সহ নমুনার ভগ্নাংশ সহ সমস্ত পর্যবেক্ষণ করা লেবেল মান রয়েছে৷ উদাহরণস্বরূপ, লেবেল বিতরণ দেখানো চিত্রে, 88.6% মহিলার একটি নেতিবাচক পর্যবেক্ষিত লেবেল রয়েছে এবং 11.4% ইতিবাচক পর্যবেক্ষিত লেবেল রয়েছে। সুতরাং মহিলাদের জন্য লেবেল বিতরণ হল [0.886, 0.114] এবং পুরুষদের জন্য হল [0.686, 0.314]।

এই বিভাগের মৌলিক মেট্রিক, Kullback-Leibler divergence (KL), এই পার্থক্যটিকে পরিমাপ করে:

KL = [0.686 x log(0.686/0.886)] + [0.314 x log(0.314/0.114)] = 0.143

এই বিভাগের উন্নত মেট্রিক্স, জেনসেন-শ্যানন ডাইভারজেন্স (JS), Lp-norm (LP), টোটাল ভ্যারিয়েশন ডিসট্যান্স (TVD), এবং Kolmogorov-Smirnov (KS), এছাড়াও ডিস্ট্রিবিউশনের মধ্যে পার্থক্য পরিমাপ করে কিন্তু ভিন্ন গাণিতিক বৈশিষ্ট্য রয়েছে। বিশেষ ক্ষেত্রে বাদে, তারা KL এর মতো অন্তর্দৃষ্টি প্রদান করবে। উদাহরণস্বরূপ, যদিও KL মান অসীম হতে পারে যখন একটি ফেসট মান একটি নির্দিষ্ট লেবেল সহ কোন নমুনা ধারণ করে না (উদাহরণস্বরূপ, নেতিবাচক লেবেল সহ কোন পুরুষ), JS এই অসীম মানগুলি এড়িয়ে যায়। এই পার্থক্যের আরো বিস্তারিত জানার জন্য, দেখুন অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র.

DPL (ক্যাটাগরি 2) এবং KL/JS/LP/TVD/KS (ক্যাটাগরি 3) এর ডিস্ট্রিবিউশন-ভিত্তিক মেট্রিক্সের মধ্যে সম্পর্ক

ডিস্ট্রিবিউশন-ভিত্তিক মেট্রিকগুলি নন-বাইনারী লেবেলে আরও স্বাভাবিকভাবে প্রযোজ্য। বাইনারি লেবেলের জন্য, ইতিবাচক লেবেলে ভারসাম্যহীনতা নেতিবাচক লেবেলে ভারসাম্যহীনতা গণনা করতে ব্যবহার করা যেতে পারে, ডিস্ট্রিবিউশন মেট্রিক্স ডিপিএলের মতো একই অন্তর্দৃষ্টি প্রদান করে। অতএব, আপনি শুধু এই ধরনের ক্ষেত্রে DPL ব্যবহার করতে পারেন।

পোস্টট্রেনিং পক্ষপাত

সেজমেকার ক্ল্যারিফাইতে পোস্টট্রেনিং বায়াস মেট্রিক্স আমাদের দুটি মূল প্রশ্নের উত্তর দিতে সাহায্য করে:

• ইতিবাচক (অনুকূল) মডেল ভবিষ্যদ্বাণীতে সমস্ত দিক মান একই হারে উপস্থাপিত হয়?
• মডেলের সমস্ত দিক মানের জন্য অনুরূপ ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা আছে?

নিম্নলিখিত চিত্রটি দেখায় কিভাবে মেট্রিক্স এই প্রতিটি প্রশ্নের মানচিত্র। কোন লেবেলে কর্মক্ষমতা পরিমাপ করা হয় তার উপর নির্ভর করে দ্বিতীয় প্রশ্নটি আরও ভেঙে দেওয়া যেতে পারে।

ইতিবাচক মডেল ভবিষ্যদ্বাণীতে সমান প্রতিনিধিত্ব

এই বিভাগের মেট্রিকগুলি পরীক্ষা করে যে সমস্ত দিকগুলির মানগুলি মডেল দ্বারা ইতিবাচক পূর্বাভাসিত লেবেল সহ নমুনার অনুরূপ ভগ্নাংশ রয়েছে কিনা৷ এই শ্রেণির মেট্রিক্সটি ডিপিএল এবং সিডিডিএল-এর প্রাক-প্রশিক্ষণের মেট্রিকগুলির সাথে খুব মিল - একমাত্র পার্থক্য হল এই বিভাগটি পর্যবেক্ষণ করা লেবেলের পরিবর্তে পূর্বাভাসিত লেবেল বিবেচনা করে।

আমাদের উদাহরণ ডেটাসেটে, সমস্ত মহিলাদের মধ্যে 4.5% মডেল দ্বারা ইতিবাচক লেবেল বরাদ্দ করা হয়েছে, এবং সমস্ত পুরুষদের 13.7% ইতিবাচক লেবেল বরাদ্দ করা হয়েছে৷

এই বিভাগের মৌলিক মেট্রিক, পূর্বাভাসিত লেবেলে ইতিবাচক অনুপাতের পার্থক্য (DPPL), পজিটিভ ক্লাস অ্যাসাইনমেন্টের পার্থক্য পরিমাপ করে।

DPPL = 0.137 - 0.045 = 0.092

লক্ষ্য করুন কিভাবে প্রশিক্ষণের তথ্যে, পুরুষদের একটি উচ্চতর ভগ্নাংশের একটি ইতিবাচক পর্যবেক্ষিত লেবেল ছিল। একইভাবে, পুরুষদের একটি উচ্চতর ভগ্নাংশকে একটি ইতিবাচক পূর্বাভাসিত লেবেল বরাদ্দ করা হয়।

এই শ্রেণীতে উন্নত মেট্রিক্সের দিকে অগ্রসর হওয়া, ডিসপারেট ইমপ্যাক্ট (DI) ইতিবাচক ক্লাস অ্যাসাইনমেন্টে একই বৈষম্য পরিমাপ করে, কিন্তু পার্থক্যের পরিবর্তে, এটি অনুপাত গণনা করে:

DI = 0.045 / 0.137 = 0.328

DI এবং DPPL উভয়ই গুণগতভাবে অনুরূপ অন্তর্দৃষ্টি প্রকাশ করে কিন্তু কিছু কোণার ক্ষেত্রে ভিন্ন। উদাহরণস্বরূপ, হর ছোট হলে অনুপাতগুলি খুব বড় সংখ্যায় বিস্ফোরিত হতে থাকে। 0.1 এবং 0.0001 সংখ্যার উদাহরণ নিন। অনুপাত হল 0.1/0.0001 = 10,000 যেখানে পার্থক্য হল 0.1 – 0.0001 ≈ 0.1৷ অন্যান্য মেট্রিক্সের বিপরীতে যেখানে 0 এর মান কোন পক্ষপাতিত্ব বোঝায় না, DI এর জন্য, কোন পক্ষপাত 1 এর মানের সাথে মিলে না।

পূর্বাভাসিত লেবেলে শর্তসাপেক্ষ জনসংখ্যাগত বৈষম্য (CDDPL) ইতিবাচক লেবেলে দিকগত মান উপস্থাপনের বৈষম্য পরিমাপ করে, কিন্তু ঠিক CDDL-এর প্রি-ট্রেনিং মেট্রিকের মতো, এটি সিম্পসনের প্যারাডক্সের জন্যও নিয়ন্ত্রণ করে।

কাউন্টারফ্যাকচুয়াল ফ্লিপ্টেস্ট (FT) পরিমাপ করে যদি দুটি ফ্যাসেট মান থেকে অনুরূপ নমুনা মডেল থেকে অনুরূপ সিদ্ধান্ত গ্রহণ করে। একটি মডেল যে দুটি নমুনাকে একে অপরের সাথে একই রকম কিন্তু ফ্যাসেট মানের মধ্যে ভিন্ন ভিন্ন সিদ্ধান্ত প্রদান করে তাকে প্রতিকূল (নেতিবাচক) লেবেল বরাদ্দ করা ফেসেট মানের বিরুদ্ধে পক্ষপাতদুষ্ট বলে বিবেচিত হতে পারে। প্রথম দিকের মান (মহিলাদের) দেওয়া, এটি মূল্যায়ন করে যে অন্যান্য ফ্যাসেট ভ্যালু (পুরুষ) এর সাথে অনুরূপ সদস্যদের একটি ভিন্ন মডেল পূর্বাভাস আছে কিনা। k-নিকটবর্তী প্রতিবেশী অ্যালগরিদমের উপর ভিত্তি করে অনুরূপ সদস্য নির্বাচন করা হয়।

সমান পারফরম্যান্স

মডেল ভবিষ্যদ্বাণীগুলির বিভিন্ন দিক মানের থেকে ইতিবাচক লেবেলে অনুরূপ উপস্থাপনা থাকতে পারে, তবুও এই গোষ্ঠীগুলিতে মডেলের কার্যকারিতা উল্লেখযোগ্যভাবে আলাদা হতে পারে। অনেক অ্যাপ্লিকেশনে, বিভিন্ন দিক মান জুড়ে একই ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা থাকা বাঞ্ছনীয় হতে পারে। এই বিভাগের মেট্রিকগুলি দিকগুলির মান জুড়ে ভবিষ্যদ্বাণীমূলক কর্মক্ষমতার পার্থক্য পরিমাপ করে।

যেহেতু পর্যবেক্ষণ করা বা ভবিষ্যদ্বাণী করা লেবেলের উপর ভিত্তি করে ডেটা বিভিন্ন উপায়ে কাটা যায়, তাই ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা পরিমাপ করার বিভিন্ন উপায় রয়েছে।

লেবেল নির্বিশেষে সমান ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা

আপনি পর্যবেক্ষিত বা ভবিষ্যদ্বাণীকৃত লেবেল নির্বিশেষে সম্পূর্ণ ডেটাতে মডেল কর্মক্ষমতা বিবেচনা করতে পারেন - অর্থাৎ সামগ্রিক নির্ভুলতা।

নিম্নলিখিত পরিসংখ্যানগুলি দেখায় যে কীভাবে মডেলটি আমাদের উদাহরণ ডেটাসেটের দুটি মুখী মান থেকে ইনপুটগুলিকে শ্রেণিবদ্ধ করে। ট্রু নেগেটিভ (TN) হল এমন ক্ষেত্রে যেখানে পর্যবেক্ষিত এবং ভবিষ্যদ্বাণী করা লেবেল উভয়ই 0 ছিল। মিথ্যা ইতিবাচক (FP) হল ভুল শ্রেণীবিভাগ যেখানে পর্যবেক্ষণ করা লেবেলটি 0 ছিল কিন্তু পূর্বাভাসিত লেবেলটি 1 ছিল। সত্য ইতিবাচক (TP) এবং মিথ্যা নেতিবাচক (FN) সংজ্ঞায়িত করা হয় একইভাবে

প্রতিটি দিক মানের জন্য, সামগ্রিক মডেলের কার্যকারিতা, অর্থাৎ, সেই দিক মানের জন্য সঠিকতা হল:

সঠিকতা = (TN + TP)/(TN + FP + FN + TP)

এই সূত্রের সাহায্যে, মহিলাদের জন্য নির্ভুলতা হল 0.930 এবং পুরুষদের জন্য 0.815। এটি এই বিভাগের একমাত্র মেট্রিকের দিকে নিয়ে যায়, যথার্থতা পার্থক্য (AD):

AD = 0.815 - 0.930 = -0.115

AD = 0 মানে যে উভয় গ্রুপের নির্ভুলতা একই। বড় (ইতিবাচক বা নেতিবাচক) মান নির্ভুলতার বড় পার্থক্য নির্দেশ করে।

শুধুমাত্র ইতিবাচক লেবেলে সমান কর্মক্ষমতা

আপনি মডেল কর্মক্ষমতা বিশ্লেষণ শুধুমাত্র ইতিবাচক লেবেল সীমাবদ্ধ করতে পারেন. উদাহরণস্বরূপ, যদি অ্যাপ্লিকেশনটি একটি সমাবেশ লাইনে ত্রুটিগুলি সনাক্ত করার বিষয়ে হয়, তবে এটি পরীক্ষা করা বাঞ্ছনীয় হতে পারে যে বিভিন্ন ধরণের (অভিমুখ মান) অ-ত্রুটিপূর্ণ অংশগুলি (পজিটিভ লেবেল) একই হারে অ-ত্রুটিযুক্ত হিসাবে শ্রেণীবদ্ধ করা হয়েছে। এই পরিমাণটিকে প্রত্যাহার বা সত্য ইতিবাচক হার হিসাবে উল্লেখ করা হয়:

প্রত্যাহার = TP / (TP + FN)

আমাদের উদাহরণ ডেটাসেটে, মহিলাদের জন্য প্রত্যাহার হল 0.389, এবং পুরুষদের জন্য 0.425 হল। এটি এই বিভাগের মৌলিক মেট্রিকের দিকে নিয়ে যায়, রিকল ডিফারেন্স (RD):

RD = 0.425 - 0.389 = 0.036

এখন এই বিষয়শ্রেণীতে তিনটি উন্নত মেট্রিক বিবেচনা করা যাক, তারা কোন ব্যবহারকারীর পছন্দগুলিকে এনকোড করে এবং কীভাবে তারা RD-এর মৌলিক মেট্রিক থেকে আলাদা তা দেখুন।

প্রথমত, ইতিবাচক পর্যবেক্ষিত লেবেলে কর্মক্ষমতা পরিমাপ করার পরিবর্তে, আপনি ইতিবাচক পূর্বাভাসিত লেবেলে এটি পরিমাপ করতে পারেন। একটি ফেসেট ভ্যালু দেওয়া হয়েছে, যেমন মহিলাদের, এবং সেই ফ্যাসেট ভ্যালু সহ সমস্ত নমুনা যা মডেল দ্বারা ইতিবাচক বলে ভবিষ্যদ্বাণী করা হয়েছে, কয়টি আসলে সঠিকভাবে ইতিবাচক হিসাবে শ্রেণীবদ্ধ করা হয়েছে? এই পরিমাণকে গ্রহণযোগ্যতা হার (AR), বা নির্ভুলতা হিসাবে উল্লেখ করা হয়:

AR = TP / (TP + FP)

আমাদের উদাহরণে, মহিলাদের জন্য AR হল 0.977, এবং পুরুষদের জন্য AR হল 0.970৷ এটি গ্রহণযোগ্যতার হারে পার্থক্যের দিকে নিয়ে যায় (DAR):

DAR = 0.970 - 0.977 = -0.007

পক্ষপাত পরিমাপ করার আরেকটি উপায় হল পূর্ববর্তী দুটি মেট্রিক্সকে একত্রিত করা এবং পর্যবেক্ষিত ইতিবাচক লেবেলের তুলনায় মডেলগুলি একটি ফেসেট ভ্যালুতে আরও কতগুলি ইতিবাচক পূর্বাভাস দেয় তা পরিমাপ করা। সেজমেকার ক্ল্যারিফাই মডেল দ্বারা এই সুবিধাটিকে সেই দিক মানের জন্য পর্যবেক্ষণ করা ইতিবাচক লেবেলের সংখ্যা এবং পূর্বাভাসিত ইতিবাচক লেবেলের সংখ্যার মধ্যে অনুপাত হিসাবে পরিমাপ করে এবং এটিকে শর্তাধীন গ্রহণযোগ্যতা (CA) হিসাবে উল্লেখ করে:

CA = (TP + FN)/(TP + FP)

আমাদের উদাহরণে, মহিলাদের জন্য CA হল 2.510 এবং পুরুষদের জন্য 2.283৷ CA-এর পার্থক্য এই বিভাগে চূড়ান্ত মেট্রিকের দিকে নিয়ে যায়, শর্তাধীন গ্রহণযোগ্যতার পার্থক্য (DCA):

DCA = 2.283 - 2.510 = -0.227

শুধুমাত্র নেতিবাচক লেবেলে সমান কর্মক্ষমতা

ইতিবাচক লেবেলের অনুরূপ পদ্ধতিতে, পক্ষপাতকে নেতিবাচক লেবেলের কর্মক্ষমতা পার্থক্য হিসাবেও গণনা করা যেতে পারে। নেতিবাচক লেবেলগুলিকে আলাদাভাবে বিবেচনা করা নির্দিষ্ট অ্যাপ্লিকেশনগুলিতে গুরুত্বপূর্ণ হতে পারে। উদাহরণস্বরূপ, আমাদের ত্রুটি সনাক্তকরণ উদাহরণে, আমরা একই হারে বিভিন্ন ধরণের ত্রুটিপূর্ণ অংশ (নেতিবাচক লেবেল) সনাক্ত করতে চাই।

এই বিভাগের মৌলিক মেট্রিক, নির্দিষ্টতা, প্রত্যাহার (সত্য ইতিবাচক হার) মেট্রিকের সাথে সাদৃশ্যপূর্ণ। স্পেসিফিসিটি এই ফেসেট মান সহ নমুনাগুলিতে মডেলের নির্ভুলতা গণনা করে যার একটি পর্যবেক্ষণ করা নেতিবাচক লেবেল রয়েছে:

নির্দিষ্টতা = TN / (TN + FP)

আমাদের উদাহরণে (বিভ্রান্তি সারণী দেখুন), নারী এবং পুরুষদের জন্য নির্দিষ্টতা যথাক্রমে 0.999 এবং 0.994। ফলস্বরূপ, নির্দিষ্টতা পার্থক্য (SD) হল:

SD = 0.994 - 0.999 = -0.005

অগ্রসর হচ্ছে, গ্রহণযোগ্যতা হার মেট্রিকের মতোই, নেতিবাচক লেবেলের জন্য অনুরূপ পরিমাণ—প্রত্যাখ্যান হার (RR)- হল:

RR = TN / (TN + FN)

মহিলাদের জন্য RR হল 0.927 এবং পুরুষদের জন্য হল 0.791, যা প্রত্যাখ্যান হার (DRR) মেট্রিকের পার্থক্যের দিকে পরিচালিত করে:

DRR = 0.927 - 0.791 = -0.136

অবশেষে, শর্তসাপেক্ষ গ্রহণযোগ্যতার নেতিবাচক লেবেল অ্যানালগ, শর্তসাপেক্ষ প্রত্যাখ্যান (CR), হল সেই দিক মানের জন্য পর্যবেক্ষণ করা নেতিবাচক লেবেলের সংখ্যা এবং পূর্বাভাসিত নেতিবাচক লেবেলের সংখ্যার মধ্যে অনুপাত:

CR = (TN + FP)/(TN + FN)

মহিলাদের জন্য CR হল 0.928 এবং পুরুষদের জন্য 0.796৷ এই বিভাগের চূড়ান্ত মেট্রিক হল শর্তসাপেক্ষ প্রত্যাখ্যানের পার্থক্য (DCR):

DCR = 0.796 - 0.928 = 0.132

ইতিবাচক বনাম নেতিবাচক লেবেলে সমান পারফরম্যান্স

সেজমেকার ক্ল্যারিফাই ইতিবাচক এবং নেতিবাচক লেবেলে মডেলের কর্মক্ষমতা অনুপাত বিবেচনা করে পূর্ববর্তী দুটি বিভাগকে একত্রিত করে। বিশেষ করে, প্রতিটি দিক মানের জন্য, সেজমেকার ক্ল্যারিফাই মিথ্যা নেতিবাচক (এফএন) এবং মিথ্যা পজিটিভ (এফপি) এর মধ্যে রেশন গণনা করে। আমাদের উদাহরণে, মহিলাদের জন্য FN/FP অনুপাত হল 679/10 = 67.9 এবং পুরুষদের জন্য 3678/84 = 43.786৷ এটি চিকিত্সা সমতা (TE) মেট্রিকের দিকে নিয়ে যায়, যা FP/FN অনুপাতের মধ্যে পার্থক্য পরিমাপ করে:

TE = 67.9 - 43.786 = 24.114

নিচের স্ক্রিনশটটি দেখায় কিভাবে আপনি SageMaker Clarify এর সাথে ব্যবহার করতে পারেন অ্যামাজন সেজমেকার স্টুডিও বিভিন্ন বায়াস মেট্রিক্সের মান এবং ব্যাপ্তি এবং সংক্ষিপ্ত বিবরণ দেখাতে।

পক্ষপাত সম্পর্কে প্রশ্ন: কোন মেট্রিক্স দিয়ে শুরু করবেন?

এই পোস্টের শুরুতে পক্ষপাত সম্পর্কে নমুনা প্রশ্নগুলি স্মরণ করুন। বিভিন্ন বিভাগ থেকে মেট্রিক্সের মধ্য দিয়ে যাওয়ার পরে, প্রশ্নগুলি আবার বিবেচনা করুন। প্রথম প্রশ্নের উত্তর দিতে, যা প্রশিক্ষণের ডেটাতে বিভিন্ন গোষ্ঠীর উপস্থাপনা নিয়ে উদ্বিগ্ন, আপনি ক্লাস ইমব্যালেন্স (CI) মেট্রিক দিয়ে শুরু করতে পারেন। একইভাবে, অবশিষ্ট প্রশ্নগুলির জন্য, আপনি যথাক্রমে লেবেলগুলিতে ইতিবাচক অনুপাতের পার্থক্য (DPL), যথার্থতা পার্থক্য (AD), গ্রহণযোগ্যতার হারের পার্থক্য (DAR) এবং প্রত্যাহার পার্থক্য (RD) এর মধ্যে পার্থক্য দেখে শুরু করতে পারেন।

দিকগত মান ছাড়া পক্ষপাত

প্রকাশের সহজতার জন্য, পোস্টট্রেনিং মেট্রিক্সের এই বর্ণনা জেনারেলাইজড এনট্রপি ইনডেক্স (GE) মেট্রিককে বাদ দিয়েছে। এই মেট্রিক দিকগত মান বিবেচনা না করেই পক্ষপাতিত্ব পরিমাপ করে এবং মডেল ত্রুটিগুলি কীভাবে বিতরণ করা হয় তা মূল্যায়নে সহায়ক হতে পারে। বিস্তারিত জানার জন্য, পড়ুন সাধারণ এনট্রপি (GE).

উপসংহার

এই পোস্টে, আপনি দেখেছেন কিভাবে SageMaker Clarify-এর 21টি ভিন্ন মেট্রিক্স ML পাইপলাইনের বিভিন্ন পর্যায়ে পক্ষপাতিত্ব পরিমাপ করে। আপনি আয়ের পূর্বাভাস ব্যবহারের ক্ষেত্রে বিভিন্ন মেট্রিক্স সম্পর্কে শিখেছেন, কীভাবে আপনার ব্যবহারের ক্ষেত্রে মেট্রিক্স চয়ন করবেন এবং আপনি কোনটি দিয়ে শুরু করতে পারেন।

ডেমো নোটবুক ব্যবহার করে আপনার এমএল মডেলগুলিতে পক্ষপাত মূল্যায়ন করে আপনার দায়িত্বশীল AI যাত্রা শুরু করুন সেজমেকার স্পষ্টতার সাথে ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা. আপনি মেট্রিক্সের আনুষ্ঠানিক সংজ্ঞা সহ SageMaker Clarify-এর জন্য বিস্তারিত ডকুমেন্টেশন খুঁজে পেতে পারেন মেশিন লার্নিং ভবিষ্যদ্বাণীগুলির জন্য ন্যায্যতা এবং মডেল ব্যাখ্যাযোগ্যতা কী. পক্ষপাত মেট্রিক্সের ওপেন-সোর্স বাস্তবায়নের জন্য, পড়ুন aws-sagemaker-ক্লারিফাই গিটহাব রিপোজিটরি. সীমাবদ্ধতা সহ বিস্তারিত আলোচনার জন্য, পড়ুন অ্যামাজন এআই ন্যায্যতা এবং ব্যাখ্যাযোগ্যতা শ্বেতপত্র.

---

লেখক সম্পর্কে

বিলাল জাফর AWS-এর একজন ফলিত বিজ্ঞানী, মেশিন লার্নিং-এ ন্যায্যতা, ব্যাখ্যাযোগ্যতা এবং নিরাপত্তা নিয়ে কাজ করছেন।

ডেনিস ভি বাতালভ মেশিন লার্নিং-এ বিশেষজ্ঞ, AWS-এর একজন সমাধান স্থপতি। তিনি 2005 সাল থেকে অ্যামাজনের সাথে আছেন। ডেনিস এআই এর ক্ষেত্রে পিএইচডি করেছেন। টুইটারে তাকে অনুসরণ করুন: @dbatalov।

মিশেল ডনিনি AWS-এর একজন সিনিয়র ফলিত বিজ্ঞানী। তিনি দায়িত্বশীল AI-তে কাজ করা বিজ্ঞানীদের একটি দলের নেতৃত্ব দেন এবং তার গবেষণার আগ্রহগুলি হল অ্যালগরিদমিক ফেয়ারনেস এবং ব্যাখ্যাযোগ্য মেশিন লার্নিং।