Amazon Recognition এবং অন্যান্য বিষয়বস্তু সংযম পরিষেবাগুলিতে বিষয়বস্তু সংযম মূল্যায়নের জন্য মেট্রিক্স৷

বিষয়বস্তু নিয়ন্ত্রন হল অনলাইনে ব্যবহারকারী-উত্পাদিত বিষয়বস্তু স্ক্রীনিং এবং পর্যবেক্ষণ করার প্রক্রিয়া। ব্যবহারকারী এবং ব্র্যান্ড উভয়ের জন্য একটি নিরাপদ পরিবেশ প্রদানের জন্য, প্ল্যাটফর্মগুলিকে অবশ্যই কন্টেন্টকে পরিমিত করতে হবে যাতে এটি প্ল্যাটফর্ম এবং এর দর্শকদের জন্য নির্দিষ্ট গ্রহণযোগ্য আচরণের পূর্বনির্ধারিত নির্দেশিকাগুলির মধ্যে পড়ে।

যখন একটি প্ল্যাটফর্ম সামগ্রী নিয়ন্ত্রণ করে, তখন গ্রহণযোগ্য ব্যবহারকারী-উত্পাদিত সামগ্রী (UGC) তৈরি করা যেতে পারে এবং অন্যান্য ব্যবহারকারীদের সাথে ভাগ করা যায়। অনুপযুক্ত, বিষাক্ত, বা নিষিদ্ধ আচরণগুলিকে প্রতিরোধ করা যেতে পারে, রিয়েল টাইমে অবরুদ্ধ করা যেতে পারে বা সত্যের পরে সরানো যেতে পারে, প্ল্যাটফর্মে থাকা বিষয়বস্তু নিয়ন্ত্রণের সরঞ্জাম এবং পদ্ধতির উপর নির্ভর করে।

তুমি ব্যবহার করতে পার আমাজন স্বীকৃতি বিষয়বস্তু সংযম অনুপযুক্ত, অবাঞ্ছিত বা আপত্তিকর বিষয়বস্তু সনাক্ত করতে, একটি নিরাপদ ব্যবহারকারীর অভিজ্ঞতা তৈরি করতে, বিজ্ঞাপনদাতাদের ব্র্যান্ড নিরাপত্তা নিশ্চয়তা প্রদান করতে এবং স্থানীয় এবং বিশ্বব্যাপী প্রবিধান মেনে চলতে।

এই পোস্টে, আমরা বিভিন্ন নির্ভুলতা মেট্রিক্সের পরিপ্রেক্ষিতে একটি বিষয়বস্তু নিয়ন্ত্রন পরিষেবার কার্যক্ষমতার দিকটি মূল্যায়ন করার জন্য প্রয়োজনীয় মূল উপাদানগুলি নিয়ে আলোচনা করি, এবং Amazon Recognition ব্যবহার করে একটি উদাহরণ প্রদান করি বিষয়বস্তু মডারেশন API এর.

কি মূল্যায়ন করতে হবে

একটি বিষয়বস্তু নিয়ন্ত্রণ পরিষেবা মূল্যায়ন করার সময়, আমরা নিম্নলিখিত পদক্ষেপগুলি সুপারিশ করি৷

আপনার ব্যবহারের ক্ষেত্রে API-এর কর্মক্ষমতা মূল্যায়ন করার আগে, আপনাকে একটি প্রতিনিধি পরীক্ষার ডেটাসেট প্রস্তুত করতে হবে। নিম্নে কিছু উচ্চ-স্তরের নির্দেশিকা রয়েছে:

• সংগ্রহ - আপনি অবশেষে Amazon Recognition এর মাধ্যমে যে ডেটা চালাতে চান তার একটি বড় পর্যাপ্ত র্যান্ডম নমুনা (ছবি বা ভিডিও) নিন। উদাহরণস্বরূপ, আপনি যদি ব্যবহারকারীর আপলোড করা ছবিগুলিকে পরিমিত করার পরিকল্পনা করেন, আপনি পরীক্ষার জন্য এক সপ্তাহের মূল্যের ব্যবহারকারীর ছবি নিতে পারেন৷ আমরা এমন একটি সেট বেছে নেওয়ার পরামর্শ দিই যা প্রক্রিয়া করার জন্য খুব বড় না হয়েই যথেষ্ট ছবি রয়েছে (যেমন 1,000-10,000 ছবি), যদিও বড় সেটগুলি আরও ভাল।
• সংজ্ঞা - অ্যামাজন স্বীকৃতি থেকে আপনি কোন ধরনের অনিরাপদ সামগ্রী সনাক্ত করতে আগ্রহী তা নির্ধারণ করতে আপনার অ্যাপ্লিকেশনের বিষয়বস্তু নির্দেশিকা ব্যবহার করুন সংযম ধারণা শ্রেণীবিন্যাস. উদাহরণস্বরূপ, আপনি সমস্ত ধরণের স্পষ্ট নগ্নতা এবং গ্রাফিক সহিংসতা বা রক্তপাত সনাক্ত করতে আগ্রহী হতে পারেন৷
• টীকা - এখন আপনার নির্বাচিত লেবেলগুলি ব্যবহার করে আপনার পরীক্ষার সেটের জন্য একটি মানব-উত্পাদিত গ্রাউন্ড ট্রুথ প্রয়োজন, যাতে আপনি তাদের বিরুদ্ধে মেশিনের পূর্বাভাস তুলনা করতে পারেন। এর মানে হল যে প্রতিটি চিত্র আপনার নির্বাচিত ধারণার উপস্থিতি বা অনুপস্থিতির জন্য টীকা করা হয়েছে। আপনার ইমেজ ডেটা টীকা করতে, আপনি ব্যবহার করতে পারেন আমাজন সেজমেকার গ্রাউন্ড ট্রুথ (GT) ছবি টীকা পরিচালনা করতে। আপনি উল্লেখ করতে পারেন ইমেজ লেবেলিং জন্য GT, টীকা একত্রীকরণ এবং টীকা আউটপুট প্রক্রিয়াকরণ.

Amazon Recognition এর মাধ্যমে আপনার পরীক্ষার ডেটাসেটের ভবিষ্যদ্বাণী পান

এর পরে, আপনি আপনার পরীক্ষার ডেটাসেটের পূর্বাভাস পেতে চান।

প্রথম ধাপ হল একটি ন্যূনতম আত্মবিশ্বাসের স্কোর (একটি থ্রেশহোল্ড মান, যেমন 50%) সিদ্ধান্ত নেওয়া যেখানে আপনি ফলাফল পরিমাপ করতে চান। আমাদের ডিফল্ট থ্রেশহোল্ড 50 এ সেট করা হয়েছে, যা নিরাপদ সামগ্রীতে অনেকগুলি মিথ্যা ভবিষ্যদ্বাণী না করে প্রচুর পরিমাণে অনিরাপদ সামগ্রী পুনরুদ্ধার করার মধ্যে একটি ভাল ভারসাম্য অফার করে৷ যাইহোক, আপনার প্ল্যাটফর্মের বিভিন্ন ব্যবসায়িক চাহিদা থাকতে পারে, তাই আপনার প্রয়োজন অনুযায়ী এই আস্থার থ্রেশহোল্ডটি কাস্টমাইজ করা উচিত। আপনি ব্যবহার করতে পারেন MinConfidence আপনার API অনুরোধের প্যারামিটারে বিষয়বস্তুর সনাক্তকরণ (রিকল) বনাম সনাক্তকরণের নির্ভুলতা (নির্ভুলতা) ভারসাম্য বজায় রাখার জন্য। কমিয়ে দিলে MinConfidence, আপনি সম্ভবত অনুপযুক্ত অধিকাংশ বিষয়বস্তু শনাক্ত করতে পারেন, কিন্তু বাস্তবে অনুপযুক্ত নয় এমন সামগ্রী বাছাই করারও সম্ভাবনা রয়েছে৷ বাড়ালে MinConfidence আপনি নিশ্চিত করতে পারেন যে আপনার সমস্ত শনাক্ত করা বিষয়বস্তু সত্যিই অনুপযুক্ত কিন্তু কিছু বিষয়বস্তু ট্যাগ নাও হতে পারে। আমরা কয়েকটি নিয়ে পরীক্ষা করার পরামর্শ দিই MinConfidence আপনার ডেটাসেটের মান এবং পরিমাণগতভাবে আপনার ডেটা ডোমেনের জন্য সেরা মান নির্বাচন করুন।

এরপরে, Amazon Recognition moderation API (এর মাধ্যমে আপনার পরীক্ষার সেটের প্রতিটি নমুনা (ছবি বা ভিডিও) চালানমডারেশন লেবেল সনাক্ত করুন).

ইমেজ মডেল নির্ভুলতা পরিমাপ

আপনি মডেল ভবিষ্যদ্বাণীগুলির সাথে মানব-উত্পন্ন গ্রাউন্ড ট্রুথ টীকা তুলনা করে একটি মডেলের যথার্থতা মূল্যায়ন করতে পারেন। আপনি প্রতিটি ইমেজের জন্য এই তুলনাটি স্বাধীনভাবে পুনরাবৃত্তি করেন এবং তারপর পুরো পরীক্ষার সেটে একত্রিত করুন:

• প্রতি-ছবি ফলাফল - একটি মডেল ভবিষ্যদ্বাণী জোড়া হিসাবে সংজ্ঞায়িত করা হয় {label_name, confidence_score} (যেখানে আত্মবিশ্বাসের স্কোর >= আপনি আগে বেছে নেওয়া থ্রেশহোল্ড)। প্রতিটি ছবির জন্য, একটি ভবিষ্যদ্বাণী সঠিক বলে বিবেচিত হয় যখন এটি গ্রাউন্ড ট্রুথ (GT) এর সাথে মেলে। একটি ভবিষ্যদ্বাণী নিম্নলিখিত বিকল্পগুলির মধ্যে একটি:
  • ট্রু পজিটিভ (টিপি): ভবিষ্যদ্বাণী এবং জিটি উভয়ই "অনিরাপদ"
  • সত্য নেতিবাচক (TN): ভবিষ্যদ্বাণী এবং জিটি উভয়ই "নিরাপদ"
  • ইতিবাচক মিথ্যা (FP): ভবিষ্যদ্বাণী "অনিরাপদ" বলে, কিন্তু জিটি "নিরাপদ"
  • মিথ্যা নেতিবাচক (FN): ভবিষ্যদ্বাণী "নিরাপদ", কিন্তু GT "অনিরাপদ"
• সমস্ত চিত্রের উপর একত্রিত ফলাফল - এর পরে, আপনি এই ভবিষ্যদ্বাণীগুলিকে ডেটাসেট-স্তরের ফলাফলগুলিতে একত্রিত করতে পারেন:
  • মিথ্যা ইতিবাচক হার (FPR) - এটি পরীক্ষার সেটে থাকা চিত্রগুলির শতাংশ যা মডেল দ্বারা ভুলভাবে পতাকাঙ্কিত করা হয়েছে যেমন অনিরাপদ সামগ্রী রয়েছে: (FP): FP / (TN+FP)৷
  • মিথ্যা নেতিবাচক হার (FNR) – এটি পরীক্ষার সেটে অনিরাপদ চিত্রগুলির শতাংশ যা মডেলটি মিস করেছে: (FN): FN / (FN+TP)৷
  • সত্য ইতিবাচক হার (টিপিআর) – এটিকে প্রত্যাহারও বলা হয়, এটি অসুরক্ষিত বিষয়বস্তুর (গ্রাউন্ড ট্রুথ) শতাংশ গণনা করে যা মডেল দ্বারা সঠিকভাবে আবিষ্কৃত বা ভবিষ্যদ্বাণী করা হয়েছে: TP / (TP + FN) = 1 – FNR।
  • স্পষ্টতা - এটি মোট ভবিষ্যদ্বাণীর সংখ্যার ক্ষেত্রে সঠিক ভবিষ্যদ্বাণীর (অনিরাপদ সামগ্রী) শতাংশ গণনা করে: TP / (TP+FP)।

এর একটি উদাহরণ অন্বেষণ করা যাক. ধরা যাক আপনার পরীক্ষার সেটে 10,000টি ছবি রয়েছে: 9,950টি নিরাপদ এবং 50টি অনিরাপদ৷ মডেলটি সঠিকভাবে 9,800টি ছবির মধ্যে 9,950টি নিরাপদ এবং 45টির মধ্যে 50টি অনিরাপদ বলে ভবিষ্যদ্বাণী করেছে:

• TP = 45
• TN = 9800
• FP = 9950 - 9800 = 150
• FN = 50 - 45 = 5
• আরপিএফ = 150 / (9950 + 150) = 0.015 = 1.5%
• এফএনআর = 5 / (5 + 45) = 0.1 = 10%
• টিপিআর/রিকল = 45 / (45 + 5) = 0.9 = 90%
• স্পষ্টতা = 45 / (45 + 150) = 0.23 = 23%

ভিডিওতে মডেলের নির্ভুলতা পরিমাপ করুন

আপনি যদি ভিডিওতে পারফরম্যান্স মূল্যায়ন করতে চান তবে কয়েকটি অতিরিক্ত পদক্ষেপ প্রয়োজন:

1. প্রতিটি ভিডিও থেকে ফ্রেমের একটি উপসেটের নমুনা নিন। আমরা প্রতি সেকেন্ডে (fps) 0.3-1 ফ্রেম হারের সাথে সমানভাবে নমুনা নেওয়ার পরামর্শ দিই। উদাহরণস্বরূপ, যদি একটি ভিডিও 24 fps এ এনকোড করা হয় এবং আপনি প্রতি 3 সেকেন্ডে (0.3 fps) একটি ফ্রেম নমুনা করতে চান তবে আপনাকে প্রতি 72 ফ্রেমে একটি নির্বাচন করতে হবে।
2. Amazon Recognition কন্টেন্ট মডারেশনের মাধ্যমে এই নমুনাযুক্ত ফ্রেমগুলি চালান। আপনি হয় আমাদের ভিডিও API ব্যবহার করতে পারেন, যা ইতিমধ্যেই আপনার জন্য ফ্রেমের নমুনা দেয় (3 fps হারে), অথবা ইমেজ API ব্যবহার করুন, এই ক্ষেত্রে আপনি আরও কম নমুনা করতে চান। ভিডিওগুলিতে তথ্যের অপ্রয়োজনীয়তার কারণে আমরা পরবর্তী বিকল্পটি সুপারিশ করি (পরপর ফ্রেমগুলি খুব একই রকম)।
3. পূর্ববর্তী বিভাগে ব্যাখ্যা করা হিসাবে প্রতি-ফ্রেমের ফলাফলগুলি গণনা করুন (প্রতি-চিত্রের ফলাফল)।
4. পুরো পরীক্ষার সেটে মোট ফলাফল। আপনার ব্যবসার জন্য গুরুত্বপূর্ণ ফলাফলের ধরণের উপর নির্ভর করে এখানে আপনার কাছে দুটি বিকল্প রয়েছে:
   1. ফ্রেম-স্তরের ফলাফল - এটি সমস্ত নমুনাযুক্ত ফ্রেমকে স্বাধীন ছবি হিসাবে বিবেচনা করে এবং চিত্রগুলির জন্য পূর্বে ব্যাখ্যা করা ফলাফলগুলিকে একত্রিত করে (FPR, FNR, রিকল, নির্ভুলতা)। যদি কিছু ভিডিও অন্যদের তুলনায় যথেষ্ট দীর্ঘ হয়, তবে তারা মোট গণনায় আরও ফ্রেম অবদান রাখবে, তুলনাটিকে ভারসাম্যহীন করে তুলবে। সেক্ষেত্রে, আমরা প্রতি ভিডিওতে একটি নির্দিষ্ট সংখ্যক ফ্রেমে প্রাথমিক নমুনা নেওয়ার কৌশল পরিবর্তন করার পরামর্শ দিই। উদাহরণস্বরূপ, আপনি প্রতি ভিডিওতে 50-100 ফ্রেমের নমুনা দিতে পারেন (অনুমান করে ভিডিওগুলি কমপক্ষে 2-3 মিনিটের)।
   2. ভিডিও-স্তরের ফলাফল - কিছু ব্যবহারের ক্ষেত্রে, মডেলটি একটি ভিডিওতে 50% বা 99% ফ্রেম সঠিকভাবে ভবিষ্যদ্বাণী করতে সক্ষম কিনা তা বিবেচ্য নয়৷ এমনকি একটি একক ফ্রেমে একটি একক ভুল অনিরাপদ ভবিষ্যদ্বাণী একটি নিম্নধারার মানুষের মূল্যায়নকে ট্রিগার করতে পারে এবং 100% সঠিক ভবিষ্যদ্বাণী সহ শুধুমাত্র ভিডিওগুলিই সঠিকভাবে বিবেচিত হয়৷ যদি এটি আপনার ব্যবহারের ক্ষেত্রে হয়, আমরা আপনাকে প্রতিটি ভিডিওর ফ্রেমের উপর FPR/FNR/TPR গণনা করার পরামর্শ দিই এবং ভিডিওটিকে নিম্নরূপ বিবেচনা করুন:

আপনি প্রতিটি ভিডিওর জন্য স্বাধীনভাবে এইগুলি গণনা করার পরে, আপনি তারপরে আমরা আগে প্রবর্তিত সমস্ত মেট্রিক্স গণনা করতে পারেন:

• ভুলভাবে পতাকাঙ্কিত (FP) বা মিস করা (FN) ভিডিওগুলির শতাংশ
• যথার্থতা এবং প্রত্যাহার

লক্ষ্যের বিপরীতে পারফরম্যান্স পরিমাপ করুন

অবশেষে, আপনাকে আপনার লক্ষ্য এবং ক্ষমতার পরিপ্রেক্ষিতে এই ফলাফলগুলি ব্যাখ্যা করতে হবে।

প্রথমে, নিম্নলিখিত বিষয়ে আপনার ব্যবসার প্রয়োজনীয়তা বিবেচনা করুন:

• উপাত্ত - আপনার ডেটা (দৈনিক ভলিউম, ডেটার ধরন এবং আরও অনেক কিছু) এবং আপনার অনিরাপদ বনাম নিরাপদ সামগ্রীর বিতরণ সম্পর্কে জানুন। উদাহরণস্বরূপ, এটি কি সুষম (50/50), তির্যক (10/90) বা খুব তির্যক (1/99, যার অর্থ শুধুমাত্র 1% অনিরাপদ)? এই ধরনের বিতরণ বোঝা আপনাকে আপনার প্রকৃত মেট্রিক লক্ষ্যগুলি সংজ্ঞায়িত করতে সাহায্য করতে পারে। উদাহরণস্বরূপ, নিরাপদ বিষয়বস্তুর সংখ্যা প্রায়শই অনিরাপদ বিষয়বস্তুর (খুবই তির্যক) থেকে বড় আকারের একটি ক্রম, যা এটি প্রায় একটি অসঙ্গতি সনাক্তকরণ সমস্যা করে তোলে। এই পরিস্থিতিতে, মিথ্যা ইতিবাচক সংখ্যা সত্য ইতিবাচক সংখ্যার চেয়ে বেশি হতে পারে, এবং আপনি যে FPR নিয়ে কাজ করতে পারেন তা নির্ধারণ করতে আপনি আপনার ডেটা তথ্য (ডিস্ট্রিবিউশন স্কিউনেস, ডেটার পরিমাণ এবং আরও অনেক কিছু) ব্যবহার করতে পারেন।
• মেট্রিক লক্ষ্য - আপনার ব্যবসার সবচেয়ে গুরুত্বপূর্ণ দিক কি কি? FPR কমানো প্রায়শই উচ্চ FNR খরচ করে (এবং এর বিপরীতে) এবং আপনার জন্য কাজ করে এমন সঠিক ব্যালেন্স খুঁজে পাওয়া গুরুত্বপূর্ণ। আপনি যদি কোনো অনিরাপদ বিষয়বস্তু মিস করতে না পারেন, তাহলে আপনি সম্ভবত 0% FNR (100% প্রত্যাহার) চান। যাইহোক, এটির জন্য সবচেয়ে বেশি সংখ্যক মিথ্যা ইতিবাচক প্রভাব ফেলবে, এবং আপনার পোস্ট-প্রেডিকশন পাইপলাইনের উপর ভিত্তি করে আপনি যে লক্ষ্য (সর্বোচ্চ) FPR নিয়ে কাজ করতে পারেন তা নির্ধারণ করতে হবে। আপনি একটি ভাল ব্যালেন্স খুঁজে পেতে এবং আপনার FPR কমাতে সক্ষম হওয়ার জন্য কিছু স্তরের মিথ্যা নেতিবাচককে অনুমতি দিতে চাইতে পারেন: উদাহরণস্বরূপ, 5% এর পরিবর্তে 0% FNR গ্রহণ করা FPR 2% থেকে 0.5% পর্যন্ত কমিয়ে আনতে পারে, সংখ্যাটি উল্লেখযোগ্যভাবে হ্রাস করে পতাকাঙ্কিত বিষয়বস্তুর।

এর পরে, নিজেকে জিজ্ঞাসা করুন আপনি পতাকাযুক্ত চিত্রগুলিকে পার্স করার জন্য কোন পদ্ধতি ব্যবহার করবেন৷ যদিও API গুলি 0% FPR এবং FNR প্রদান নাও করতে পারে, তবুও এটি বিশাল সঞ্চয় এবং স্কেল আনতে পারে (উদাহরণস্বরূপ, শুধুমাত্র আপনার 3% ছবি ফ্ল্যাগ করে, আপনি ইতিমধ্যেই আপনার সামগ্রীর 97% ফিল্টার আউট করেছেন)। যখন আপনি কিছু ডাউনস্ট্রীম মেকানিজমের সাথে API-কে যুক্ত করেন, যেমন একটি মানব কর্মী বাহিনী যা পতাকাঙ্কিত সামগ্রী পর্যালোচনা করে, আপনি সহজেই আপনার লক্ষ্যে পৌঁছাতে পারেন (উদাহরণস্বরূপ, 0.5% পতাকাঙ্কিত সামগ্রী)। আপনার সামগ্রীর 100% উপর একটি মানবিক পর্যালোচনা করার চেয়ে এই জুটিটি কীভাবে যথেষ্ট সস্তা তা লক্ষ্য করুন৷

আপনি যখন আপনার ডাউনস্ট্রিম মেকানিজম নিয়ে সিদ্ধান্ত নেন, তখন আমরা আপনাকে সমর্থন করতে পারেন এমন থ্রুপুট মূল্যায়ন করার পরামর্শ দিই। উদাহরণ স্বরূপ, আপনার যদি এমন কোনো কর্মী থাকে যা আপনার দৈনিক সামগ্রীর মাত্র 2% যাচাই করতে পারে, তাহলে আমাদের বিষয়বস্তু মডারেশন API থেকে আপনার লক্ষ্য লক্ষ্য হল ফ্ল্যাগ রেট (FPR+TPR) 2%।

অবশেষে, যদি গ্রাউন্ড ট্রুথ টীকা পাওয়া খুব কঠিন বা খুব ব্যয়বহুল হয় (উদাহরণস্বরূপ, আপনার ডেটার ভলিউম খুব বড়), আমরা API দ্বারা পতাকাঙ্কিত ছোট সংখ্যক ছবিকে টীকা করার পরামর্শ দিই। যদিও এটি FNR মূল্যায়নের অনুমতি দেয় না (কারণ আপনার ডেটাতে কোনো মিথ্যা নেগেটিভ নেই), আপনি এখনও TPR এবং FPR পরিমাপ করতে পারেন।

নিম্নলিখিত বিভাগে, আমরা চিত্র সংযম মূল্যায়নের জন্য একটি সমাধান প্রদান করি। আপনি ভিডিও সংযম মূল্যায়নের জন্য অনুরূপ পদ্ধতি নিতে পারেন।

সমাধান ওভারভিউ

নিম্নলিখিত চিত্রটি বিভিন্ন AWS পরিষেবাগুলিকে চিত্রিত করে যা আপনি আপনার পরীক্ষার ডেটাসেটে Amazon Recognition বিষয়বস্তু সংযমের কার্যকারিতা মূল্যায়ন করতে ব্যবহার করতে পারেন৷

বিষয়বস্তু সংযম মূল্যায়নের নিম্নলিখিত ধাপ রয়েছে:

1. আপনার মূল্যায়ন ডেটাসেট আপলোড করুন আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)।
2. গ্রাউন্ড ট্রুথ ব্যবহার করুন গ্রাউন্ড ট্রুথ মডারেশন লেবেল বরাদ্দ করতে।
3. কিছু থ্রেশহোল্ড মান ব্যবহার করে Amazon Recognition প্রাক-প্রশিক্ষিত মডারেশন API ব্যবহার করে পূর্বাভাসিত মডারেশন লেবেল তৈরি করুন। (উদাহরণস্বরূপ, 70%, 75% এবং 80%)।
4. সত্য ইতিবাচক, সত্য নেতিবাচক, মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচক গণনা করে প্রতিটি থ্রেশহোল্ডের জন্য কর্মক্ষমতা মূল্যায়ন করুন। আপনার ব্যবহারের ক্ষেত্রে সর্বোত্তম থ্রেশহোল্ড মান নির্ধারণ করুন।
5. ঐচ্ছিকভাবে, আপনি সত্য এবং মিথ্যা ইতিবাচকতার উপর ভিত্তি করে কর্মশক্তির আকার নির্ধারণ করতে পারেন এবং ব্যবহার করতে পারেন অ্যামাজন অগমেন্টেড এআই (Amazon A2I) স্বয়ংক্রিয়ভাবে একটি ম্যানুয়াল পর্যালোচনার জন্য আপনার মনোনীত কর্মীদের কাছে সমস্ত পতাকাঙ্কিত সামগ্রী পাঠাতে।

নিম্নলিখিত বিভাগগুলি ধাপ 1, 2 এবং 3 এর জন্য কোড স্নিপেট প্রদান করে। সম্পূর্ণ এন্ড-টু-এন্ড সোর্স কোডের জন্য, প্রদত্তটি দেখুন জুপিটার নোটবুক.

পূর্বশর্ত

আপনি শুরু করার আগে, Jupyter নোটবুক সেট আপ করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. একটি নোটবুক উদাহরণ তৈরি করুন in আমাজন সেজমেকার.
2. নোটবুক সক্রিয় হলে, নির্বাচন করুন জুপিটার খুলুন.
3. জুপিটার ড্যাশবোর্ডে, নির্বাচন করুন নতুন, এবং চয়ন করুন প্রান্তিক.
4. টার্মিনালে, নিম্নলিখিত কোড লিখুন:

   cd SageMaker
   git clone https://github.com/aws-samples/amazon-rekognition-code-samples.git

5. এই পোস্টের জন্য নোটবুক খুলুন: content-moderation-evaluation/Evaluating-Amazon-Rekognition-Content-Moderation-Service.ipynb.
6. আপনার মূল্যায়ন ডেটাসেট আপলোড করুন আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)।

আমরা এখন জুপিটার নোটবুকে 2 থেকে 4 ধাপে যাব।

মডারেশন লেবেল বরাদ্দ করতে গ্রাউন্ড ট্রুথ ব্যবহার করুন

গ্রাউন্ড ট্রুথ-এ লেবেল বরাদ্দ করতে, নিম্নলিখিত ধাপগুলি সম্পূর্ণ করুন:

1. একটি ম্যানিফেস্ট ইনপুট ফাইল তৈরি করুন আপনার গ্রাউন্ড ট্রুথ কাজের জন্য এবং এটি অ্যামাজন S3 এ আপলোড করুন।
2. লেবেলিং কনফিগারেশন তৈরি করুন, যাতে গ্রাউন্ড ট্রুথ লেবেলিং কাজের জন্য প্রয়োজনীয় সমস্ত মডারেশন লেবেল রয়েছে। আপনি ব্যবহার করতে পারেন এমন লেবেল বিভাগের সংখ্যার সীমা পরীক্ষা করতে, দেখুন লেবেল বিভাগ কোটা. নিম্নলিখিত কোড স্নিপেটে, আমরা পাঁচটি লেবেল ব্যবহার করি (দেখুন আমাজন স্বীকৃতিতে ব্যবহৃত শ্রেণিবিন্যাস আরো বিস্তারিত জানার জন্য) প্লাস ওয়ান লেবেল (Safe_Content) যা কন্টেন্টকে নিরাপদ হিসেবে চিহ্নিত করে:

   # customize CLASS_LIST to include all labels that can be used to classify sameple data, it's up to 10 labels
   # In order to easily match image label with content moderation service supported taxonomy, 
   
   CLASS_LIST = ["", "", "", "", "", "Safe_Content"]
   print("Label space is {}".format(CLASS_LIST))
   
   json_body = {"labels": [{"label": label} for label in CLASS_LIST]}
   with open("class_labels.json", "w") as f:
       json.dump(json_body, f)
   
   s3.upload_file("class_labels.json", BUCKET, EXP_NAME + "/class_labels.json")

3. একটি কাস্টম ওয়ার্কার টাস্ক টেমপ্লেট তৈরি করুন যাতে গ্রাউন্ড ট্রুথ ওয়ার্কফোর্সকে লেবেল করার নির্দেশাবলী দেওয়া হয় এবং এটি Amazon S3 এ আপলোড করুন।
   গ্রাউন্ড ট্রুথ লেবেল কাজকে একটি ইমেজ ক্লাসিফিকেশন (মাল্টি-লেবেল) টাস্ক হিসেবে সংজ্ঞায়িত করা হয়েছে। নির্দেশ টেমপ্লেট কাস্টমাইজ করার জন্য নির্দেশাবলীর জন্য উৎস কোড পড়ুন।
4. গ্রাউন্ড ট্রুথ কাজ সম্পূর্ণ করতে আপনি কোন কর্মশক্তি ব্যবহার করতে চান তা নির্ধারণ করুন। আপনার কাছে দুটি বিকল্প রয়েছে (বিশদ বিবরণের জন্য উত্স কোড পড়ুন):
   1. ব্যবহার করা ব্যক্তিগত কর্মীবাহিনী মূল্যায়ন ডেটাসেট লেবেল করতে আপনার নিজের প্রতিষ্ঠানে।
   2. ব্যবহার করা পাবলিক কর্মী বাহিনী মূল্যায়ন ডেটাসেট লেবেল করতে।
5. একটি গ্রাউন্ড ট্রুথ লেবেলিং কাজ তৈরি করুন এবং জমা দিন। আপনি কনফিগার করতে নিম্নলিখিত কোড সামঞ্জস্য করতে পারেন কাজের পরামিতি লেবেল করা আপনার নির্দিষ্ট ব্যবসার প্রয়োজনীয়তা পূরণ করতে। গ্রাউন্ড ট্রুথ কাজ তৈরি এবং কনফিগার করার সম্পূর্ণ নির্দেশাবলীর জন্য সোর্স কোডটি পড়ুন।

   human_task_config = {
       "AnnotationConsolidationConfig": {
           "AnnotationConsolidationLambdaArn": acs_arn,
       },
       "PreHumanTaskLambdaArn": prehuman_arn,
       "MaxConcurrentTaskCount": 200,  # 200 images will be sent at a time to the workteam.
       "NumberOfHumanWorkersPerDataObject": 3,  # 3 separate workers will be required to label each image.
       "TaskAvailabilityLifetimeInSeconds": 21600,  # Your workteam has 6 hours to complete all pending tasks.
       "TaskDescription": task_description,
       "TaskKeywords": task_keywords,
       "TaskTimeLimitInSeconds": 180,  # Each image must be labeled within 3 minutes.
       "TaskTitle": task_title,
       "UiConfig": {
           "UiTemplateS3Uri": "s3://{}/{}/instructions.template".format(BUCKET, EXP_NAME),
       },
   }

কাজ জমা দেওয়ার পরে, আপনি নিম্নলিখিত অনুরূপ আউটপুট দেখতে হবে:

Labeling job name is: ground-truth-cm-1662738403

মূল্যায়ন ডেটাসেটে লেবেল করার কাজ সফলভাবে সম্পূর্ণ করার জন্য অপেক্ষা করুন, তারপর পরবর্তী ধাপে চালিয়ে যান।

পূর্বাভাসিত মডারেশন লেবেল তৈরি করতে Amazon Recognition মডারেশন API ব্যবহার করুন।

নিম্নলিখিত কোড স্নিপেট দেখায় কিভাবে Amazon Recognition ব্যবহার করতে হয় মডারেশন API সংযম লেবেল তৈরি করতে:

client=boto3.client('rekognition')
def moderate_image(photo, bucket):
    response = client.detect_moderation_labels(Image={'S3Object':{'Bucket':bucket,'Name':photo}})
    return len(response['ModerationLabels'])

কর্মক্ষমতা মূল্যায়ন

আপনি প্রথমে মূল্যায়ন ডেটাসেটের জন্য গ্রাউন্ড ট্রুথ লেবেলিং কাজের ফলাফল থেকে গ্রাউন্ড ট্রুথ মডারেশন লেবেল পুনরুদ্ধার করেছেন, তারপর আপনি একই ডেটাসেটের জন্য পূর্বাভাসিত মডারেশন লেবেল পেতে Amazon Recognition মডারেশন API চালান। যেহেতু এটি একটি বাইনারি শ্রেণিবিন্যাস সমস্যা (নিরাপদ বনাম অনিরাপদ সামগ্রী), আমরা নিম্নলিখিত মেট্রিকগুলি গণনা করি (অনিরাপদ বিষয়বস্তু ইতিবাচক বলে ধরে নিয়ে):

আমরা সংশ্লিষ্ট মূল্যায়ন মেট্রিকগুলিও গণনা করি:

নিম্নলিখিত কোড স্নিপেট দেখায় কিভাবে সেই মেট্রিক্স গণনা করতে হয়:

FPR = FP / (FP + TN)
FNR = FN / (FN + TP)
Recall = TP / (TP + FN)
Precision = TP / (TP + FP)

উপসংহার

এই পোস্টটি বিভিন্ন নির্ভুলতা মেট্রিক্সের পরিপ্রেক্ষিতে আপনার বিষয়বস্তু সংযম পরিষেবার কর্মক্ষমতা দিকটি মূল্যায়ন করার জন্য প্রয়োজনীয় মূল উপাদানগুলি নিয়ে আলোচনা করে৷ যাইহোক, একটি নির্দিষ্ট বিষয়বস্তু নিয়ন্ত্রন পরিষেবা নির্বাচন করার সময় আপনাকে মূল্যায়ন করতে হবে এমন অনেকগুলি মাত্রার মধ্যে সঠিকতা হল একটি মাত্র। এটি গুরুত্বপূর্ণ যে আপনি অন্যান্য পরামিতিগুলি অন্তর্ভুক্ত করুন, যেমন পরিষেবার মোট বৈশিষ্ট্য সেট, ব্যবহারের সহজতা, বিদ্যমান একীকরণ, গোপনীয়তা এবং সুরক্ষা, কাস্টমাইজেশন বিকল্প, স্কেলেবিলিটি প্রভাব, গ্রাহক পরিষেবা এবং মূল্য নির্ধারণ। Amazon Recognition-এ বিষয়বস্তু সংযম সম্পর্কে আরও জানতে, দেখুন আমাজন স্বীকৃতি বিষয়বস্তু সংযম.

লেখক সম্পর্কে

অমিত গুপ্ত AWS-এর একজন সিনিয়র এআই সার্ভিসেস সলিউশন আর্কিটেক্ট। তিনি স্কেলে ভাল আর্কিটেক্টেড মেশিন লার্নিং সমাধানগুলির সাথে গ্রাহকদের সক্ষম করার বিষয়ে উত্সাহী।

ডেভিড মোডলো AWS AI ল্যাবসের একজন ফলিত বিজ্ঞান ব্যবস্থাপক। তিনি এডিনবার্গ বিশ্ববিদ্যালয় (ইউকে) থেকে কম্পিউটার দৃষ্টিতে পিএইচডি করেছেন এবং বাস্তব-বিশ্বের গ্রাহক সমস্যার জন্য নতুন বৈজ্ঞানিক সমাধান বিকাশের বিষয়ে উত্সাহী। কাজের বাইরে, তিনি ভ্রমণ এবং যেকোনো ধরনের খেলা বিশেষ করে ফুটবল খেলা উপভোগ করেন।

জিয়ান উ AWS-এর একজন সিনিয়র এন্টারপ্রাইজ সলিউশন আর্কিটেক্ট। তিনি AWS-এর সাথে 6 বছর ধরে সব আকারের গ্রাহকদের সাথে কাজ করছেন। তিনি ক্লাউড এবং এআই/এমএল গ্রহণের মাধ্যমে গ্রাহকদের দ্রুত উদ্ভাবনে সহায়তা করার বিষয়ে উত্সাহী৷ AWS-এ যোগদানের আগে, জিয়ান সফ্টওয়্যার উন্নয়ন, সিস্টেম বাস্তবায়ন এবং অবকাঠামো পরিচালনার উপর মনোযোগ কেন্দ্রীভূত করার জন্য 10+ বছর অতিবাহিত করেছিলেন। কাজের পাশাপাশি, তিনি সক্রিয় থাকতে এবং তার পরিবারের সাথে সময় কাটাতে উপভোগ করেন।