Amazon SageMaker Ground Truth দিয়ে ML মডেলের জন্য উচ্চ-মানের ডেটা তৈরি করুন

মেশিন লার্নিং (ML) সাম্প্রতিক বছরগুলিতে সমস্ত শিল্পে ব্যবসার উন্নতি করেছে—আপনার সুপারিশ সিস্টেম থেকে প্রাইম ভিডিও অ্যাকাউন্ট, সংক্ষিপ্তকরণ এবং দক্ষ অনুসন্ধান নথিভুক্ত করতে আলেক্সাএর ভয়েস সহায়তা। যাইহোক, প্রশ্ন থেকে যায় কিভাবে এই প্রযুক্তিকে আপনার ব্যবসায় অন্তর্ভুক্ত করবেন। প্রথাগত নিয়ম-ভিত্তিক পদ্ধতির বিপরীতে, এমএল স্বয়ংক্রিয়ভাবে ডেটা থেকে প্যাটার্ন নির্ণয় করে যাতে আপনার আগ্রহের কাজটি সম্পাদন করা যায়। যদিও এটি অটোমেশনের জন্য নিয়মগুলি কিউরেট করার প্রয়োজনীয়তাকে বাইপাস করে, তবে এর মানে হল যে এমএল মডেলগুলি শুধুমাত্র সেই ডেটার মতোই ভাল হতে পারে যার উপর তারা প্রশিক্ষিত। যাইহোক, ডেটা তৈরি করা প্রায়শই একটি চ্যালেঞ্জিং কাজ। এ আমাজন মেশিন লার্নিং সলিউশন ল্যাব, আমরা বারবার এই সমস্যার সম্মুখীন হয়েছি এবং আমাদের গ্রাহকদের জন্য এই যাত্রা সহজ করতে চাই৷ আপনি যদি এই প্রক্রিয়াটি অফলোড করতে চান তবে আপনি ব্যবহার করতে পারেন আমাজন সেজমেকার গ্রাউন্ড ট্রুথ প্লাস.

এই পোস্টের শেষে, আপনি নিম্নলিখিতগুলি অর্জন করতে সক্ষম হবেন:

• একটি ডেটা অধিগ্রহণ পাইপলাইন স্থাপনের সাথে জড়িত ব্যবসায়িক প্রক্রিয়াগুলি বুঝুন
• আপনার ডেটা লেবেলিং পাইপলাইনকে সমর্থন এবং ত্বরান্বিত করার জন্য AWS ক্লাউড পরিষেবাগুলি সনাক্ত করুন৷
• কাস্টম ব্যবহারের ক্ষেত্রে একটি ডেটা অধিগ্রহণ এবং লেবেলিং টাস্ক চালান
• ব্যবসা এবং প্রযুক্তিগত সেরা অনুশীলন অনুসরণ করে উচ্চ-মানের ডেটা তৈরি করুন

এই পোস্ট জুড়ে, আমরা ডেটা তৈরির প্রক্রিয়ার উপর ফোকাস করি এবং অবকাঠামো এবং প্রক্রিয়া উপাদানগুলি পরিচালনা করার জন্য AWS পরিষেবাগুলির উপর নির্ভর করি। যথা, আমরা ব্যবহার করি আমাজন সেজমেকার গ্রাউন্ড ট্রুথ লেবেলিং পরিকাঠামো পাইপলাইন এবং ইউজার ইন্টারফেস পরিচালনা করতে। এই পরিষেবাটি আপনার ডেটা সংগ্রহ করার জন্য একটি পয়েন্ট-এন্ড-গো পদ্ধতি ব্যবহার করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এবং একটি লেবেলিং ওয়ার্কফ্লো সেট আপ করুন। লেবেলিংয়ের জন্য, এটি আপনাকে আপনার ব্যক্তিগত দল ব্যবহার করে ডেটা লেবেলগুলি অর্জন করার জন্য অন্তর্নির্মিত নমনীয়তা প্রদান করে, একটি অ্যামাজন যান্ত্রিক তুর্ক বল, অথবা থেকে আপনার পছন্দের লেবেলিং বিক্রেতা AWS মার্কেটপ্লেস. অবশেষে, আপনি ব্যবহার করতে পারেন এডাব্লুএস ল্যাম্বদা এবং অ্যামাজন সেজমেকার নোটবুক প্রসেস, ভিজ্যুয়ালাইজ বা গুণমান নিয়ন্ত্রণ করতে ডেটা—হয় প্রাক- বা পোস্ট-লেবেলিং।

এখন যে সমস্ত টুকরা পাড়া হয়েছে, এর প্রক্রিয়া শুরু করা যাক!

ডেটা তৈরির প্রক্রিয়া

সাধারণ অন্তর্দৃষ্টির বিপরীতে, ডেটা তৈরির প্রথম ধাপটি ডেটা সংগ্রহ নয়। সমস্যাটি প্রকাশ করার জন্য ব্যবহারকারীদের থেকে পিছনের দিকে কাজ করা অত্যন্ত গুরুত্বপূর্ণ। উদাহরণস্বরূপ, ব্যবহারকারীরা চূড়ান্ত আর্টিফ্যাক্টের বিষয়ে কী যত্ন নেয়? বিশেষজ্ঞরা কোথায় বিশ্বাস করেন যে ব্যবহারের ক্ষেত্রে প্রাসঙ্গিক সংকেতগুলি ডেটাতে থাকে? মডেলে ব্যবহারের ক্ষেত্রে পরিবেশ সম্পর্কে কী তথ্য সরবরাহ করা যেতে পারে? আপনি যদি এই প্রশ্নের উত্তর না জানেন, চিন্তা করবেন না। সূক্ষ্মতা বুঝতে ব্যবহারকারী এবং ক্ষেত্রের বিশেষজ্ঞদের সাথে কথা বলার জন্য নিজেকে কিছু সময় দিন। এই প্রাথমিক বোঝাপড়া আপনাকে সঠিক পথে পরিচালিত করবে এবং সাফল্যের জন্য আপনাকে সেট আপ করবে।

এই পোস্টের জন্য, আমরা ধরে নিই যে আপনি ব্যবহারকারীর প্রয়োজনীয়তার স্পেসিফিকেশনের এই প্রাথমিক প্রক্রিয়াটি কভার করেছেন। পরবর্তী তিনটি বিভাগ আপনাকে মানসম্পন্ন ডেটা তৈরির পরবর্তী প্রক্রিয়ার মধ্য দিয়ে নিয়ে যায়: পরিকল্পনা, উৎস ডেটা তৈরি এবং ডেটা টীকা৷ লেবেলযুক্ত ডেটার দক্ষ সৃষ্টি নিশ্চিত করার জন্য ডেটা তৈরি এবং টীকা পদক্ষেপগুলিতে পাইলটিং লুপগুলি গুরুত্বপূর্ণ। এর মধ্যে ডেটা তৈরি, টীকা, গুণমানের নিশ্চয়তা এবং প্রয়োজনীয় হিসাবে পাইপলাইন আপডেট করার মধ্যে পুনরাবৃত্তি করা জড়িত।

নিম্নলিখিত চিত্রটি একটি সাধারণ ডেটা তৈরির পাইপলাইনে প্রয়োজনীয় পদক্ষেপগুলির একটি ওভারভিউ প্রদান করে। আপনার প্রয়োজনীয় ডেটা সনাক্ত করতে আপনি ব্যবহারের ক্ষেত্রে থেকে পিছনের দিকে কাজ করতে পারেন (প্রয়োজনীয়তা নির্দিষ্টকরণ), ডেটা পাওয়ার জন্য একটি প্রক্রিয়া তৈরি করতে (পরিকল্পনা), প্রকৃত ডেটা অধিগ্রহণ প্রক্রিয়া (ডেটা সংগ্রহ এবং টীকা) বাস্তবায়ন করতে এবং ফলাফলগুলি মূল্যায়ন করতে পারেন। পাইলট রান, ড্যাশড লাইন দিয়ে হাইলাইট করা, একটি উচ্চ-মানের ডেটা অধিগ্রহণ পাইপলাইন তৈরি না হওয়া পর্যন্ত আপনাকে প্রক্রিয়াটি পুনরাবৃত্তি করতে দেয়।

পরিকল্পনা

একটি স্ট্যান্ডার্ড ডেটা তৈরির প্রক্রিয়া সময়সাপেক্ষ এবং অদক্ষভাবে পরিচালিত হলে মূল্যবান মানব সম্পদের অপচয় হতে পারে। কেন এটা সময়সাপেক্ষ হবে? এই প্রশ্নের উত্তর দেওয়ার জন্য, আমাদের অবশ্যই ডেটা তৈরির প্রক্রিয়ার সুযোগ বুঝতে হবে। আপনাকে সহায়তা করার জন্য, আমরা একটি উচ্চ-স্তরের চেকলিস্ট এবং মূল উপাদান এবং স্টেকহোল্ডারদের বিবরণ সংগ্রহ করেছি যা আপনাকে অবশ্যই বিবেচনা করতে হবে। এই প্রশ্নের উত্তর দেওয়া প্রথমে কঠিন হতে পারে। আপনার ব্যবহারের ক্ষেত্রের উপর নির্ভর করে, এর মধ্যে শুধুমাত্র কিছু প্রযোজ্য হতে পারে।

• প্রয়োজনীয় অনুমোদনের জন্য যোগাযোগের আইনি বিন্দু চিহ্নিত করুন - আপনার আবেদনের জন্য ডেটা ব্যবহার করার জন্য কোম্পানির নীতি এবং ব্যবহারের ক্ষেত্রে সম্মতি নিশ্চিত করতে লাইসেন্স বা বিক্রেতার চুক্তি পর্যালোচনার প্রয়োজন হতে পারে। প্রক্রিয়াটির সমস্ত ডেটা অর্জন এবং টীকা পদক্ষেপ জুড়ে আপনার আইনি সহায়তা সনাক্ত করা গুরুত্বপূর্ণ।
• ডেটা পরিচালনার জন্য যোগাযোগের নিরাপত্তা বিন্দু চিহ্নিত করুন -ক্রয়কৃত ডেটা ফাঁসের ফলে আপনার কোম্পানির জন্য গুরুতর জরিমানা এবং প্রতিক্রিয়া হতে পারে। নিরাপদ অনুশীলনগুলি নিশ্চিত করার জন্য ডেটা অর্জন এবং টীকা পদক্ষেপ জুড়ে আপনার সুরক্ষা সমর্থন সনাক্ত করা গুরুত্বপূর্ণ।
• বিশদ ব্যবহারের ক্ষেত্রে প্রয়োজনীয়তা এবং উত্স ডেটা এবং টীকা নির্দেশিকা সংজ্ঞায়িত করুন - প্রয়োজনীয় উচ্চ নির্দিষ্টতার কারণে ডেটা তৈরি এবং টীকা করা কঠিন। সম্পদের অপচয় এড়াতে ডেটা জেনারেটর এবং টীকা সহ স্টেকহোল্ডারদের অবশ্যই সম্পূর্ণভাবে একত্রিত হতে হবে। এই লক্ষ্যে, একটি নির্দেশিকা নথি ব্যবহার করা সাধারণ অভ্যাস যা টীকা টাস্কের প্রতিটি দিক নির্দিষ্ট করে: সঠিক নির্দেশাবলী, প্রান্তের ক্ষেত্রে, একটি উদাহরণ ওয়াকথ্রু ইত্যাদি।
• আপনার উত্স ডেটা সংগ্রহের জন্য প্রত্যাশার সাথে সারিবদ্ধ করুন - নিম্নোক্ত বিবেচনা কর:
  • সম্ভাব্য ডেটা উত্সগুলির উপর গবেষণা পরিচালনা করুন – উদাহরণস্বরূপ, পাবলিক ডেটাসেট, অন্যান্য অভ্যন্তরীণ দল থেকে বিদ্যমান ডেটাসেট, স্ব-সংগৃহীত, বা বিক্রেতাদের কাছ থেকে কেনা ডেটা।
  • গুণমান মূল্যায়ন সঞ্চালন - চূড়ান্ত ব্যবহারের ক্ষেত্রে সম্পর্কিত একটি বিশ্লেষণ পাইপলাইন তৈরি করুন।
• ডেটা টীকা তৈরির জন্য প্রত্যাশার উপর সারিবদ্ধ করুন - নিম্নোক্ত বিবেচনা কর:
  • প্রযুক্তিগত স্টেকহোল্ডারদের চিহ্নিত করুন - এটি সাধারণত আপনার কোম্পানির একজন ব্যক্তি বা দল যা একটি টীকা পাইপলাইন বাস্তবায়নের জন্য গ্রাউন্ড ট্রুথ সম্পর্কিত প্রযুক্তিগত ডকুমেন্টেশন ব্যবহার করতে সক্ষম। এই স্টেকহোল্ডাররা টীকা করা ডেটার গুণমান মূল্যায়নের জন্যও দায়ী তা নিশ্চিত করতে যে এটি আপনার ডাউনস্ট্রিম ML অ্যাপ্লিকেশনের চাহিদা পূরণ করে।
  • ডেটা টীকা শনাক্ত করুন - এই ব্যক্তিরা গ্রাউন্ড ট্রুথের মধ্যে আপনার সোর্স ডেটাতে লেবেল যুক্ত করার জন্য পূর্বনির্ধারিত নির্দেশাবলী ব্যবহার করে। আপনার ব্যবহারের ক্ষেত্রে এবং টীকা নির্দেশিকাগুলির উপর নির্ভর করে তাদের ডোমেন জ্ঞান থাকতে হবে। আপনি আপনার কোম্পানীর অভ্যন্তরীণ একটি কর্মশক্তি ব্যবহার করতে পারেন, অথবা একটি জন্য অর্থ প্রদান করতে পারেন একটি বহিরাগত বিক্রেতা দ্বারা পরিচালিত কর্মীবাহিনী.
• ডেটা তৈরির প্রক্রিয়ার তদারকি নিশ্চিত করুন - আপনি পূর্ববর্তী পয়েন্টগুলি থেকে দেখতে পাচ্ছেন, ডেটা তৈরি একটি বিশদ প্রক্রিয়া যা অসংখ্য বিশেষ স্টেকহোল্ডারকে জড়িত করে। অতএব, পছন্দসই ফলাফলের দিকে শেষ থেকে শেষ পর্যন্ত এটি নিরীক্ষণ করা অত্যন্ত গুরুত্বপূর্ণ। একজন নিবেদিত ব্যক্তি বা দল প্রক্রিয়াটির তত্ত্বাবধানে থাকা আপনাকে একটি সমন্বিত, দক্ষ ডেটা তৈরির প্রক্রিয়া নিশ্চিত করতে সহায়তা করতে পারে।

আপনি যে পথটি নেওয়ার সিদ্ধান্ত নিয়েছেন তার উপর নির্ভর করে, আপনাকে অবশ্যই নিম্নলিখিতগুলি বিবেচনা করতে হবে:

• উৎস ডেটাসেট তৈরি করুন - এটি এমন দৃষ্টান্তগুলিকে বোঝায় যখন বিদ্যমান ডেটা হাতের কাজের জন্য উপযুক্ত নয়, বা আইনি সীমাবদ্ধতা আপনাকে এটি ব্যবহার করতে বাধা দেয়। অভ্যন্তরীণ দল বা বহিরাগত বিক্রেতাদের (পরবর্তী পয়েন্ট) ব্যবহার করা আবশ্যক. এটি প্রায়শই উচ্চ বিশেষায়িত ডোমেন বা কম পাবলিক গবেষণা সহ এলাকার ক্ষেত্রে হয়। উদাহরণস্বরূপ, একজন চিকিত্সকের সাধারণ প্রশ্ন, পোশাক পাড়া বা ক্রীড়া বিশেষজ্ঞদের। এটি অভ্যন্তরীণ বা বাহ্যিক হতে পারে।
• বিক্রেতাদের গবেষণা করুন এবং একটি অনবোর্ডিং প্রক্রিয়া পরিচালনা করুন - যখন বহিরাগত বিক্রেতাদের ব্যবহার করা হয়, তখন উভয় সংস্থার মধ্যে একটি চুক্তি এবং অনবোর্ডিং প্রক্রিয়া অবশ্যই সেট করা উচিত।

এই বিভাগে, আমরা উপাদান এবং স্টেকহোল্ডারদের পর্যালোচনা করেছি যা আমাদের অবশ্যই বিবেচনা করতে হবে। যাইহোক, প্রকৃত প্রক্রিয়া কেমন দেখাচ্ছে? নিম্নলিখিত চিত্রে, আমরা ডেটা তৈরি এবং টীকা করার জন্য একটি প্রক্রিয়া কর্মপ্রবাহের রূপরেখা দিই। পুনরাবৃত্ত পদ্ধতিটি পাইলট নামক ডেটার ছোট ব্যাচ ব্যবহার করে টার্নঅ্যারাউন্ড সময় কমাতে, প্রথম দিকে ত্রুটি সনাক্ত করতে এবং নিম্ন-মানের ডেটা তৈরিতে সম্পদের অপচয় এড়াতে। আমরা এই পোস্টে পরে এই পাইলট রাউন্ড বর্ণনা. আমরা ডেটা তৈরি, টীকা এবং মান নিয়ন্ত্রণের জন্য কিছু সেরা অনুশীলনগুলিও কভার করি।

নিম্নলিখিত চিত্রটি একটি ডেটা তৈরি পাইপলাইনের পুনরাবৃত্তিমূলক বিকাশকে চিত্রিত করে। উল্লম্বভাবে, আমরা ডেটা সোর্সিং ব্লক (সবুজ) এবং টীকা ব্লক (নীল) খুঁজে পাই। উভয় ব্লকে স্বাধীন পাইলট রাউন্ড রয়েছে (ডেটা তৈরি/টীকা, QAQC, এবং আপডেট)। ক্রমবর্ধমান উচ্চতর উত্সযুক্ত ডেটা তৈরি করা হয় এবং ক্রমবর্ধমান উচ্চ-মানের টীকা তৈরি করতে ব্যবহার করা যেতে পারে।

উৎস তথ্য তৈরি

ইনপুট তৈরির প্রক্রিয়াটি আপনার আগ্রহের আইটেমগুলিকে স্টেজ করার চারপাশে আবর্তিত হয়, যা আপনার কাজের প্রকারের উপর নির্ভর করে। এগুলি হতে পারে ছবি (সংবাদপত্রের স্ক্যান), ভিডিও (ট্রাফিক দৃশ্য), 3D পয়েন্ট ক্লাউড (মেডিকেল স্ক্যান), অথবা কেবল পাঠ্য (সাবটাইটেল ট্র্যাক, ট্রান্সক্রিপশন)। সাধারণভাবে, আপনার টাস্ক-সম্পর্কিত আইটেমগুলি স্টেজ করার সময়, নিম্নলিখিতগুলি নিশ্চিত করুন:

• চূড়ান্ত AI/ML সিস্টেমের জন্য বাস্তব-বিশ্ব ব্যবহারের ক্ষেত্রে প্রতিফলিত করুন - আপনার প্রশিক্ষণ ডেটার জন্য ছবি বা ভিডিও সংগ্রহের সেটআপটি বাস্তব-বিশ্বের অ্যাপ্লিকেশনে আপনার ইনপুট ডেটার সেটআপের সাথে ঘনিষ্ঠভাবে মেলে। এর মানে হল সামঞ্জস্যপূর্ণ প্লেসমেন্ট সারফেস, লাইটিং সোর্স বা ক্যামেরা অ্যাঙ্গেল।
• পরিবর্তনশীলতা উত্সগুলির জন্য অ্যাকাউন্ট এবং ন্যূনতম - নিম্নোক্ত বিবেচনা কর:
  • ডেটা সংগ্রহের মান বজায় রাখার জন্য সর্বোত্তম অনুশীলনগুলি বিকাশ করুন - আপনার ব্যবহারের ক্ষেত্রের গ্রানুলারিটির উপর নির্ভর করে, আপনার ডেটা পয়েন্টগুলির মধ্যে সামঞ্জস্যতা নিশ্চিত করার জন্য আপনাকে প্রয়োজনীয়তাগুলি নির্দিষ্ট করতে হতে পারে। উদাহরণস্বরূপ, আপনি যদি একক ক্যামেরা পয়েন্টগুলি থেকে ছবি বা ভিডিও ডেটা সংগ্রহ করছেন, তাহলে আপনাকে আপনার আগ্রহের বস্তুগুলির সামঞ্জস্যপূর্ণ স্থান নির্ধারণের বিষয়টি নিশ্চিত করতে হবে বা ডেটা ক্যাপচার রাউন্ডের আগে ক্যামেরার জন্য একটি গুণমান পরীক্ষা করতে হবে। এটি ক্যামেরা টিল্ট বা ব্লার করার মতো সমস্যাগুলি এড়াতে পারে এবং ফ্রেমের বাইরের বা ঝাপসা ছবিগুলি সরানোর মতো ডাউনস্ট্রিম ওভারহেডগুলিকে কমিয়ে দিতে পারে, সেইসাথে আপনার আগ্রহের ক্ষেত্রে ছবির ফ্রেমটিকে ম্যানুয়ালি কেন্দ্রে রাখতে হবে৷
  • পরিবর্তনশীলতার প্রাক-খালি পরীক্ষার সময় উৎস – যদি আপনি পরীক্ষার সময় এ পর্যন্ত উল্লিখিত কোনো বৈশিষ্ট্যের পরিবর্তনশীলতা অনুমান করেন, তবে নিশ্চিত করুন যে আপনি প্রশিক্ষণের ডেটা তৈরির সময় সেই পরিবর্তনশীলতার উত্সগুলি ক্যাপচার করতে পারেন। উদাহরণস্বরূপ, যদি আপনি আশা করেন যে আপনার ML অ্যাপ্লিকেশনটি একাধিক ভিন্ন আলোর সেটিংসে কাজ করবে, তাহলে আপনার লক্ষ্য করা উচিত বিভিন্ন আলো সেটিংসে প্রশিক্ষণের ছবি এবং ভিডিও তৈরি করা। ব্যবহারের ক্ষেত্রে নির্ভর করে, ক্যামেরা অবস্থানের পরিবর্তনশীলতা আপনার লেবেলের গুণমানকেও প্রভাবিত করতে পারে।
• উপলব্ধ ডোমেনের পূর্বের জ্ঞান অন্তর্ভুক্ত করুন - নিম্নোক্ত বিবেচনা কর:
  • ত্রুটির উত্সগুলিতে ইনপুট - ডোমেন অনুশীলনকারীরা তাদের বছরের অভিজ্ঞতার ভিত্তিতে ত্রুটির উত্সগুলির অন্তর্দৃষ্টি প্রদান করতে পারে। তারা পূর্ববর্তী দুটি পয়েন্টের জন্য সর্বোত্তম অনুশীলনের বিষয়ে প্রতিক্রিয়া প্রদান করতে পারে: কোন সেটিংস বাস্তব-বিশ্ব ব্যবহারের ক্ষেত্রে সর্বোত্তম প্রতিফলিত করে? ডেটা সংগ্রহের সময় বা ব্যবহারের সময় পরিবর্তনশীলতার সম্ভাব্য উত্সগুলি কী কী?
  • ডোমেন-নির্দিষ্ট ডেটা সংগ্রহের সর্বোত্তম অনুশীলন - যদিও আপনার প্রযুক্তিগত স্টেকহোল্ডারদের ইতিমধ্যেই সংগৃহীত ছবি বা ভিডিওগুলিতে ফোকাস করার জন্য প্রযুক্তিগত দিকগুলি সম্পর্কে ভাল ধারণা থাকতে পারে, তবে ডোমেন অনুশীলনকারীরা কীভাবে সর্বোত্তমভাবে ডেটা স্টেজ বা সংগ্রহ করা যায় সে সম্পর্কে প্রতিক্রিয়া প্রদান করতে পারে যাতে এই চাহিদাগুলি পূরণ হয়৷

তৈরি ডেটার গুণমান নিয়ন্ত্রণ এবং গুণমানের নিশ্চয়তা

এখন আপনি ডেটা সংগ্রহের পাইপলাইন সেট আপ করেছেন, এটি এগিয়ে যেতে এবং যতটা সম্ভব ডেটা সংগ্রহ করতে প্রলুব্ধ হতে পারে। একটি মিনিট অপেক্ষা করুন! সেটআপের মাধ্যমে সংগৃহীত ডেটা আপনার বাস্তব-শব্দ ব্যবহারের ক্ষেত্রে উপযুক্ত কিনা তা আমাদের প্রথমে পরীক্ষা করতে হবে। আমরা কিছু প্রাথমিক নমুনা ব্যবহার করতে পারি এবং সেই নমুনা ডেটা বিশ্লেষণ করে আমরা যে অন্তর্দৃষ্টিগুলি পেয়েছি তার মাধ্যমে সেটআপটিকে পুনরাবৃত্তভাবে উন্নত করতে পারি। পাইলট প্রক্রিয়া চলাকালীন আপনার প্রযুক্তিগত, ব্যবসা এবং টীকা স্টেকহোল্ডারদের সাথে ঘনিষ্ঠভাবে কাজ করুন। এটি নিশ্চিত করবে যে ন্যূনতম ওভারহেডের মধ্যে এমএল-রেডি লেবেলযুক্ত ডেটা তৈরি করার সময় আপনার ফলাফল পাইপলাইন ব্যবসার চাহিদা পূরণ করছে।

টীকা

ইনপুটগুলির টীকা হল যেখানে আমরা আমাদের ডেটাতে যাদু স্পর্শ যোগ করি—লেবেলগুলি! আপনার টাস্ক টাইপ এবং ডেটা তৈরির প্রক্রিয়ার উপর নির্ভর করে, আপনার ম্যানুয়াল অ্যানোটেটর প্রয়োজন হতে পারে, অথবা আপনি অফ-দ্য-শেল্ফ স্বয়ংক্রিয় পদ্ধতি ব্যবহার করতে পারেন। ডেটা টীকা পাইপলাইন নিজেই একটি প্রযুক্তিগতভাবে চ্যালেঞ্জিং কাজ হতে পারে। গ্রাউন্ড ট্রুথ আপনার প্রযুক্তিগত স্টেকহোল্ডারদের জন্য এটির সাথে এই যাত্রা সহজ করে সাধারণ ডেটা উত্সের জন্য লেবেলিং ওয়ার্কফ্লোগুলির অন্তর্নির্মিত সংগ্রহশালা. কিছু অতিরিক্ত পদক্ষেপের সাথে, এটি আপনাকে তৈরি করতেও সক্ষম করে কাস্টম লেবেলিং কর্মপ্রবাহ পূর্ব কনফিগার করা বিকল্পের বাইরে।

একটি উপযুক্ত টীকা ওয়ার্কফ্লো বিকাশ করার সময় নিজেকে নিম্নলিখিত প্রশ্নগুলি জিজ্ঞাসা করুন:

• আমার কি আমার ডেটার জন্য একটি ম্যানুয়াল টীকা প্রক্রিয়া দরকার? কিছু ক্ষেত্রে, স্বয়ংক্রিয় লেবেলিং পরিষেবাগুলি হাতের কাজের জন্য যথেষ্ট হতে পারে। ডকুমেন্টেশন এবং উপলব্ধ সরঞ্জামগুলি পর্যালোচনা করা আপনার ব্যবহারের ক্ষেত্রে ম্যানুয়াল টীকা প্রয়োজনীয় কিনা তা সনাক্ত করতে সহায়তা করতে পারে (আরো তথ্যের জন্য, দেখুন ডেটা লেবেলিং কি?) ডেটা তৈরির প্রক্রিয়া আপনার ডেটা টীকাটির গ্রানুলারিটি সম্পর্কিত বিভিন্ন স্তরের নিয়ন্ত্রণের জন্য অনুমতি দিতে পারে। এই প্রক্রিয়ার উপর নির্ভর করে, আপনি কখনও কখনও ম্যানুয়াল টীকাটির প্রয়োজনকে বাইপাস করতে পারেন। আরো তথ্যের জন্য, পড়ুন একটি আলিঙ্গন মুখ প্রশ্নোত্তর NLU মডেলকে প্রশিক্ষণ দিতে Amazon SageMaker Ground Truth ব্যবহার করে একটি কাস্টম প্রশ্নোত্তর ডেটাসেট তৈরি করুন.
• কি আমার স্থল সত্য ফর্ম? বেশিরভাগ ক্ষেত্রে, গ্রাউন্ড ট্রুথ আপনার টীকা প্রক্রিয়া থেকে আসবে—এটাই পুরো পয়েন্ট! অন্যদের ক্ষেত্রে, ব্যবহারকারীর গ্রাউন্ড ট্রুথ লেবেলগুলিতে অ্যাক্সেস থাকতে পারে। এটি উল্লেখযোগ্যভাবে আপনার গুণমান নিশ্চিতকরণ প্রক্রিয়াকে দ্রুততর করতে পারে বা একাধিক ম্যানুয়াল টীকাগুলির জন্য প্রয়োজনীয় ওভারহেড কমাতে পারে।
• আমার স্থল সত্য অবস্থা থেকে বিচ্যুতির পরিমাণের জন্য উপরের সীমা কত? এই লেবেলগুলির আশেপাশের সাধারণ ত্রুটিগুলি, এই জাতীয় ত্রুটিগুলির উত্স এবং ত্রুটিগুলির কাঙ্খিত হ্রাস বোঝার জন্য আপনার শেষ ব্যবহারকারীদের সাথে কাজ করুন৷ এটি আপনাকে চিহ্নিত করতে সাহায্য করবে লেবেলিং টাস্কের কোন দিকগুলি সবচেয়ে চ্যালেঞ্জিং বা টীকা সংক্রান্ত ত্রুটির সম্ভাবনা রয়েছে৷
• এই আইটেমগুলিকে লেবেল করার জন্য ব্যবহারকারী বা ফিল্ড অনুশীলনকারীদের দ্বারা ব্যবহার করা আগে থেকে বিদ্যমান নিয়ম আছে কি? আপনার ম্যানুয়াল টীকাকারদের জন্য নির্দেশাবলীর একটি সেট তৈরি করতে এই নির্দেশিকাগুলি ব্যবহার করুন এবং পরিমার্জন করুন৷

ইনপুট টীকা প্রক্রিয়া পাইলটিং

ইনপুট টীকা প্রক্রিয়া চালানোর সময়, নিম্নলিখিত বিবেচনা করুন:

• টীকাকার এবং ফিল্ড অনুশীলনকারীদের সাথে নির্দেশাবলী পর্যালোচনা করুন - নির্দেশাবলী সংক্ষিপ্ত এবং নির্দিষ্ট হওয়া উচিত। আপনার ব্যবহারকারীদের কাছ থেকে প্রতিক্রিয়ার জন্য জিজ্ঞাসা করুন (নির্দেশগুলি কি সঠিক? আমরা কি তা নিশ্চিত করতে কোনো নির্দেশনা সংশোধন করতে পারি যে সেগুলি অ-ক্ষেত্র অনুশীলনকারীদের দ্বারা বোধগম্য?) এবং টীকাকার (সবকিছু কি বোধগম্য? কাজটি কি পরিষ্কার?)। যদি সম্ভব হয়, আপনার টীকাকারদের কী প্রত্যাশিত, এবং সাধারণ লেবেলিং ত্রুটিগুলি কেমন হতে পারে তা শনাক্ত করতে সাহায্য করার জন্য ভাল এবং খারাপ লেবেলযুক্ত ডেটার একটি উদাহরণ যোগ করুন৷
• টীকা জন্য তথ্য সংগ্রহ করুন - এটি প্রত্যাশিত মান পূরণ করে তা নিশ্চিত করতে এবং ম্যানুয়াল টীকা থেকে প্রত্যাশিত ফলাফলগুলি সারিবদ্ধ করতে আপনার গ্রাহকের সাথে ডেটা পর্যালোচনা করুন৷
• একটি পরীক্ষা চালানো হিসাবে ম্যানুয়াল টীকাকারের আপনার পুলে উদাহরণ প্রদান করুন – উদাহরণের এই সেটে টীকাকারদের মধ্যে সাধারণ পার্থক্য কী? টীকাকারদের মধ্যে সামঞ্জস্যপূর্ণ প্রবণতা সনাক্ত করতে একটি প্রদত্ত চিত্রের মধ্যে প্রতিটি টীকাটির বৈচিত্র অধ্যয়ন করুন। তারপর কোন লেবেল স্থাপন করা চ্যালেঞ্জিং তা সনাক্ত করতে চিত্র বা ভিডিও ফ্রেম জুড়ে পার্থক্যগুলি তুলনা করুন।

টীকাগুলির মান নিয়ন্ত্রণ

টীকা গুণ নিয়ন্ত্রণের দুটি প্রধান উপাদান রয়েছে: টীকাকারদের মধ্যে সামঞ্জস্যতা মূল্যায়ন করা এবং টীকাগুলির গুণমানের মূল্যায়ন করা।

আপনি একই টাস্কে একাধিক টীকা নির্ধারণ করতে পারেন (উদাহরণস্বরূপ, তিনটি টীকাকার একই চিত্রের মূল পয়েন্টগুলি লেবেল করে), এবং টীকাকারদের মধ্যে এই লেবেলগুলির স্ট্যান্ডার্ড বিচ্যুতির পাশাপাশি গড় মান পরিমাপ করতে পারেন। এটি করা আপনাকে যেকোন আউটলিয়ার টীকা (ভুল লেবেল ব্যবহার করা, বা গড় টীকা থেকে অনেক দূরে লেবেল) সনাক্ত করতে সহায়তা করে, যা আপনার নির্দেশাবলী পরিমার্জন করা বা নির্দিষ্ট টীকাকারীদের আরও প্রশিক্ষণ প্রদানের মতো কার্যকরী ফলাফলগুলিকে গাইড করতে পারে।

টীকাগুলির গুণমান মূল্যায়ন করা টীকাকারের পরিবর্তনশীলতার সাথে এবং (যখন উপলব্ধ) ডোমেন বিশেষজ্ঞদের বা গ্রাউন্ড ট্রুথ তথ্যের উপলব্ধতার সাথে আবদ্ধ। এমন কিছু লেবেল আছে (আপনার সমস্ত ইমেজ জুড়ে) যেখানে টীকাকারের মধ্যে গড় পার্থক্য ধারাবাহিকভাবে বেশি? কোন লেবেলগুলি কোথায় থাকা উচিত বা সেগুলি কেমন হওয়া উচিত সে সম্পর্কে আপনার প্রত্যাশা থেকে দূরে আছে?

আমাদের অভিজ্ঞতার উপর ভিত্তি করে, ডেটা টীকা করার জন্য একটি সাধারণ মান নিয়ন্ত্রণ লুপ এইরকম দেখতে পারে:

• পরীক্ষা চালানোর ফলাফলের উপর ভিত্তি করে নির্দেশাবলী বা চিত্রের মঞ্চায়নে পুনরাবৃত্তি করুন – কোনো বস্তু কি আটকে আছে, নাকি ইমেজ স্টেজিং টীকাকার বা ব্যবহারকারীদের প্রত্যাশার সাথে মেলে না? নির্দেশাবলী কি বিভ্রান্তিকর, বা আপনি কি আপনার অনুকরণীয় চিত্রগুলিতে কোন লেবেল বা সাধারণ ত্রুটিগুলি মিস করেছেন? আপনি আপনার টীকাকারদের জন্য নির্দেশাবলী পরিমার্জন করতে পারেন?
• আপনি যদি সন্তুষ্ট হন যে আপনি পরীক্ষা চালানো থেকে কোনো সমস্যা সমাধান করেছেন, তাহলে টীকাগুলির একটি ব্যাচ করুন - ব্যাচ থেকে ফলাফল পরীক্ষা করার জন্য, আন্তঃ টীকাকার এবং আন্তঃ-চিত্র লেবেল পরিবর্তনশীলতা মূল্যায়নের জন্য একই গুণমান মূল্যায়ন পদ্ধতি অনুসরণ করুন।

উপসংহার

এই পোস্টটি ব্যবসায়িক স্টেকহোল্ডারদের জন্য AI/ML অ্যাপ্লিকেশনের জন্য ডেটা তৈরির জটিলতা বোঝার জন্য একটি নির্দেশিকা হিসেবে কাজ করে। বর্ণিত প্রক্রিয়াগুলি কারিগরি অনুশীলনকারীদের জন্য কর্মী এবং খরচের মতো ব্যবসার সীমাবদ্ধতাগুলিকে অপ্টিমাইজ করার সময় মানসম্পন্ন ডেটা তৈরি করার জন্য একটি নির্দেশিকা হিসাবে কাজ করে। যদি ভালভাবে করা না হয়, একটি ডেটা তৈরি এবং লেবেল পাইপলাইন 4-6 মাস পর্যন্ত সময় নিতে পারে।

এই পোস্টে বর্ণিত নির্দেশিকা এবং পরামর্শগুলির সাহায্যে, আপনি রাস্তার বাধাগুলিকে অগ্রাহ্য করতে পারেন, সম্পূর্ণ করার সময় কমাতে পারেন এবং উচ্চ-মানের ডেটা তৈরির দিকে আপনার যাত্রায় খরচ কমিয়ে আনতে পারেন৷

---

লেখক সম্পর্কে

জসলিন গ্রেওয়াল অ্যামাজন ওয়েব সার্ভিসেস-এর একজন ফলিত বিজ্ঞানী, যেখানে তিনি মেশিন লার্নিং ব্যবহার করে বাস্তব বিশ্বের সমস্যা সমাধানের জন্য AWS গ্রাহকদের সাথে কাজ করেন, বিশেষ মনোযোগ মেডিসিন এবং জিনোমিক্সের উপর। বায়োইনফরমেটিক্স, অনকোলজি এবং ক্লিনিকাল জিনোমিক্সে তার একটি শক্তিশালী পটভূমি রয়েছে। তিনি রোগীর যত্ন উন্নত করতে AI/ML এবং ক্লাউড পরিষেবাগুলি ব্যবহার করার বিষয়ে উত্সাহী৷

বরিস আরনচিক তিনি আমাজন AI মেশিন লার্নিং সলিউশন ল্যাবের একজন ম্যানেজার, যেখানে তিনি AWS গ্রাহকদের AI/ML সলিউশনের ব্যবহার করে ব্যবসায়িক লক্ষ্য অর্জনে সহায়তা করার জন্য ML বিজ্ঞানী এবং ইঞ্জিনিয়ারদের একটি দলকে নেতৃত্ব দেন।

মিগুয়েল রোমেরো ক্যালভো এ একজন ফলিত বিজ্ঞানী অ্যামাজন এমএল সলিউশন ল্যাব যেখানে তিনি ML এবং ক্লাউড গ্রহণের মাধ্যমে তাদের ব্যবসা ত্বরান্বিত করতে AWS অভ্যন্তরীণ দল এবং কৌশলগত গ্রাহকদের সাথে অংশীদারিত্ব করেন।

লিন লি চেয়ং অ্যামাজন ওয়েব সার্ভিসে অ্যামাজন এমএল সলিউশন ল্যাব টিমের একজন সিনিয়র সায়েন্টিস্ট এবং ম্যানেজার৷ তিনি নতুন অন্তর্দৃষ্টি আবিষ্কার করতে এবং জটিল সমস্যা সমাধানের জন্য কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং অন্বেষণ এবং প্রয়োগ করতে কৌশলগত AWS গ্রাহকদের সাথে কাজ করেন।