Amazon SageMaker Ground Truth Plus-এ কয়েক-ক্লিক সেগমেন্টেশন মাস্ক লেবেলিং

আমাজন সেজমেকার গ্রাউন্ড ট্রুথ প্লাস একটি পরিচালিত ডেটা লেবেলিং পরিষেবা যা মেশিন লার্নিং (ML) অ্যাপ্লিকেশনগুলির জন্য ডেটা লেবেল করা সহজ করে তোলে৷ একটি সাধারণ ব্যবহারের ক্ষেত্রে শব্দার্থিক সেগমেন্টেশন, যা একটি কম্পিউটার ভিশন এমএল কৌশল যা একটি চিত্রের পৃথক পিক্সেলগুলিতে ক্লাস লেবেল বরাদ্দ করে। উদাহরণস্বরূপ, চলন্ত যানবাহনের দ্বারা ধারণ করা ভিডিও ফ্রেমে, ক্লাস লেবেলে যানবাহন, পথচারী, রাস্তা, ট্রাফিক সংকেত, ভবন বা পটভূমি অন্তর্ভুক্ত থাকতে পারে। এটি চিত্রের বিভিন্ন বস্তুর অবস্থানগুলির একটি উচ্চ-নির্ভুলতা উপলব্ধি করে এবং প্রায়শই স্বায়ত্তশাসিত যানবাহন বা রোবোটিক্সের জন্য উপলব্ধি সিস্টেম তৈরি করতে ব্যবহৃত হয়। শব্দার্থিক সেগমেন্টেশনের জন্য একটি ML মডেল তৈরি করতে, প্রথমে পিক্সেল স্তরে প্রচুর পরিমাণে ডেটা লেবেল করা প্রয়োজন। এই লেবেলিং প্রক্রিয়া জটিল। এটির জন্য দক্ষ লেবেলার এবং উল্লেখযোগ্য সময় প্রয়োজন—কিছু ছবিকে সঠিকভাবে লেবেল করতে 2 ঘন্টা বা তার বেশি সময় লাগতে পারে!

2019 সালে আমরা গ্রাউন্ড ট্রুথের জন্য অটো-সেগমেন্ট নামে একটি এমএল-চালিত ইন্টারেক্টিভ লেবেলিং টুল প্রকাশ করেছি যা আপনাকে দ্রুত এবং সহজে উচ্চ-মানের সেগমেন্টেশন মাস্ক তৈরি করতে দেয়। আরও তথ্যের জন্য, দেখুন অটো-সেগমেন্টেশন টুল. এই বৈশিষ্ট্যটি আপনাকে একটি বস্তুর উপরে-, বাম-, নীচে- এবং ডান-সবচেয়ে "চরম পয়েন্ট" ক্লিক করার অনুমতি দিয়ে কাজ করে। পটভূমিতে চলমান একটি ML মডেল এই ব্যবহারকারীর ইনপুটটি গ্রহণ করবে এবং একটি উচ্চ-মানের সেগমেন্টেশন মাস্ক ফিরিয়ে দেবে যা অবিলম্বে গ্রাউন্ড ট্রুথ লেবেলিং টুলে রেন্ডার করে। যাইহোক, এই বৈশিষ্ট্যটি আপনাকে শুধুমাত্র চারটি ক্লিক করতে দেয়। কিছু ক্ষেত্রে, ML-উত্পাদিত মুখোশটি অসাবধানতাবশত একটি চিত্রের নির্দিষ্ট অংশগুলি মিস করতে পারে, যেমন বস্তুর সীমানার চারপাশে যেখানে প্রান্তগুলি অস্পষ্ট বা যেখানে রঙ, স্যাচুরেশন বা ছায়াগুলি আশেপাশে মিশে যায়৷

সংশোধনমূলক ক্লিকের নমনীয় সংখ্যা সহ চরম পয়েন্ট ক্লিক

আমরা এখন বাউন্ডারি পয়েন্টের অতিরিক্ত ক্লিকের অনুমতি দেওয়ার জন্য টুলটিকে উন্নত করেছি, যা ML মডেলে রিয়েল-টাইম ফিডব্যাক প্রদান করে। এটি আপনাকে আরও সঠিক সেগমেন্টেশন মাস্ক তৈরি করতে দেয়। নিম্নলিখিত উদাহরণে, ছায়ার কাছাকাছি দুর্বল সীমানার কারণে প্রাথমিক বিভাজন ফলাফল সঠিক নয়। গুরুত্বপূর্ণভাবে, এই টুলটি এমন একটি মোডে কাজ করে যা রিয়েল-টাইম প্রতিক্রিয়ার জন্য অনুমতি দেয়—এতে আপনাকে একবারে সমস্ত পয়েন্ট নির্দিষ্ট করতে হবে না। পরিবর্তে, আপনি প্রথমে চারটি মাউস ক্লিক করতে পারেন, যা একটি সেগমেন্টেশন মাস্ক তৈরি করতে ML মডেলটিকে ট্রিগার করবে। তারপরে আপনি এই মুখোশটি পরিদর্শন করতে পারেন, যেকোনো সম্ভাব্য ভুলত্রুটি সনাক্ত করতে পারেন এবং পরবর্তীতে মডেলটিকে সঠিক ফলাফলে "নজ" করার জন্য উপযুক্ত হিসাবে অতিরিক্ত ক্লিক করতে পারেন।

আমাদের পূর্ববর্তী লেবেলিং টুল আপনাকে ঠিক চারটি মাউস ক্লিক (লাল বিন্দু) রাখার অনুমতি দিয়েছে। প্রাথমিক সেগমেন্টেশন ফলাফল (ছায়াযুক্ত লাল এলাকা) সঠিক নয় কারণ ছায়ার কাছাকাছি দুর্বল সীমানা (লাল মুখোশের নীচে-বাম দিকে)।

আমাদের উন্নত লেবেলিং টুলের সাহায্যে, ব্যবহারকারী আবার প্রথমে চারটি মাউস ক্লিক করে (শীর্ষ চিত্রে লাল বিন্দু)। তারপরে আপনি ফলাফল বিভাজন মাস্ক (শীর্ষ চিত্রে ছায়াযুক্ত লাল এলাকা) পরিদর্শন করার সুযোগ পাবেন। আপনি অতিরিক্ত মাউস ক্লিক করতে পারেন (নীচের চিত্রে সবুজ বিন্দু) যাতে মডেলটি মাস্ককে পরিমার্জিত করতে পারে (নীচের চিত্রে ছায়াযুক্ত লাল এলাকা)।

টুলের মূল সংস্করণের সাথে তুলনা করে, বর্ধিত সংস্করণটি একটি উন্নত ফলাফল প্রদান করে যখন বস্তুগুলি বিকৃত হয়, অ-উত্তল হয় এবং আকৃতি ও চেহারাতে তারতম্য হয়।

আমরা একটি সেগমেন্টেশন মাস্ক তৈরি করতে প্রথমে বেসলাইন টুল (মাত্র চারটি চরম ক্লিকের সাথে) চালিয়ে নমুনা ডেটাতে এই উন্নত টুলটির কর্মক্ষমতা অনুকরণ করেছি এবং এর গড় ইন্টারসেকশন ওভার ইউনিয়ন (mIoU) মূল্যায়ন করেছি, বিভাজন মাস্কের নির্ভুলতার একটি সাধারণ পরিমাপ। তারপরে আমরা সিমুলেটেড সংশোধনমূলক ক্লিক প্রয়োগ করেছি এবং প্রতিটি সিমুলেটেড ক্লিকের পরে mIoU-এর উন্নতির মূল্যায়ন করেছি। নিম্নলিখিত সারণী এই ফলাফলগুলি সংক্ষিপ্ত করে। প্রথম সারিটি mIoU দেখায় এবং দ্বিতীয় সারিটি ত্রুটি দেখায় (যা 100% বিয়োগ mIoU দ্বারা দেওয়া হয়)। মাত্র পাঁচটি অতিরিক্ত মাউস ক্লিকের মাধ্যমে, আমরা এই কাজের জন্য 9% ত্রুটি কমাতে পারি!

.	.	সংশোধনমূলক ক্লিকের সংখ্যা	.
.	বেসলাইন	1	2	3	4	5
mIoU	72.72	76.56	77.62	78.89	80.57	81.73
ভুল	27%	23%	22%	21%	19%	18%

গ্রাউন্ড ট্রুথ এবং পারফরম্যান্স প্রোফাইলিংয়ের সাথে একীকরণ

এই মডেলটিকে গ্রাউন্ড ট্রুথের সাথে একীভূত করতে, আমরা নিম্নলিখিত ডায়াগ্রামে দেখানো একটি আদর্শ স্থাপত্য প্যাটার্ন অনুসরণ করি। প্রথমত, আমরা এমএল মডেলটিকে ডকার ইমেজে তৈরি করি এবং এটিতে স্থাপন করি অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR), একটি সম্পূর্ণরূপে পরিচালিত ডকার কন্টেইনার রেজিস্ট্রি যা কন্টেইনার ছবিগুলিকে সঞ্চয়, শেয়ার এবং স্থাপন করা সহজ করে তোলে। ব্যবহার করে সেজমেকার ইনফারেন্স টুলকিট ডকার ইমেজ তৈরিতে আমাদের সহজেই মডেল পরিবেশন করার জন্য সর্বোত্তম অনুশীলনগুলি ব্যবহার করতে এবং কম লেটেন্সি অনুমান অর্জন করতে দেয়। আমরা তারপর একটি তৈরি আমাজন সেজমেকার মডেল হোস্ট করার জন্য রিয়েল-টাইম এন্ডপয়েন্ট। আমরা একটি পরিচয় করিয়ে এডাব্লুএস ল্যাম্বদা সেজমেকার এন্ডপয়েন্টের সামনে একটি প্রক্সি হিসাবে কাজ করে যা বিভিন্ন ধরনের ডেটা ট্রান্সফরমেশন অফার করে। অবশেষে, আমরা ব্যবহার করি অ্যামাজন এপিআই গেটওয়ে আমাদের ব্যাকএন্ডে নিরাপদ প্রমাণীকরণ প্রদানের জন্য আমাদের সামনের প্রান্ত, গ্রাউন্ড ট্রুথ লেবেলিং অ্যাপ্লিকেশনের সাথে একীভূত হওয়ার উপায় হিসাবে।

আপনি উদ্দেশ্য-নির্মিত ML সরঞ্জামগুলির জন্য আপনার নিজের ব্যবহারের ক্ষেত্রে এবং কাস্টম গ্রাউন্ড ট্রুথ টাস্ক UI এর সাথে তাদের সংহত করতে এই জেনেরিক প্যাটার্নটি অনুসরণ করতে পারেন। আরো তথ্যের জন্য, পড়ুন অ্যামাজন সেজমেকার গ্রাউন্ড ট্রুথ দিয়ে একটি কাস্টম ডেটা লেবেলিংয়ের কার্যপ্রবাহ তৈরি করুন.

এই আর্কিটেকচারের ব্যবস্থা করার পরে এবং ব্যবহার করে আমাদের মডেল স্থাপন করার পরে এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK), আমরা বিভিন্ন সেজমেকার দৃষ্টান্ত প্রকারের সাথে আমাদের মডেলের লেটেন্সি বৈশিষ্ট্যগুলি মূল্যায়ন করেছি। এটি করা খুবই সহজ কারণ আমরা আমাদের মডেল পরিবেশন করতে SageMaker রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট ব্যবহার করি। সেজমেকার রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্টের সাথে নির্বিঘ্নে একত্রিত হয় অ্যামাজন ক্লাউডওয়াচ এবং কোনো প্রয়োজনীয় সেটআপ ছাড়াই মেমরি ব্যবহার এবং মডেল লেটেন্সির মতো মেট্রিক্স নির্গত করুন (দেখুন সেজমেকার এন্ডপয়েন্ট ইনভোকেশন মেট্রিক্স আরো বিস্তারিত জানার জন্য).

নিচের চিত্রে, আমরা SageMaker রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট দ্বারা নিঃসৃত মডেল লেটেন্সি মেট্রিক দেখাই। আমরা ক্লাউডওয়াচে বিভিন্ন মেট্রিক ম্যাথ ফাংশন ব্যবহার করতে পারি লেটেন্সি পার্সেন্টাইল, যেমন p50 বা p90 লেটেন্সি দেখাতে।

নিম্নলিখিত সারণী তিনটি উদাহরণের জন্য শব্দার্থিক বিভাজনের জন্য আমাদের বর্ধিত চরম ক্লিকিং টুলের জন্য এই ফলাফলগুলিকে সংক্ষিপ্ত করে: p2.xlarge, p3.2xlarge, এবং g4dn.xlarge। যদিও p3.2xlarge ইন্সট্যান্স সর্বনিম্ন লেটেন্সি প্রদান করে, g4dn.xlarge ইন্সট্যান্স সর্বোত্তম খরচ-থেকে-পারফরমেন্স অনুপাত প্রদান করে। g4dn.xlarge দৃষ্টান্ত p8xlarge দৃষ্টান্তের তুলনায় মাত্র 35% ধীর (3.2 মিলিসেকেন্ড), কিন্তু এটি p81xlarge-এর তুলনায় প্রতি ঘন্টায় 3.2% কম ব্যয়বহুল (দেখুন অ্যামাজন সেজমেকার প্রাইসিং সেজমেকার উদাহরণের ধরন এবং মূল্য সম্পর্কে আরও বিশদ বিবরণের জন্য)।

	সেজমেকার ইনস্ট্যান্স টাইপ	p90 লেটেন্সি (ms)
1	p2.xlarge	751
2	p3.2 বড়	424
3	g4dn.xlarge	459

উপসংহার

এই পোস্টে, আমরা গ্রাউন্ড ট্রুথ অটো সেগমেন্ট ফিচারের একটি এক্সটেনশন প্রবর্তন করেছি সিমেন্টিক সেগমেন্টেশন টীকা কাজের জন্য। যেখানে টুলটির আসল সংস্করণ আপনাকে ঠিক চারটি মাউস ক্লিক করতে দেয়, যা একটি মডেলকে একটি উচ্চ-মানের সেগমেন্টেশন মাস্ক প্রদান করতে ট্রিগার করে, এক্সটেনশনটি আপনাকে সংশোধনমূলক ক্লিক করতে সক্ষম করে এবং এর ফলে আরও ভাল ভবিষ্যদ্বাণী করতে ML মডেলটিকে আপডেট ও গাইড করে। আমরা একটি মৌলিক আর্কিটেকচারাল প্যাটার্নও উপস্থাপন করেছি যা আপনি গ্রাউন্ড ট্রুথ লেবেলিং UI-তে ইন্টারেক্টিভ সরঞ্জাম স্থাপন এবং সংহত করতে ব্যবহার করতে পারেন। অবশেষে, আমরা মডেল লেটেন্সি সংক্ষিপ্ত করেছি, এবং দেখিয়েছি কিভাবে SageMaker রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট ব্যবহার মডেলের কর্মক্ষমতা নিরীক্ষণ করা সহজ করে তোলে।

এই টুলটি কিভাবে লেবেলিং খরচ কমাতে পারে এবং নির্ভুলতা বাড়াতে পারে সে সম্পর্কে আরও জানতে, দেখুন অ্যামাজন সেজমেকার ডেটা লেবেলিং আজ একটি পরামর্শ শুরু করতে.

---

লেখক সম্পর্কে

জোনাথন বাক মেশিন লার্নিং এবং ডিস্ট্রিবিউটেড সিস্টেমের সংযোগস্থলে কাজ করা অ্যামাজন ওয়েব সার্ভিসের একজন সফটওয়্যার ইঞ্জিনিয়ার। তার কাজের মধ্যে রয়েছে মেশিন লার্নিং মডেল তৈরি করা এবং গ্রাহকদের হাতে সর্বশেষ ক্ষমতা রাখার জন্য মেশিন লার্নিং দ্বারা চালিত নতুন সফ্টওয়্যার অ্যাপ্লিকেশন তৈরি করা।

লি এরান লি হিউম্যান-ইন-দ্য-লুপ পরিষেবা, AWS AI, Amazon-এর প্রয়োগকৃত বিজ্ঞান ব্যবস্থাপক৷ তার গবেষণার আগ্রহ হল 3D গভীর শিক্ষা, এবং দৃষ্টি এবং ভাষা উপস্থাপনা শেখা। পূর্বে তিনি আলেক্সা এআই-এর একজন সিনিয়র বিজ্ঞানী, স্কেল এআই-এর মেশিন লার্নিং প্রধান এবং Pony.ai-এর প্রধান বিজ্ঞানী ছিলেন। এর আগে, তিনি Uber ATG-এ উপলব্ধি টিম এবং Uber-এর মেশিন লার্নিং প্ল্যাটফর্ম টিমের সাথে ছিলেন স্বায়ত্তশাসিত ড্রাইভিং, মেশিন লার্নিং সিস্টেম এবং AI-এর কৌশলগত উদ্যোগের জন্য মেশিন লার্নিং নিয়ে কাজ করে। তিনি বেল ল্যাবসে তার কর্মজীবন শুরু করেন এবং কলম্বিয়া বিশ্ববিদ্যালয়ের সহযোগী অধ্যাপক ছিলেন। তিনি ICML'17 এবং ICCV'19-এ টিউটোরিয়াল সহ-শিক্ষা দিয়েছেন এবং NeurIPS, ICML, CVPR, ICCV-এ স্বায়ত্তশাসিত ড্রাইভিং, 3D দৃষ্টি এবং রোবোটিক্স, মেশিন লার্নিং সিস্টেম এবং প্রতিপক্ষের মেশিন লার্নিং এর জন্য মেশিন লার্নিং এর উপর বেশ কয়েকটি কর্মশালার সহ-সংগঠিত করেছেন। তিনি কর্নেল ইউনিভার্সিটিতে কম্পিউটার সায়েন্সে পিএইচডি করেছেন। তিনি একজন ACM ফেলো এবং IEEE ফেলো।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/