এটি বারকোড রেজিস্ট্রির সফ্টওয়্যার ইঞ্জিনিয়ার অ্যান্ড্রু মাসেক এবং বারকোড রেজিস্ট্রির সিইও এরিক কুইসলিং দ্বারা রচিত একটি অতিথি পোস্ট।
পণ্য জাল বিশ্বের একক বৃহত্তম অপরাধমূলক উদ্যোগ। গত দুই দশকে 10,000% এর বেশি বেড়েছে, নকল পণ্যের বিক্রি এখন বিশ্বব্যাপী প্রতি বছরে মোট $1.7 ট্রিলিয়ন, যা মাদক ও মানব পাচারের চেয়েও বেশি। যদিও জাল প্রতিরোধের ঐতিহ্যগত পদ্ধতি যেমন অনন্য বারকোড এবং পণ্য যাচাইকরণ খুব কার্যকর হতে পারে, নতুন মেশিন লার্নিং (ML) প্রযুক্তি যেমন বস্তু সনাক্তকরণ খুব আশাব্যঞ্জক বলে মনে হয়। বস্তু সনাক্তকরণের মাধ্যমে, আপনি এখন একটি পণ্যের একটি ছবি তুলতে পারেন এবং সেই পণ্যটি বৈধ বা প্রতারণামূলক হতে পারে কিনা তা প্রায় সঙ্গে সঙ্গেই জানতে পারবেন।
সার্জারির বারকোড রেজিস্ট্রি (এর অংশীদারের সাথে একযোগে Buyabarcode.com) হল একটি পূর্ণ-পরিষেবা সমাধান যা গ্রাহকদের পণ্য জালিয়াতি এবং জাল প্রতিরোধে সহায়তা করে৷ এটি অনন্য GS1-নিবন্ধিত বারকোড বিক্রি করে, পণ্যের মালিকানা যাচাই করে এবং একটি ব্যাপক ডাটাবেসে ব্যবহারকারীদের পণ্য এবং বারকোড নিবন্ধন করে এটি করে। তাদের সর্বশেষ অফার, যা আমরা এই পোস্টে আলোচনা, ব্যবহার করে আমাজন সেজমেকার অবিলম্বে জাল পণ্য চিনতে সাহায্য করার জন্য বস্তু সনাক্তকরণ মডেল তৈরি করতে.
সমাধান ওভারভিউ
এই বস্তু সনাক্তকরণ মডেলগুলি ব্যবহার করতে, আপনাকে প্রথমে তাদের প্রশিক্ষণের জন্য ডেটা সংগ্রহ করতে হবে। কোম্পানি বারকোড রেজিস্ট্রিতে তাদের পণ্যের টীকাযুক্ত ছবি আপলোড করে ওয়েবসাইট. এই ডেটা আপলোড করার পরে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এবং দ্বারা প্রক্রিয়াকৃত এডাব্লুএস ল্যাম্বদা ফাংশন, আপনি একটি SageMaker অবজেক্ট সনাক্তকরণ মডেল প্রশিক্ষণের জন্য এটি ব্যবহার করতে পারেন। এই মডেলটি একটি সেজমেকার এন্ডপয়েন্টে হোস্ট করা হয়েছে, যেখানে ওয়েবসাইটটি এটিকে শেষ ব্যবহারকারীর সাথে সংযুক্ত করে।
বারকোড রেজিস্ট্রি সেজমেকারের সাথে একটি কাস্টম অবজেক্ট সনাক্তকরণ মডেল তৈরি করতে ব্যবহার করে তৈরি করার জন্য তিনটি মূল পদক্ষেপ রয়েছে:
- SageMaker চালানোর জন্য একটি প্রশিক্ষণ স্ক্রিপ্ট তৈরি করুন।
- প্রশিক্ষণ স্ক্রিপ্ট থেকে একটি ডকার কন্টেইনার তৈরি করুন এবং এটি অ্যামাজন ইসিআর-এ আপলোড করুন।
- কাস্টম অ্যালগরিদম সহ একটি মডেলকে প্রশিক্ষণ দিতে SageMaker কনসোল ব্যবহার করুন৷
প্রোডাক্ট তথ্য
একটি অবজেক্ট সনাক্তকরণ মডেল প্রশিক্ষিত করার জন্য একটি পূর্বশর্ত হিসাবে আপনার একটি AWS অ্যাকাউন্ট এবং প্রশিক্ষণ চিত্রের প্রয়োজন হবে, যাতে আপনার বস্তুর কমপক্ষে 100টি উচ্চ-মানের (উচ্চ-রেজোলিউশন এবং একাধিক আলোক-পরিস্থিতিতে) ছবি থাকে। যেকোনো ML মডেলের মতো, উচ্চ-মানের ডেটা সর্বাগ্রে। একটি অবজেক্ট ডিটেকশন মডেলকে প্রশিক্ষিত করার জন্য, আমাদের প্রাসঙ্গিক পণ্যগুলির পাশাপাশি বাউন্ডিং বাক্সের ছবিগুলির প্রয়োজন যাতে চিত্রগুলিতে পণ্যগুলি কোথায় রয়েছে তা বর্ণনা করে, যেমনটি নিম্নলিখিত উদাহরণে দেখানো হয়েছে।
একটি কার্যকরী মডেলকে প্রশিক্ষিত করার জন্য, একটি ব্র্যান্ডের প্রতিটি পণ্যের বিভিন্ন ব্যাকগ্রাউন্ড এবং আলোর অবস্থার ছবি প্রয়োজন - প্রতিটি পণ্যের জন্য প্রায় 30-100টি অনন্য টীকাযুক্ত ছবি।
ছবিগুলি ওয়েব সার্ভারে আপলোড করার পরে, সেগুলি ব্যবহার করে অ্যামাজন S3 এ আপলোড করা হয় PHP এর জন্য AWS SDK. প্রতিবার একটি ছবি আপলোড করার সময় একটি Lambda ইভেন্ট ট্রিগার হয়। ফাংশনটি চিত্রগুলি থেকে Exif মেটাডেটা সরিয়ে দেয়, যা কখনও কখনও সেগুলিকে ঘোরানো দেখাতে পারে যখন সেগুলি পরে মডেল প্রশিক্ষণের জন্য ব্যবহৃত ML লাইব্রেরি দ্বারা খোলা হয়৷ সংশ্লিষ্ট বাউন্ডিং বক্স ডেটা JSON ফাইলগুলিতে সংরক্ষণ করা হয় এবং চিত্রগুলির সাথে Amazon S3 এ আপলোড করা হয়।
অবজেক্ট ডিটেকশন মডেলের জন্য সেজমেকার
সেজমেকার হল একটি পরিচালিত এমএল পরিষেবা যা ক্লাউডে মডেল তৈরি, প্রশিক্ষণ এবং হোস্ট করার জন্য বিভিন্ন সরঞ্জাম অন্তর্ভুক্ত করে। বিশেষ করে, TheBarcodeRegistry SageMaker এর নির্ভরযোগ্য এবং স্কেলযোগ্য ML মডেল প্রশিক্ষণ এবং হোস্টিং পরিষেবার কারণে তার বস্তু সনাক্তকরণ পরিষেবার জন্য SageMaker ব্যবহার করে৷ এর মানে হল যে অনেক ব্র্যান্ডের নিজস্ব অবজেক্ট ডিটেকশন মডেল প্রশিক্ষিত এবং হোস্ট করা থাকতে পারে এবং এমনকি যদি ব্যবহার অপ্রত্যাশিতভাবে বেড়ে যায়, কোন ডাউনটাইম হবে না।
বারকোড রেজিস্ট্রি আপলোড করা কাস্টম ডকার কন্টেনার ব্যবহার করে অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR) অবজেক্ট ডিটেকশন অ্যালগরিদমের আরও সূক্ষ্ম নিয়ন্ত্রণের জন্য প্রশিক্ষণ এবং অনুমানের পাশাপাশি সমর্থনের জন্য নিযুক্ত মাল্টি মডেল সার্ভার (MMS)। জাল সনাক্তকরণ ব্যবহারের ক্ষেত্রে MMS খুবই গুরুত্বপূর্ণ কারণ এটি একই সার্ভারে একাধিক ব্র্যান্ডের মডেলকে সাশ্রয়ীভাবে হোস্ট করার অনুমতি দেয়। বিকল্পভাবে, আপনি বিল্ট-ইন ব্যবহার করতে পারেন অবজেক্ট সনাক্তকরণ অ্যালগরিদম AWS দ্বারা উন্নত মানক মডেলগুলি দ্রুত স্থাপন করতে।
SageMaker এর সাথে একটি কাস্টম অবজেক্ট ডিটেকশন মডেলকে প্রশিক্ষণ দিন
প্রথমত, আপনাকে আপনার অবজেক্ট ডিটেকশন অ্যালগরিদম যোগ করতে হবে। এই ক্ষেত্রে, Amazon ECR-তে Yolov5 অবজেক্ট ডিটেকশন মডেলকে প্রশিক্ষণ দিতে স্ক্রিপ্ট সমন্বিত একটি ডকার কন্টেইনার আপলোড করুন:
- সেজমেকার কনসোলে, এর অধীনে নোটবই নেভিগেশন ফলকে, নির্বাচন করুন নোটবুক উদাহরণস্বরূপ.
- বেছে নিন নোটবুকের উদাহরণ তৈরি করুন।
- নোটবুকের উদাহরণ এবং নীচের জন্য একটি নাম লিখুন অনুমতি এবং এনক্রিপশন একটি নির্বাচন করুন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) প্রয়োজনীয় অনুমতি সহ ভূমিকা।
- খোলা গিট ভান্ডার মেনু.
- নির্বাচন করা শুধুমাত্র এই নোটবুক ইন্সট্যান্সে একটি পাবলিক গিট রিপোজিটরি ক্লোন করুন এবং নিম্নলিখিত পেস্ট করুন Git সংগ্রহস্থল URL: https://github.com/portoaj/SageMakerObjectDetection
- ক্লিক নোটবুকের উদাহরণ তৈরি করুন এবং ইনস্ট্যান্সের স্ট্যাটাস আপডেট হওয়ার জন্য প্রায় পাঁচ মিনিট অপেক্ষা করুন বিচারাধীন থেকে সেবা মধ্যে নোটবুকের উদাহরণ মেনু.
- একবার নোটবুক হয় সেবা, এটি নির্বাচন করুন এবং ক্লিক করুন কার্যপ্রণালী এবং জুপিটার খুলুন একটি নতুন ট্যাবে নোটবুক ইনস্ট্যান্স চালু করতে।
- নির্বাচন করুন সেজমেকার অবজেক্ট ডিটেকশন ডিরেক্টরি এবং তারপরে ক্লিক করুন
sagemakerobjectdetection.ipynb
জুপিটার নোটবুক চালু করতে। - নির্বাচন করুন
conda_python3
কার্নেল এবং ক্লিক করুন কার্নেল সেট করুন. - কোড সেল নির্বাচন করুন এবং সেট করুন
aws_account_id
আপনার AWS অ্যাকাউন্ট আইডিতে পরিবর্তনশীল। - ক্লিক চালান একটি ডকার কন্টেইনার তৈরি এবং এটি অ্যামাজন ইসিআর-এ আপলোড করার প্রক্রিয়া শুরু করতে। এই প্রক্রিয়াটি সম্পূর্ণ হতে প্রায় 20 মিনিট সময় লাগতে পারে।
- একবার ডকার কন্টেইনার আপলোড হয়ে গেলে, তে ফিরে যান নোটবুক উদাহরণস্বরূপ মেনু, আপনার উদাহরণ নির্বাচন করুন এবং ক্লিক করুন কার্যপ্রণালী এবং থামুন আপনার নোটবুক ইনস্ট্যান্স বন্ধ করতে।
অ্যালগরিদম তৈরি এবং অ্যামাজন ইসিআর-এ পুশ করার পরে, আপনি সেজমেকার কনসোলের মাধ্যমে একটি মডেলকে প্রশিক্ষণ দিতে এটি ব্যবহার করতে পারেন।
- সেজমেকার কনসোলে, এর অধীনে প্রশিক্ষণ নেভিগেশন ফলকে, নির্বাচন করুন প্রশিক্ষণ কাজ.
- বেছে নিন প্রশিক্ষণের কাজ তৈরি করুন.
- কাজের জন্য একটি নাম লিখুন এবং নির্বাচন করুন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) প্রয়োজনীয় অনুমতি সহ ভূমিকা।
- জন্য অ্যালগরিদম উৎস, নির্বাচন করুন ECR-তে আপনার নিজের অ্যালগরিদম ধারক.
- জন্য আধার, রেজিস্ট্রি পাথ লিখুন।
- রিসোর্স কনফিগারেশনের অধীনে একটি একক ml.p2.xlarge ইন্সট্যান্স সেট করা একটি Yolov5 মডেলের প্রশিক্ষণের জন্য যথেষ্ট হওয়া উচিত।
- আপনার ইনপুট ডেটা এবং আউটপুট পাথ এবং ভিপিসি কনফিগার করার মতো অন্য কোনো সেটিংস উভয়ের জন্য Amazon S3 অবস্থানগুলি নির্দিষ্ট করুন আমাজন ভার্চুয়াল প্রাইভেট ক্লাউড (Amazon VPC) বা পরিচালিত স্পট প্রশিক্ষণ সক্ষম করা।
- বেছে নিন প্রশিক্ষণের কাজ তৈরি করুন.
আপনি SageMaker কনসোলে মডেলের প্রশিক্ষণের অগ্রগতি ট্র্যাক করতে পারেন।
স্বয়ংক্রিয় মডেল প্রশিক্ষণ
নিম্নলিখিত চিত্রটি স্বয়ংক্রিয় মডেল প্রশিক্ষণ কর্মপ্রবাহকে চিত্রিত করে:
সেজমেকারকে অবজেক্ট ডিটেকশন মডেলের প্রশিক্ষণ দেওয়া শুরু করার জন্য যত তাড়াতাড়ি একজন ব্যবহারকারী তাদের ডেটা আপলোড করা শেষ করে, ওয়েব সার্ভার ব্যবহার করে অ্যামাজন এপিআই গেটওয়ে একটি Lambda ফাংশনকে অবহিত করতে যে ব্র্যান্ডটি শেষ হয়েছে এবং একটি প্রশিক্ষণের কাজ শুরু করতে।
যখন একটি ব্র্যান্ডের মডেল সফলভাবে প্রশিক্ষিত হয়, অ্যামাজন ইভেন্টব্রিজ একটি ল্যাম্বডা ফাংশনকে কল করে যা প্রশিক্ষিত মডেলটিকে লাইভ এন্ডপয়েন্টের S3 বালতিতে নিয়ে যায়, যেখানে এটি শেষ পর্যন্ত অনুমানের জন্য প্রস্তুত। MLOps জীবনচক্রের মাধ্যমে মডেলগুলি সরানোর জন্য Amazon EventBridge ব্যবহার করার একটি নতুন বিকল্প যা আপনার বিবেচনা করা উচিত সেজমেকার পাইপলাইন.
অনুমানের জন্য মডেল হোস্ট করুন
নিম্নলিখিত চিত্রটি অনুমান কার্যপ্রবাহকে চিত্রিত করে:
প্রশিক্ষিত মডেলগুলি ব্যবহার করার জন্য, SageMaker-এর একটি অনুমান মডেলের প্রয়োজন একটি শেষবিন্দু দ্বারা হোস্ট করা৷ এন্ডপয়েন্ট হল সার্ভার বা সার্ভারের অ্যারে যা আসলে ইনফারেন্স মডেল হোস্ট করতে ব্যবহৃত হয়। আমরা যে প্রশিক্ষণ পাত্রটি তৈরি করেছি তার অনুরূপ, অনুমানের জন্য একটি ডকার কন্টেইনার অ্যামাজন ইসিআর-এ হোস্ট করা হয়েছে। অনুমান মডেলটি ডকার কন্টেইনারটি ব্যবহার করে এবং ব্যবহারকারী তাদের ফোনের সাথে নেওয়া ইনপুট চিত্রটি নেয়, এটি প্রশিক্ষিত বস্তু সনাক্তকরণ মডেলের মাধ্যমে চালায় এবং ফলাফলটি আউটপুট করে।
আবার, বারকোড রেজিস্ট্রি মাল্টি মডেল সার্ভারের ব্যবহার সক্ষম করার জন্য অনুমান মডেলের জন্য কাস্টম ডকার কন্টেনার ব্যবহার করে, কিন্তু যদি শুধুমাত্র একটি মডেলের প্রয়োজন হয় যা বিল্ট-ইন অবজেক্ট সনাক্তকরণ অ্যালগরিদমের মাধ্যমে সহজেই হোস্ট করা যেতে পারে।
উপসংহার
বারকোড রেজিস্ট্রি (তার অংশীদার Buyabarcode.com এর সাথে একত্রে) তার সমগ্র বস্তু সনাক্তকরণ পাইপলাইনের জন্য AWS ব্যবহার করে। ওয়েব সার্ভার নির্ভরযোগ্যভাবে Amazon S3-এ ডেটা সঞ্চয় করে এবং ক্লাউডের সাথে ওয়েব সার্ভারকে সংযুক্ত করতে API গেটওয়ে এবং ল্যাম্বডা ফাংশন ব্যবহার করে। SageMaker সহজেই ML মডেলগুলিকে প্রশিক্ষণ দেয় এবং হোস্ট করে, যার অর্থ একজন ব্যবহারকারী তাদের ফোনে একটি পণ্যের ছবি তুলতে এবং পণ্যটি নকল কিনা তা দেখতে পারে৷ এই পোস্টটি দেখায় কিভাবে সেজমেকার ব্যবহার করে একটি অবজেক্ট ডিটেকশন মডেল তৈরি এবং হোস্ট করা যায়, সেইসাথে প্রক্রিয়াটিকে কীভাবে স্বয়ংক্রিয় করা যায়।
পরীক্ষায়, মডেলটি 90টি চিত্রের একটি প্রশিক্ষণ সেট এবং 62টি চিত্রের একটি পরীক্ষামূলক সেটে 32% নির্ভুলতা অর্জন করতে সক্ষম হয়েছিল, যা কোনও মানব হস্তক্ষেপ ছাড়াই প্রশিক্ষিত মডেলের জন্য বেশ চিত্তাকর্ষক। অবজেক্ট ডিটেকশন মডেলের প্রশিক্ষণ শুরু করতে নিজেই অফিসিয়াল দেখুন ডকুমেন্টেশন বা শিখুন কিভাবে AWS IoT Greengrass ব্যবহার করে প্রান্তে একটি বস্তু সনাক্তকরণ মডেল স্থাপন করুন.
এই পোস্টে থাকা সামগ্রী এবং মতামতগুলি তৃতীয় পক্ষের লেখক এবং এডাব্লুএস এই পোস্টের বিষয়বস্তু বা যথার্থতার জন্য দায়ী নয়।
লেখক সম্পর্কে
অ্যান্ড্রু মাসেক, বারকোড রেজিস্ট্রিতে সফটওয়্যার ইঞ্জিনিয়ার।
এরিক কুইসলিং, বারকোড রেজিস্ট্রির সিইও।
- Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
- ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
- সূত্র: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- সম্পর্কে
- প্রবেশ
- হিসাব
- অ্যালগরিদম
- যদিও
- মর্দানী স্ত্রীলোক
- API
- অটোমেটেড
- ডেস্কটপ AWS
- সীমান্ত
- বক্স
- ব্রান্ডের
- ভবন
- বিল্ট-ইন
- কারণ
- সিইও
- মেঘ
- কোড
- সংগ্রহ করা
- কোম্পানি
- কনফিগারেশন
- কনসোল
- আধার
- কন্টেনারগুলি
- বিষয়বস্তু
- নিয়ন্ত্রণ
- জাল
- তৈরি করা হচ্ছে
- অপরাধী
- প্রথা
- গ্রাহকদের
- উপাত্ত
- ডেটাবেস
- স্থাপন
- সনাক্তকরণ
- উন্নত
- বিভিন্ন
- আলোচনা করা
- ডকশ্রমিক
- নিচে
- ডাউনটাইম
- ওষুধের
- সহজে
- প্রান্ত
- কার্যকর
- সক্রিয়
- শেষপ্রান্ত
- প্রকৌশলী
- উদ্যোগ
- ঘটনা
- উদাহরণ
- পরিশেষে
- প্রথম
- অনুসরণ
- প্রতারণা
- ক্রিয়া
- git
- পণ্য
- ক্রমবর্ধমান
- অতিথি
- অতিথি পোস্ট
- সাহায্য
- সাহায্য
- কিভাবে
- কিভাবে
- HTTPS দ্বারা
- মানবীয়
- পরিচয়
- ভাবমূর্তি
- গুরুত্বপূর্ণ
- IOT
- IT
- কাজ
- চাবি
- সর্বশেষ
- শুরু করা
- শিখতে
- শিক্ষা
- অবস্থানগুলি
- মেশিন
- মেশিন লার্নিং
- পরিচালিত
- ML
- মডেল
- মডেল
- অধিক
- পদক্ষেপ
- ন্যাভিগেশন
- নোটবই
- নৈবেদ্য
- কর্মকর্তা
- মতামত
- ক্রম
- অন্যান্য
- মালিকানা
- হাসপাতাল
- ছবি
- চমত্কার
- প্রতিরোধ
- ব্যক্তিগত
- প্রক্রিয়া
- পণ্য
- পণ্য
- আশাপ্রদ
- প্রকাশ্য
- দ্রুত
- চেনা
- প্রাসঙ্গিক
- সংগ্রহস্থলের
- সংস্থান
- দায়ী
- চালান
- বিক্রয়
- মাপযোগ্য
- SDK
- সেবা
- সেবা
- সেট
- অনুরূপ
- সহজ
- ক্ষুদ্র তালা
- সফটওয়্যার
- সফটওয়্যার ইঞ্জিনিয়ার
- সমাধান
- অকুস্থল
- শুরু
- শুরু
- অবস্থা
- স্টোরেজ
- দোকান
- সফলভাবে
- সমর্থন
- প্রযুক্তি
- পরীক্ষামূলক
- বিশ্ব
- তৃতীয় পক্ষের
- দ্বারা
- সময়
- সরঞ্জাম
- পথ
- ঐতিহ্যগত
- প্রশিক্ষণ
- ট্রেন
- অনন্য
- আপডেট
- ব্যবহার
- প্রতিপাদন
- ভার্চুয়াল
- অপেক্ষা করুন
- ওয়েব
- ওয়েব সার্ভার
- ওয়েবসাইট
- ছাড়া
- বিশ্ব
- বিশ্বব্যাপী
- বছর