ParallelDots-এ ডেটা সায়েন্স টিম - বছরের শেষের রিপোর্ট

2020 [এবং 2021 এর প্রথমার্ধ] একটি কালো রাজহাঁস ছিল। পরিবার, সমাজ এবং সংস্থাগুলিকে এমন কিছুর মুখোমুখি হতে হয়েছিল যা তারা কল্পনাও করতে পারেনি। এই পোস্টে, আমি হাইলাইট করার চেষ্টা করব কিভাবে প্যারালেলডটস এআই টিম এই সময়ের মধ্যে মানিয়ে নিয়েছে এবং আমাদের খুচরা AI সমাধানগুলির পরবর্তী প্রজন্মের জন্য তৈরি করছে।

প্যারালেলডটস 2020 সালের ফেব্রুয়ারিতে সম্পূর্ণ রিমোট ওয়ার্ক মোডে গিয়েছিল এবং তারপর থেকে দলটি একদিনের জন্যও শারীরিকভাবে দেখা করেনি। এর আগে আমরা সর্বদা একটি খুব শক্তভাবে নিট ইউনিট ছিলাম এবং এইভাবে প্রথম কয়েক সপ্তাহ সম্পূর্ণভাবে একটি দূরবর্তী কাজের সংস্কৃতি তৈরিতে ব্যয় হয়েছিল। আমাদের আরও ভাল যোগাযোগ এবং একটি খুব আলাদা মালিকানা কাঠামো সম্পর্কে ভাবতে হয়েছিল। প্রদত্ত যে সংস্থাটিও একটি ব্যবসায়িক ধাক্কার সাথে মোকাবিলা করছিল, এই সপ্তাহগুলি কঠিন ছিল। আমি ব্যক্তিগতভাবে গর্বিত যেভাবে আমাদের টিম চাপ সামলিয়েছে এবং শুধু সামঞ্জস্য নয় বরং সর্বদা শীর্ষ প্রযুক্তি মন্থন মেশিনে পরিণত হয়েছে। মাত্র কয়েক সপ্তাহের টুইক এবং আমরা দুর্দান্ত হয়ে ফিরে এসেছি।

AI দলের জন্য চ্যালেঞ্জ [প্রায় মার্চ 2020]

[আপনি হয়তো বিভিন্ন AI অ্যালগরিদম এবং সিস্টেমের 'কেন' খুঁজে পেতে পারেন যা আমরা বিরক্তিকর হিসাবে তৈরি করছি, আমি জানি কারণ আমার কাছে থাকবে 😉, যদি আপনি শুধুমাত্র 'কীভাবে' বা সমস্ত নতুন দুর্দান্ত প্রযুক্তি এবং অ্যালগরিদম বিভাগে আগ্রহী হন, 'নতুন সিস্টেম এবং অ্যালগরিদম' বিভাগে নিচে যান]

ParallelDots AI টিমের ভূমিকা বিভিন্ন সমস্যার সমাধান করছে যা ParallelDots-এ আমাদের AI প্রশিক্ষণ এবং স্থাপনার পরিকাঠামোকে বাধাগ্রস্ত করে। আপনি এই চ্যালেঞ্জগুলিকে ভাগ করতে পারেন: A. AI প্রশিক্ষণ এবং নির্ভুলতার বাধা [বা গবেষণা বাধা] এবং B. স্থাপনা/ইনফারেন্স বটলনেকস [বা MLOPS বটলনেকস যেমন আমরা তাদের বলি]। 2020 এর শুরুতে, যখন আমাদের AI প্রযুক্তি ইতিমধ্যে প্রতি মাসে এক মিলিয়নেরও বেশি ছবি প্রক্রিয়াকরণ করছিল, তখন কিছু চ্যালেঞ্জ যা আমরা এটিকে বড় করার জন্য সমাধান করব বলে আশা করা হয়েছিল:

1. একটি অনুমান পরিকাঠামো স্থাপন করা যা স্বয়ংক্রিয়ভাবে স্কেল আপ করতে পারে প্রক্রিয়া করার জন্য অনেকগুলি খুচরা চিত্র থাকলে যাতে আমাদের এসএলএগুলি সংরক্ষণ করা যায় এবং ছোট কাজের চাপের জন্য স্থাপনার পরিমাণ হ্রাস করা হয়। জিপিইউগুলি ব্যয়বহুল মেশিন এবং একটি স্ট্যাটিক [অথবা অফ-দ্য-শেল্ফ বা ম্যানুয়াল ডেভপস] অবকাঠামো থাকা SLAগুলি পূরণ করা এবং উচ্চ খরচ এড়ানোর মধ্যে একটি শক্ত পথ।
2. আমাদের খুচরা কম্পিউটার ভিশন অ্যালগরিদমগুলিকে ফোনে চালিত করা। আমরা সবসময় একটি নতুন পণ্যের কথা ভেবেছিলাম যেখানে বিলিং/জিআরএন/ইনভেন্টরি ম্যানেজমেন্টের জন্য ধীর গতির ইন্টারনেট সংযোগ সহ ছোট খুচরা আউটলেটে ফোনে অন-এজ এআই ব্যবহার করা যেতে পারে। শুধু তাই নয়, আমাদের কিছু সম্ভাব্য শেল্ফওয়াচ ক্লায়েন্ট এমন স্থাপনা চেয়েছিলেন যেগুলি ছবি আপলোড এবং প্রক্রিয়ার জন্য অপেক্ষা না করে দ্রুত অনুমানের জন্য দোকানের মধ্যে ব্যবহার করা যেতে পারে। আমরা সচেতন ছিলাম যে আমরা যদি আমাদের খুচরা AI অ্যালগরিদমগুলিকে ফোনে চালাতে পারি, তবে এটি আমাদের স্বপ্নের দ্বিতীয় পণ্য তৈরি করতে সাহায্য করবে কিন্তু আমাদের বিদ্যমান পণ্যটিকে নতুন ক্লায়েন্ট পেতে সহায়তা করবে। উপরের উভয় চ্যালেঞ্জই হল MLOPS চ্যালেঞ্জ যেমন আমরা তাদের বলি।
3. চিত্রগুলিতে পণ্যগুলির আকারের বৈকল্পিক সনাক্তকরণ। আরেকটি চ্যালেঞ্জ ছিল খুচরা চিত্রগুলিতে একটি পণ্যের জন্য আকার স্তরের বৈচিত্র্য সনাক্ত করা। একটি উদাহরণ হিসাবে, ধরা যাক যে আপনার কাছে চিপসের একটি শেল্ফের জন্য চিত্র রয়েছে এবং আপনাকে AI ব্যবহার করে শুধু Lay's Magic masala-এর সংখ্যা সনাক্ত করতে হবে না, Lay's Magic masala-এর 10 INR / 20 INR / 30 INR প্যাকেটের মধ্যে একটি বিভক্তও করতে হবে৷ আপনার বিশ্লেষণে যারা কম্পিউটার ভিশনে কাজ করেননি তাদের জন্য, এটি একটি সুস্পষ্ট এবং সহজ পরবর্তী সমস্যার মতো দেখাতে পারে কারণ AI শেলফে পণ্য সনাক্ত করতে পারে এবং খুব উচ্চ নির্ভুলতার সাথে ব্র্যান্ড হিসাবে শ্রেণীবদ্ধ করতে পারে। তবে আপনি বিখ্যাত XKCD #1425 জানেন [সবকিছুর জন্য একটি প্রাসঙ্গিক XKCD সবসময় থাকে 😉]। প্রাসঙ্গিক XKCD
4. পয়েন্ট-অফ-সেল-মেটেরিয়ালের অংশ যাচাই করা হচ্ছে। শেলফে পণ্য সনাক্তকরণ এবং শনাক্ত করা ছাড়াও শেলফের চিত্র বিশ্লেষণের আরেকটি অংশ হল শেলফে বিভিন্ন পয়েন্ট অফ সেল ম্যাটেরিয়ালের উপস্থিতি যাচাই করা। বিক্রয়ের এই উপাদানগুলি হল এমন জিনিস যা আপনি প্রায়শই আপনার চারপাশে খুচরা বা কিরানার দোকানে দেখতে পাবেন যেমন শেলফ স্ট্রিপ, কাটআউট, পোস্টার, গ্যান্ডোলা এবং ডেমো র্যাক। আমরা এই ধরনের ম্যাচের জন্য ডিপ কীপয়েন্ট ম্যাচিং ব্যবহার করেছি অনেক দিন ধরে এবং এটি ভালোভাবে কাজ করত। যাইহোক, সময়ের সাথে সাথে গ্রাহকরা আমাদেরকে কেবল শেল্ফ ইমেজে POSM যাচাই করার জন্য নয় বরং অনুপস্থিত অংশগুলিকে নির্দেশ করতে বলেছিল যা একজন মার্চেন্ডাইজার একটি POSM-এ মিস করতে পারে। উদাহরণ স্বরূপ, একজন মার্চেন্ডাইজার ডেমো র‌্যাকে পোস্টার লাগাতে মিস করে থাকতে পারে বা কোনও দুর্ঘটনার কারণে দোকানে সরিয়ে ফেলা হতে পারে। চিত্রের শ্রেণীবিভাগ কাজ করে এমন একটি স্তরে এটি খুব সঠিকভাবে করতে, আমাদের একটি অ্যালগরিদম প্রয়োজন যা প্রশিক্ষণ ছাড়াই সর্বত্র কাজ করে কারণ POSMগুলি সপ্তাহ/মাসের মধ্যে পরিবর্তিত হয়।
5. আরো সঠিক শেলফ পণ্য ডিটেক্টর প্রশিক্ষণ. রিটেইল শেল্ফ কম্পিউটার ভিশন প্রথম ধাপে একটি জেনেরিক শেল্ফ অবজেক্ট ডিটেক্টর থাকার প্রযুক্তিতে চলে গেছে [যেকোনো শেল্ফ অবজেক্টকে শ্রেণীবিভাগ না করেই বের করে আনুন] এবং তারপরে পণ্যগুলিকে শ্রেণীবদ্ধ করে তারপর দ্বিতীয় ধাপে এক্সট্রাক্ট করা সমস্যাগুলি এড়াতে এক ধাপ ডিটেক্টর + ক্লাসিফায়ার। তৈরি করুন [তাকগুলিতে ব্যাপক পণ্যের তির্যকতা তৈরি করুন খারাপ শ্রেণিবিন্যাস আউটপুট তৈরি করুন / প্রকল্প প্রতি প্রচুর ডেটার উপর প্রশিক্ষণ এবং এআই থেকে কোনও বর্ধিত লাভ নেই যা আগের প্রকল্পগুলি থেকে আরও ভাল হচ্ছে এবং আরও অনেক কিছু]। 2019 সালে দ্বিতীয় ধাপে আমাদের কাছে জেনেরিক শেল্ফ অবজেক্ট ডিটেক্টর এবং একটি স্টেট অফ দ্য আর্ট ক্লাসিফায়ারের এমন একটি সিস্টেম ছিল, তবে শেল্ফ অবজেক্ট ডিটেক্টরের আউটপুট বক্সের আকারগুলি আরও ভাল হতে পারত।
6. ক্লাসিফায়ারদের আরও ভাল এবং দ্রুত প্রশিক্ষণ দিতে অতীতের AI প্রশিক্ষণ এবং ত্রুটি সংশোধন ব্যবহার করা। আমরা অনেক শ্রেণীবিভাগকে প্রশিক্ষণ দিই [মডেল যা ধাপ 1 অ্যালগরিদম দ্বারা নিষ্কাশিত শেলফ অবজেক্টকে আমাদের প্রয়োজনীয় পণ্য ব্র্যান্ডগুলির মধ্যে একটিতে শ্রেণীবদ্ধ করে]। একটি অ্যালগরিদম তৈরি করতে অতীতের ক্লাসিফায়ারদের ভুল সহ আমাদের সংগ্রহ করা সমস্ত প্রশিক্ষণ ডেটা ব্যবহার করার কোনও উপায় আছে যা নতুন ক্লাসিফায়ারদের দ্রুত এবং আরও নির্ভুলভাবে প্রশিক্ষণ দিতে সাহায্য করতে পারে এমন একটি প্রশ্ন সবসময়ই থাকে। চারটি গবেষণা সমস্যা [3-6] আপনি আমাদের শেলফওয়াচ পণ্যের প্রতিফলিত নতুন প্রয়োজনীয়তা খুঁজে পেয়েছেন [3,4] এবং বিদ্যমান স্ট্যাক [5,6] আরও ভাল করে। এখন আমাদের এনএলপি এপিআই স্ট্যাক থেকে গবেষণা সমস্যার একটি সেটও ছিল।
7. আরও জেনেরিক সেন্টিমেন্ট অ্যানালাইসিস API। আমাদের অনলাইনে যে সেন্টিমেন্ট অ্যানালাইসিস এপিআই ছিল তা ইন-হাউস টীকাযুক্ত টুইটগুলিতে প্রশিক্ষিত ছিল এবং এইভাবে দুর্দান্ত নির্ভুলতা থাকা সত্ত্বেও রাজনৈতিক বা আর্থিক নিবন্ধের মতো আরও ডোমেন নির্দিষ্ট জিনিসগুলিতে ব্যর্থ হতে পারে। টুইটগুলির বিপরীতে এই ধরনের বিভিন্ন ডোমেন নিবন্ধগুলি ডেটাসেটের ডোমেনে অভিজ্ঞ নয় এমন লোকেদের দ্বারা টীকা করা কঠিন৷ ক্লাসিফায়ারদের প্রশিক্ষণের জন্য প্রচুর অব্যক্ত ডেটা ব্যবহার করা যা ডোমেন জুড়ে কাজ করতে পারে তা একটি বিদ্যমান চ্যালেঞ্জ ছিল।
8. একটি নতুন টার্গেটেড সেন্টিমেন্ট API। দৃষ্টিভঙ্গি ভিত্তিক অনুভূতি বিশ্লেষণ কিছু সময়ের জন্য প্রায় হয়েছে. আমরা অবশেষে এই ধরনের বিশ্লেষণের জন্য একটি ইনহাউস টীকাযুক্ত ডেটাসেট পেয়েছি, কিন্তু আমাদের লক্ষ্য ছিল কিছুটা বেশি নির্দিষ্ট। আমরা একটি API তৈরি করতে চেয়েছিলাম যেখানে আপনি একটি বাক্য দেন "আপেলটি সুস্বাদু ছিল না কিন্তু কমলা সত্যিই yum ছিল।" "অ্যাপল" এর জন্য বিশ্লেষণ করা হলে একটি নেতিবাচক আউটপুট দেবে বা কমলার জন্য বিশ্লেষণ করলে ইতিবাচক। আমরা এইভাবে শিল্প দিক ভিত্তিক সেন্টিমেন্ট বিশ্লেষণ অ্যালগরিদম একটি রাষ্ট্র নির্মাণের লক্ষ্য ছিল.

এখন যেহেতু আমরা যে চ্যালেঞ্জগুলি সমাধান করার চেষ্টা করছি তার বিবরণ দিয়ে আমি আপনাকে বিরক্ত করেছি, আসুন আকর্ষণীয় অংশে আসা যাক। আমাদের নতুন MLOPS প্ল্যাটফর্ম এবং অ্যালগরিদম।

নতুন সিস্টেম এবং অ্যালগরিদম

আমি আপনাকে আমার নতুন বন্ধুদের সাথে পরিচয় করিয়ে দিই, কিছু দুর্দান্ত প্রযুক্তি সিস্টেম এবং AI অ্যালগরিদম যা আমরা গতবার তৈরি করেছি এবং প্রতিবন্ধকতাগুলি মোকাবেলা করার জন্য স্থাপন করেছি।

মোবাইল প্রোডাক্ট রিকগনিশন এআই বা মোবাইল শেলফ রিকগনিশন এআই

ParallelDots Oogashop এর পরিচিতি - লিংক

(লিঙ্কডইন ফিড এবং ভিডিও)

আমরা মোবাইল ডিভাইসে একটি নয়, দুটি ভিন্ন ধরনের AI অ্যালগরিদম তৈরি এবং স্থাপন করেছি। আপনি হয়তো কয়েকদিন আগে আমাদের অত্যন্ত ভাইরাল পোস্টগুলি দেখেছেন যেখানে আমরা মোবাইল ফোন বিলিং ডেমো করেছি এবং অফলাইন শেলফ অডিট সম্পর্কে কথা বলেছি।

এখানে ShelfWatch-এর অন-ডিভাইস ইমেজ রিকগনিশন ফিচার (ODIN)-এর লিঙ্ক রয়েছে - লিংক

(ধারা)

মূলত, এই AI মডেলগুলি আমরা ক্লাউডে যে মডেলগুলি মোতায়েন করি তার সংস্করণগুলিকে ছোট করা হয়৷ নির্ভুলতার কিছু ক্ষতির সাথে, এই মডেলগুলি এখন একটি ফোন GPU তে চালানোর জন্য যথেষ্ট ছোট [যা একটি সার্ভ GPU থেকে অনেক ছোট]। Tensorflow এর নতুন মোবাইল ডিপ্লয়মেন্ট ফ্রেমওয়ার্ক যা আমরা যথাক্রমে আমাদের OOGASHOP এবং ShelfWatch অ্যাপে এই মডেলগুলি স্থাপন করতে ব্যবহার করি।

(কাগজ) মোবাইল স্থাপনার জন্য কমপ্যাক্ট খুচরা শেল্ফ সেগমেন্টেশন – লিংক

প্রত্যুষ কুমার, মুক্তভ মায়াঙ্ক শ্রীবাস্তব

অটোস্কেলিং ক্লাউড এআই ইনফারেন্স

যখন দোকানগুলি সকাল 11 টায় [ 11 AMs বিভিন্ন সময় অঞ্চলের জন্য খোলে, অর্থাৎ বিশ্বের যেখানেই আমাদের ক্লায়েন্টদের সেলসফোর্স বা মার্চেন্ডাইজার থাকে], আমাদের সার্ভারগুলি আমাদের ক্লাউডে ফটো আপলোড করার জন্য একটি উন্মাদ লোডের সম্মুখীন হয় এবং তাদের তাদের সম্পর্কে জানায়৷ খুচরা এক্সিকিউশন স্কোর। এবং তারপর রাত 11 টার পরে যখন খুচরা দোকানগুলি বন্ধ হয়ে যায়, তখন আমাদের কাছে যথেষ্ট AI অনুমান কাজের চাপ থাকে না। যদিও Lambda-এর মতো অটোস্কেলিং অনেক প্রদানকারীর দ্বারা চালু করা হয়েছে, আমরা আমাদের AI অনুমান পরিকাঠামোর জন্য একটি ক্লাউড স্বাধীন অটোস্কেলিং কৌশল চেয়েছিলাম। যখন আমাদের প্রসেসিং সারিতে আরও ছবি থাকে, তখন সেগুলিকে ক্রাঞ্চ করার জন্য আমাদের আরও GPU-এর প্রয়োজন হয়, অন্যথায় শুধুমাত্র একটি বা হয়ত কোনোটিই নয়। এটি করার জন্য, পুরো AI ইনফারেন্স লেয়ারটি ডকার, কুবারনেটস এবং KEDA ভিত্তিক আর্কিটেকচারে স্থানান্তরিত করা হয়েছিল যেখানে কাজের চাপের উপর ভিত্তি করে নির্বিচারে নতুন GPU গুলি তৈরি করা যেতে পারে। কোম্পানির এসএলএ পরিচালনা করার চেষ্টা করার এবং জিপিইউ মেশিন চালানোর জন্য ব্যয়বহুল $$ সঞ্চয় করার জন্য আর কোন বাধা নেই।

শেল্ফ অবজেক্ট ডিটেকশন অ্যালগরিদম উন্নত করা

(কাগজ) ঘন বস্তু সনাক্তকরণের জন্য গাউসিয়ান মানচিত্র শেখা – লিংক

সোনাল কান্ত

আমরা আগে শেল্ফ অবজেক্ট নিষ্কাশনের জন্য প্রশিক্ষিত সহজ দ্রুত আরসিএনএন ব্যবহার করেছিলাম: সরল অবজেক্ট ডিটেকশন বেসলাইন পেপার . এটি অনেক ব্যবহারের ক্ষেত্রে ভাল কাজ করেছে। কিন্তু আমরা শিল্প পদ্ধতির আরো রাষ্ট্র প্রয়োজন. 2020 সালে আমাদের দল অত্যাধুনিক ফলাফল পেতে Gaussian Maps ব্যবহার করার জন্য একটি নতুন পদ্ধতি আবিষ্কার করেছে। এই কাজটি [পরে BMVC-তে প্রকাশিত হয়েছে, শীর্ষস্থানীয় কম্পিউটার ভিশন সম্মেলনগুলির মধ্যে একটি BMVC ওয়েবসাইট ] আমাদের শুধুমাত্র সন্তোষজনক নয় বরং একটি শেল্ফ অবজেক্ট সনাক্তকরণে সেরা সম্ভাব্য ফলাফল পেতে সাহায্য করেছে।

কৌশলটি মূলত অবজেক্ট সনাক্তকরণে একটি সহায়ক ক্ষতি হিসাবে গাউসিয়ান মানচিত্র প্রশিক্ষণ ব্যবহার করা। এটি বিভিন্ন পণ্যের জন্য বাক্সগুলিকে আরও সুনির্দিষ্ট করে তোলে।

শেলফ অবজেক্ট সনাক্তকরণের পরিপ্রেক্ষিতে আমরা দীর্ঘকাল ধরে সমাধান করার চেষ্টা করছি আরেকটি প্রশ্ন হল, এখন পণ্যগুলি সনাক্ত করার প্রয়োজনীয়তা একটি ডাউনস্ট্রিম টাস্কে স্থানান্তরিত হয়েছে এবং কাজটি হল সম্ভাব্য সমস্ত পণ্যের উপর বাক্স আঁকানো, সেখানে একটি আছে কি? একটি বিশাল অব্যক্ত ডেটাসেটে থাকা গোলমাল এবং বিকৃতিগুলিকে ব্যবহার করার উপায় ভাল শেল্ফ অবজেক্ট সনাক্তকরণের জন্য। একটি সাম্প্রতিক কাজ, [এ উল্লেখ করা হয়েছে CVPR 2021-এ রিটেইলভিশন কর্মশালা খুচরা দৃষ্টি কর্মশালা ], শেল্ফ অবজেক্ট ডিটেকশন টাস্কের নির্ভুলতা আরও ভাল করার জন্য আমরা অব্যক্ত শেলফ ইমেজগুলির আমাদের বিশাল ভান্ডার ব্যবহার করি।

(কাগজ) খুচরা দৃশ্যে ঘন বস্তু সনাক্তকরণের জন্য আধা-তত্ত্বাবধানে শিক্ষা – লিংক

জয়দীপ চৌহান, শ্রীকৃষ্ণ ভারদারাজন, মুক্তভ মায়াঙ্ক শ্রীবাস্তব

Psuedolabel ভিত্তিক ছাত্র প্রশিক্ষণ হল এমন একটি কৌশল যা আমরা একাধিক ক্ষেত্রে ব্যবহার করেছি, শেল্ফ অবজেক্ট সনাক্তকরণের জন্য নয়। যদিও অন্যান্য স্ব-শিক্ষার কৌশলগুলির জন্য GPU-তে বড় ব্যাচসাইজ লোড করা প্রয়োজন তাই ParallelDots-এর মতো সীমিত হার্ডওয়্যারের মতো কোম্পানির জন্য সেগুলি চেষ্টা করা কঠিন করে তোলে। , pseudolabels যা আমরা একক GPU স্ব-শিক্ষা করার জন্য আমাদের কৌশল হিসাবে অভিযোজিত করেছি।

উন্নত শ্রেণিবিন্যাস নির্ভুলতা

উচ্চ নির্ভুলতার সাথে সঠিক শ্রেণিবিন্যাসকারীদের প্রশিক্ষণ দিতে আমরা অতীতে একাধিক কৌশল ব্যবহার করেছি।

(কাগজ) খুচরা পণ্য চিত্র শ্রেণীবিভাগের জন্য কৌশলের ব্যাগ – লিংক, যা ব্যাখ্যা করে কিভাবে আমরা উচ্চ নির্ভুলতার সাথে ক্লাসিফায়ারদের প্রশিক্ষণ দিই।

মুক্তভ মায়াঙ্ক শ্রীবাস্তব

শেল্ফ অবজেক্ট ডিটেক্টর একটি শেল্ফ ইমেজ থেকে যে সমস্ত বাক্স বের করে তা পণ্যের ব্র্যান্ড অনুমান করার জন্য এই শ্রেণীবিভাগের মাধ্যমে পাস করা হয়।

যাইহোক, দোকানের ঘন ঘন পরিবর্তিত ক্যাটালগগুলির সাথে, আমাদের পণ্যের শ্রেণিবিন্যাসকারীকে একটু ভিন্নভাবে জিনিসগুলি করতে বিকশিত হতে হবে। একটি ক্লাসিফায়ারকে প্রশিক্ষণ দেওয়া সম্পদের নিবিড়, স্টোরের ক্যাটালগ থেকে পণ্যগুলি দ্রুত যোগ করা বা সরানো সহ, আমাদের একটি শ্রেণীবদ্ধকারীর প্রয়োজন যা দ্রুত প্রশিক্ষিত হতে পারে এবং সম্পূর্ণ মেরুদণ্ডের ফাইনটিউনিং জড়িত পদ্ধতির মতো আরও নির্ভুল বা কমপক্ষে নির্ভুল হতে পারে। এটি একটি কেক থাকার মত শোনাচ্ছে এবং এটিকেও রেটিং দেওয়া হয়েছে এবং এটিই ডিপ লার্নিং-এ স্ব-শিক্ষার কৌশলগুলি দেখানো হয়েছে৷ আমরা ক্লাসিফায়ার তৈরি করতে স্ব-শিক্ষার ধারণাগুলি ব্যবহার করার চেষ্টা করছি যা খুব হালকাভাবে প্রশিক্ষিত হতে পারে।

(কাগজ) খুচরা পণ্য চিত্র শ্রেণীবিভাগের জন্য উপস্থাপনা শিখতে বিপরীত শিক্ষা এবং সিউডোলাবেল ব্যবহার করা – লিংক

মুক্তভ মায়াঙ্ক শ্রীবাস্তব

আমরা এখানে যে কৌশলটি ব্যবহার করি তা হল একটি প্রতিনিধিত্ব শিক্ষার্থীকে প্রশিক্ষণ দেওয়ার জন্য আমাদের কাছে থাকা খুচরা পণ্যের চিত্রগুলির বিশাল ভাণ্ডারকে কাজে লাগাচ্ছে, যার আউটপুট প্রশিক্ষণের জন্য একটি সাধারণ মেশিন লার্নিং ক্লাসিফায়ারকে দেওয়া যেতে পারে। এই ধরনের শেখা বৈশিষ্ট্য উপস্থাপনা বেশ ভাল কাজ করে. খুচরো চিত্রগুলিকে শ্রেণিবদ্ধ করার জন্য একটি ছোট লজিস্টিক রিগ্রেশন ক্লাসিফায়ারকে প্রশিক্ষণ দেওয়া কতটা দুর্দান্ত। দুর্ভাগ্যবশত, আমাদের কাছে এই ধরনের কাজের জন্য 20 গুণ বেশি ছবি রয়েছে, তাই এই মুহূর্তে আমাদের অর্জিত নির্ভুলতা এই ধরনের স্ব-শিক্ষা করার জন্য সীমিত হার্ডওয়্যার পরিকাঠামোর মধ্যে সীমাবদ্ধ এবং তারপরও আমরা অনেক [সকল নয়] ডেটাসেটে শিল্পকে হারাতে পারি।

শেল্ফ ইমেজ উপর আকার ভিত্তিক অনুমান

যখন আমরা শেলফের চিত্রগুলিতে দেখা বিভিন্ন পণ্যের ব্র্যান্ডগুলি সনাক্ত করছি, একটি সাম্প্রতিক বৈশিষ্ট্য যা আমরা সমাধান করার চেষ্টা করেছি তা হল একটি পণ্যের আকারের বৈকল্পিকটি যে পণ্যটি আমরা নির্ভর করি সে সম্পর্কে যুক্তি দেওয়া। উদাহরণস্বরূপ, যখন কম্পিউটার ভিশন পাইপলাইন শেলফে একটি Lays Magic Masala সনাক্ত করে এবং এটি Lays Magic Masala হিসাবে শ্রেণীবদ্ধ করে, আমরা কীভাবে জানব যে এটি 50 গ্রাম ভেরিয়েন্ট বা 100 গ্রাম ভেরিয়েন্ট বা পণ্যটির 200 গ্রাম বৈকল্পিক কিনা। এইভাবে আমরা শেলফের আকারের বৈকল্পিক অনুমান করার জন্য একটি তৃতীয় ডাউনস্ট্রিম টাস্ক অন্তর্ভুক্ত করি। এই পাইপলাইনটি শেল্ফ থেকে বের করা বিভিন্ন বাক্স, তাদের ব্র্যান্ড এবং বৈশিষ্ট্যগুলি তৈরি করে যা আকার অনুমান করতে ব্যবহার করা যেতে পারে। যেমনটি স্পষ্ট, আপনি বাউন্ডিং বক্স স্থানাঙ্ক বা এলাকা ব্যবহার করতে পারবেন না যেমন যুক্তির জন্য ছবিগুলি যে কোনও দূরত্ব থেকে নেওয়া যেতে পারে। আমরা আকারের বৈকল্পিক অনুমান করতে বিভিন্ন গোষ্ঠীর বাক্সের মধ্যে আকৃতির অনুপাত এবং ক্ষেত্রফলের অনুপাতের মতো বৈশিষ্ট্যগুলি ব্যবহার করি।

(কাগজ) পণ্যের বৈকল্পিক শ্রেণীবদ্ধ করার জন্য খুচরা শেল্ফ অবজেক্টের আকার ভিত্তিক যুক্তি করার জন্য মেশিন লার্নিং পদ্ধতি - লিংক

মুক্তভ মায়াঙ্ক শ্রীবাস্তব, প্রত্যুষ কুমার

রিজনিং টাস্কের দুটি ভেরিয়েন্টকে প্রশিক্ষিত করার জন্য প্রচুর ফিচার ইঞ্জিনিয়ারিং কৌশল ব্যবহার করা হয়: বিনযুক্ত বৈশিষ্ট্যগুলির উপর XGBOUST ব্যবহার করা এবং গাউসিয়ান মিশ্রণ মডেল থেকে উদ্ভূত বৈশিষ্ট্যগুলির উপর একটি নিউরাল নেটওয়ার্ক ব্যবহার করা।

বিক্রয় সামগ্রীর পয়েন্ট সম্পর্কে যুক্তি

আপনি যখন একটি খুচরা দোকানে যান, তখন আপনি বিভিন্ন POSM সামগ্রী লক্ষ্য করবেন: শেল্ফ স্ট্রিপ, কাটআউট, পোস্টার, গ্যান্ডোলাস এবং ডেমো র্যাক।

যখন আমরা একটি চিত্রে POSM উপস্থিতি যাচাই করার জন্য ডিপ লার্নিং ভিত্তিক কীপয়েন্ট উপস্থাপনা ম্যাচিং ব্যবহার করছি, সেখানে POSM অংশে অংশে যুক্তি করার একটি কাজ ছিল। যে উদাহরণ হিসাবে উপরের উদাহরণে, আমরা একটি বাস্তব বিশ্বের প্লেসমেন্ট বর্তমান আদর্শ শেলফ ফালা ডান দিকে পণ্য ফটোগ্রাফ আছে কিনা তা পরীক্ষা করার প্রয়োজন হতে পারে. আমরা POSM যাচাইকরণের পরে এই "পার্ট" সনাক্তকরণকে বলি।

(কাগজ) খুচরা POSM যাচাই করতে কীপয়েন্ট ম্যাচিং এবং ইন্টারেক্টিভ সেল্ফ অ্যাটেনশন নেটওয়ার্ক ব্যবহার করে – লিংক

হর্ষিতা শেঠ, সোনাল কান্ত, মুক্তভ মায়াঙ্ক শ্রীবাস্তব

মূলত যেহেতু POSM খুব দ্রুত সাপ্তাহিক/মাসিক পরিবর্তিত হয়, তাই আপনি প্রতিটি POSM-এর জন্য অ্যালগরিদম প্রশিক্ষণের জন্য অনেক ডেটা পেতে পারেন না। তাই আমাদের এমন অ্যালগরিদম দরকার যা বিদ্যমান ডেটাসেটগুলিতে এমনভাবে প্রশিক্ষণ দেয় যাতে সেগুলি যে কোনও ডেটাসেটে প্রয়োগ করা যায়। POSM-এর জন্য সেলফ অ্যাটেনশন নেটওয়ার্কের সাম্প্রতিক কাজ নিয়ে এটাই আমাদের লক্ষ্য। আমরা সঠিক উপস্থিতি নির্ধারণ করতে প্রতিটি অংশের জন্য আলাদাভাবে ইনপুট হিসাবে [আদর্শ POSM চিত্র এবং বাস্তব শব্দ চিত্রে] এবং তাদের বর্ণনাকারী [উভয় চিত্র থেকে] মিলিত কীপয়েন্ট ব্যবহার করি।

একটি সেন্টিমেন্ট অ্যানালাইসিস এপিআই যা যেকোনো ডোমেন ডেটাতে কাজ করে

সেন্টিমেন্ট এনালাইসিস এপিআই হিসাবে মোতায়েন করার জন্য একটি মডেলকে প্রশিক্ষণ দেওয়ার সময়, আপনি সত্যিই বিভিন্ন ডোমেন থেকে টীকাযুক্ত ডেটা পেতে পারেন না। উদাহরণস্বরূপ, আমাদের কাছে পূর্ববর্তী অনুভূতি বিশ্লেষণের মডেলটি ছিল একটি বৃহৎ ভাষার মডেল যা 10-15 হাজার বিজোড় টুইটগুলির উপর ফাইনটিউন করা হয়েছে যা আমরা ইন-হাউস টীকা করেছি৷ তাই অ্যালগরিদম শেখার সময় বিভিন্ন ডোমেনে প্রকাশ করা অনুভূতি কমই দেখেনি। আমরা ডোমেন পরিবর্তনের জন্য আমাদের সেন্টিমেন্ট ক্লাসিফিকেশন অ্যালগরিদমকে শক্তিশালী করতে সেল্ফ লার্নিং ব্যবহার করার চেষ্টা করেছি। 2 মিলিয়ন + অব্যক্ত বাক্য নিন, সিউডোলেবেলগুলি তৈরি করতে ক্লাসিফায়ারের একটি পুরানো সংস্করণ চালান এবং এই সিউডোলাবেলগুলি শিখতে এবং বুম করার জন্য একটি নতুন শ্রেণিবদ্ধকে প্রশিক্ষণ দিন.. আপনার কাছে একটি সেন্টিমেন্ট ক্লাসিফায়ার রয়েছে যা অনেক বেশি ডোমেন শক্তিশালী, যদিও প্রাথমিক ডোমেনে এর যথার্থতা বজায় থাকে একই সত্য হতে খুব ভাল শোনাচ্ছে, আমাদের কাজ দেখুন:

(কাগজ) সেন্টিমেন্ট ক্লাসিফায়ারদের প্রশিক্ষণের জন্য Psuedolabels ব্যবহার করা মডেলটিকে ডেটাসেট জুড়ে আরও ভাল করে তোলে - লিংক

নটেশ রেড্ডি, মুক্তভ মায়াঙ্ক শ্রীবাস্তব

টার্গেটেড সেন্টিমেন্ট শনাক্ত করার জন্য একটি অত্যাধুনিক পদ্ধতি তৈরি করা

আমাদের জন্য, এনএলপি এপিআই ব্যবসায়, টার্গেটেড সেন্টিমেন্ট হল যখন আপনার এই বাক্যটি "অ্যাপেল তেমন সুস্বাদু ছিল না, কিন্তু কমলা ভাল ছিল", একটি শ্রেণীবদ্ধকারী যখন ইনপুট "আপেল" পায় তখন নেতিবাচক এবং কমলা ইনপুট পেলে পজিটিভ রিটার্ন করে। মূলত, একটি বাক্যে একটি বস্তুর দিকে নির্দেশিত অনুভূতি। আমরা একটি নতুন পদ্ধতি তৈরি করেছি যা লক্ষ্যযুক্ত অনুভূতি সনাক্ত করে এবং যা শীঘ্রই একটি NLP API হিসাবে উপলব্ধ হবে৷ গবেষণার ক্ষেত্রটি দৃষ্টিভঙ্গি ভিত্তিক অনুভূতি বিশ্লেষণের সাথে সামঞ্জস্যপূর্ণ এবং আমাদের সাম্প্রতিক কাজটি একাধিক ডেটাসেটে অত্যাধুনিক ফলাফল পায়, শুধুমাত্র প্রাসঙ্গিক [BERT] এবং অ-প্রসঙ্গগত [GloVe] তুলনা করে একটি আর্কিটেকচারকে ফাইনটিউন করে। অনুভূতিটা কোথাও প্রেক্ষাপটে লুকিয়ে আছে, তাই না?

(কাগজ) BERT সেন্টিমেন্ট বোঝে? দৃষ্টিভঙ্গি-ভিত্তিক সেন্টিমেন্ট মডেলগুলিকে উন্নত করতে প্রাসঙ্গিক এবং অ-প্রসঙ্গিক এম্বেডিংয়ের মধ্যে তুলনা করা লিংক

নটেশ রেড্ডি, প্রণয়দীপ সিং, মুক্তভ মায়াঙ্ক শ্রীবাস্তব

অগ্রে এবং ঊর্ধ্বমুখী

আমরা গত বছর যে নতুন প্রযুক্তি তৈরি করেছি তা আশা করি আপনি পছন্দ করেছেন। আপনার যদি কোন প্রশ্নের উত্তর দিতে খুব খুশি. আমরা নতুন এবং উত্তেজনাপূর্ণ প্রযুক্তির বিকাশ অব্যাহত রেখেছি এবং খুচরা সুপারিশের জন্য গ্রাফ নিউরাল নেটওয়ার্কের মতো কিছু নতুন দুর্দান্ত মেশিন লার্নিং সমস্যা নিয়ে কাজ করছি, বিতরণের বাইরে চিত্র শ্রেণীবিভাগ এবং ভাষা মডেল। আমরাও নিয়োগ দিচ্ছি, careers@paralleldots.com-এ আমাদের লিখুন বা আমাদের AI টিমে যোগ দিতে আমাদের AngelList পৃষ্ঠায় আবেদন করুন। আপনি যদি মেশিন লার্নিং ইঞ্জিনিয়ার, ব্যাকএন্ড ডেভেলপার বা এআই প্রজেক্ট ম্যানেজার হতে চান তাহলে আবেদন করতে পারেন। ParallelDots AngelList

ব্লগ পছন্দ হয়েছে? আমাদের অন্য চেক আউট ব্লগ চিত্র স্বীকৃতি প্রযুক্তি কীভাবে ব্র্যান্ডগুলিকে খুচরা ক্ষেত্রে তাদের কার্যকরকরণ কৌশলগুলি উন্নত করতে সহায়তা করে তা দেখতে to

তাকগুলিতে আপনার নিজের ব্র্যান্ডটি কীভাবে কাজ করছে তা দেখতে চান? ক্লিক এখানে ShelfWatch-এর জন্য একটি বিনামূল্যের ডেমো নির্ধারণ করতে।