কিভাবে Axfood Amazon SageMaker | ব্যবহার করে সমগ্র প্রতিষ্ঠানে ত্বরিত মেশিন লার্নিং সক্ষম করে আমাজন ওয়েব সার্ভিসেস

এটি Axfood AB দ্বারা লেখা একটি অতিথি পোস্ট। 

এই পোস্টে, আমরা শেয়ার করি কিভাবে Axfood, একটি বৃহৎ সুইডিশ খাদ্য বিক্রেতা, AWS বিশেষজ্ঞদের সাথে ঘনিষ্ঠ সহযোগিতায় প্রোটোটাইপ করে এবং ব্যবহার করে তাদের বিদ্যমান কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) অপারেশনগুলির উন্নতি এবং পরিমাপযোগ্যতা আমাজন সেজমেকার.

অক্সফুড সুইডেনের দ্বিতীয় বৃহত্তম খাদ্য খুচরা বিক্রেতা, 13,000 এরও বেশি কর্মচারী এবং 300 টিরও বেশি স্টোর সহ। Axfood এর দায়িত্বের বিভিন্ন ক্ষেত্র সহ একাধিক বিকেন্দ্রীভূত ডেটা সায়েন্স টিমের একটি কাঠামো রয়েছে। একটি কেন্দ্রীয় ডেটা প্ল্যাটফর্ম টিমের সাথে একসাথে, ডেটা সায়েন্স দলগুলি সংস্থায় AI এবং ML সমাধানগুলির মাধ্যমে উদ্ভাবন এবং ডিজিটাল রূপান্তর নিয়ে আসে। Axfood ML ব্যবহার করে তাদের ডেটা চাষ করার জন্য Amazon SageMaker ব্যবহার করছে এবং বহু বছর ধরে তাদের মডেল রয়েছে। ইদানীং, পরিশীলিততার মাত্রা এবং উৎপাদনে মডেলের সংখ্যা দ্রুত বৃদ্ধি পাচ্ছে। যাইহোক, যদিও উদ্ভাবনের গতি বেশি, বিভিন্ন দল তাদের কাজ করার নিজস্ব উপায় তৈরি করেছিল এবং একটি নতুন MLOps সেরা অনুশীলনের সন্ধানে ছিল।

আমাদের চ্যালেঞ্জ

ক্লাউড পরিষেবা এবং AI/ML এর ক্ষেত্রে প্রতিযোগিতামূলক থাকার জন্য, Axfood AWS-এর সাথে অংশীদারিত্ব বেছে নিয়েছে এবং বহু বছর ধরে তাদের সাথে সহযোগিতা করছে।

এডব্লিউএস-এর সাথে আমাদের পুনরাবৃত্ত বুদ্ধিমত্তার সেশনগুলির মধ্যে একটির সময়, আমরা ডেটা সায়েন্স এবং এমএল অনুশীলনকারীদের উদ্ভাবনের গতি এবং দক্ষতা বাড়ানোর জন্য কীভাবে দলগুলির মধ্যে সর্বোত্তম সহযোগিতা করা যায় তা নিয়ে আলোচনা করছিলাম। আমরা MLOps-এর জন্য একটি সর্বোত্তম অনুশীলনের উপর একটি প্রোটোটাইপ তৈরি করার জন্য একটি যৌথ প্রচেষ্টা করার সিদ্ধান্ত নিয়েছি। প্রোটোটাইপের লক্ষ্য ছিল সমস্ত ডেটা সায়েন্স টিমের জন্য একটি মডেল টেমপ্লেট তৈরি করা যাতে স্কেলযোগ্য এবং দক্ষ এমএল মডেল তৈরি করা যায়—এক্সফুডের জন্য নতুন প্রজন্মের এআই এবং এমএল প্ল্যাটফর্মের ভিত্তি। টেমপ্লেটটি AWS ML বিশেষজ্ঞ এবং কোম্পানি-নির্দিষ্ট সর্বোত্তম অনুশীলন মডেলের সর্বোত্তম অনুশীলনগুলিকে একত্রিত করা উচিত - উভয় বিশ্বের সেরা।

আমরা Axfood-এর মধ্যে বর্তমানে সবচেয়ে উন্নত ML মডেলগুলির একটি থেকে একটি প্রোটোটাইপ তৈরি করার সিদ্ধান্ত নিয়েছি: দোকানে বিক্রয়ের পূর্বাভাস. আরও নির্দিষ্টভাবে, খাদ্য খুচরা দোকানের জন্য আসন্ন প্রচারাভিযানের ফল এবং সবজির পূর্বাভাস। সঠিক দৈনিক পূর্বাভাস দোকানের জন্য অর্ডারিং প্রক্রিয়াকে সমর্থন করে, দোকানে প্রয়োজনীয় স্টক স্তরের সঠিকভাবে ভবিষ্যদ্বাণী করে বিক্রয় অপ্টিমাইজ করার ফলে খাদ্য অপচয় কমিয়ে স্থায়িত্ব বৃদ্ধি করে। এটি ছিল আমাদের প্রোটোটাইপের জন্য শুরু করার উপযুক্ত জায়গা—এক্সফুড শুধুমাত্র একটি নতুন AI/ML প্ল্যাটফর্ম অর্জন করবে না, কিন্তু আমরা আমাদের ML ক্ষমতার মানদণ্ড এবং AWS বিশেষজ্ঞদের থেকে শেখার সুযোগও পাব।

আমাদের সমাধান: অ্যামাজন সেজমেকার স্টুডিওতে একটি নতুন এমএল টেমপ্লেট

একটি সম্পূর্ণ এমএল পাইপলাইন তৈরি করা যা একটি প্রকৃত ব্যবসায়িক ক্ষেত্রের জন্য ডিজাইন করা চ্যালেঞ্জিং হতে পারে। এই ক্ষেত্রে, আমরা একটি পূর্বাভাস মডেল তৈরি করছি, তাই সম্পূর্ণ করার জন্য দুটি প্রধান পদক্ষেপ রয়েছে:

1. ঐতিহাসিক তথ্য ব্যবহার করে ভবিষ্যদ্বাণী করতে মডেলকে প্রশিক্ষণ দিন।
2. ভবিষ্যতের ইভেন্টগুলির ভবিষ্যদ্বাণী করতে প্রশিক্ষিত মডেলটি প্রয়োগ করুন।

Axfood-এর ক্ষেত্রে, SageMaker নোটবুক ব্যবহার করে এই উদ্দেশ্যে একটি ভাল-কার্যকর পাইপলাইন ইতিমধ্যেই সেট আপ করা হয়েছে এবং তৃতীয় পক্ষের ওয়ার্কফ্লো ম্যানেজমেন্ট প্ল্যাটফর্ম এয়ারফ্লো দ্বারা সাজানো হয়েছে। যাইহোক, আমাদের ML প্ল্যাটফর্মের আধুনিকীকরণ এবং সেখানে যাওয়ার অনেক সুস্পষ্ট সুবিধা রয়েছে অ্যামাজন সেজমেকার স্টুডিও এবং অ্যামাজন সেজমেকার পাইপলাইন. SageMaker স্টুডিওতে সরানো অনেক পূর্বনির্ধারিত আউট-অফ-দ্য-বক্স বৈশিষ্ট্য প্রদান করে:

• মনিটরিং মডেল এবং ডেটা মানের পাশাপাশি মডেল ব্যাখ্যাযোগ্যতা
• বিল্ট-ইন ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) টুলস যেমন ডিবাগিং
• খরচ/কর্মক্ষমতা নিরীক্ষণ
• মডেল গ্রহণযোগ্যতা কাঠামো
• মডেল রেজিস্ট্রি

যাইহোক, Axfood-এর জন্য সবচেয়ে গুরুত্বপূর্ণ প্রণোদনা হল কাস্টম প্রজেক্ট টেমপ্লেট ব্যবহার করে তৈরি করার ক্ষমতা আমাজন সেজমেকার প্রকল্প সমস্ত ডেটা সায়েন্স টিম এবং এমএল অনুশীলনকারীদের জন্য একটি ব্লুপ্রিন্ট হিসাবে ব্যবহার করা হবে৷ Axfood টিমের কাছে ইতিমধ্যেই ML মডেলিংয়ের একটি শক্তিশালী এবং পরিপক্ক স্তর রয়েছে, তাই মূল ফোকাস ছিল নতুন স্থাপত্য নির্মাণের উপর।

সমাধান ওভারভিউ

Axfood এর প্রস্তাবিত নতুন ML ফ্রেমওয়ার্ক দুটি প্রধান পাইপলাইনের চারপাশে গঠিত: মডেল বিল্ড পাইপলাইন এবং ব্যাচ ইনফারেন্স পাইপলাইন:

• এই পাইপলাইনগুলি দুটি পৃথক গিট সংগ্রহস্থলের মধ্যে সংস্করণ করা হয়েছে: একটি বিল্ড রিপোজিটরি এবং একটি স্থাপন (অনুমান) সংগ্রহস্থল। একসাথে, তারা ফল এবং সবজির পূর্বাভাস দেওয়ার জন্য একটি শক্তিশালী পাইপলাইন তৈরি করে।
• একটি থার্ড-পার্টি গিট রিপোজিটরি (বিটবাকেট) এবং ক্রমাগত ইন্টিগ্রেশন এবং ক্রমানি ডিপ্লয়মেন্ট (CI/CD) উপাদানগুলির জন্য বিটবাকেট পাইপলাইনগুলির সাথে একীকরণে সেজমেকার প্রকল্পগুলি ব্যবহার করে পাইপলাইনগুলি একটি কাস্টম প্রকল্প টেমপ্লেটে প্যাকেজ করা হয়েছে।
• সেজমেকার প্রজেক্ট টেমপ্লেটে বিল্ড এবং ডিপ্লোয় পাইপলাইনের প্রতিটি ধাপের সাথে সম্পর্কিত বীজ কোড অন্তর্ভুক্ত রয়েছে (আমরা পরবর্তীতে এই পোস্টে এই পদক্ষেপগুলি আরও বিশদে আলোচনা করব) পাশাপাশি পাইপলাইনের সংজ্ঞা—কীভাবে পদক্ষেপগুলি চালানো উচিত তার রেসিপি।
• টেমপ্লেটের উপর ভিত্তি করে নতুন প্রকল্প নির্মাণের অটোমেশনের মাধ্যমে সুবিন্যস্ত করা হয় AWS পরিষেবা ক্যাটালগ, যেখানে একটি পোর্টফোলিও তৈরি করা হয়, যা একাধিক পণ্যের জন্য একটি বিমূর্ততা হিসাবে পরিবেশন করে।
• প্রতিটি পণ্য একটি মধ্যে অনুবাদ এডাব্লুএস ক্লাউডফর্মেশন টেমপ্লেট, যেটি স্থাপন করা হয় যখন একজন ডেটা বিজ্ঞানী ভিত্তি হিসাবে আমাদের MLOps ব্লুপ্রিন্টের সাথে একটি নতুন SageMaker প্রকল্প তৈরি করেন। এই একটি সক্রিয় এডাব্লুএস ল্যাম্বদা যে ফাংশনটি দুটি রিপোজিটরি-মডেল বিল্ড এবং মডেল ডিপ্লয়-এর সাথে একটি বিটবাকেট প্রোজেক্ট তৈরি করে—যেটিতে বীজ কোড রয়েছে।

নিম্নলিখিত চিত্রটি সমাধানের আর্কিটেকচারকে চিত্রিত করে। ওয়ার্কফ্লো A দুটি মডেল পাইপলাইনের মধ্যে জটিল প্রবাহ চিত্রিত করে—বিল্ড এবং অনুমান। ওয়ার্কফ্লো বি একটি নতুন এমএল প্রকল্প তৈরি করার প্রবাহ দেখায়।

মডেল বিল্ড পাইপলাইন

মডেল বিল্ড পাইপলাইন মডেলের জীবনচক্রকে সাজায়, প্রিপ্রসেসিং থেকে শুরু করে, প্রশিক্ষণের মধ্য দিয়ে চলে এবং মডেল রেজিস্ট্রিতে নিবন্ধিত হওয়ার পর শেষ হয়:

• প্রাক প্রসেসিং - এখানে, সেজমেকার ScriptProcessor ক্লাস ফিচার ইঞ্জিনিয়ারিংয়ের জন্য নিযুক্ত করা হয়, যার ফলে মডেলটিকে প্রশিক্ষণ দেওয়া হবে।
• প্রশিক্ষণ এবং ব্যাচ রূপান্তর - সেজমেকার থেকে কাস্টম প্রশিক্ষণ এবং অনুমান কন্টেনারগুলিকে ঐতিহাসিক ডেটার উপর মডেলকে প্রশিক্ষণ দিতে এবং সংশ্লিষ্ট কাজের জন্য একটি সেজমেকার এস্টিমেটর এবং ট্রান্সফরমার ব্যবহার করে মূল্যায়ন ডেটার উপর ভবিষ্যদ্বাণী তৈরি করতে ব্যবহার করা হয়।
• মূল্যায়ন - প্রশিক্ষিত মডেলটি মূল্যায়নের ডেটাতে উৎপন্ন ভবিষ্যদ্বাণীগুলিকে গ্রাউন্ড ট্রুথ ব্যবহার করে তুলনা করে মূল্যায়ন করে। ScriptProcessor.
• বেসলাইন কাজ - পাইপলাইন ইনপুট ডেটার পরিসংখ্যানের উপর ভিত্তি করে বেসলাইন তৈরি করে। এগুলি ডেটা এবং মডেলের গুণমান, সেইসাথে বৈশিষ্ট্য বৈশিষ্ট্যগুলির নিরীক্ষণের জন্য প্রয়োজনীয়।
• মডেল রেজিস্ট্রি - প্রশিক্ষিত মডেল ভবিষ্যতে ব্যবহারের জন্য নিবন্ধিত হয়. মডেলটি উত্পাদনে ব্যবহারের জন্য মডেলটি স্থাপনের জন্য মনোনীত ডেটা বিজ্ঞানীদের দ্বারা অনুমোদিত হবে।

উৎপাদন পরিবেশের জন্য, প্রাথমিক এয়ারফ্লো অর্কেস্ট্রেশনের মাধ্যমে ডেটা ইনজেশন এবং ট্রিগার মেকানিজম পরিচালিত হয়। এদিকে, বিকাশের সময়, মডেল বিল্ড বিটবাকেট রিপোজিটরিতে একটি নতুন প্রতিশ্রুতি চালু করার সময় পাইপলাইনটি সক্রিয় হয়। নিম্নলিখিত চিত্রটি মডেল বিল্ড পাইপলাইনটি কল্পনা করে।

ব্যাচ ইনফারেন্স পাইপলাইন

ব্যাচ ইনফারেন্স পাইপলাইন অনুমান ফেজ পরিচালনা করে, যা নিম্নলিখিত পদক্ষেপগুলি নিয়ে গঠিত:

• প্রাক প্রসেসিং - ডেটা ব্যবহার করে প্রি-প্রসেস করা হয় ScriptProcessor.
• ব্যাচ রূপান্তর - মডেলটি একটি সেজমেকার ট্রান্সফরমারের সাথে কাস্টম ইনফারেন্স কন্টেইনার ব্যবহার করে এবং ইনপুট প্রিপ্রসেসড ডেটা দেওয়া ভবিষ্যদ্বাণী তৈরি করে। ব্যবহৃত মডেলটি মডেল রেজিস্ট্রিতে সর্বশেষ অনুমোদিত প্রশিক্ষিত মডেল।
• পোস্ট প্রসেসিং - ভবিষ্যদ্বাণীগুলি ব্যবহার করে পোস্টপ্রসেসিং ধাপগুলির একটি সিরিজের মধ্য দিয়ে যায়৷ ScriptProcessor.
• পর্যবেক্ষণ - ক্রমাগত নজরদারি ডেটার গুণমান, মডেলের গুণমান এবং বৈশিষ্ট্যের বৈশিষ্ট্য সম্পর্কিত ড্রিফটের জন্য চেক সম্পন্ন করে।

যদি অমিল দেখা দেয়, পোস্টপ্রসেসিং স্ক্রিপ্টের মধ্যে একটি ব্যবসায়িক যুক্তি মূল্যায়ন করে যে মডেলটিকে পুনরায় প্রশিক্ষণ দেওয়া প্রয়োজন কিনা। পাইপলাইন নিয়মিত বিরতিতে চালানোর জন্য নির্ধারিত হয়.

নিম্নলিখিত চিত্রটি ব্যাচ ইনফারেন্স পাইপলাইনকে চিত্রিত করে। ওয়ার্কফ্লো এ প্রি-প্রসেসিং, ডেটা কোয়ালিটি এবং ফিচার অ্যাট্রিবিউশন ড্রিফ্ট চেক, ইনফারেন্স এবং পোস্টপ্রসেসিংয়ের সাথে মিলে যায়। ওয়ার্কফ্লো বি মডেল কোয়ালিটি ড্রিফট চেকের সাথে মিলে যায়। এই পাইপলাইনগুলিকে বিভক্ত করা হয়েছে কারণ নতুন গ্রাউন্ড ট্রুথ ডেটা পাওয়া গেলেই মডেল কোয়ালিটি ড্রিফ্ট চেক চালানো হবে।

সেজমেকার মডেল মনিটর

সঙ্গে অ্যামাজন সেজমেকার মডেল মনিটর ইন্টিগ্রেটেড, পাইপলাইনগুলি নিম্নলিখিত বিষয়ে রিয়েল-টাইম পর্যবেক্ষণ থেকে উপকৃত হয়:

• উপাত্ত গুণমান - ডেটার কোনো ড্রিফট বা অসঙ্গতি নিরীক্ষণ করে
• মডেল গুণমান - মডেলের পারফরম্যান্সে যেকোনো ওঠানামার জন্য ঘড়ি
• বৈশিষ্ট্য বৈশিষ্ট্য - বৈশিষ্ট্য বৈশিষ্ট্যের মধ্যে প্রবাহের জন্য পরীক্ষা করে

মডেলের গুণমান নিরীক্ষণের জন্য গ্রাউন্ড ট্রুথ ডেটাতে অ্যাক্সেস প্রয়োজন। যদিও গ্রাউন্ড ট্রুথ পাওয়া অনেক সময় চ্যালেঞ্জিং হতে পারে, ডেটা বা ফিচার অ্যাট্রিবিউশন ড্রিফ্ট মনিটরিং ব্যবহার করা মডেল কোয়ালিটির জন্য একটি উপযুক্ত প্রক্সি হিসেবে কাজ করে।

বিশেষত, ডেটা মানের প্রবাহের ক্ষেত্রে, সিস্টেম নিম্নলিখিতগুলির জন্য নজর রাখে:

• ধারণা প্রবাহ - এটি ইনপুট এবং আউটপুটের মধ্যে পারস্পরিক সম্পর্কের পরিবর্তনের সাথে সম্পর্কিত, স্থল সত্যের প্রয়োজন
• Covariate স্থানান্তর - এখানে, স্বাধীন ইনপুট ভেরিয়েবলের বন্টনের পরিবর্তনের উপর জোর দেওয়া হয়

সেজমেকার মডেল মনিটরের ডেটা ড্রিফ্ট কার্যকারিতা ইনপুট ডেটা, নিয়ম এবং পরিসংখ্যানগত চেক স্থাপন করে, যত্ন সহকারে ক্যাপচার করে এবং যাচাই করে। যখনই অসঙ্গতি সনাক্ত করা হয় তখনই সতর্কতা উত্থাপিত হয়।

মডেলের অবক্ষয় নিরীক্ষণের জন্য প্রক্সি হিসাবে ডেটা গুণমান ড্রিফট চেকগুলি ব্যবহার করার সমান্তরালে, সিস্টেমটি স্বাভাবিক ডিসকাউন্টেড কিউমুলেটিভ গেইন (NDCG) স্কোর ব্যবহার করে বৈশিষ্ট্য অ্যাট্রিবিউশন ড্রিফ্টও নিরীক্ষণ করে। এই স্কোর ফিচার অ্যাট্রিবিউশন র‌্যাঙ্কিং অর্ডারের পরিবর্তনের পাশাপাশি ফিচারের কাঁচা অ্যাট্রিবিউশন স্কোর উভয়ের জন্যই সংবেদনশীল। স্বতন্ত্র বৈশিষ্ট্য এবং তাদের আপেক্ষিক গুরুত্বের জন্য অ্যাট্রিবিউশনের প্রবাহ পর্যবেক্ষণ করে, মডেলের মানের অবনতি চিহ্নিত করা সহজ।

মডেল ব্যাখ্যাযোগ্যতা

মডেল ব্যাখ্যাযোগ্যতা ML স্থাপনার একটি গুরুত্বপূর্ণ অংশ, কারণ এটি ভবিষ্যদ্বাণীতে স্বচ্ছতা নিশ্চিত করে। একটি বিস্তারিত বোঝার জন্য, আমরা ব্যবহার আমাজন সেজমেকার স্পষ্ট করুন.

এটি শ্যাপলি মান ধারণার উপর ভিত্তি করে একটি মডেল-অজ্ঞেয়মূলক বৈশিষ্ট্য অ্যাট্রিবিউশন কৌশলের মাধ্যমে বিশ্বব্যাপী এবং স্থানীয় মডেল ব্যাখ্যা দেয়। অনুমানের সময় কেন একটি নির্দিষ্ট ভবিষ্যদ্বাণী করা হয়েছিল তা ডিকোড করতে এটি ব্যবহার করা হয়। এই ধরনের ব্যাখ্যা, যা সহজাতভাবে বিপরীত, বিভিন্ন বেসলাইনের উপর ভিত্তি করে পরিবর্তিত হতে পারে। সেজমেকার ক্ল্যারিফাই ইনপুট ডেটাসেটে কে-মিন্স বা কে-প্রোটোটাইপ ব্যবহার করে এই বেসলাইন নির্ধারণে সাহায্য করে, যা পরে মডেল বিল্ড পাইপলাইনে যোগ করা হয়। এই কার্যকারিতা মডেলটি কীভাবে কাজ করে সে সম্পর্কে আরও বোঝার জন্য আমাদের ভবিষ্যতে জেনারেটিভ এআই অ্যাপ্লিকেশন তৈরি করতে সক্ষম করে।

শিল্পায়ন: প্রোটোটাইপ থেকে উত্পাদন

MLOps প্রকল্পে উচ্চ মাত্রার অটোমেশন রয়েছে এবং অনুরূপ ব্যবহারের ক্ষেত্রে একটি ব্লুপ্রিন্ট হিসেবে কাজ করতে পারে:

• পরিকাঠামো সম্পূর্ণরূপে পুনরায় ব্যবহার করা যেতে পারে, যেখানে বীজ কোড প্রতিটি কাজের জন্য অভিযোজিত হতে পারে, বেশিরভাগ পরিবর্তনগুলি পাইপলাইনের সংজ্ঞা এবং প্রিপ্রসেসিং, প্রশিক্ষণ, অনুমান এবং পোস্টপ্রসেসিংয়ের জন্য ব্যবসার যুক্তিতে সীমাবদ্ধ।
• প্রশিক্ষণ এবং অনুমান স্ক্রিপ্টগুলি সেজমেকার কাস্টম কন্টেনার ব্যবহার করে হোস্ট করা হয়, তাই ডেটা এবং মডেল মনিটরিং বা মডেল ব্যাখ্যাযোগ্যতার ধাপে পরিবর্তন ছাড়াই বিভিন্ন মডেলগুলিকে সংযোজন করা যেতে পারে, যতক্ষণ পর্যন্ত ডেটা ট্যাবুলার ফর্ম্যাটে থাকে।

প্রোটোটাইপের কাজ শেষ করার পরে, আমরা কীভাবে এটি উত্পাদনে ব্যবহার করা উচিত তার দিকে ফিরে গেলাম। এটি করার জন্য, আমরা MLOps টেমপ্লেটে কিছু অতিরিক্ত সমন্বয় করার প্রয়োজন অনুভব করেছি:

• টেমপ্লেটের প্রোটোটাইপে ব্যবহৃত মূল বীজ কোডের মধ্যে রয়েছে প্রিপ্রসেসিং এবং পোস্টপ্রসেসিং ধাপগুলি মূল ML ধাপের আগে এবং পরে (প্রশিক্ষণ এবং অনুমান)। যাইহোক, উৎপাদনে একাধিক ব্যবহারের ক্ষেত্রে টেমপ্লেট ব্যবহার করার জন্য স্কেল করার সময়, অন্তর্নির্মিত প্রি-প্রসেসিং এবং পোস্টপ্রসেসিং ধাপগুলি কোডের সাধারণতা এবং পুনরুত্পাদন হ্রাস করতে পারে।
• সাধারণতা উন্নত করতে এবং পুনরাবৃত্তিমূলক কোড কমিয়ে আনতে, আমরা পাইপলাইনগুলিকে আরও স্লিম করতে বেছে নিয়েছি। ML পাইপলাইনের অংশ হিসাবে প্রি-প্রসেসিং এবং পোস্টপ্রসেসিং ধাপগুলি চালানোর পরিবর্তে, আমরা এমএল পাইপলাইন ট্রিগার করার আগে এবং পরে প্রাথমিক এয়ারফ্লো অর্কেস্ট্রেশনের অংশ হিসাবে এগুলি চালাই।
• এইভাবে, কেস-নির্দিষ্ট প্রক্রিয়াকরণের কাজগুলিকে টেমপ্লেট থেকে বিমূর্ত করা হয়, এবং যা অবশিষ্ট থাকে তা হল একটি মূল ML পাইপলাইন কার্য সম্পাদন করে যা কোডের ন্যূনতম পুনরাবৃত্তি সহ একাধিক ব্যবহারের ক্ষেত্রে সাধারণ। যে প্যারামিটারগুলি ব্যবহারের ক্ষেত্রে পৃথক হয় সেগুলি প্রাথমিক এয়ারফ্লো অর্কেস্ট্রেশন থেকে এমএল পাইপলাইনে ইনপুট হিসাবে সরবরাহ করা হয়।

ফলাফল: মডেল তৈরি এবং স্থাপনার জন্য একটি দ্রুত এবং দক্ষ পদ্ধতি

AWS-এর সহযোগিতায় প্রোটোটাইপের ফলে বর্তমান সেরা অনুশীলনগুলি অনুসরণ করে একটি MLOps টেমপ্লেট তৈরি হয়েছে যা এখন Axfood-এর সমস্ত ডেটা সায়েন্স টিমের ব্যবহারের জন্য উপলব্ধ৷ সেজমেকার স্টুডিওর মধ্যে একটি নতুন সেজমেকার প্রকল্প তৈরি করে, ডেটা বিজ্ঞানীরা নতুন এমএল প্রকল্পগুলি দ্রুত এবং নির্বিঘ্নে উত্পাদনে স্থানান্তর করতে শুরু করতে পারেন, আরও দক্ষ সময় ব্যবস্থাপনার জন্য অনুমতি দেয়। টেমপ্লেটের অংশ হিসাবে ক্লান্তিকর, পুনরাবৃত্তিমূলক MLOps কাজগুলি স্বয়ংক্রিয় করার মাধ্যমে এটি সম্ভব হয়েছে।

উপরন্তু, আমাদের ML সেটআপে স্বয়ংক্রিয়ভাবে বেশ কিছু নতুন কার্যকারিতা যুক্ত করা হয়েছে। এই লাভ অন্তর্ভুক্ত:

• মডেল পর্যবেক্ষণ - আমরা মডেল এবং ডেটা মানের পাশাপাশি মডেল ব্যাখ্যাযোগ্যতার জন্য ড্রিফট চেক করতে পারি
• মডেল এবং ডেটা বংশ - কোন মডেলের জন্য সঠিক কোন ডেটা ব্যবহার করা হয়েছে তা খুঁজে বের করা এখন সম্ভব
• মডেল রেজিস্ট্রি - এটি আমাদের উত্পাদনের জন্য ক্যাটালগ মডেল এবং মডেল সংস্করণ পরিচালনা করতে সহায়তা করে

উপসংহার

এই পোস্টে, আমরা আলোচনা করেছি যে AWS বিশেষজ্ঞদের সহযোগিতায় এবং SageMaker এবং এর সম্পর্কিত পণ্যগুলি ব্যবহার করে Axfood কীভাবে আমাদের বিদ্যমান AI এবং ML অপারেশনগুলির ক্রিয়াকলাপ এবং মাপযোগ্যতা উন্নত করেছে৷

এই উন্নতিগুলি Axfood-এর ডেটা সায়েন্স দলগুলিকে আরও মানসম্মত উপায়ে ML কার্যপ্রবাহ তৈরি করতে সাহায্য করবে এবং উত্পাদনে মডেলগুলির বিশ্লেষণ এবং পর্যবেক্ষণকে ব্যাপকভাবে সহজ করবে—আমাদের দলগুলি দ্বারা নির্মিত এবং রক্ষণাবেক্ষণ করা ML মডেলগুলির গুণমান নিশ্চিত করবে৷

মন্তব্য বিভাগে কোনো প্রতিক্রিয়া বা প্রশ্ন ছেড়ে দয়া করে.

---

লেখক সম্পর্কে

ডঃ বজর্ন ব্লমকভিস্ট Axfood AB-এর AI স্ট্র্যাটেজির প্রধান। Axfood AB-তে যোগদানের আগে তিনি Axfood-এর একটি অংশ Dagab-এ ডেটা সায়েন্টিস্টদের একটি দলকে নেতৃত্ব দিয়েছিলেন, যা সমগ্র সুইডেনের মানুষকে ভাল এবং টেকসই খাদ্য সরবরাহ করার লক্ষ্যে উদ্ভাবনী মেশিন লার্নিং সমাধান তৈরি করে। সুইডেনের উত্তরে জন্ম ও বেড়ে ওঠা, অবসর সময়ে বজর্ন তুষারময় পর্বত এবং খোলা সমুদ্রে যান।

অস্কার ক্লাং তিনি ডাগাবের বিশ্লেষণ বিভাগের একজন সিনিয়র ডেটা সায়েন্টিস্ট, যেখানে তিনি সবকিছু বিশ্লেষণ এবং মেশিন লার্নিং নিয়ে কাজ করতে পছন্দ করেন, যেমন সাপ্লাই চেইন অপারেশন অপ্টিমাইজ করা, পূর্বাভাস মডেল তৈরি করা এবং অতি সম্প্রতি, GenAI অ্যাপ্লিকেশন। তিনি আরও সুবিন্যস্ত মেশিন লার্নিং পাইপলাইন তৈরি করতে প্রতিশ্রুতিবদ্ধ, দক্ষতা এবং মাপযোগ্যতা বাড়ানোর জন্য।

পাভেল মাসলভ অ্যানালিটিক প্ল্যাটফর্ম দলে একজন সিনিয়র ডিওঅপস এবং এমএল ইঞ্জিনিয়ার। AWS প্ল্যাটফর্মে DevOps এবং ML/AI-এর ডোমেনে ফ্রেমওয়ার্ক, অবকাঠামো এবং টুলের উন্নয়নে পাভেলের ব্যাপক অভিজ্ঞতা রয়েছে। Axfood-এ ML-এর মধ্যে ভিত্তিগত সক্ষমতা তৈরিতে পাভেল অন্যতম প্রধান খেলোয়াড়।

জোয়াকিম বার্গ স্টকহোম সুইডেনে অবস্থিত টিম লিড এবং পণ্যের মালিক বিশ্লেষণাত্মক প্ল্যাটফর্ম। তিনি ডেটা প্ল্যাটফর্ম শেষ DevOps/MLOps ইঞ্জিনিয়ারদের একটি দলকে নেতৃত্ব দিচ্ছেন যারা ডেটা সায়েন্স টিমের জন্য ডেটা এবং ML প্ল্যাটফর্ম প্রদান করে। জোয়াকিমের বিভিন্ন শিল্প থেকে সিনিয়র ডেভেলপমেন্ট এবং আর্কিটেকচার দলে নেতৃত্ব দেওয়ার বহু বছরের অভিজ্ঞতা রয়েছে।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/how-axfood-enables-accelerated-machine-learning-throughout-the-organization-using-amazon-sagemaker/