অ্যামাজন সেজমেকার পাইপলাইনগুলির সাথে অ্যামাজন প্যাকেজিং উদ্ভাবনে এমএল পাইপলাইনের স্থিতিশীলতা এবং নমনীয়তা উন্নত করা

গ্রাহকদের খুশি করতে এবং প্যাকেজিং বর্জ্য কমাতে, অ্যামাজনকে প্রতি বছর পাঠানো বিলিয়ন প্যাকেজের জন্য সর্বোত্তম প্যাকেজিং টাইপ নির্বাচন করতে হবে। একটি কফি মগের মতো ভঙ্গুর আইটেমের জন্য খুব কম সুরক্ষা ব্যবহার করা হলে, আইটেমটি ক্ষতিগ্রস্ত হবে এবং আমাজন তাদের গ্রাহকের বিশ্বাসকে ঝুঁকিপূর্ণ করবে। অত্যধিক সুরক্ষা ব্যবহার করার ফলে খরচ বৃদ্ধি পাবে এবং ওভারফুল রিসাইক্লিং বিন। লক্ষ লক্ষ পণ্য উপলব্ধ থাকায়, পণ্য পরীক্ষা এবং গ্রাহক প্রতিক্রিয়া থেকে ক্রমাগত শেখার জন্য একটি পরিমাপযোগ্য সিদ্ধান্তের প্রক্রিয়া প্রয়োজন।

এই সমস্যাগুলি সমাধান করার জন্য, Amazon প্যাকেজিং ইনোভেশন টিম মেশিন লার্নিং (ML) মডেলগুলি তৈরি করেছে যা শ্রেণীবদ্ধ করে যে পণ্যগুলি Amazon প্যাকেজিং ধরনের যেমন মেইলার, ব্যাগ বা বাক্সগুলির জন্য উপযুক্ত কিনা বা এমনকি কোনও অতিরিক্ত প্যাকেজিং ছাড়াই পাঠানো যেতে পারে। পূর্বে, দলটি ভিত্তি করে একটি কাস্টম পাইপলাইন তৈরি করেছিল এডাব্লুএস স্টেপ ফাংশন সাপ্তাহিক প্রশিক্ষণ এবং দৈনিক বা মাসিক অনুমান কাজ সম্পাদন করতে। যাইহোক, সময়ের সাথে সাথে পাইপলাইনটি নতুন আর্কিটেকচারের সাথে মডেল চালু করার জন্য যথেষ্ট নমনীয়তা প্রদান করেনি। নতুন পাইপলাইনগুলির জন্য উন্নয়ন একটি ওভারহেড উপস্থাপন করেছে এবং ডেটা বিজ্ঞানী এবং বিকাশকারীদের মধ্যে প্রয়োজনীয় সমন্বয়। এই অসুবিধাগুলি কাটিয়ে উঠতে এবং নতুন মডেল এবং স্থাপত্য স্থাপনের গতি উন্নত করার জন্য, দলটি মডেল প্রশিক্ষণ এবং অনুমানের সাথে অর্কেস্ট্রেট করা বেছে নিয়েছে অ্যামাজন সেজমেকার পাইপলাইন.

এই পোস্টে, আমরা স্টেপ ফাংশনগুলির উপর ভিত্তি করে পূর্বের অর্কেস্ট্রেশন আর্কিটেকচার, পাইপলাইনগুলি ব্যবহার করে আউটলাইন প্রশিক্ষণ এবং অনুমান আর্কিটেকচার নিয়ে আলোচনা করি এবং অ্যামাজন প্যাকেজিং ইনোভেশন টিম যে নমনীয়তা অর্জন করেছে তা হাইলাইট করি৷

অ্যামাজন প্যাকেজিং ইনোভেশনে প্রাক্তন এমএল পাইপলাইনের চ্যালেঞ্জ

প্যাকেজগুলির কার্যকারিতা সম্পর্কে ক্রমাগত প্রতিক্রিয়া অন্তর্ভুক্ত করার জন্য, ক্রমবর্ধমান সংখ্যক লেবেল ব্যবহার করে প্রতি সপ্তাহে একটি নতুন মডেল প্রশিক্ষণ দেওয়া হয়। পণ্যের সমগ্র জায় জন্য অনুমান মাসিক সঞ্চালিত হয়, এবং একটি দৈনিক অনুমান সঞ্চালিত হয় নতুন যোগ করা জায় জন্য সঠিক সময়ে ভবিষ্যদ্বাণী প্রদান করতে.

একাধিক মডেলের প্রশিক্ষণের প্রক্রিয়া স্বয়ংক্রিয় করতে এবং ভবিষ্যদ্বাণী প্রদান করার জন্য, দলটি নিম্নলিখিত পদক্ষেপগুলি অর্কেস্ট্রেট করার জন্য ধাপ ফাংশনের উপর ভিত্তি করে একটি কাস্টম পাইপলাইন তৈরি করেছিল:

• প্রশিক্ষণ এবং অনুমান কাজের জন্য ডেটা প্রস্তুতি এবং ডাটাবেসে পূর্বাভাস লোড করা (আমাজন রেডশিফ্ট) সঙ্গে এডাব্লুএস আঠালো.
• সঙ্গে মডেল প্রশিক্ষণ এবং অনুমান আমাজন সেজমেকার.
• সঙ্গে সেট বৈধতা উপর মডেল কর্মক্ষমতা মেট্রিক্স গণনা AWS ব্যাচ.
• ব্যবহার আমাজন ডায়নামোডিবি মডেল কনফিগারেশন সংরক্ষণ করতে (যেমন প্রশিক্ষণ এবং যাচাইকরণের জন্য ডেটা বিভক্ত অনুপাত, মডেল আর্টিফ্যাক্ট অবস্থান, মডেলের ধরন এবং প্রশিক্ষণ এবং অনুমানের জন্য উদাহরণের সংখ্যা), মডেল কর্মক্ষমতা মেট্রিক্স এবং সর্বশেষ সফলভাবে প্রশিক্ষিত মডেল সংস্করণ।
• মডেল পারফরম্যান্স স্কোরের পার্থক্যের গণনা, প্রশিক্ষণ লেবেল বিতরণে পরিবর্তন, এবং পূর্ববর্তী এবং নতুন মডেল সংস্করণগুলির মধ্যে ইনপুট ডেটার আকারের সাথে তুলনা করা এডাব্লুএস ল্যাম্বদা ফাংশন।
• বিপুল সংখ্যক পদক্ষেপের পরিপ্রেক্ষিতে, পাইপলাইনের জন্য প্রতিটি ধাপে একটি নির্ভরযোগ্য সতর্কতামূলক ব্যবস্থার প্রয়োজন ছিল যে কোনো সমস্যা সম্পর্কে স্টেকহোল্ডারদের সতর্ক করার জন্য। এটি একটি সমন্বয় মাধ্যমে সম্পন্ন করা হয়েছে অ্যামাজন সরল সারি পরিষেবা (Amazon SQS) এবং অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (আমাজন এসএনএস)। অ্যালার্মগুলি ব্যবসায়িক স্টেকহোল্ডার, ডেটা বিজ্ঞানী এবং ডেভেলপারদের মডেল এবং ডেটা মেট্রিক্সে কোনও ব্যর্থ পদক্ষেপ এবং বড় বিচ্যুতি সম্পর্কে অবহিত করার জন্য তৈরি করা হয়েছিল।

প্রায় 2 বছর ধরে এই সমাধানটি ব্যবহার করার পরে, দলটি বুঝতে পেরেছিল যে এই বাস্তবায়নটি শুধুমাত্র একটি সাধারণ ML ওয়ার্কফ্লোতে ভাল কাজ করে যেখানে একটি একক মডেলকে প্রশিক্ষণ দেওয়া হয়েছিল এবং একটি বৈধতা ডেটাসেটে স্কোর করা হয়েছিল। যাইহোক, সমাধানটি জটিল মডেলের জন্য যথেষ্ট নমনীয় ছিল না এবং ব্যর্থতার জন্য স্থিতিস্থাপক ছিল না। উদাহরণস্বরূপ, স্থাপত্য সহজে অনুক্রমিক মডেল প্রশিক্ষণ মিটমাট না. সম্পূর্ণ পাইপলাইন নকল করা এবং পরিকাঠামো পরিবর্তন না করে একটি ধাপ যোগ করা বা অপসারণ করা কঠিন ছিল। এমনকি ডেটা প্রসেসিং ধাপে সাধারণ পরিবর্তন যেমন ডেটা বিভাজন অনুপাত সামঞ্জস্য করা বা বৈশিষ্ট্যগুলির একটি ভিন্ন সেট নির্বাচন করার জন্য ডেটা বিজ্ঞানী এবং একজন বিকাশকারী উভয়ের কাছ থেকে সমন্বয় প্রয়োজন। পাইপলাইনটি যে কোনো ধাপে ব্যর্থ হলে, এটিকে শুরু থেকেই পুনরায় চালু করতে হতো, যার ফলে বারবার চালানো হতো এবং খরচ বেড়ে যায়। বারবার রান এড়াতে এবং ব্যর্থ পদক্ষেপ থেকে পুনরায় চালু করতে, দলটি একটি সংক্ষিপ্ত রাষ্ট্র মেশিনের একটি নতুন অনুলিপি তৈরি করবে। এই সমস্যা সমাধানের ফলে রাষ্ট্রীয় যন্ত্রের প্রসার ঘটে, প্রতিটি সাধারণভাবে ব্যর্থ পদক্ষেপ থেকে শুরু করে। অবশেষে, যদি একটি প্রশিক্ষণের কাজ লেবেল, মডেল স্কোর, বা লেবেলের সংখ্যা বিতরণে একটি বিচ্যুতির সম্মুখীন হয়, একজন ডেটা বিজ্ঞানীকে ম্যানুয়ালি মডেল এবং এর মেট্রিক্স পর্যালোচনা করতে হয়েছিল। তারপরে একজন ডেটা বিজ্ঞানী মডেল সংস্করণ সহ একটি DynamoDB টেবিল অ্যাক্সেস করবেন এবং পরবর্তী অনুমান কাজের জন্য সঠিক মডেলটি ব্যবহার করা হয়েছে তা নিশ্চিত করতে টেবিলটি আপডেট করবেন।

এই স্থাপত্যের রক্ষণাবেক্ষণের জন্য কমপক্ষে একটি উত্সর্গীকৃত সংস্থান এবং বিকাশের জন্য একটি অতিরিক্ত পূর্ণ-সময়ের সংস্থান প্রয়োজন। নতুন ব্যবহারের ক্ষেত্রে মিটমাট করার জন্য পাইপলাইন প্রসারিত করার অসুবিধার পরিপ্রেক্ষিতে, ডেটা বিজ্ঞানীরা তাদের নিজস্ব কর্মপ্রবাহ বিকাশ শুরু করেছিলেন, যার ফলে একটি ক্রমবর্ধমান কোড বেস, একই রকম ডেটা স্কিম সহ একাধিক ডেটা টেবিল এবং বিকেন্দ্রীকৃত মডেল পর্যবেক্ষণের দিকে পরিচালিত হয়েছিল। এই সমস্যাগুলির সঞ্চয়নের ফলে দলের উত্পাদনশীলতা কম ছিল এবং ওভারহেড বেড়েছে।

এই চ্যালেঞ্জগুলি মোকাবেলা করার জন্য, অ্যামাজন প্যাকেজিং ইনোভেশন টিম সেজমেকার পাইপলাইন সহ MLOps-এর জন্য বিদ্যমান অন্যান্য সমাধানগুলি মূল্যায়ন করেছে (ডিসেম্বর 2020 প্রকাশের ঘোষণা) পাইপলাইনগুলি হল সেজমেকারের একটি ক্ষমতা যা নির্মাণ, পরিচালনা, স্বয়ংক্রিয় এবং এন্ড-টু-এন্ড এমএল ওয়ার্কফ্লো স্কেলিং করার জন্য। পাইপলাইনগুলি আপনাকে সমগ্র ML ওয়ার্কফ্লো জুড়ে ধাপের সংখ্যা কমাতে দেয় এবং ডেটা বিজ্ঞানীদের একটি কাস্টম এমএল ওয়ার্কফ্লো সংজ্ঞায়িত করার অনুমতি দেওয়ার জন্য যথেষ্ট নমনীয়। এটি পদক্ষেপগুলি পর্যবেক্ষণ এবং লগ করার যত্ন নেয়। এটি একটি মডেল রেজিস্ট্রি সহ আসে যা স্বয়ংক্রিয়ভাবে নতুন মডেলগুলির সংস্করণ করে। মডেল রেজিস্ট্রি উত্পাদন অনুমানের জন্য মডেল নির্বাচন করার জন্য অন্তর্নির্মিত অনুমোদন কর্মপ্রবাহ আছে. পাইপলাইনগুলি একই আর্গুমেন্ট সহ কল ​​করা ক্যাশিং পদক্ষেপগুলির জন্যও অনুমতি দেয়। যদি একটি পূর্ববর্তী রান পাওয়া যায়, একটি ক্যাশে তৈরি করা হয়, যা সফলভাবে সম্পন্ন পদক্ষেপগুলির পুনরায় গণনা করার পরিবর্তে একটি সহজ পুনরায় চালু করার অনুমতি দেয়।

মূল্যায়ন প্রক্রিয়ায়, পাইপলাইনগুলি বর্তমান এবং ভবিষ্যত কর্মপ্রবাহকে সমর্থন ও প্রসারিত করার জন্য নমনীয়তা এবং বৈশিষ্ট্যগুলির প্রাপ্যতার জন্য অন্যান্য সমাধানগুলির থেকে আলাদা ছিল। পাইপলাইনে স্যুইচ করা ডেভেলপারদের সময় প্ল্যাটফর্ম রক্ষণাবেক্ষণ এবং সমস্যা সমাধান থেকে মুক্ত করে এবং নতুন বৈশিষ্ট্যগুলির সংযোজনের দিকে মনোযোগ পুনঃনির্দেশিত করে। এই পোস্টে, আমরা পাইপলাইনগুলি ব্যবহার করে আমাজন প্যাকেজিং ইনোভেশন টিমের প্রশিক্ষণ এবং অনুমান কার্যপ্রবাহের নকশা উপস্থাপন করি। আমরা পাইপলাইনে স্যুইচ করার মাধ্যমে টিম উপলব্ধি করা সুবিধা এবং খরচ কমানোর বিষয়েও আলোচনা করি।

প্রশিক্ষণ পাইপলাইন

Amazon প্যাকেজিং ইনোভেশন টিম ক্রমবর্ধমান সংখ্যক লেবেল ব্যবহার করে প্রতিটি প্যাকেজের প্রকারের মডেলগুলিকে প্রশিক্ষণ দেয়৷ নিম্নলিখিত চিত্রটি সম্পূর্ণ প্রক্রিয়াটির রূপরেখা দেয়।

অ্যামাজন রেডশিফ্ট ডাটাবেস থেকে লেবেল এবং বৈশিষ্ট্যগুলি বের করে এবং ডেটা আনলোড করার মাধ্যমে ওয়ার্কফ্লো শুরু হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) একটি নির্ধারিত নির্যাস, রূপান্তর এবং লোড (ETL) কাজের মাধ্যমে। ইনপুট ডেটার সাথে, মডেলের ধরন এবং পরামিতি সহ একটি ফাইল অবজেক্ট S3 বালতিতে স্থাপন করা হয়। এই ফাইলটি একটি Lambda ফাংশনের মাধ্যমে পাইপলাইন ট্রিগার হিসাবে কাজ করে।

পরবর্তী পদক্ষেপগুলি সম্পূর্ণরূপে কাস্টমাইজযোগ্য এবং পাইপলাইনের জন্য SageMaker Python SDK ব্যবহার করে একজন ডেটা বিজ্ঞানী দ্বারা সম্পূর্ণরূপে সংজ্ঞায়িত করা হয়েছে৷ এই পোস্টে আমরা যে পরিস্থিতিতে উপস্থাপন করছি, ইনপুট ডেটা প্রশিক্ষণ এবং বৈধতা সেটে বিভক্ত করা হয়েছে এবং একটি S3 বালতিতে সেজমেকার প্রসেসিং কাজ চালু করে আবার সংরক্ষণ করা হয়েছে।

Amazon S3 এ ডেটা প্রস্তুত হলে, একটি SageMaker প্রশিক্ষণের কাজ শুরু হয়। মডেলটি সফলভাবে প্রশিক্ষিত এবং তৈরি হওয়ার পরে, মডেল মূল্যায়ন ধাপটি একটি সেজমেকার ব্যাচ ট্রান্সফর্ম কাজের মাধ্যমে বৈধতা ডেটাতে সঞ্চালিত হয়। মডেল মেট্রিক্স তারপর একটি SageMaker প্রসেসিং কাজ ব্যবহার করে আগের সপ্তাহের মডেল মেট্রিক্সের সাথে তুলনা করা হয়। দলটি মডেল পারফরম্যান্সে বিচ্যুতি মূল্যায়নের জন্য একাধিক কাস্টম মানদণ্ড সংজ্ঞায়িত করেছে। এই মানদণ্ডের উপর ভিত্তি করে মডেলটি প্রত্যাখ্যান বা অনুমোদিত হয়। যদি মডেলটি প্রত্যাখ্যান করা হয়, পূর্ববর্তী অনুমোদিত মডেলটি পরবর্তী অনুমান কাজের জন্য ব্যবহার করা হয়। মডেল অনুমোদিত হলে, এর সংস্করণ নিবন্ধিত হয় এবং সেই মডেলটি অনুমান কাজের জন্য ব্যবহৃত হয়। স্টেকহোল্ডাররা এর মাধ্যমে ফলাফল সম্পর্কে একটি বিজ্ঞপ্তি পাবেন অ্যামাজন ক্লাউডওয়াচ এলার্ম।

থেকে নিম্নলিখিত স্ক্রিনশট অ্যামাজন সেজমেকার স্টুডিও প্রশিক্ষণ পাইপলাইনের ধাপগুলি দেখায়।

পাইপলাইনগুলি প্রতিটি পাইপলাইন চালানো ট্র্যাক করে, যা আপনি স্টুডিওতে নিরীক্ষণ করতে পারেন। বিকল্পভাবে, আপনি ব্যবহার করে রানের অগ্রগতি জিজ্ঞাসা করতে পারেন বোটো৩ অথবা এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI)। আপনি স্টুডিওতে মডেল মেট্রিক্স কল্পনা করতে পারেন এবং বিভিন্ন মডেল সংস্করণ তুলনা করতে পারেন।

অনুমান পাইপলাইন

Amazon প্যাকেজিং ইনোভেশন টিম মাসিক পণ্যের সম্পূর্ণ ইনভেন্টরির জন্য ভবিষ্যদ্বাণী রিফ্রেশ করে। সাম্প্রতিক প্রশিক্ষিত মডেল ব্যবহার করে নতুন যোগ করা ইনভেন্টরির জন্য ঠিক সময়ে প্যাকেজিং সুপারিশ প্রদানের জন্য দৈনিক পূর্বাভাস তৈরি করা হয়। এর জন্য বিভিন্ন ভলিউম ডেটা সহ প্রতিদিন চালানোর জন্য ইনফারেন্স পাইপলাইন প্রয়োজন। নিম্নলিখিত চিত্রটি এই কর্মপ্রবাহকে চিত্রিত করে।

প্রশিক্ষণ পাইপলাইনের অনুরূপ, আমাজন রেডশিফ্ট থেকে একটি S3 বালতিতে ডেটা আনলোড করার মাধ্যমে অনুমান শুরু হয়। Amazon S3 এ রাখা একটি ফাইল অবজেক্ট ল্যাম্বডা ফাংশনকে ট্রিগার করে যা ইনফারেন্স পাইপলাইন শুরু করে। বৈশিষ্ট্যগুলি অনুমানের জন্য প্রস্তুত করা হয় এবং একটি সেজমেকার প্রসেসিং কাজ ব্যবহার করে ডেটা যথাযথ আকারের ফাইলগুলিতে বিভক্ত করা হয়। এর পরে, পাইপলাইনটি পূর্বাভাসগুলি চালানোর জন্য সর্বশেষ অনুমোদিত মডেলটিকে চিহ্নিত করে এবং সেগুলিকে একটি S3 বালতিতে লোড করে৷ অবশেষে, SageMaker প্রসেসিং কাজের মধ্যে boto3-data API ব্যবহার করে পূর্বাভাসগুলি Amazon Redshift-এ লোড করা হয়।

স্টুডিও থেকে নিম্নলিখিত স্ক্রিনশট অনুমান পাইপলাইন বিবরণ দেখায়.

সেজমেকার পাইপলাইনগুলির সাথে এমএল ওয়ার্কফ্লো আর্কিটেক্ট বেছে নেওয়ার সুবিধা

এই বিভাগে, আমরা মডেল প্রশিক্ষণ এবং অনুমানের জন্য পাইপলাইনে স্যুইচ করার মাধ্যমে অ্যামাজন প্যাকেজিং ইনোভেশন টিম উপলব্ধি করা লাভগুলি নিয়ে আলোচনা করি৷

আউট-অফ-দ্য-বক্স উৎপাদন-স্তরের MLOps বৈশিষ্ট্য

পরবর্তী ML পাইপলাইন সমাধানের জন্য বিভিন্ন অভ্যন্তরীণ এবং বাহ্যিক সমাধানগুলির তুলনা করার সময়, একজন একক ডেটা বিজ্ঞানী 3 সপ্তাহেরও কম সময়ে একটি স্টুডিও জুপিটার পরিবেশে পাইপলাইনগুলির সাথে একটি এমএল ওয়ার্কফ্লোটির একটি সম্পূর্ণ সংস্করণ প্রোটোটাইপ করতে এবং বিকাশ করতে সক্ষম হন। এমনকি প্রোটোটাইপিং পর্যায়ে, এটি পরিষ্কার হয়ে গেছে যে পাইপলাইনগুলি উত্পাদন স্তরের কর্মপ্রবাহের জন্য প্রয়োজনীয় সমস্ত অবকাঠামো উপাদান সরবরাহ করে: মডেল সংস্করণ, ক্যাশিং এবং অ্যালার্ম। এই বৈশিষ্ট্যগুলির অবিলম্বে উপলব্ধতার অর্থ হল যে তাদের বিকাশ এবং কাস্টমাইজ করতে কোনও অতিরিক্ত সময় ব্যয় করা হবে না। এটি ছিল মূল্যের একটি সুস্পষ্ট প্রদর্শনী, যা আমাজন প্যাকেজিং ইনোভেশন দলকে দৃঢ়প্রত্যয় করেছিল যে পাইপলাইনগুলি সঠিক সমাধান।

এমএল মডেলের উন্নয়নে নমনীয়তা

দলের ডেটা বিজ্ঞানীদের জন্য সবচেয়ে বড় লাভ ছিল বিভিন্ন মডেলের মাধ্যমে সহজে পরীক্ষা করার এবং পুনরাবৃত্তি করার ক্ষমতা। তারা তাদের ML কাজের জন্য কোন কাঠামো পছন্দ করত এবং এতে কতগুলি পদক্ষেপ এবং বৈশিষ্ট্য জড়িত থাকুক না কেন, পাইপলাইনগুলি তাদের চাহিদা মিটিয়েছে। অতিরিক্ত বৈশিষ্ট্য বা পদক্ষেপ যোগ করার জন্য সফ্টওয়্যার ডেভেলপমেন্ট স্প্রিন্টে যাওয়ার জন্য অপেক্ষা না করেই ডেটা বিজ্ঞানীদের পরীক্ষা করার ক্ষমতা দেওয়া হয়েছিল।

কমানো ব্যয়

SageMaker এর পাইপলাইন ক্ষমতা হয় বিনামূল্যে: আপনি শুধুমাত্র কম্পিউট রিসোর্স এবং প্রশিক্ষণ এবং অনুমানের সাথে যুক্ত স্টোরেজের জন্য অর্থ প্রদান করেন। যাইহোক, খরচের কথা চিন্তা করার সময়, আপনাকে শুধুমাত্র ব্যবহৃত পরিষেবার খরচের জন্যই নয় বরং কর্মপ্রবাহ বজায় রাখতে, ডিবাগ করতে এবং প্যাচ করার জন্য ডেভেলপারের প্রয়োজনীয় সময়ের জন্যও অ্যাকাউন্ট করতে হবে। পাইপলাইনগুলির সাথে অর্কেস্ট্রেট করা সহজ কারণ এতে কম টুকরা এবং পরিচিত পরিকাঠামো রয়েছে৷ পূর্বে, একটি নতুন বৈশিষ্ট্য যোগ করার জন্য অ্যামাজন প্যাকেজিং ইনোভেশন টিমে কমপক্ষে দুইজনের (ডেটা বিজ্ঞানী এবং সফ্টওয়্যার প্রকৌশলী) প্রয়োজন। পুনরায় ডিজাইন করা পাইপলাইনের সাথে, ইঞ্জিনিয়ারিং প্রচেষ্টাগুলি এখন পাইপলাইনের চারপাশে অতিরিক্ত কাস্টম অবকাঠামোর দিকে পরিচালিত হয়, যেমন মেশিন লার্নিং কোড ট্র্যাক করার জন্য একটি একক সংগ্রহস্থল তৈরি করা, AWS অ্যাকাউন্ট জুড়ে মডেল স্থাপনের সরলীকরণ, সমন্বিত ETL কাজের বিকাশ এবং সাধারণ পুনরায় ব্যবহারযোগ্য ফাংশন।

অনুরূপ ইনপুট সহ পদক্ষেপগুলি ক্যাশে করার ক্ষমতাও খরচ হ্রাসে অবদান রেখেছিল, কারণ দলগুলির সম্পূর্ণ পাইপলাইন পুনরায় চালানোর সম্ভাবনা কম ছিল। পরিবর্তে, তারা সহজেই এটি ব্যর্থতার বিন্দু থেকে শুরু করতে পারে।

উপসংহার

Amazon প্যাকেজিং ইনোভেশন টিম ML মডেলগুলিকে মাসিক ভিত্তিতে প্রশিক্ষণ দেয় এবং প্রস্তাবিত পণ্য প্যাকেজিং প্রকারের জন্য নিয়মিতভাবে পূর্বাভাস আপডেট করে। এই সুপারিশগুলি তাদের বর্জ্য হ্রাস করে এবং প্রতিটি অর্ডারের সাথে গ্রাহকদের আনন্দিত করে একাধিক দল- এবং কোম্পানি-ব্যাপী লক্ষ্য অর্জনে সহায়তা করেছে। প্রশিক্ষণ এবং অনুমান পাইপলাইনগুলি অবশ্যই নিয়মিতভাবে নির্ভরযোগ্যভাবে চলতে হবে তবে মডেলগুলির ধ্রুবক উন্নতির অনুমতি দেয়।

পাইপলাইনে স্থানান্তর করা দলটিকে 2 মাসের মধ্যে উৎপাদনে চারটি নতুন মাল্টি-মডেল মডেল আর্কিটেকচার স্থাপন করার অনুমতি দেয়। পূর্ববর্তী আর্কিটেকচার ব্যবহার করে একটি নতুন মডেল স্থাপন করতে 5 দিন (একই মডেলের আর্কিটেকচার সহ) থেকে 1 মাস (নতুন মডেল আর্কিটেকচার সহ) প্রয়োজন হবে। পাইপলাইনগুলি ব্যবহার করে একই মডেল স্থাপন করা দলটিকে একই মডেল আর্কিটেকচারের সাথে 4 ঘন্টা এবং একটি নতুন মডেল আর্কিটেকচারের সাথে 5 দিন কমাতে সক্ষম করেছে৷ এটি কাজের ঘন্টার প্রায় 80% সঞ্চয়ের মূল্যায়ন করে।

অতিরিক্ত সম্পদ

আরও তথ্যের জন্য, নিম্নলিখিত সংস্থানগুলি দেখুন:

---

লেখক সম্পর্কে

অঙ্কুর শুক্লা Palo Alto ভিত্তিক AWS-ProServe-এর একজন প্রধান ডেটা সায়েন্টিস্ট। অঙ্কুরের 15 বছরেরও বেশি পরামর্শের অভিজ্ঞতা রয়েছে সরাসরি গ্রাহকের সাথে কাজ করে এবং তাদের প্রযুক্তির মাধ্যমে ব্যবসায়িক সমস্যা সমাধানে সহায়তা করে। তিনি AWS-এর মধ্যে একাধিক বিশ্বব্যাপী ফলিত বিজ্ঞান এবং ML-Ops উদ্যোগের নেতৃত্ব দেন। তার অবসর সময়ে, তিনি পড়া এবং পরিবারের সাথে সময় কাটাতে উপভোগ করেন।

আকাশ সিংলা আমাজন প্যাকেজিং ইনোভেশন টিমের সাথে একজন সিনিয়র সিস্টেম ডেভ ইঞ্জিনিয়ার। বিভিন্ন ব্যবসায়িক উল্লম্বের জন্য প্রযুক্তির মাধ্যমে গুরুত্বপূর্ণ ব্যবসায়িক সমস্যা সমাধানের 17 বছরেরও বেশি অভিজ্ঞতা রয়েছে তার। তিনি বর্তমানে বিভিন্ন প্যাকেজিং কেন্দ্রিক অ্যাপ্লিকেশনের জন্য NAWS পরিকাঠামো উন্নত করার দিকে মনোনিবেশ করেন যাতে সেগুলিকে আরও ভালভাবে মাপতে হয়।

ভিটালিনা কোমাশকো AWS প্রফেশনাল সার্ভিসের সাথে একজন ডেটা সায়েন্টিস্ট। তিনি ফার্মাকোলজি এবং টক্সিকোলজিতে পিএইচডি করেছেন কিন্তু পরীক্ষামূলক কাজ থেকে ডেটা সায়েন্সে রূপান্তরিত হয়েছেন কারণ তিনি "ডেটা জেনারেশন এবং ফলাফলের ব্যাখ্যার মালিক হতে" চেয়েছিলেন। কর্মজীবনের শুরুতে তিনি বায়োটেক এবং ফার্মা কোম্পানিতে কাজ করেছেন। AWS-এ তিনি বিভিন্ন শিল্পের গ্রাহকদের সমস্যা সমাধান করতে এবং তাদের অনন্য চ্যালেঞ্জগুলি সম্পর্কে শিখতে উপভোগ করেন।

প্রশান্ত মিয়াপ্পান 4+ বছরের জন্য অ্যামাজন প্যাকেজিং উদ্ভাবনের সাথে একজন সিনিয়র ফলিত বিজ্ঞানী। মেশিন লার্নিং-এ তার 6+ বছরের শিল্প অভিজ্ঞতা রয়েছে এবং অনুসন্ধান গ্রাহকের অভিজ্ঞতা উন্নত করতে এবং গ্রাহক প্যাকেজিং অভিজ্ঞতা উন্নত করতে পণ্য প্রেরণ করেছেন। প্রশান্ত স্থায়িত্ব সম্পর্কে উত্সাহী এবং জলবায়ু পরিবর্তনের পরিসংখ্যানগত মডেলিংয়ে পিএইচডি করেছেন।

ম্যাথু বেলস একজন সিনিয়র রিসার্চ সায়েন্টিস্ট গ্রাহক প্রতিক্রিয়া এবং মেশিন লার্নিং ব্যবহার করে প্যাকেজ টাইপ নির্বাচন অপ্টিমাইজ করার জন্য কাজ করছেন। অ্যামাজনের আগে, ম্যাট জার্মানিতে কণা পদার্থবিদ্যার সিমুলেশন সম্পাদনকারী পোস্ট ডক হিসাবে এবং পূর্ববর্তী জীবনে, একটি স্টার্টআপে তেজস্ক্রিয় মেডিকেল ইমপ্লান্ট ডিভাইসের উত্পাদন ব্যবস্থাপক হিসাবে কাজ করেছিলেন। তিনি পিএইচডি করেছেন। মিশিগান বিশ্ববিদ্যালয় থেকে পদার্থবিদ্যায়।