Amazon SageMaker ML মডেলের জন্য পরীক্ষার পদ্ধতি

এই পোস্টটি ইনটুইট মেশিন লার্নিং প্ল্যাটফর্মের সফ্টওয়্যার ইঞ্জিনিয়ারিং ম্যানেজার টোবিয়াস ওয়েনজেলের সাথে সহ-লেখা হয়েছে।

উদাহরণ স্বরূপ, স্বায়ত্তশাসিত ড্রাইভিং বা আলেক্সার সাথে ইন্টারঅ্যাক্ট করার সময় আমরা সকলেই একটি উচ্চ-মানের এবং নির্ভরযোগ্য মেশিন লার্নিং (ML) মডেলের গুরুত্বের প্রশংসা করি। ML মডেলগুলিও কম স্পষ্ট উপায়ে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে—এগুলি ব্যবসায়িক অ্যাপ্লিকেশন, স্বাস্থ্যসেবা, আর্থিক প্রতিষ্ঠান, amazon.com, TurboTax এবং আরও অনেক কিছু দ্বারা ব্যবহৃত হয়।

যেহেতু ML-সক্ষম অ্যাপ্লিকেশনগুলি অনেক ব্যবসার মূলে পরিণত হয়েছে, মডেলগুলিকে সফ্টওয়্যার অ্যাপ্লিকেশনগুলির মতো একই শক্তি এবং শৃঙ্খলা অনুসরণ করতে হবে৷ MLOps-এর একটি গুরুত্বপূর্ণ দিক হল পরীক্ষা, সংস্করণ, ক্রমাগত বিতরণ এবং পর্যবেক্ষণের মতো প্রতিষ্ঠিত DevOps অনুশীলনগুলি ব্যবহার করে উৎপাদনে পূর্বে উন্নত ML মডেলের একটি নতুন সংস্করণ সরবরাহ করা।

বেশ কিছু আছে প্রচলিত প্রথামত MLOps-এর আশেপাশে নির্দেশিকা, এবং এই পোস্টটি সেই প্রক্রিয়ার একটি ওভারভিউ দেয় যা আপনি অনুসরণ করতে পারেন এবং পরীক্ষার জন্য কোন টুলগুলি ব্যবহার করতে হবে। এটি মধ্যে সহযোগিতার উপর ভিত্তি করে যুক্তি তর্ক এবং AWS। এই পোস্টে ব্যাখ্যা করা সুপারিশগুলি বাস্তবে এবং স্কেলে বাস্তবায়নের জন্য আমরা একসাথে কাজ করছি। একটি হয়ে উঠার Intuit এর লক্ষ্য এআই-চালিত বিশেষজ্ঞ প্ল্যাটফর্ম প্রাথমিক মডেল বিকাশের বেগ বাড়ানোর পাশাপাশি নতুন সংস্করণগুলির পরীক্ষা করার কৌশলের উপর ব্যাপকভাবে নির্ভরশীল।

আবশ্যকতা

নতুন মডেল সংস্করণ স্থাপন করার সময় নিম্নলিখিত বিবেচনার প্রধান ক্ষেত্রগুলি রয়েছে:

1. মডেল নির্ভুলতা কর্মক্ষমতা - এটা গুরুত্বপূর্ণ ট্র্যাক রাখা মডেল মূল্যায়ন মেট্রিক্স যেমন যথার্থতা, নির্ভুলতা, এবং প্রত্যাহার, এবং নিশ্চিত করুন যে উদ্দেশ্য মেট্রিকগুলি তুলনামূলকভাবে একই থাকে বা মডেলের একটি নতুন সংস্করণের সাথে উন্নত হয়। বেশিরভাগ ক্ষেত্রে, মডেলের একটি নতুন সংস্করণ মোতায়েন করা মানে হয় না যদি শেষ ব্যবহারকারীদের অভিজ্ঞতা উন্নত না হয়।
2. ডেটা গুণমান পরীক্ষা করুন - নন-প্রোডাকশন পরিবেশে ডেটা, সিমুলেটেড বা পয়েন্ট-ইন-টাইম কপি, ভলিউম বা বন্টনের পরিপ্রেক্ষিতে সম্পূর্ণরূপে স্থাপন করা হলে মডেলটি যে ডেটা পাবে তার প্রতিনিধি হওয়া উচিত। যদি তা না হয়, আপনার পরীক্ষার প্রক্রিয়া প্রতিনিধিত্বমূলক হবে না, এবং আপনার মডেল উৎপাদনে ভিন্নভাবে আচরণ করতে পারে।
3. বৈশিষ্ট্যের গুরুত্ব এবং সমতা - মডেলের নতুন সংস্করণে বৈশিষ্ট্যের গুরুত্ব তুলনামূলকভাবে পুরানো মডেলের সাথে তুলনা করা উচিত, যদিও নতুন বৈশিষ্ট্যগুলি চালু হতে পারে। এটি নিশ্চিত করার জন্য যে মডেলটি পক্ষপাতদুষ্ট হয়ে উঠছে না।
4. ব্যবসায়িক প্রক্রিয়া পরীক্ষা - এটি গুরুত্বপূর্ণ যে একটি মডেলের একটি নতুন সংস্করণ গ্রহণযোগ্য পরামিতিগুলির মধ্যে আপনার প্রয়োজনীয় ব্যবসায়িক উদ্দেশ্যগুলি পূরণ করতে পারে৷ উদাহরণ স্বরূপ, ব্যবসায়িক মেট্রিকগুলির মধ্যে একটি হতে পারে যে কোনও পরিষেবার জন্য শেষ থেকে শেষ লেটেন্সি 100 মিলিসেকেন্ডের বেশি হওয়া উচিত নয়, বা একটি নির্দিষ্ট মডেলকে হোস্ট করার এবং পুনরায় প্রশিক্ষণ দেওয়ার খরচ প্রতি বছর $10,000-এর বেশি হতে পারে না৷
5. মূল্য - পরীক্ষার একটি সহজ পদ্ধতি হল একটি পরীক্ষার পরিবেশ হিসাবে সমগ্র উত্পাদন পরিবেশকে প্রতিলিপি করা। এটি সফ্টওয়্যার বিকাশের একটি সাধারণ অভ্যাস। যাইহোক, এমএল মডেলের ক্ষেত্রে এই ধরনের পদ্ধতি ডেটার আকারের উপর নির্ভর করে সঠিক ROI নাও দিতে পারে এবং এটি যে ব্যবসায়িক সমস্যার সমাধান করছে তার পরিপ্রেক্ষিতে মডেলটিকে প্রভাবিত করতে পারে।
6. নিরাপত্তা - পরীক্ষার পরিবেশে প্রায়শই প্রকৃত গ্রাহক ডেটার পরিবর্তে নমুনা ডেটা থাকার আশা করা হয় এবং ফলস্বরূপ, ডেটা পরিচালনা এবং সম্মতির নিয়মগুলি কম কঠোর হতে পারে। যদিও খরচের মতো, আপনি যদি কেবলমাত্র একটি পরীক্ষার পরিবেশে উত্পাদন পরিবেশের নকল করেন তবে আপনি নিরাপত্তা এবং সম্মতি ঝুঁকি প্রবর্তন করতে পারেন।
7. বৈশিষ্ট্য দোকান মাপযোগ্যতা – যদি কোনও সংস্থা খরচ বা নিরাপত্তার কারণে একটি পৃথক পরীক্ষা বৈশিষ্ট্য স্টোর তৈরি না করার সিদ্ধান্ত নেয়, তাহলে মডেল টেস্টিং উৎপাদন বৈশিষ্ট্য স্টোরে ঘটতে হবে, যা পরীক্ষার সময়কালে ট্রাফিক দ্বিগুণ হওয়ার কারণে স্কেলেবিলিটি সমস্যা সৃষ্টি করতে পারে।
8. অনলাইন মডেল কর্মক্ষমতা - অনলাইন মূল্যায়ন অফলাইন মূল্যায়নের থেকে আলাদা এবং সুপারিশ মডেলের মতো কিছু ক্ষেত্রে গুরুত্বপূর্ণ হতে পারে কারণ তারা অনুভূত সন্তুষ্টির পরিবর্তে বাস্তব সময়ে ব্যবহারকারীর সন্তুষ্টি পরিমাপ করে। মৌসুমীতা বা অন্যান্য ব্যবহারকারীর আচরণের কারণে অ-উৎপাদনে বাস্তব ট্র্যাফিক প্যাটার্নগুলি অনুকরণ করা কঠিন, তাই অনলাইন মডেলের কার্যকারিতা শুধুমাত্র উত্পাদনে করা যেতে পারে।
9. কর্মক্ষম কর্মক্ষমতা - যেহেতু মডেলগুলি বড় হয় এবং বিভিন্ন হার্ডওয়্যারে একটি বিকেন্দ্রীকরণ পদ্ধতিতে ক্রমবর্ধমানভাবে মোতায়েন করা হয়, তাই আপনার পছন্দসই কর্মক্ষমতা যেমন লেটেন্সি, ত্রুটির হার এবং আরও অনেক কিছুর জন্য মডেলটি পরীক্ষা করা গুরুত্বপূর্ণ৷

বেশিরভাগ ML টিমের মডেল পরীক্ষার জন্য বহুমুখী পদ্ধতি রয়েছে। নিম্নলিখিত বিভাগগুলিতে, আমরা বিভিন্ন পরীক্ষার পর্যায়ে এই চ্যালেঞ্জগুলি মোকাবেলার উপায়গুলি সরবরাহ করি।

অফলাইন মডেল টেস্টিং

এই টেস্টিং পর্বের লক্ষ্য হল একটি সঠিকতার দৃষ্টিকোণ থেকে বিদ্যমান মডেলের নতুন সংস্করণগুলিকে যাচাই করা। এটি একটি অফলাইন ফ্যাশনে করা উচিত যাতে রিয়েল-টাইম ভবিষ্যদ্বাণী পরিবেশন করা উৎপাদন ব্যবস্থার কোনো ভবিষ্যদ্বাণীকে প্রভাবিত না করে। প্রযোজ্য মূল্যায়ন মেট্রিক্সের জন্য নতুন মডেলটি আরও ভাল পারফর্ম করে তা নিশ্চিত করে, এই পরীক্ষাটি চ্যালেঞ্জ 1 (মডেলের নির্ভুলতা কর্মক্ষমতা) সমাধান করে। এছাড়াও, সঠিক ডেটাসেট ব্যবহার করে, এই টেস্টিং চ্যালেঞ্জ 2 (খরচ) মোকাবেলার অতিরিক্ত সুবিধা সহ চ্যালেঞ্জ 3 এবং 5 (পরীক্ষা ডেটা গুণমান, বৈশিষ্ট্যের গুরুত্ব এবং সমতা) মোকাবেলা করতে পারে।

এই পর্বটি স্টেজিং পরিবেশে করা হয়।

আপনার প্রোডাকশন ট্র্যাফিক ক্যাপচার করা উচিত, যা আপনি অফলাইন ব্যাক টেস্টিং এ রিপ্লে করতে ব্যবহার করতে পারেন। সিন্থেটিক ডেটার পরিবর্তে অতীতের উত্পাদন ট্র্যাফিক ব্যবহার করা পছন্দনীয়। দ্য অ্যামাজন সেজমেকার মডেল মনিটর ক্যাপচার ডেটা বৈশিষ্ট্য আপনাকে হোস্ট করা মডেলগুলির জন্য উত্পাদন ট্র্যাফিক ক্যাপচার করতে দেয়৷ আমাজন সেজমেকার. এটি মডেল ডেভেলপারদের শীর্ষ ব্যবসার দিন বা অন্যান্য উল্লেখযোগ্য ইভেন্ট থেকে ডেটা সহ তাদের মডেলগুলি পরীক্ষা করতে দেয়৷ ক্যাপচার করা ডেটা তারপর নতুন মডেল সংস্করণের সাথে ব্যাচ ফ্যাশনে ব্যবহার করে রিপ্লে করা হয় Sagemaker ব্যাচ রূপান্তর. এর মানে হল যে ব্যাচ ট্রান্সফর্ম রান কয়েক ঘন্টার মধ্যে সপ্তাহ বা মাস ধরে সংগ্রহ করা ডেটা দিয়ে পরীক্ষা করতে পারে। এটি একটি রিয়েল-টাইম মডেলের দুই বা ততোধিক সংস্করণ পাশাপাশি চালানো এবং প্রতিটি শেষ পয়েন্টে ডুপ্লিকেট ভবিষ্যদ্বাণী অনুরোধ পাঠানোর তুলনায় মডেল মূল্যায়ন প্রক্রিয়াটিকে উল্লেখযোগ্যভাবে দ্রুততর করতে পারে। একটি ভাল-পারফর্মিং সংস্করণ দ্রুত খুঁজে পাওয়ার পাশাপাশি, এই পদ্ধতিটি সামগ্রিক খরচ কমিয়ে অল্প সময়ের জন্য গণনা সংস্থানগুলিও ব্যবহার করে।

পরীক্ষার এই পদ্ধতির সাথে একটি চ্যালেঞ্জ হল যে বৈশিষ্ট্য সেট একটি মডেল সংস্করণ থেকে অন্য সংস্করণে পরিবর্তিত হয়। এই পরিস্থিতিতে, আমরা উভয় সংস্করণের জন্য বৈশিষ্ট্যগুলির একটি সুপারসেট সহ একটি বৈশিষ্ট্য সেট তৈরি করার পরামর্শ দিই যাতে সমস্ত বৈশিষ্ট্য একবারে জিজ্ঞাসা করা যায় এবং ডেটা ক্যাপচারের মাধ্যমে রেকর্ড করা যায়। প্রতিটি ভবিষ্যদ্বাণী কল তখন মডেলের বর্তমান সংস্করণের জন্য প্রয়োজনীয় বৈশিষ্ট্যগুলিতে কাজ করতে পারে৷

যোগ করা বোনাস হিসেবে, একীভূত করে আমাজন সেজমেকার স্পষ্ট করুন আপনার অফলাইন মডেল পরীক্ষায়, আপনি পক্ষপাতের জন্য মডেলের নতুন সংস্করণ পরীক্ষা করতে পারেন এবং মডেলের পূর্ববর্তী সংস্করণের সাথে বৈশিষ্ট্য বৈশিষ্ট্যের তুলনা করতে পারেন। পাইপলাইনগুলির সাহায্যে, আপনি সম্পূর্ণ ওয়ার্কফ্লো অর্কেস্ট্রেট করতে পারেন যাতে প্রশিক্ষণের পরে, মডেল মেট্রিক্স এবং বৈশিষ্ট্যের গুরুত্ব বিশ্লেষণ করার জন্য একটি গুণমান পরীক্ষা করা যেতে পারে। এই মেট্রিক্স সংরক্ষণ করা হয় সেজমেকার মডেল রেজিস্ট্রি প্রশিক্ষণের পরবর্তী দৌড়ে তুলনা করার জন্য।

ইন্টিগ্রেশন এবং কর্মক্ষমতা পরীক্ষা

একটি কার্যকরী এবং সেইসাথে একটি রানটাইম কর্মক্ষমতা দৃষ্টিকোণ থেকে এন্ড-টু-এন্ড ব্যবসায়িক প্রক্রিয়া যাচাই করার জন্য ইন্টিগ্রেশন টেস্টিং প্রয়োজন। এই প্রক্রিয়ার মধ্যে, ফিচার স্টোরে ফিচার ফিচার এবং গণনা করা এবং ML অ্যাপ্লিকেশান চালানো সহ পুরো পাইপলাইন পরীক্ষা করা উচিত। বিভিন্ন পরিস্থিতিতে এবং অনুরোধগুলি কভার করার জন্য এবং সমস্ত সম্ভাব্য কোড রানের জন্য উচ্চ কভারেজ অর্জন করতে বিভিন্ন ধরণের পেলোডের সাথে এটি করা উচিত। এটি মডেলের নতুন সংস্করণের সাথে ব্যবসায়িক প্রক্রিয়াগুলির কোনওটিই ভেঙে না যায় তা নিশ্চিত করার জন্য 4 এবং 9 (ব্যবসায়িক প্রক্রিয়া পরীক্ষা এবং অপারেশনাল কর্মক্ষমতা) চ্যালেঞ্জগুলিকে মোকাবেলা করে৷

এই পরীক্ষাটি একটি স্টেজিং পরিবেশে করা উচিত।

ইন্টিগ্রেশন টেস্টিং এবং পারফরম্যান্স টেস্টিং উভয়ই পৃথক দল তাদের MLOps পাইপলাইন ব্যবহার করে প্রয়োগ করতে হবে। ইন্টিগ্রেশন পরীক্ষার জন্য, আমরা একটি কার্যকরীভাবে সমতুল্য প্রাক-উৎপাদন পরিবেশ বজায় রাখার এবং কয়েকটি ভিন্ন পেলোডের সাথে পরীক্ষা করার চেষ্টা করা এবং পরীক্ষিত পদ্ধতির সুপারিশ করি। টেস্টিং ওয়ার্কফ্লো স্বয়ংক্রিয় হতে পারে যেমন দেখানো হয়েছে এই কর্মশালা. কর্মক্ষমতা পরীক্ষার জন্য, আপনি ব্যবহার করতে পারেন আমাজন সেজমেকার ইনফারেন্স সুপারিশকারী, যা কোন দৃষ্টান্তের ধরন এবং কতটি দৃষ্টান্ত ব্যবহার করতে হবে তা নির্ধারণ করতে একটি দুর্দান্ত সূচনা পয়েন্ট অফার করে। এর জন্য, আপনাকে একটি লোড জেনারেটর টুল ব্যবহার করতে হবে, যেমন ওপেন সোর্স প্রজেক্ট perfsizesagemaker এবং perfsize যে Intuit বিকশিত হয়েছে. Perfsizesagemaker আপনাকে স্বয়ংক্রিয়ভাবে মডেল এন্ডপয়েন্ট কনফিগারেশন বিভিন্ন ধরনের পেলোড, প্রতিক্রিয়ার সময় এবং প্রতি সেকেন্ডের চাহিদার সর্বোচ্চ লেনদেনের সাথে পরীক্ষা করতে দেয়। এটি বিশদ পরীক্ষার ফলাফল তৈরি করে যা বিভিন্ন মডেল সংস্করণের তুলনা করে। Perfsize হল সহচর টুল যা শুধুমাত্র প্রতি সেকেন্ডে সর্বোচ্চ লেনদেন এবং প্রত্যাশিত প্রতিক্রিয়া সময় দেওয়া বিভিন্ন কনফিগারেশন চেষ্টা করে।

A / B পরীক্ষা

অনেক ক্ষেত্রে যেখানে মডেলের তাৎক্ষণিক আউটপুটে ব্যবহারকারীর প্রতিক্রিয়া প্রয়োজন, যেমন ইকমার্স অ্যাপ্লিকেশন, অফলাইন মডেল কার্যকরী মূল্যায়ন যথেষ্ট নয়। এই পরিস্থিতিতে, মডেল আপডেট করার সিদ্ধান্ত নেওয়ার আগে আপনাকে উত্পাদনে A/B মডেল পরীক্ষা করতে হবে। A/B পরীক্ষার ঝুঁকিও রয়েছে কারণ প্রকৃত গ্রাহক প্রভাব থাকতে পারে। এই পরীক্ষার পদ্ধতিটি চূড়ান্ত ML কর্মক্ষমতা বৈধতা হিসাবে কাজ করে, একটি লাইটওয়েট ইঞ্জিনিয়ারিং স্যানিটি চেক। এই পদ্ধতিটি চ্যালেঞ্জ 8 এবং 9 (অনলাইন মডেলের কর্মক্ষমতা এবং অপারেশনাল শ্রেষ্ঠত্ব) মোকাবেলা করে।

A/B পরীক্ষা একটি উত্পাদন পরিবেশে সঞ্চালিত করা উচিত।

SageMaker এর সাথে, আপনি সহজেই ML মডেলগুলিতে A/B পরীক্ষা চালিয়ে যেতে পারেন একাধিক উত্পাদন বৈকল্পিক একটি শেষ বিন্দুতে একটি খারাপ আচরণকারী মডেলের উত্পাদনে যে ঝুঁকি থাকতে পারে তা কমাতে ট্র্যাফিককে নতুন সংস্করণে ইনক্রিমেন্টে রুট করা যেতে পারে। A/B পরীক্ষার ফলাফল ভাল দেখালে, ট্রাফিক নতুন সংস্করণে রুট করা হয়, অবশেষে 100% ট্র্যাফিক নিয়ে যায়। আমরা মডেল A থেকে B তে স্থানান্তর করতে স্থাপনার গার্ডেল ব্যবহার করার পরামর্শ দিই। A/B পরীক্ষার উপর আরও সম্পূর্ণ আলোচনার জন্য আমাজন ব্যক্তিগতকৃত একটি উদাহরণ হিসাবে মডেল, পড়ুন Amazon Personalize দ্বারা উত্পন্ন সুপারিশগুলির কার্যকারিতা পরিমাপ করতে A/B পরীক্ষা ব্যবহার করা.

অনলাইন মডেল টেস্টিং

এই পরিস্থিতিতে, একটি মডেলের নতুন সংস্করণটি ইতিমধ্যেই উৎপাদনে লাইভ ট্রাফিক পরিবেশনকারীর থেকে উল্লেখযোগ্যভাবে আলাদা, তাই নতুন মডেল সংস্করণের কার্যকারিতা নির্ধারণের জন্য অফলাইন পরীক্ষার পদ্ধতি আর উপযুক্ত নয়৷ এর সবচেয়ে বিশিষ্ট কারণ হল ভবিষ্যদ্বাণী তৈরি করার জন্য প্রয়োজনীয় বৈশিষ্ট্যগুলির একটি পরিবর্তন, যাতে পূর্বে রেকর্ড করা লেনদেনগুলি মডেল পরীক্ষা করার জন্য ব্যবহার করা না যায়৷ এই পরিস্থিতিতে, আমরা ছায়া স্থাপনার ব্যবহার করার পরামর্শ দিই। ছায়া স্থাপনাগুলি একটি ছায়া স্থাপন করার ক্ষমতা প্রদান করে (বা আহ্বানকারী) উত্পাদনের পাশাপাশি মডেল (বা রক্ষক) মডেল যা বর্তমানে ভবিষ্যদ্বাণী প্রদান করছে। এটি আপনাকে ছায়া মডেলটি উত্পাদন ট্র্যাফিকের ক্ষেত্রে কীভাবে কাজ করে তা মূল্যায়ন করতে দেয়। শ্যাডো মডেলের ভবিষ্যদ্বাণী অনুরোধ করা অ্যাপ্লিকেশনে দেওয়া হয় না; তারা অফলাইন মূল্যায়নের জন্য লগ ইন করা হয়. পরীক্ষার জন্য ছায়া পদ্ধতির সাথে, আমরা চ্যালেঞ্জ 4, 5, 6, এবং 7 (ব্যবসায়িক প্রক্রিয়া পরীক্ষা, খরচ, নিরাপত্তা, এবং বৈশিষ্ট্য স্টোর মাপযোগ্যতা) মোকাবেলা করি।

অনলাইন মডেল টেস্টিং স্টেজিং বা উৎপাদন পরিবেশে করা উচিত।

নতুন মডেল সংস্করণ পরীক্ষা করার এই পদ্ধতিটি শেষ অবলম্বন হিসাবে ব্যবহার করা উচিত যদি অন্য সমস্ত পদ্ধতি ব্যবহার করা না যায়। আমরা এটিকে একটি শেষ অবলম্বন হিসাবে সুপারিশ করছি কারণ একাধিক মডেলে ডুপ্লেক্সিং কলগুলি উত্পাদনের সমস্ত ডাউনস্ট্রিম পরিষেবাগুলিতে অতিরিক্ত লোড তৈরি করে, যা কার্যক্ষমতার বাধার পাশাপাশি উত্পাদন ব্যয় বৃদ্ধির দিকে নিয়ে যেতে পারে। এটির সবচেয়ে সুস্পষ্ট প্রভাবটি বৈশিষ্ট্য পরিবেশন স্তরের উপর। শারীরিক ডেটার একটি সাধারণ পুল থেকে বৈশিষ্ট্যগুলি ভাগ করে এমন ব্যবহারের ক্ষেত্রে, উৎপাদনে স্থানান্তর করার আগে কোনও সংস্থান বিবাদ বিদ্যমান নেই তা নিশ্চিত করার জন্য আমাদের একই ডেটা টেবিল অ্যাক্সেস করে একাধিক ব্যবহারের ক্ষেত্রে অনুকরণ করতে সক্ষম হতে হবে। যেখানেই সম্ভব, ফিচার স্টোরে ডুপ্লিকেট ক্যোয়ারীগুলি এড়ানো উচিত এবং মডেলের উভয় সংস্করণের জন্য প্রয়োজনীয় বৈশিষ্ট্যগুলি দ্বিতীয় অনুমানের জন্য পুনরায় ব্যবহার করা উচিত। উপর ভিত্তি করে বৈশিষ্ট্য দোকান আমাজন ডায়নামোডিবি, যেমন একটি Intuit তৈরি করেছে, বাস্তবায়ন করতে পারে অ্যামাজন ডায়নামোডিবি অ্যাক্সিলারেটর(DAX) ক্যাশে করতে এবং ডাটাবেসে I/O দ্বিগুণ করা এড়াতে। এই এবং অন্যান্য ক্যাশিং বিকল্প চ্যালেঞ্জ 7 (ফিচার স্টোর স্কেলেবিলিটি) প্রশমিত করতে পারে।

চ্যালেঞ্জ 5 (খরচ) পাশাপাশি 7 মোকাবেলা করার জন্য, আমরা আগত ট্র্যাফিকের নমুনা করার জন্য ছায়া স্থাপন ব্যবহার করার প্রস্তাব করি। এটি মডেল মালিকদের উত্পাদন সিস্টেমের উপর প্রভাব কমাতে নিয়ন্ত্রণের আরেকটি স্তর দেয়।

ছায়া স্থাপনার অনবোর্ড করা উচিত মডেল মনিটর চ্যালেঞ্জার সংস্করণের উন্নতিগুলি পর্যবেক্ষণ করার জন্য নিয়মিত উত্পাদন স্থাপনার মতো অফারগুলি।

উপসংহার

এই পোস্টটি মডেল টেস্টিং সহ বিভিন্ন চ্যালেঞ্জ মোকাবেলা করার জন্য প্রক্রিয়া এবং সরঞ্জামগুলির একটি বিস্তৃত সেট তৈরি করার জন্য বিল্ডিং ব্লকগুলিকে চিত্রিত করে। যদিও প্রতিটি সংস্থা অনন্য, এটি আপনাকে শুরু করতে এবং আপনার নিজস্ব পরীক্ষার কৌশল প্রয়োগ করার সময় আপনার বিবেচনাগুলিকে সংকুচিত করতে সহায়তা করবে।

---

লেখক সম্পর্কে

টোবিয়াস ওয়েনজেল মাউন্টেন ভিউ, ক্যালিফোর্নিয়ার ইনটুইট মেশিন লার্নিং প্ল্যাটফর্মের জন্য একজন সফ্টওয়্যার ইঞ্জিনিয়ারিং ম্যানেজার৷ তিনি 2016 সালে প্ল্যাটফর্মের সূচনা থেকেই কাজ করছেন এবং এটিকে গ্রাউন্ড আপ থেকে ডিজাইন ও নির্মাণে সহায়তা করেছেন। তার চাকরিতে, তিনি প্ল্যাটফর্মের অপারেশনাল শ্রেষ্ঠত্বের দিকে মনোনিবেশ করেছেন এবং Intuit-এর মৌসুমী ব্যবসার মাধ্যমে এটি সফলভাবে নিয়ে এসেছেন। উপরন্তু, তিনি সর্বাধুনিক প্রযুক্তির সাথে প্ল্যাটফর্মটি ক্রমাগত প্রসারিত করার বিষয়ে উত্সাহী।

শিবংশু উপাধ্যায় AWS বিজনেস ডেভেলপমেন্ট অ্যান্ড স্ট্র্যাটেজিক ইন্ডাস্ট্রিজ গ্রুপের একজন প্রিন্সিপাল সলিউশন আর্কিটেক্ট। এই ভূমিকায়, তিনি AWS-এর সবচেয়ে উন্নত গ্রহণকারীদের কার্যকরভাবে ডেটা এবং AI ব্যবহার করে তাদের শিল্পকে রূপান্তরিত করতে সহায়তা করেন।

অ্যালান ট্যান সেজমেকারের একজন সিনিয়র প্রোডাক্ট ম্যানেজার, বৃহৎ মডেল অনুমানে অগ্রণী প্রচেষ্টা। তিনি বিশ্লেষণের ক্ষেত্রে মেশিন লার্নিং প্রয়োগ করার বিষয়ে উত্সাহী। কাজের বাইরে, তিনি বাইরে উপভোগ করেন।