মাল্টি-টেন্যান্ট SaaS ব্যবহারের ক্ষেত্রে কীভাবে মেশিন লার্নিং ইনফারেন্স স্কেল করবেন

এই পোস্টটি জেনডেস্কের সিনিয়র স্টাফ মেশিন লার্নিং ইঞ্জিনিয়ার সৌম্য মানুসানির সাথে সহ-লেখা হয়েছে

Zendesk একটি SaaS কোম্পানী যা ভিত্তি হিসাবে সরলতার সাথে সকলের জন্য সমর্থন, বিক্রয় এবং গ্রাহকের সম্পৃক্ততা সফ্টওয়্যার তৈরি করে। এটি বিশ্বব্যাপী 170,000 টিরও বেশি কোম্পানি তৈরি করে তাদের কয়েক মিলিয়ন গ্রাহকদের দক্ষতার সাথে পরিবেশন করে। Zendcaesk-এর মেশিন লার্নিং টিম তাদের সেরা অর্জনের জন্য গ্রাহকদের অভিজ্ঞতা বাড়ানোর জন্য দায়ী। ডেটা এবং মানুষের শক্তি একত্রিত করে, Zendesk বুদ্ধিমান পণ্য সরবরাহ করে যা তাদের গ্রাহকদেরকে স্বয়ংক্রিয়ভাবে ম্যানুয়াল কাজের মাধ্যমে আরও বেশি উত্পাদনশীল করে তোলে।

Zendesk 2015 সাল থেকে ML পণ্য তৈরি করছে, সহ উত্তর বট, সন্তুষ্টি ভবিষ্যদ্বাণী, বিষয়বস্তু সংকেত, প্রস্তাবিত ম্যাক্রো, এবং আরো অনেক. গত কয়েক বছরে, গভীর শিক্ষার বৃদ্ধির সাথে, বিশেষ করে NLP-তে, তারা ওয়ার্কফ্লো স্বয়ংক্রিয় করার এবং এজেন্টদের Zendesk সমাধানগুলির সাথে তাদের গ্রাহকদের সমর্থন করার জন্য অনেক সুযোগ দেখেছে। Zendesk বর্তমানে গভীর শিক্ষার মডেল তৈরি করতে TensorFlow এবং PyTorch ব্যবহার করে।

Zendesk-এর মতো গ্রাহকরা Amazon Web Services (AWS)-এ একটি পরিষেবা (SaaS) ব্যবসা হিসাবে সফল, উচ্চ-স্কেল সফ্টওয়্যার তৈরি করেছে৷ একটি সফল SaaS ব্যবসায়িক মডেলের জন্য একটি মূল চালক হল অ্যাপ্লিকেশন এবং পরিকাঠামোতে বহু-প্রজাস্বত্ব প্রয়োগ করার ক্ষমতা। এটি খরচ এবং অপারেশনাল দক্ষতা সক্ষম করে কারণ অ্যাপ্লিকেশনটি শুধুমাত্র একবার তৈরি করা প্রয়োজন, তবে এটি অনেকবার ব্যবহার করা যেতে পারে এবং অবকাঠামো ভাগ করা যেতে পারে। আমরা দেখতে পাই যে অনেক গ্রাহকরা AWS-এ কম্পিউট, স্টোরেজ, ডাটাবেস থেকে শুরু করে নেটওয়ার্কিং পর্যন্ত স্ট্যাকের সমস্ত স্তরে নিরাপদ, খরচ-দক্ষ, মাল্টি-টেন্যান্ট সিস্টেম তৈরি করছে এবং এখন আমরা দেখতে পাচ্ছি যে গ্রাহকদের এটি মেশিন লার্নিংয়ে প্রয়োগ করতে হবে (ML )

মডেল পুনঃব্যবহার এবং হাইপার-ব্যক্তিকরণের মধ্যে কঠিন ট্রেডঅফ করা

SaaS ব্যবসার জন্য মাল্টি-টেনেন্সি মানে সাধারণত একটি একক অ্যাপ্লিকেশন অনেক ব্যবহারকারীর (SaaS গ্রাহকদের) মধ্যে পুনরায় ব্যবহার করা হয়। এটি খরচ দক্ষতা তৈরি করে এবং অপারেশনাল ওভারহেড কমিয়ে দেয়। যাইহোক, সঠিক ভবিষ্যদ্বাণী করার জন্য মেশিন লার্নিং মডেলগুলিকে কখনও কখনও উচ্চ মাত্রার নির্দিষ্টতার (অতি ব্যক্তিগতকৃত) ব্যক্তিগতকৃত করা প্রয়োজন। এর মানে হল "একবার তৈরি করুন, অনেকবার ব্যবহার করুন" SaaS প্যারাডাইম সবসময় ML-এ প্রয়োগ করা যাবে না যদি মডেলের নির্দিষ্টতা থাকে। উদাহরণস্বরূপ গ্রাহক সমর্থন প্ল্যাটফর্মের ব্যবহারের ক্ষেত্রে নিন। ব্যবহারকারীরা সমর্থন টিকিটে যে ভাষাটি অন্তর্ভুক্ত করে তা নির্ভর করে এটি একটি রাইড শেয়ারের সমস্যা ("রাইড খুব বেশি সময় লেগেছে") বা পোশাক কেনার সমস্যা ("ধুয়ে গেলে বিবর্ণতা") এর উপর নির্ভর করে। এই ব্যবহারের ক্ষেত্রে, সর্বোত্তম প্রতিকার কর্মের পূর্বাভাস দেওয়ার যথার্থতা উন্নত করার জন্য একটি ব্যবসায়িক ডোমেন বা শিল্প উল্লম্বের জন্য নির্দিষ্ট ডেটাসেটে একটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) মডেল প্রশিক্ষণের প্রয়োজন হতে পারে। জেনডেস্ক তাদের সমাধানে এমএল লিভারেজ করার চেষ্টা করার সময় ঠিক এই চ্যালেঞ্জের মুখোমুখি হয়। তাদের হাজার হাজার উচ্চ কাস্টমাইজড এমএল মডেল তৈরি করতে হবে, প্রতিটি নির্দিষ্ট গ্রাহকের জন্য তৈরি করা হয়েছে। সাশ্রয়ীভাবে হাজার হাজার মডেল স্থাপনের এই চ্যালেঞ্জের সমাধান করতে, Zendesk Amazon SageMaker-এর দিকে ফিরেছে।

এই পোস্টে, আমরা দেখাব কিভাবে এর কিছু নতুন বৈশিষ্ট্য ব্যবহার করতে হয় আমাজন সেজমেকার, একটি সম্পূর্ণরূপে পরিচালিত মেশিন লার্নিং পরিষেবা, একটি মাল্টি-টেন্যান্ট ML অনুমান ক্ষমতা তৈরি করতে। আমরা একটি বাস্তব-বিশ্বের উদাহরণও শেয়ার করি যে কীভাবে Zendesk তাদের ML মডেলগুলিতে হাইপার-পার্সোনালাইজেশন সমর্থন করতে সক্ষম হওয়া এবং সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট ব্যবহার করে পরিকাঠামোর ব্যয়-দক্ষ, ভাগ করা ব্যবহারের মধ্যে একটি সুখী মাধ্যম স্থাপন করে সফলভাবে একই ফলাফল অর্জন করেছে ( MME)।

সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট

সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট আপনাকে একটি একক ইনফারেন্স এন্ডপয়েন্টের পিছনে একাধিক মডেল স্থাপন করতে সক্ষম করে যাতে এক বা একাধিক উদাহরণ থাকতে পারে। প্রতিটি উদাহরণ তার মেমরি এবং CPU ক্ষমতা পর্যন্ত একাধিক মডেল লোড এবং পরিবেশন করার জন্য ডিজাইন করা হয়েছে। এই আর্কিটেকচারের সাহায্যে, একটি SaaS ব্যবসা একাধিক মডেল হোস্ট করার রৈখিকভাবে ক্রমবর্ধমান খরচ ভাঙতে পারে এবং অ্যাপ্লিকেশন স্ট্যাকের অন্য কোথাও প্রয়োগ করা মাল্টি-টেনেন্সি মডেলের সাথে সামঞ্জস্যপূর্ণ অবকাঠামোর পুনঃব্যবহার অর্জন করতে পারে।

নিম্নলিখিত চিত্রটি একটি সেজমেকার মাল্টি-মডেল এন্ডপয়েন্টের আর্কিটেকচারকে চিত্রিত করে।

সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট গতিশীলভাবে মডেলগুলি লোড করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) যখন এন্ডপয়েন্ট তৈরি করা হয় তখন সমস্ত মডেল ডাউনলোড করার পরিবর্তে, যখন আহ্বান করা হয়। ফলস্বরূপ, একটি মডেলের জন্য একটি প্রাথমিক আমন্ত্রণ পরবর্তী অনুমানের তুলনায় উচ্চতর অনুমান বিলম্ব দেখতে পারে, যা কম বিলম্বে সম্পন্ন হয়। যদি আহ্বান করার সময় মডেলটি ইতিমধ্যেই কন্টেইনারে লোড করা থাকে, তাহলে ডাউনলোডের ধাপটি এড়িয়ে যায় এবং মডেলটি কম লেটেন্সি সহ অনুমানগুলি প্রদান করে৷ উদাহরণস্বরূপ, ধরে নিন আপনার কাছে এমন একটি মডেল রয়েছে যা দিনে কয়েকবার ব্যবহার করা হয়। এটি স্বয়ংক্রিয়ভাবে চাহিদা অনুযায়ী লোড হয়, যখন ঘন ঘন অ্যাক্সেস করা মডেলগুলি মেমরিতে রাখা হয় এবং ধারাবাহিকভাবে কম বিলম্বের সাথে আহ্বান করা হয়।

Zendesk তাদের সাজেস্টেড ম্যাক্রো ML বৈশিষ্ট্যের সাথে সাশ্রয়ী, হাইপার-স্কেল এমএল স্থাপনা অর্জন করতে কীভাবে সেজমেকার এমএমই ব্যবহার করেছে তা ঘনিষ্ঠভাবে দেখে নেওয়া যাক।

কেন Zendesk হাইপার-পার্সোনালাইজড মডেল তৈরি করেছে

Zendesk-এর গ্রাহকরা বিভিন্ন সাপোর্ট টিকিটের শব্দার্থ সহ বিভিন্ন শিল্প ভার্টিক্যালে বিশ্বব্যাপী ছড়িয়ে পড়েছে। অতএব, তাদের গ্রাহকদের সর্বোত্তম পরিষেবা দেওয়ার জন্য, তাদের প্রায়শই ব্যক্তিগতকৃত মডেল তৈরি করতে হয় যেগুলি সঠিকভাবে অভিপ্রায়, ম্যাক্রো এবং আরও অনেক কিছু সনাক্ত করতে গ্রাহক-নির্দিষ্ট সমর্থন টিকিটের ডেটাতে প্রশিক্ষিত।

2021 সালের অক্টোবরে, তারা একটি নতুন NLP ML বৈশিষ্ট্য প্রকাশ করেছে, সাজেস্টেড ম্যাক্রো, যা হাজার হাজার গ্রাহক-নির্দিষ্ট মডেলের পূর্বাভাসের উপর ভিত্তি করে ম্যাক্রো (পূর্বনির্ধারিত ক্রিয়া) সুপারিশ করে। Zendesk-এর ML টিম একটি TensorFlow-ভিত্তিক NLP ক্লাসিফায়ার মডেল তৈরি করেছে যা টিকিট বিষয়বস্তুর পূর্ববর্তী ইতিহাস থেকে প্রশিক্ষিত এবং গ্রাহক প্রতি ম্যাক্রো। এই মডেলগুলি উপলব্ধ থাকায়, যখনই কোনও এজেন্ট টিকিটটি দেখেন তখন একটি ম্যাক্রো ভবিষ্যদ্বাণী সুপারিশ করা হয় (নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে), যা এজেন্টকে দ্রুত গ্রাহকদের পরিষেবা দিতে সহায়তা করে৷ যেহেতু ম্যাক্রোগুলি গ্রাহকদের জন্য নির্দিষ্ট, তাই সঠিক ভবিষ্যদ্বাণী পরিবেশনের জন্য Zendesk-এর গ্রাহক-নির্দিষ্ট মডেলের প্রয়োজন৷

Zendesk এর সাজেস্টেড ম্যাক্রোর আড়ালে

প্রস্তাবিত ম্যাক্রো মডেলগুলি হল NLP-ভিত্তিক নিউরাল নেট যেগুলির আকার প্রায় 7-15 MB। প্রধান চ্যালেঞ্জ হল খরচ-দক্ষ, নির্ভরযোগ্য এবং মাপযোগ্য সমাধান সহ এই হাজার হাজার মডেলকে উৎপাদনে রাখা।

প্রতি সেকেন্ডে ন্যূনতম দুটি অনুরোধ এবং প্রতি সেকেন্ডে শত শত অনুরোধের সর্বোচ্চ সহ প্রতিটি মডেলের বিভিন্ন ট্র্যাফিক প্যাটার্ন রয়েছে, যখন মডেলটি মেমরিতে উপলব্ধ থাকে তখন প্রায় 100 মিলিসেকেন্ডের মডেল লেটেন্সি সহ প্রতিদিন লক্ষ লক্ষ ভবিষ্যদ্বাণী পরিবেশন করে৷ সেজমেকার এন্ডপয়েন্ট একাধিক AWS অঞ্চলে মোতায়েন করা হয়েছে, প্রতি মিনিটে হাজার হাজার অনুরোধ পরিবেশন করে।

একটি একক এন্ডপয়েন্টে একাধিক মডেল হোস্ট করার ক্ষমতা সহ, সেজমেকার জেনডেস্ককে ডিপ্লোয়মেন্ট ওভারহেড কমাতে এবং গ্রাহক প্রতি একটি একক-মডেল এন্ডপয়েন্ট স্থাপনের তুলনায় একটি সাশ্রয়ী সমাধান তৈরি করতে সহায়তা করেছে। এখানে ট্রেডঅফ প্রতি-মডেল ব্যবস্থাপনার উপর কম নিয়ন্ত্রণ; যাইহোক, এটি এমন একটি এলাকা যেখানে মাল্টি-মডেল এন্ডপয়েন্ট উন্নত করতে Zendesk AWS-এর সাথে সহযোগিতা করছে।

SageMaker মাল্টি-মডেল বৈশিষ্ট্যগুলির মধ্যে একটি হল মডেলগুলির অলস লোডিং, অর্থাৎ, মডেলগুলি যখন প্রথমবার আহ্বান করা হয় তখন মেমরিতে লোড হয়৷ এটি মেমরি ব্যবহার অপ্টিমাইজ করা হয়; যাইহোক, এটি প্রথম লোডের প্রতিক্রিয়া সময় স্পাইক সৃষ্টি করে, যা একটি কোল্ড স্টার্ট সমস্যা হিসাবে দেখা যেতে পারে। প্রস্তাবিত ম্যাক্রোদের জন্য, এটি একটি চ্যালেঞ্জ ছিল; যাইহোক, জেনডেস্ক সেজমেকার এন্ডপয়েন্টের উপরে একটি প্রিলোডিং কার্যকারিতা প্রয়োগ করে এটিকে কাটিয়ে উঠল যাতে উত্পাদন ট্র্যাফিক পরিবেশন করার আগে মডেলগুলিকে মেমরিতে লোড করা যায়। দ্বিতীয়ত, MME মেমরি থেকে কদাচিৎ ব্যবহৃত মডেলগুলিকে আনলোড করে, তাই সমস্ত মডেলে সামঞ্জস্যপূর্ণ কম লেটেন্সি অর্জন করতে এবং অন্যান্য কম সক্রিয় মডেলগুলিকে প্রভাবিত করে "কোলাহলপূর্ণ প্রতিবেশী" এড়াতে, Zendesk AWS-এর সাথে নতুন বৈশিষ্ট্য যোগ করার জন্য সহযোগিতা করছে, পোস্টে পরে আলোচনা করা হয়েছে, সক্ষম করতে মডেল প্রতি আরো সুস্পষ্ট ব্যবস্থাপনা. উপরন্তু, একটি অন্তর্বর্তী সমাধান হিসাবে, Zendesk অনেকগুলি মডেল আনলোডিং কমাতে MME ফ্লিটকে ডান-আকার করেছে। এটির মাধ্যমে, Zendesk তাদের সমস্ত গ্রাহকদের কাছে কম লেটেন্সি, প্রায় 100 মিলিসেকেন্ডে ভবিষ্যদ্বাণী পরিবেশন করতে সক্ষম হয় এবং ডেডিকেটেড এন্ডপয়েন্টের তুলনায় এখনও 90% খরচ সাশ্রয় করে।

রাইট-সাইজিং MME-এ, Zendesk লোড পরীক্ষার সময় লক্ষ্য করেছে যে MME-এর পিছনে উচ্চ সংখ্যক ছোট উদাহরণ (অনুভূমিক স্কেলিং-এর পক্ষপাত) থাকা কম বড় মেমরি উদাহরণ (উল্লম্ব স্কেলিং) থাকার চেয়ে একটি ভাল পছন্দ। জেনডেস্ক পর্যবেক্ষণ করেছে যে একটি একক বড় মেমরির উদাহরণে অনেকগুলি মডেল (তাদের ক্ষেত্রে 500 টি টেনসরফ্লো মডেলের বাইরে) বিন প্যাক করা ভাল কাজ করে না কারণ মেমরি একটি উদাহরণের একমাত্র সংস্থান নয় যা বাধা হতে পারে। আরও নির্দিষ্টভাবে, তারা লক্ষ্য করেছেন যে টেনসরফ্লো মডেল প্রতি একাধিক থ্রেড (3 x মোট ইনস্ট্যান্স vCPUs) তৈরি করেছে, তাই একটি একক দৃষ্টান্তে 500টির বেশি মডেল লোড করার ফলে একটি উদাহরণে তৈরি করা যেতে পারে এমন সর্বাধিক সংখ্যক থ্রেডের উপর কার্নেল স্তরের সীমা লঙ্ঘন করা হয়েছে। কম, বৃহত্তর দৃষ্টান্ত ব্যবহার করার সাথে আরেকটি সমস্যা দেখা দেয় যখন জেনডেস্ক MME এর পিছনে কিছু উদাহরণে থ্রটলিং (একটি নিরাপত্তা ব্যবস্থা হিসাবে) অনুভব করেছিল কারণ প্রতি সেকেন্ডে অনন্য মডেল আহ্বানের হার অতিক্রম করেছিল মাল্টি মডেল সার্ভার (MMS) একটি একক দৃষ্টান্তে দৃষ্টান্তটিকে ব্রাউন না করে নিরাপদে পরিচালনা করতে পারে। এটি আরও একটি সমস্যা ছিল যা আরও এবং ছোট উদাহরণ ব্যবহার করে সমাধান করা হয়েছিল।

পর্যবেক্ষণযোগ্যতার দৃষ্টিকোণ থেকে, যা যেকোন উত্পাদন অ্যাপ্লিকেশনের একটি গুরুত্বপূর্ণ উপাদান, অ্যামাজন ক্লাউডওয়াচ ইনভোকেশন, সিপিইউ, মেমরি ইউটিলাইজেশনের মতো মেট্রিক্স এবং মেমরিতে লোড করা মডেল, মডেল লোডিং টাইম, মডেল লোড অপেক্ষার সময় এবং মডেল ক্যাশে হিটের মতো মাল্টি মডেল-নির্দিষ্ট মেট্রিক্স তথ্যপূর্ণ। বিশেষত, মডেল লেটেন্সির ভাঙ্গন জেনডেস্ককে কোল্ড স্টার্ট সমস্যা এবং এর প্রভাব বুঝতে সাহায্য করেছে।

MME স্বয়ংক্রিয় স্কেলিং ফণা অধীনে

প্রতিটি মাল্টি-মডেল এন্ডপয়েন্টের পিছনে, মডেল হোস্টিং উদাহরণ রয়েছে, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে। এই দৃষ্টান্তগুলি মডেলগুলিতে ট্র্যাফিক প্যাটার্নের উপর ভিত্তি করে মেমরিতে এবং থেকে একাধিক মডেল লোড এবং উচ্ছেদ করে।

সেজমেকার একটি মডেলের জন্য অনুমান অনুরোধগুলিকে এমন দৃষ্টান্তে রুট করে চলেছে যেখানে মডেলটি ইতিমধ্যে লোড করা হয়েছে যাতে অনুরোধগুলি ক্যাশ করা মডেল অনুলিপি থেকে পরিবেশন করা হয় (নিম্নলিখিত চিত্রটি দেখুন, যা প্রথম পূর্বাভাস অনুরোধ বনাম ক্যাশে ভবিষ্যদ্বাণী অনুরোধের অনুরোধের পথ দেখায়) পথ)। যাইহোক, যদি মডেলটি অনেক আহ্বানের অনুরোধ পায়, এবং মাল্টি-মডেল এন্ডপয়েন্টের জন্য অতিরিক্ত দৃষ্টান্ত থাকে, সেজমেকার কিছু অনুরোধকে অন্য একটি উদাহরণে রুট করে বৃদ্ধিকে মিটমাট করার জন্য। SageMaker-এ স্বয়ংক্রিয় মডেল স্কেলিং সুবিধা নিতে, আপনার আছে তা নিশ্চিত করুন উদাহরণ স্বয়ংক্রিয় স্কেলিং সেট আপ অতিরিক্ত উদাহরণ ক্ষমতা বিধান করতে. এন্ডপয়েন্ট ফ্লীটে আরও দৃষ্টান্ত যোগ করতে কাস্টম প্যারামিটার বা প্রতি মিনিটে আহ্বান (প্রস্তাবিত) সহ আপনার এন্ডপয়েন্ট-লেভেল স্কেলিং নীতি সেট আপ করুন।

MME এর জন্য সবচেয়ে উপযুক্ত কেস ব্যবহার করুন

সেজমেকার মাল্টি-মডেল এন্ডপয়েন্টগুলি প্রচুর সংখ্যক অনুরূপ মডেল হোস্ট করার জন্য উপযুক্ত যা আপনি একটি শেয়ার্ড সার্ভিং কন্টেইনারের মাধ্যমে পরিবেশন করতে পারেন এবং একই সময়ে সমস্ত মডেল অ্যাক্সেস করার প্রয়োজন নেই৷ এমএমই মডেলগুলির জন্য সবচেয়ে উপযুক্ত যেগুলির আকার এবং আমন্ত্রণ বিলম্বিত। মডেল আকারের কিছু বৈচিত্র গ্রহণযোগ্য; উদাহরণ স্বরূপ, Zendesk-এর মডেলের রেঞ্জ 10-50 Mb, যা সূক্ষ্ম কাজ করে, কিন্তু 10, 50, বা 100 গুণ বেশি ফ্যাক্টরের আকারের ভিন্নতা উপযুক্ত নয়। পর্যাপ্ত মেমরি স্পেস মিটমাট করার জন্য বড় মডেলগুলি অনেক বেশি সংখ্যক লোড এবং ছোট মডেল আনলোড করতে পারে, যার ফলে শেষ পয়েন্টে অতিরিক্ত বিলম্বিত হতে পারে। বড় মডেলের পারফরম্যান্স বৈশিষ্ট্যের পার্থক্যগুলি সিপিইউ-এর মতো সংস্থানগুলিকে অসমভাবে ব্যবহার করতে পারে, যা উদাহরণে অন্যান্য মডেলগুলিকে প্রভাবিত করতে পারে।

MME সহ-হোস্টিং মডেলগুলির জন্যও ডিজাইন করা হয়েছে যেগুলি একই ML ফ্রেমওয়ার্ক ব্যবহার করে কারণ তারা একাধিক মডেল লোড করতে শেয়ার্ড কন্টেইনার ব্যবহার করে। অতএব, যদি আপনার মডেল ফ্লিটে ML ফ্রেমওয়ার্কের মিশ্রণ থাকে (যেমন PyTorch এবং TensorFlow), SageMaker ডেডিকেটেড এন্ডপয়েন্ট বা মাল্টি-কন্টেইনার হোস্টিং একটি ভাল পছন্দ। অবশেষে, এমএমই এমন অ্যাপ্লিকেশনগুলির জন্য উপযুক্ত যেগুলি মাঝে মাঝে কোল্ড স্টার্ট লেটেন্সি পেনাল্টি সহ্য করতে পারে কারণ কদাচিৎ ব্যবহৃত মডেলগুলি ঘন ঘন আহ্বান করা মডেলগুলির পক্ষে অফ-লোড হতে পারে। যদি আপনার কাছে কদাচিৎ অ্যাক্সেস করা মডেলগুলির একটি দীর্ঘ লেজ থাকে, তাহলে একটি মাল্টি-মডেল এন্ডপয়েন্ট দক্ষতার সাথে এই ট্র্যাফিকটি পরিবেশন করতে পারে এবং উল্লেখযোগ্য খরচ সঞ্চয় সক্ষম করতে পারে।

সারাংশ

এই পোস্টে, আপনি শিখেছেন কীভাবে SaaS এবং মাল্টি-টেন্যান্সি ML-এর সাথে সম্পর্কিত এবং কীভাবে SageMaker মাল্টি-মডেল এন্ডপয়েন্টগুলি ML অনুমানের জন্য মাল্টি-টেনেন্সি এবং খরচ-দক্ষতা সক্ষম করে। আপনি Zendesk-এর প্রতি-গ্রাহক ML মডেলের মাল্টি-টেন্যান্টেড ব্যবহারের ক্ষেত্রে এবং কীভাবে তারা তাদের সাজেস্টেড ম্যাক্রো বৈশিষ্ট্যের জন্য SageMaker MME-তে হাজার হাজার ML মডেল হোস্ট করেছে এবং ডেডিকেটেড এন্ডপয়েন্টের তুলনায় অনুমানে 90% খরচ সাশ্রয় করেছে সে সম্পর্কে শিখেছেন। হাইপার-পার্সোনালাইজেশন ব্যবহারের ক্ষেত্রে হাজার হাজার ML মডেলের প্রয়োজন হতে পারে এবং MME এই ব্যবহারের ক্ষেত্রে একটি সাশ্রয়ী পছন্দ। কম লেটেন্সি সহ মডেলগুলি হোস্ট করতে এবং প্রতিটি ব্যক্তিগতকৃত মডেলের জন্য আরও দানাদার নিয়ন্ত্রণ সহ আপনাকে সক্ষম করতে আমরা MME-তে উন্নতি করা চালিয়ে যাব। MME এর সাথে শুরু করতে, দেখুন একটি শেষ পয়েন্টের পিছনে একটি পাত্রে একাধিক মডেল হোস্ট করুন.

---

লেখক সম্পর্কে

সৈয়দ জাফরি AWS সহ একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি ক্লাউডে সুরক্ষিত, স্থিতিস্থাপক, স্কেলযোগ্য এবং উচ্চ কার্যকারিতা অ্যাপ্লিকেশনগুলি তৈরি এবং পরিচালনা করতে সাহায্য করার জন্য মাঝারি আকারের সংস্থাগুলি থেকে শুরু করে বড় উদ্যোগ, ISV-এর আর্থিক পরিষেবাগুলিতে বিভিন্ন সংস্থার সাথে কাজ করেন৷

সৌম্য মানুসানি জেনডেস্কের একজন সিনিয়র স্টাফ মেশিন লার্নিং ইঞ্জিনিয়ার। তিনি NLP-ভিত্তিক মেশিন লার্নিং বৈশিষ্ট্যগুলিকে উত্পাদনশীল করার জন্য কাজ করেন যা হাজার হাজার Zendesk এন্টারপ্রাইজ গ্রাহকদের জন্য এজেন্ট উত্পাদনশীলতা উন্নত করার উপর ফোকাস করে। হাজার হাজার ব্যক্তিগতকৃত মডেলের জন্য স্বয়ংক্রিয় প্রশিক্ষণ পাইপলাইন তৈরি করার এবং সুরক্ষিত, স্থিতিস্থাপক, মাপযোগ্য এবং উচ্চ-পারফরম্যান্স অ্যাপ্লিকেশন ব্যবহার করে সেগুলি পরিবেশন করার অভিজ্ঞতা রয়েছে তার। তার অবসর সময়ে, তিনি ধাঁধা সমাধান করতে এবং পেইন্টিং চেষ্টা করতে পছন্দ করেন।

সৌরভ ত্রিকন্দে অ্যামাজন সেজমেকার ইনফারেন্সের জন্য একজন সিনিয়র প্রোডাক্ট ম্যানেজার। তিনি গ্রাহকদের সাথে কাজ করার এবং মেশিন লার্নিংকে আরও অ্যাক্সেসযোগ্য করে তোলার বিষয়ে আগ্রহী। অবসর সময়ে, সৌরভ হাইকিং উপভোগ করেন, উদ্ভাবনী প্রযুক্তি সম্পর্কে শেখেন, টেকক্রাঞ্চ অনুসরণ করেন এবং তার পরিবারের সাথে সময় কাটান।

দীপ্তি রাঘা অ্যামাজন সেজমেকার দলের একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তার বর্তমান কাজটি মেশিন লার্নিং মডেলগুলিকে দক্ষতার সাথে হোস্ট করার জন্য বৈশিষ্ট্যগুলি তৈরি করার উপর দৃষ্টি নিবদ্ধ করে৷ তার অবসর সময়ে, তিনি ভ্রমণ, হাইকিং এবং গাছপালা বৃদ্ধি উপভোগ করেন।

• Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
• ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
• সূত্র: https://aws.amazon.com/blogs/machine-learning/how-to-scale-machine-learning-inference-for-multi-tenant-saas-use-cases/