আমাজন সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট (MMEs) SageMaker অনুমানের একটি সম্পূর্ণরূপে পরিচালিত ক্ষমতা যা আপনাকে একক শেষ পয়েন্টে হাজার হাজার মডেল স্থাপন করতে দেয়। পূর্বে, এমএমইগুলি পূর্ব-নির্ধারিতভাবে মডেলগুলিতে সিপিইউ কম্পিউটিং শক্তি বরাদ্দ করে স্থিরভাবে মডেল ট্রাফিক লোড নির্বিশেষে, ব্যবহার করে মাল্টি মডেল সার্ভার (MMS) এর মডেল সার্ভার হিসাবে। এই পোস্টে, আমরা একটি সমাধান নিয়ে আলোচনা করেছি যেখানে একটি MME মডেলের ট্রাফিক প্যাটার্নের উপর ভিত্তি করে প্রতিটি মডেলের জন্য নির্ধারিত কম্পিউট পাওয়ারকে গতিশীলভাবে সামঞ্জস্য করতে পারে। এই সমাধানটি আপনাকে MME-এর অন্তর্নিহিত গণনা আরও দক্ষতার সাথে ব্যবহার করতে এবং খরচ বাঁচাতে সক্ষম করে।
এমএমই এন্ডপয়েন্টে আগত ট্রাফিকের উপর ভিত্তি করে গতিশীলভাবে মডেল লোড এবং আনলোড করে। মডেল সার্ভার হিসাবে MMS ব্যবহার করার সময়, MMEs প্রতিটি মডেলের জন্য একটি নির্দিষ্ট সংখ্যক মডেল কর্মী বরাদ্দ করে। আরো তথ্যের জন্য, পড়ুন আমাজন সেজমেকারে মডেল হোস্টিং প্যাটার্ন, পার্ট 3: অ্যামাজন সেজমেকার মাল্টি-মডেল এন্ডপয়েন্টের সাথে মাল্টি-মডেল ইনফারেন্স চালান এবং অপ্টিমাইজ করুন.
যাইহোক, আপনার ট্র্যাফিক প্যাটার্ন পরিবর্তনশীল হলে এটি কিছু সমস্যার কারণ হতে পারে। ধরা যাক আপনার একটি একক বা কয়েকটি মডেল প্রচুর পরিমাণে ট্র্যাফিক পাচ্ছে৷ আপনি এই মডেলগুলির জন্য উচ্চ সংখ্যক কর্মী বরাদ্দ করতে MMS কনফিগার করতে পারেন, কিন্তু এটি MME এর পিছনে থাকা সমস্ত মডেলের জন্য বরাদ্দ করা হয় কারণ এটি একটি স্ট্যাটিক কনফিগারেশন। এটি হার্ডওয়্যার কম্পিউট-এমনকি নিষ্ক্রিয় মডেলগুলি ব্যবহার করে বিপুল সংখ্যক শ্রমিকের দিকে পরিচালিত করে। আপনি যদি শ্রমিকের সংখ্যার জন্য একটি ছোট মান সেট করেন তবে বিপরীত সমস্যা ঘটতে পারে। জনপ্রিয় মডেলগুলিতে এই মডেলগুলির জন্য শেষ পয়েন্টের পিছনে যথেষ্ট হার্ডওয়্যার সঠিকভাবে বরাদ্দ করার জন্য মডেল সার্ভার স্তরে পর্যাপ্ত কর্মী থাকবে না। মূল সমস্যাটি হল যে ট্রাফিক প্যাটার্ন অজ্ঞেয়বাদী থাকা কঠিন যদি আপনি গতিশীলভাবে আপনার কর্মীদের মডেল সার্ভার স্তরে প্রয়োজনীয় পরিমাণ গণনা বরাদ্দ করতে না পারেন।
আমরা এই পোস্টে আলোচনা করা সমাধান ব্যবহার করে ডিজেএলসেভিং মডেল সার্ভার হিসাবে, যা আমরা আলোচনা করেছি এমন কিছু সমস্যা প্রশমিত করতে সাহায্য করতে পারে এবং প্রতি-মডেল স্কেলিং সক্ষম করে এবং MME গুলিকে ট্রাফিক প্যাটার্ন অজ্ঞেয়বাদী হতে সক্ষম করে।
এমএমই আর্কিটেকচার
সেজমেকার এমএমই আপনাকে একটি একক অনুমান শেষ পয়েন্টের পিছনে একাধিক মডেল স্থাপন করতে সক্ষম করে যাতে এক বা একাধিক উদাহরণ থাকতে পারে। প্রতিটি উদাহরণ তার মেমরি এবং CPU/GPU ক্ষমতা পর্যন্ত একাধিক মডেল লোড এবং পরিবেশন করার জন্য ডিজাইন করা হয়েছে। এই আর্কিটেকচারের সাহায্যে, একটি সফ্টওয়্যার হিসাবে একটি পরিষেবা (SaaS) ব্যবসা একাধিক মডেল হোস্ট করার রৈখিকভাবে ক্রমবর্ধমান খরচ ভাঙ্গতে পারে এবং অ্যাপ্লিকেশন স্ট্যাকের অন্য কোথাও প্রয়োগ করা বহু-ভাড়াবাড়ি মডেলের সাথে সামঞ্জস্যপূর্ণ অবকাঠামোর পুনঃব্যবহার অর্জন করতে পারে। নিচের চিত্রটি এই স্থাপত্যকে তুলে ধরে।
একটি SageMaker MME গতিশীলভাবে মডেলগুলি লোড করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) যখন এন্ডপয়েন্ট প্রথম তৈরি করা হয় তখন সমস্ত মডেল ডাউনলোড করার পরিবর্তে। ফলস্বরূপ, একটি মডেলের জন্য একটি প্রাথমিক আমন্ত্রণ পরবর্তী অনুমানের তুলনায় উচ্চতর অনুমান বিলম্ব দেখতে পারে, যা কম বিলম্বে সম্পন্ন হয়। যদি আহ্বান করার সময় মডেলটি ইতিমধ্যেই কন্টেইনারে লোড করা থাকে, তাহলে ডাউনলোডের ধাপটি এড়িয়ে যায় এবং মডেলটি কম বিলম্বের সাথে অনুমানগুলি প্রদান করে৷ উদাহরণস্বরূপ, ধরে নিন আপনার কাছে এমন একটি মডেল রয়েছে যা দিনে কয়েকবার ব্যবহার করা হয়। এটি চাহিদা অনুযায়ী স্বয়ংক্রিয়ভাবে লোড হয়, যেখানে ঘন ঘন অ্যাক্সেস করা মডেলগুলি মেমরিতে রাখা হয় এবং ধারাবাহিকভাবে কম বিলম্বের সাথে আহ্বান করা হয়।
প্রতিটি MME এর পিছনে মডেল হোস্টিং উদাহরণ রয়েছে, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে। এই উদাহরণগুলি মডেলগুলিতে ট্র্যাফিক প্যাটার্নের উপর ভিত্তি করে মেমরিতে এবং থেকে একাধিক মডেল লোড এবং উচ্ছেদ করে৷
সেজমেকার একটি মডেলের জন্য অনুমান অনুরোধগুলিকে এমন দৃষ্টান্তে রুট করে চলেছে যেখানে মডেলটি ইতিমধ্যে লোড করা হয়েছে যাতে অনুরোধগুলি একটি ক্যাশে মডেল অনুলিপি থেকে পরিবেশন করা হয় (নিম্নলিখিত চিত্রটি দেখুন, যা প্রথম পূর্বাভাস অনুরোধ বনাম ক্যাশে ভবিষ্যদ্বাণীর অনুরোধের পথ দেখায়) অনুরোধের পথ)। যাইহোক, যদি মডেলটি অনেকগুলি আহ্বানের অনুরোধ পায়, এবং MME-এর জন্য অতিরিক্ত উদাহরণ থাকে, সেজমেকার কিছু অনুরোধগুলিকে অন্য একটি উদাহরণে রুট করে বৃদ্ধিকে মিটমাট করার জন্য। SageMaker-এ স্বয়ংক্রিয় মডেল স্কেলিং সুবিধা নিতে, নিশ্চিত করুন যে আপনার আছে উদাহরণ স্বয়ংক্রিয় স্কেলিং সেট আপ অতিরিক্ত উদাহরণ ক্ষমতা বিধান করতে. এন্ডপয়েন্ট ফ্লীটে আরও দৃষ্টান্ত যোগ করতে কাস্টম প্যারামিটার বা প্রতি মিনিটে আহ্বান (প্রস্তাবিত) সহ আপনার এন্ডপয়েন্ট-লেভেল স্কেলিং নীতি সেট আপ করুন।
মডেল সার্ভার ওভারভিউ
একটি মডেল সার্ভার হল একটি সফ্টওয়্যার উপাদান যা মেশিন লার্নিং (এমএল) মডেল স্থাপন এবং পরিবেশন করার জন্য একটি রানটাইম পরিবেশ প্রদান করে। এটি প্রশিক্ষিত মডেল এবং ক্লায়েন্ট অ্যাপ্লিকেশনগুলির মধ্যে একটি ইন্টারফেস হিসাবে কাজ করে যারা এই মডেলগুলি ব্যবহার করে ভবিষ্যদ্বাণী করতে চায়।
একটি মডেল সার্ভারের প্রাথমিক উদ্দেশ্য হল উত্পাদন সিস্টেমে এমএল মডেলগুলির অনায়াস সংহতকরণ এবং দক্ষ স্থাপনার অনুমতি দেওয়া। মডেলটিকে সরাসরি একটি অ্যাপ্লিকেশন বা একটি নির্দিষ্ট কাঠামোর মধ্যে এম্বেড করার পরিবর্তে, মডেল সার্ভার একটি কেন্দ্রীভূত প্ল্যাটফর্ম সরবরাহ করে যেখানে একাধিক মডেল স্থাপন, পরিচালনা এবং পরিবেশন করা যেতে পারে।
মডেল সার্ভারগুলি সাধারণত নিম্নলিখিত কার্যকারিতাগুলি অফার করে:
- মডেল লোড হচ্ছে - সার্ভার প্রশিক্ষিত এমএল মডেলগুলিকে মেমরিতে লোড করে, তাদের ভবিষ্যদ্বাণী পরিবেশনের জন্য প্রস্তুত করে।
- ইনফারেন্স API - সার্ভার একটি API প্রকাশ করে যা ক্লায়েন্ট অ্যাপ্লিকেশনগুলিকে ইনপুট ডেটা পাঠাতে এবং স্থাপন করা মডেলগুলি থেকে ভবিষ্যদ্বাণী গ্রহণ করতে দেয়৷
- আরোহী - মডেল সার্ভারগুলি একাধিক ক্লায়েন্টের সমসাময়িক অনুরোধগুলি পরিচালনা করার জন্য ডিজাইন করা হয়েছে। তারা উচ্চ থ্রুপুট এবং কম লেটেন্সি নিশ্চিত করার জন্য সমান্তরাল প্রক্রিয়াকরণ এবং দক্ষতার সাথে সংস্থান পরিচালনার প্রক্রিয়া সরবরাহ করে।
- ব্যাকএন্ড ইঞ্জিনের সাথে ইন্টিগ্রেশন - মডেল সার্ভারগুলিতে ডিপস্পিড এবং ফাস্টার ট্রান্সফর্মারের মতো ব্যাকএন্ড ফ্রেমওয়ার্কগুলির সাথে একীকরণ রয়েছে যাতে বড় মডেলগুলিকে বিভাজন করা যায় এবং অত্যন্ত অপ্টিমাইজ করা অনুমান চালানো যায়।
ডিজেএল আর্কিটেকচার
ডিজেএল পরিবেশন করছে একটি ওপেন সোর্স, উচ্চ কর্মক্ষমতা, সর্বজনীন মডেল সার্ভার। ডিজেএল সার্ভিং এর উপরে নির্মিত ডিজেএল, জাভা প্রোগ্রামিং ভাষায় লেখা একটি গভীর শিক্ষার লাইব্রেরি। এটি একটি গভীর শিক্ষার মডেল, বেশ কয়েকটি মডেল বা ওয়ার্কফ্লো নিতে পারে এবং সেগুলিকে একটি HTTP এন্ডপয়েন্টের মাধ্যমে উপলব্ধ করতে পারে। DJL সার্ভিং PyTorch, TensorFlow, Apache MXNet, ONNX, TensorRT, Hugging Face Transformers, DeepSpeed, FasterTransformer এবং আরও অনেক কিছুর মত একাধিক ফ্রেমওয়ার্ক থেকে মডেল স্থাপন সমর্থন করে।
ডিজেএল সার্ভিং অনেকগুলি বৈশিষ্ট্য অফার করে যা আপনাকে আপনার মডেলগুলিকে উচ্চ কর্মক্ষমতা সহ স্থাপন করতে দেয়:
- ব্যবহারে সহজ - ডিজেএল সার্ভিং বাক্সের বাইরে বেশিরভাগ মডেল পরিবেশন করতে পারে। শুধু মডেল আর্টিফ্যাক্ট আনুন, এবং DJL সার্ভিং তাদের হোস্ট করতে পারে।
- একাধিক ডিভাইস এবং অ্যাক্সিলারেটর সমর্থন - ডিজেএল সার্ভিং সিপিইউ, জিপিইউ, এবং তে মডেল স্থাপন সমর্থন করে এডাব্লুএস ইনফেরেন্টিয়া.
- সম্পাদন – ডিজেএল সার্ভিং থ্রুপুট বাড়ানোর জন্য একটি একক JVM-এ মাল্টিথ্রেডেড ইনফারেন্স চালায়।
- ডায়নামিক ব্যাচিং - ডিজেএল সার্ভিং থ্রুপুট বাড়ানোর জন্য গতিশীল ব্যাচিং সমর্থন করে।
- স্বয়ংক্রিয় স্কেলিং - ডিজেএল সার্ভিং ট্রাফিক লোডের উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে কর্মীদের উপরে এবং নিচের দিকে স্কেল করবে।
- মাল্টি-ইঞ্জিন সমর্থন – ডিজেএল সার্ভিং একই সাথে বিভিন্ন ফ্রেমওয়ার্ক (যেমন পাইটর্চ এবং টেনসরফ্লো) ব্যবহার করে মডেলগুলি হোস্ট করতে পারে।
- এনসেম্বল এবং ওয়ার্কফ্লো মডেল – ডিজেএল সার্ভিং একাধিক মডেলের সমন্বয়ে গঠিত জটিল ওয়ার্কফ্লো স্থাপন সমর্থন করে এবং সিপিইউতে ওয়ার্কফ্লো এবং জিপিইউতে অংশগুলি চালায়। একটি ওয়ার্কফ্লো মধ্যে মডেল বিভিন্ন ফ্রেমওয়ার্ক ব্যবহার করতে পারেন.
বিশেষ করে, ডিজেএল সার্ভিংয়ের স্বয়ংক্রিয় স্কেলিং বৈশিষ্ট্যটি আগত ট্র্যাফিকের জন্য মডেলগুলি যথাযথভাবে স্কেল করা হয়েছে তা নিশ্চিত করা সহজ করে তোলে। ডিফল্টরূপে, ডিজেএল সার্ভিং একটি মডেলের জন্য সর্বাধিক সংখ্যক কর্মী নির্ধারণ করে যা উপলব্ধ হার্ডওয়্যার (সিপিইউ কোর, জিপিইউ ডিভাইস) এর উপর ভিত্তি করে সমর্থিত হতে পারে। ন্যূনতম ট্র্যাফিক স্তর সর্বদা পরিবেশন করা যায় তা নিশ্চিত করতে আপনি প্রতিটি মডেলের জন্য নিম্ন এবং উপরের সীমানা সেট করতে পারেন এবং একটি একক মডেল সমস্ত উপলব্ধ সংস্থান গ্রহণ করে না।
DJL পরিবেশন একটি ব্যবহার করে Netty ব্যাকএন্ড কর্মী থ্রেড পুলের উপরে ফ্রন্টএন্ড। ফ্রন্টএন্ড একাধিক সহ একটি একক Netty সেটআপ ব্যবহার করে HttpRequestHandlers. বিভিন্ন অনুরোধ হ্যান্ডলার জন্য সমর্থন প্রদান করবে ইনফারেন্স API, পরিচালনা API, বা অন্যান্য এপিআই বিভিন্ন প্লাগইন থেকে উপলব্ধ।
ব্যাকএন্ড এর চারপাশে ভিত্তি করে ওয়ার্কলোড ম্যানেজার (WLM) মডিউল। WLM প্রতিটি মডেলের জন্য একাধিক কর্মী থ্রেডের যত্ন নেয় ব্যাচিং এবং তাদের কাছে রাউটিং করার অনুরোধ করে। যখন একাধিক মডেল পরিবেশন করা হয়, WLM প্রথমে প্রতিটি মডেলের অনুমান অনুরোধ সারি আকার পরীক্ষা করে। যদি সারির আকার মডেলের ব্যাচের আকারের দুই গুণের বেশি হয়, WLM সেই মডেলের জন্য নির্ধারিত কর্মীদের সংখ্যা বাড়িয়ে দেয়।
সমাধান ওভারভিউ
একটি MME এর সাথে DJL এর বাস্তবায়ন ডিফল্ট MMS সেটআপ থেকে আলাদা। একটি MME-এর সাথে ডিজেএল পরিবেশনের জন্য, আমরা SageMaker ইনফারেন্স আশা করা মডেল.tar.gz ফর্ম্যাটে নিম্নলিখিত ফাইলগুলিকে সংকুচিত করি:
- মডেল.জবলিব - এই বাস্তবায়নের জন্য, আমরা সরাসরি মডেল মেটাডেটা টারবলে পুশ করি। এই ক্ষেত্রে, আমরা একটি সঙ্গে কাজ করছি
.joblib
ফাইল, তাই আমরা আমাদের অনুমান স্ক্রিপ্ট পড়ার জন্য আমাদের টারবলে সেই ফাইলটি সরবরাহ করি। আর্টিফ্যাক্টটি খুব বড় হলে, আপনি এটিকে Amazon S3-এ ঠেলে দিতে পারেন এবং ডিজেএল-এর জন্য আপনার সংজ্ঞায়িত পরিবেশন কনফিগারেশনের দিকে নির্দেশ করতে পারেন। - serving.properties - এখানে আপনি সার্ভার-সম্পর্কিত যেকোনো মডেল কনফিগার করতে পারেন পরিবেশের পরিবর্তনশীল. এখানে DJL এর ক্ষমতা হল আপনি কনফিগার করতে পারেন
minWorkers
এবংmaxWorkers
প্রতিটি মডেল টারবলের জন্য। এটি প্রতিটি মডেলের জন্য মডেল সার্ভার স্তরে স্কেল আপ এবং ডাউন করার অনুমতি দেয়। উদাহরণস্বরূপ, যদি একটি একক মডেল একটি MME এর জন্য বেশিরভাগ ট্র্যাফিক গ্রহণ করে, মডেল সার্ভার গতিশীলভাবে কর্মীদের স্কেল করবে। এই উদাহরণে, আমরা এই ভেরিয়েবলগুলি কনফিগার করি না এবং ডিজেএলকে আমাদের ট্র্যাফিক প্যাটার্নের উপর নির্ভর করে প্রয়োজনীয় সংখ্যক কর্মী নির্ধারণ করতে দিই। - model.py - এটি যে কোনো কাস্টম প্রিপ্রসেসিং বা পোস্টপ্রসেসিংয়ের জন্য অনুমান স্ক্রিপ্ট যা আপনি বাস্তবায়ন করতে চান। model.py আশা করে যে আপনার লজিক ডিফল্টরূপে একটি হ্যান্ডেল পদ্ধতিতে এনক্যাপসুলেট করা হবে।
- requirements.txt (ঐচ্ছিক) - ডিফল্টরূপে, ডিজেএল পাইটর্চের সাথে ইনস্টল করা হয়, তবে আপনার প্রয়োজনীয় যেকোন অতিরিক্ত নির্ভরতা এখানে পুশ করা যেতে পারে।
এই উদাহরণের জন্য, আমরা একটি নমুনা SKLearn মডেল নিয়ে একটি MME এর সাথে DJL-এর শক্তি প্রদর্শন করি। আমরা এই মডেলের সাথে একটি প্রশিক্ষণের কাজ চালাই এবং তারপর আমাদের MME ব্যাক করার জন্য এই মডেলের আর্টিফ্যাক্টের 1,000 কপি তৈরি করি। তারপরে আমরা দেখাই যে কীভাবে ডিজেএল গতিশীলভাবে স্কেল করতে পারে আপনার MME যে কোনও ধরণের ট্র্যাফিক প্যাটার্ন পরিচালনা করতে পারে। এতে সমস্ত মডেল জুড়ে ট্র্যাফিকের সমান বন্টন বা এমনকি কয়েকটি জনপ্রিয় মডেলের বেশিরভাগ ট্র্যাফিক প্রাপ্ত করা অন্তর্ভুক্ত থাকতে পারে। আপনি নিম্নলিখিত সমস্ত কোড খুঁজে পেতে পারেন গিটহুব রেপো.
পূর্বশর্ত
এই উদাহরণের জন্য, আমরা একটি conda_python3 কার্নেল এবং ml.c5.xlarge উদাহরণ সহ একটি SageMaker নোটবুক উদাহরণ ব্যবহার করি। লোড পরীক্ষা করতে, আপনি একটি ব্যবহার করতে পারেন অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) উদাহরণ বা একটি বড় সেজমেকার নোটবুক উদাহরণ। এই উদাহরণে, আমরা প্রতি সেকেন্ডে এক হাজারের বেশি লেনদেন (TPS) স্কেল করি, তাই আমরা একটি ভারী EC2 উদাহরণ যেমন ml.c5.18xlarge-এ পরীক্ষা করার পরামর্শ দিই যাতে আপনার সাথে কাজ করার জন্য আরও গণনা থাকে৷
একটি মডেল আর্টিফ্যাক্ট তৈরি করুন
আমাদের প্রথমে আমাদের মডেল আর্টিফ্যাক্ট এবং ডেটা তৈরি করতে হবে যা আমরা এই উদাহরণে ব্যবহার করি। এই ক্ষেত্রে, আমরা NumPy দিয়ে কিছু কৃত্রিম ডেটা তৈরি করি এবং নিম্নলিখিত কোড স্নিপেট সহ একটি SKLearn লিনিয়ার রিগ্রেশন মডেল ব্যবহার করে ট্রেন করি:
আপনি পূর্ববর্তী কোড চালানোর পরে, আপনার একটি থাকা উচিত model.joblib
আপনার স্থানীয় পরিবেশে তৈরি করা ফাইল।
DJL ডকার ইমেজ টানুন
ডকার ইমেজ djl-inference:0.23.0-cpu-full-v1.0 হল আমাদের DJL পরিবেশনকারী ধারক যা এই উদাহরণে ব্যবহার করা হয়েছে। আপনি আপনার অঞ্চলের উপর নির্ভর করে নিম্নলিখিত URL সামঞ্জস্য করতে পারেন:
inference_image_uri = "474422712127.dkr.ecr.us-east-1.amazonaws.com/djl-serving-cpu:latest"
ঐচ্ছিকভাবে, আপনি এই ছবিটিকে একটি বেস ইমেজ হিসাবে ব্যবহার করতে পারেন এবং আপনার নিজস্ব ডকার ইমেজ তৈরি করতে এটি প্রসারিত করতে পারেন অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR) আপনার প্রয়োজনীয় অন্য কোন নির্ভরতার সাথে।
মডেল ফাইল তৈরি করুন
প্রথমত, আমরা নামক একটি ফাইল তৈরি করি serving.properties
. এটি ডিজেএলসার্ভিংকে পাইথন ইঞ্জিন ব্যবহার করার নির্দেশ দেয়। এছাড়াও আমরা সংজ্ঞায়িত করি max_idle_time
একজন শ্রমিকের 600 সেকেন্ড হতে হবে। এটি নিশ্চিত করে যে আমরা প্রতি মডেলের কর্মীদের সংখ্যা কমাতে বেশি সময় নেব। আমরা সমন্বয় করি না minWorkers
এবং maxWorkers
যেটি আমরা সংজ্ঞায়িত করতে পারি এবং আমরা ডিজেএলকে গতিশীলভাবে প্রতিটি মডেলের প্রাপ্ত ট্রাফিকের উপর নির্ভর করে প্রয়োজনীয় কর্মীদের সংখ্যা গণনা করতে দিই। নিম্নরূপ serving.properties দেখানো হয়. কনফিগারেশন বিকল্পগুলির সম্পূর্ণ তালিকা দেখতে, পড়ুন ইঞ্জিন কনফিগারেশন.
এরপরে, আমরা আমাদের model.py ফাইল তৈরি করি, যা মডেল লোডিং এবং ইনফারেন্স লজিককে সংজ্ঞায়িত করে। MME এর জন্য, প্রতিটি model.py ফাইল একটি মডেলের জন্য নির্দিষ্ট। মডেল স্টোরের অধীনে মডেলগুলি তাদের নিজস্ব পথে সংরক্ষণ করা হয় (সাধারণত /opt/ml/model/
) মডেল লোড করার সময়, তাদের নিজস্ব ডিরেক্টরিতে মডেল স্টোর পাথের অধীনে লোড করা হবে। এই ডেমোতে সম্পূর্ণ model.py উদাহরণটি দেখা যাবে গিটহুব রেপো.
আমরা একটি তৈরি model.tar.gz
ফাইল যা আমাদের মডেল অন্তর্ভুক্ত করে (model.joblib
), model.py
, এবং serving.properties
:
প্রদর্শনের উদ্দেশ্যে, আমরা এর 1,000 কপি তৈরি করি model.tar.gz
হোস্ট করা মডেলের বিপুল সংখ্যক প্রতিনিধিত্ব করার জন্য ফাইল। উৎপাদনে, আপনাকে একটি তৈরি করতে হবে model.tar.gz
আপনার প্রতিটি মডেলের জন্য ফাইল।
অবশেষে, আমরা এই মডেলগুলি Amazon S3 এ আপলোড করি।
একটি সেজমেকার মডেল তৈরি করুন
আমরা এখন একটি তৈরি করি সেজমেকার মডেল. SageMaker মডেল তৈরি করতে আমরা পূর্বে সংজ্ঞায়িত ECR ইমেজ এবং পূর্ববর্তী ধাপ থেকে মডেল আর্টিফ্যাক্ট ব্যবহার করি। মডেল সেটআপে, আমরা মোডটিকে মাল্টিমোডেল হিসাবে কনফিগার করি। এটি DJLSserving কে বলে যে আমরা একটি MME তৈরি করছি৷
একটি সেজমেকার এন্ডপয়েন্ট তৈরি করুন
এই ডেমোতে, আমরা 20 ml.c5d.18x বৃহৎ দৃষ্টান্ত ব্যবহার করি হাজার হাজার পরিসরে একটি TPS এ স্কেল করতে। আপনি যে টিপিএস টার্গেট করছেন তা অর্জন করার জন্য, প্রয়োজনে আপনার উদাহরণের প্রকারের একটি সীমা বৃদ্ধি নিশ্চিত করুন।
লোড পরীক্ষার
লেখার সময়, সেজমেকার ইন-হাউস লোড টেস্টিং টুল আমাজন সেজমেকার ইনফারেন্স সুপারিশকারী স্থানীয়ভাবে MME-এর জন্য পরীক্ষা সমর্থন করে না। অতএব, আমরা ওপেন সোর্স পাইথন টুল ব্যবহার করি পঙ্গপাল. পঙ্গপাল সেট আপ করা সহজ এবং TPS এবং এন্ড-টু-এন্ড লেটেন্সির মতো মেট্রিক্স ট্র্যাক করতে পারে। SageMaker এর সাথে এটি কীভাবে সেট আপ করবেন তা সম্পূর্ণ বোঝার জন্য, দেখুন Amazon SageMaker রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট লোড পরীক্ষার জন্য সর্বোত্তম অনুশীলন.
এই ব্যবহারের ক্ষেত্রে, আমাদের কাছে তিনটি ভিন্ন ট্র্যাফিক প্যাটার্ন রয়েছে যা আমরা MME-এর সাথে অনুকরণ করতে চাই, তাই আমাদের কাছে নিম্নলিখিত তিনটি পাইথন স্ক্রিপ্ট রয়েছে যা প্রতিটি প্যাটার্নের সাথে সারিবদ্ধ। এখানে আমাদের লক্ষ্য হল প্রমাণ করা যে, আমাদের ট্রাফিক প্যাটার্ন যাই হোক না কেন, আমরা একই টার্গেট TPS এবং যথাযথভাবে স্কেল অর্জন করতে পারি।
আমরা আমাদের মডেলের বিভিন্ন অংশে ট্রাফিক বরাদ্দ করতে আমাদের পঙ্গপাল স্ক্রিপ্টে একটি ওজন নির্দিষ্ট করতে পারি। উদাহরণস্বরূপ, আমাদের একক হট মডেলের সাথে, আমরা নিম্নরূপ দুটি পদ্ধতি প্রয়োগ করি:
তারপরে আমরা প্রতিটি পদ্ধতিতে একটি নির্দিষ্ট ওজন নির্ধারণ করতে পারি, যখন একটি নির্দিষ্ট পদ্ধতি ট্র্যাফিকের একটি নির্দিষ্ট শতাংশ গ্রহণ করে:
20 ml.c5d.18x বড় দৃষ্টান্তের জন্য, আমরা নিম্নলিখিত আমন্ত্রণ মেট্রিক্স দেখতে পাই অ্যামাজন ক্লাউডওয়াচ কনসোল এই মানগুলি তিনটি ট্র্যাফিক প্যাটার্ন জুড়ে মোটামুটি সামঞ্জস্যপূর্ণ থাকে। সেজমেকার রিয়েল-টাইম ইনফারেন্স এবং এমএমইগুলির জন্য ক্লাউডওয়াচ মেট্রিক্স আরও ভালভাবে বুঝতে, পড়ুন সেজমেকার এন্ডপয়েন্ট ইনভোকেশন মেট্রিক্স.
আপনি পঙ্গপাল স্ক্রিপ্ট বাকি খুঁজে পেতে পারেন locust-utils ডিরেক্টরি GitHub সংগ্রহস্থলে।
সারাংশ
এই পোস্টে, আমরা আলোচনা করেছি কিভাবে একটি MME মডেলের ট্র্যাফিক প্যাটার্নের উপর ভিত্তি করে প্রতিটি মডেলের জন্য নির্ধারিত কম্পিউট পাওয়ারকে গতিশীলভাবে সামঞ্জস্য করতে পারে। এই নতুন চালু করা বৈশিষ্ট্যটি সমস্ত AWS অঞ্চলে উপলব্ধ যেখানে সেজমেকার উপলব্ধ। নোট করুন যে ঘোষণার সময়, শুধুমাত্র CPU দৃষ্টান্তগুলি সমর্থিত। আরো জানতে, পড়ুন সমর্থিত অ্যালগরিদম, ফ্রেমওয়ার্ক এবং দৃষ্টান্ত.
লেখক সম্পর্কে
রাম ভেগিরাজু সেজমেকার সার্ভিস টিমের সাথে একজন এমএল আর্কিটেক্ট। তিনি গ্রাহকদের Amazon SageMaker-এ তাদের AI/ML সমাধানগুলি তৈরি এবং অপ্টিমাইজ করতে সাহায্য করার দিকে মনোনিবেশ করেন৷ অবসর সময়ে তিনি ভ্রমণ এবং লেখালেখি পছন্দ করেন।
কিংওয়েই লি অ্যামাজন ওয়েব সার্ভিসের একজন মেশিন লার্নিং বিশেষজ্ঞ। তিনি তার পিএইচ.ডি. অপারেশনস রিসার্চে যখন তিনি তার উপদেষ্টার গবেষণা অনুদানের হিসাব ভেঙ্গে দেন এবং নোবেল পুরস্কার প্রদানে ব্যর্থ হন তার প্রতিশ্রুতি। বর্তমানে তিনি আর্থিক পরিষেবা এবং বীমা শিল্পের গ্রাহকদের AWS-এ মেশিন লার্নিং সমাধান তৈরি করতে সহায়তা করেন। অবসর সময়ে তিনি পড়া ও পড়াতে পছন্দ করেন।
জেমস উ AWS-এর একজন সিনিয়র AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। গ্রাহকদের এআই/এমএল সলিউশন ডিজাইন এবং তৈরি করতে সাহায্য করা। জেমসের কাজ এমএল ব্যবহারের ক্ষেত্রের একটি বিস্তৃত পরিসর কভার করে, যার মধ্যে প্রাথমিক আগ্রহ কম্পিউটার ভিশন, গভীর শিক্ষা, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেলিং। AWS-এ যোগদানের আগে, জেমস 10 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 6 বছর ইঞ্জিনিয়ারিং এবং 4 বছর মার্কেটিং এবং বিজ্ঞাপন শিল্পে ছিল।
সৌরভ ত্রিকন্দে অ্যামাজন সেজমেকার ইনফারেন্সের একজন সিনিয়র প্রোডাক্ট ম্যানেজার। তিনি গ্রাহকদের সাথে কাজ করার জন্য উত্সাহী এবং মেশিন লার্নিংকে গণতান্ত্রিক করার লক্ষ্য দ্বারা অনুপ্রাণিত৷ তিনি জটিল এমএল অ্যাপ্লিকেশন স্থাপন, মাল্টি-টেন্যান্ট এমএল মডেল, খরচ অপ্টিমাইজেশান, এবং গভীর শিক্ষার মডেলগুলিকে আরও অ্যাক্সেসযোগ্য করে তোলার সাথে সম্পর্কিত মূল চ্যালেঞ্জগুলিতে মনোনিবেশ করেন। অবসর সময়ে, সৌরভ হাইকিং উপভোগ করেন, উদ্ভাবনী প্রযুক্তি সম্পর্কে শেখেন, টেকক্রাঞ্চ অনুসরণ করেন এবং তার পরিবারের সাথে সময় কাটান।
জু ডেং সেজমেকার দলের একজন সফটওয়্যার ইঞ্জিনিয়ার ম্যানেজার। তিনি গ্রাহকদের Amazon SageMaker-এ তাদের AI/ML অনুমান অভিজ্ঞতা তৈরি এবং অপ্টিমাইজ করতে সাহায্য করার উপর ফোকাস করেন। তার অবসর সময়ে, তিনি ভ্রমণ এবং স্নোবোর্ডিং পছন্দ করেন।
সিদ্ধার্থ ভেঙ্কটেসন AWS ডিপ লার্নিং-এ একজন সফটওয়্যার ইঞ্জিনিয়ার। তিনি বর্তমানে বৃহৎ মডেল অনুমানের জন্য সমাধান নির্মাণের উপর ফোকাস করেন। AWS-এর আগে তিনি বিশ্বব্যাপী গ্রাহকদের জন্য নতুন অর্থপ্রদানের বৈশিষ্ট্য তৈরির Amazon Grocery org-এ কাজ করেছিলেন। কাজের বাইরে, তিনি স্কিইং, আউটডোর এবং খেলাধুলা দেখতে উপভোগ করেন।
রোহিত নাল্লামদ্দি AWS-এর একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তিনি GPU-তে গভীর শিক্ষার কাজের চাপ অপ্টিমাইজ করা, উচ্চ কার্যকারিতা এমএল ইনফারেন্স তৈরি করা এবং সমাধান পরিবেশন করার বিষয়ে কাজ করেন। এর আগে, তিনি Amazon F3 ব্যবসার জন্য AWS-এর উপর ভিত্তি করে মাইক্রোসার্ভিস নির্মাণের কাজ করেছেন। কাজের বাইরে সে খেলাধুলা দেখে আনন্দ পায়।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/run-ml-inference-on-unplanned-and-spiky-traffic-using-amazon-sagemaker-multi-model-endpoints/
- : হয়
- :কোথায়
- $ ইউপি
- 000
- 1
- 10
- 100
- 116
- 118
- 12
- 16
- 17
- 20
- 23
- 31
- 600
- 7
- 9
- a
- সম্পর্কে
- বেগবর্ধক ব্যক্তি
- অ্যাক্সেসড
- প্রবেশযোগ্য
- মিটমাট করা
- হিসাব
- অর্জন করা
- দিয়ে
- কাজ
- যোগ
- অতিরিক্ত
- সুবিধা
- বিজ্ঞাপন
- পর
- এআই / এমএল
- আলগোরিদিম
- শ্রেণীবদ্ধ করা
- সব
- বরাদ্দ করা
- বরাদ্দ
- অনুমতি
- অনুমতি
- বরাবর
- ইতিমধ্যে
- এছাড়াও
- সর্বদা
- মর্দানী স্ত্রীলোক
- আমাজন EC2
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- পরিমাণ
- an
- এবং
- ঘোষণা
- অন্য
- কোন
- এ্যাপাচি
- API
- API গুলি
- আবেদন
- অ্যাপ্লিকেশন
- ফলিত
- উপযুক্তভাবে
- স্থাপত্য
- রয়েছি
- কাছাকাছি
- কৃত্রিম
- AS
- নির্ধারিত
- অনুমান
- At
- গাড়ী
- অটোমেটেড
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- ডেস্কটপ AWS
- পিছনে
- ব্যাক-এন্ড
- ভিত্তি
- ভিত্তি
- Batching
- BE
- কারণ
- পিছনে
- উত্তম
- মধ্যে
- শরীর
- সাহায্য
- সীমা
- বক্স
- বিরতি
- আনা
- ভেঙে
- নির্মাণ করা
- ভবন
- নির্মিত
- ব্যবসায়
- কিন্তু
- by
- নামক
- CAN
- সামর্থ্য
- ধারণক্ষমতা
- যত্ন
- কেস
- মামলা
- কোষ
- কেন্দ্রীভূত
- কিছু
- চ্যালেঞ্জ
- চেক
- শ্রেণী
- মক্কেল
- ক্লায়েন্ট
- কোড
- আসে
- সম্পূর্ণ
- সম্পন্ন হয়েছে
- জটিল
- উপাদান
- গঠিত
- গনা
- কম্পিউটার
- কম্পিউটার ভিশন
- কম্পিউটিং
- গননার ক্ষমতা
- সহগামী
- কনফিগারেশন
- সঙ্গত
- ধারাবাহিকভাবে
- কনসোল
- গ্রাস করা
- ধারণ করা
- আধার
- প্রসঙ্গ
- চলতে
- মূল
- মূল্য
- খরচ
- কভার
- সৃষ্টি
- নির্মিত
- তৈরি করা হচ্ছে
- এখন
- প্রথা
- গ্রাহকদের
- উপাত্ত
- দিন
- গভীর
- গভীর জ্ঞানার্জন
- ডিফল্ট
- নির্ধারণ করা
- সংজ্ঞায়িত
- সংজ্ঞায়িত
- প্রদান করা
- চাহিদা
- ডেমো
- গণতন্ত্রায়নের
- নির্ভরতা
- নির্ভর করে
- ফোটানো
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- নকশা
- পরিকল্পিত
- নির্ধারণ
- নির্ধারণ করে
- বিকাশকারী
- উন্নয়ন
- যন্ত্র
- ডিভাইস
- নকশা
- বিভিন্ন
- কঠিন
- সরাসরি
- ডিরেক্টরি
- আলোচনা করা
- আলোচনা
- বিতরণ
- ডকশ্রমিক
- না
- Dont
- নিচে
- ডাউনলোড
- ডাউনলোডিং
- প্রগতিশীল
- পরিবর্তনশীল
- প্রতি
- পূর্বে
- দক্ষ
- দক্ষতার
- অনায়াস
- পারেন
- অন্যত্র
- এম্বেডিং
- সক্ষম করা
- সম্ভব
- এনক্যাপসুলেটেড
- সর্বশেষ সীমা
- শেষপ্রান্ত
- ইঞ্জিন
- প্রকৌশলী
- প্রকৌশল
- যথেষ্ট
- নিশ্চিত করা
- উদ্যোগ
- পরিবেশ
- ভুল
- এমন কি
- উদাহরণ
- ব্যতিক্রম
- আশা করা
- আশা
- অভিজ্ঞতা
- প্রসারিত করা
- মুখ
- ব্যর্থ
- নিরপেক্ষভাবে
- পরিবার
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- কয়েক
- ফাইল
- নথি পত্র
- আর্থিক
- অর্থনৈতিক সেবা
- আবিষ্কার
- প্রথম
- স্থায়ী
- ফ্লিট
- গুরুত্ত্ব
- অনুসরণ
- অনুসরণ
- জন্য
- বিন্যাস
- ফ্রেমওয়ার্ক
- অবকাঠামো
- ঘনঘন
- থেকে
- সামনের অংশ
- সম্পূর্ণ
- সম্পূর্ণরূপে
- বৈশিষ্ট্য
- উত্পাদন করা
- পাওয়া
- পায়
- GitHub
- লক্ষ্য
- জিপিইউ
- জিপিইউ
- প্রদান
- বৃহত্তর
- হাতল
- ঘটা
- হার্ডওয়্যারের
- আছে
- he
- সাহায্য
- সাহায্য
- সাহায্য
- এখানে
- উচ্চ
- ঊর্ধ্বতন
- অত্যন্ত
- তার
- নিমন্ত্রণকর্তা
- হোস্ট
- হোস্টিং
- গরম
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- অলস
- if
- প্রকাশ
- ভাবমূর্তি
- বাস্তবায়ন
- বাস্তবায়ন
- আমদানি
- in
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- ইনকামিং
- বৃদ্ধি
- ক্রমবর্ধমান
- শিল্প
- শিল্প
- তথ্য
- পরিকাঠামো
- প্রারম্ভিক
- উদ্ভাবনী
- উদ্ভাবনী প্রযুক্তি
- ইনপুট
- ইনস্টল
- উদাহরণ
- পরিবর্তে
- বীমা
- ইন্টিগ্রেশন
- ঐক্যবদ্ধতার
- স্বার্থ
- ইন্টারফেস
- মধ্যে
- প্রার্থনা
- সমস্যা
- সমস্যা
- IT
- এর
- জেমস
- জাভা
- কাজ
- যোগদান
- JPG
- মাত্র
- ভাষা
- বড়
- বৃহত্তর
- অদৃশ্যতা
- সর্বশেষ
- চালু
- নেতৃত্ব
- নেতা
- বিশালাকার
- শিখতে
- শিক্ষা
- দিন
- উচ্চতা
- লাইব্রেরি
- মত
- পছন্দ
- LIMIT টি
- রৈখিক
- তালিকা
- বোঝা
- বোঝাই
- লোড
- স্থানীয়
- যুক্তিবিদ্যা
- আর
- ভালবাসে
- কম
- নিম্ন
- মেশিন
- মেশিন লার্নিং
- প্রধান
- সংখ্যাগুরু
- করা
- তৈরি করে
- মেকিং
- পরিচালিত
- পরিচালক
- পরিচালক
- অনেক
- Marketing
- বিপণন ও বিজ্ঞাপন
- সর্বাধিক
- মে..
- মেকানিজম
- স্মৃতি
- মেটাডাটা
- পদ্ধতি
- পদ্ধতি
- ছন্দোবিজ্ঞান
- microservices
- হতে পারে
- সর্বনিম্ন
- মিনিট
- প্রশমিত করা
- ML
- মোড
- মডেল
- মডেল
- মডিউল
- অধিক
- সেতু
- উদ্দেশ্যমূলক
- বহু
- নাম
- নেটিভ
- প্রয়োজনীয়
- প্রয়োজন
- প্রয়োজন
- নতুন
- সদ্য
- নোবেল পুরস্কার
- না
- বিঃদ্রঃ
- নোটবই
- এখন
- সংখ্যা
- অসাড়
- of
- অর্পণ
- অফার
- on
- ONE
- কেবল
- খোলা
- ওপেন সোর্স
- অপারেশনস
- বিপরীত
- অপ্টিমাইজেশন
- অপ্টিমিজ
- অপ্টিমাইজ
- সর্বোচ্চকরন
- অপশন সমূহ
- or
- অন্যান্য
- আমাদের
- বাইরে
- বিদেশে
- আউটপুট
- বাহিরে
- শেষ
- নিজের
- সমান্তরাল
- পরামিতি
- অংশ
- বিশেষ
- যন্ত্রাংশ
- কামুক
- পথ
- পাথ
- প্যাটার্ন
- নিদর্শন
- প্রদান
- প্রতি
- শতকরা হার
- সম্পাদন করা
- কর্মক্ষমতা
- নল
- মাচা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- প্লাগ-ইন
- বিন্দু
- নীতি
- পুল
- জনপ্রিয়
- পোস্ট
- ক্ষমতা
- চর্চা
- পূর্ববর্তী
- ভবিষ্যদ্বাণী
- ভবিষ্যতবাণী
- আগে
- পূর্বে
- প্রাথমিক
- পূর্বে
- পুরস্কার
- সমস্যা
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- পণ্য
- পণ্য ব্যবস্থাপক
- উত্পাদনের
- প্রোগ্রামিং
- প্রতিশ্রুত
- সঠিকভাবে
- বৈশিষ্ট্য
- প্রমাণ করা
- প্রদান
- উপলব্ধ
- বিধান
- উদ্দেশ্য
- উদ্দেশ্য
- ধাক্কা
- ধাক্কা
- পাইথন
- পাইটার্চ
- এলোমেলো
- পরিসর
- পড়া
- পড়া
- প্রস্তুত
- প্রকৃত সময়
- গ্রহণ করা
- গৃহীত
- পায়
- গ্রহণ
- সুপারিশ করা
- পড়ুন
- তথাপি
- এলাকা
- অঞ্চল
- সংশ্লিষ্ট
- থাকা
- প্রতিস্থাপন করা
- সংগ্রহস্থলের
- চিত্রিত করা
- অনুরোধ
- অনুরোধ
- আবশ্যকতা
- গবেষণা
- Resources
- প্রতিক্রিয়া
- বিশ্রাম
- ফল
- আয়
- পুনঃব্যবহারের
- রুট
- যাত্রাপথ
- প্রমাথী
- চালান
- রান
- রানটাইম
- SaaS
- ঋষি নির্মাতা
- সেজমেকার ইনফারেন্স
- একই
- প্রসঙ্গ
- সংরক্ষণ করুন
- বলা
- স্কেল
- আঁশযুক্ত
- দাঁড়িপাল্লা
- আরোহী
- লিপি
- স্ক্রিপ্ট
- দ্বিতীয়
- সেকেন্ড
- দেখ
- দেখা
- আত্ম
- পাঠান
- জ্যেষ্ঠ
- পরিবেশন করা
- সার্ভিস পেয়েছে
- সার্ভার
- সার্ভারের
- সেবা
- সেবা
- ভজনা
- সেট
- সেট
- সেটআপ
- বিভিন্ন
- উচিত
- গ্লাসকেস
- প্রদর্শিত
- শো
- সহজ
- অনুকরণ
- এককালে
- একক
- অনন্যসাধারণ
- আয়তন
- ছোট
- টুকিটাকি
- So
- সফটওয়্যার
- একটি পরিষেবা হিসাবে সফ্টওয়্যার
- সফটওয়্যার উন্নয়ন
- সফটওয়্যার ইঞ্জিনিয়ার
- সমাধান
- সলিউশন
- কিছু
- উৎস
- বিশেষজ্ঞ
- নির্দিষ্ট
- খরচ
- বিভক্ত করা
- বিজ্ঞাপন
- গাদা
- স্থির
- ধাপ
- স্টোরেজ
- দোকান
- সঞ্চিত
- অকপট
- পরবর্তী
- এমন
- সুপারিশ
- সমর্থন
- সমর্থিত
- সমর্থন
- নিশ্চিত
- সিস্টেম
- গ্রহণ করা
- লাগে
- গ্রহণ
- লক্ষ্য
- লক্ষ্য করে
- শিক্ষাদান
- টীম
- TechCrunch
- প্রযুক্তি
- প্রযুক্তিঃ
- বলে
- tensorflow
- পরীক্ষামূলক
- পরীক্ষা
- চেয়ে
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- তারপর
- সেখানে।
- অতএব
- এইগুলো
- তারা
- এই
- সেগুলো
- হাজার
- হাজার হাজার
- তিন
- দ্বারা
- থ্রুপুট
- সময়
- বার
- থেকে
- অত্যধিক
- টুল
- শীর্ষ
- প্রতি
- টিপিএস
- পথ
- ট্রাফিক
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- লেনদেন
- ট্রান্সফরমার
- ভ্রমণ
- চেষ্টা
- দুই
- আদর্শ
- সাধারণত
- অধীনে
- নিম্নাবস্থিত
- বোঝা
- বোধশক্তি
- সার্বজনীন
- URL টি
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারসমূহ
- ব্যবহার
- সাধারণত
- ব্যবহার
- মূল্য
- মানগুলি
- পরিবর্তনশীল
- বিভিন্ন
- দৃষ্টি
- vs
- প্রয়োজন
- ছিল
- পর্যবেক্ষক
- we
- ওয়েব
- ওয়েব সার্ভিস
- ওজন
- কি
- কখন
- যেহেতু
- যে
- ব্যাপক
- প্রশস্ত পরিসর
- ইচ্ছা
- সঙ্গে
- মধ্যে
- হয়া যাই ?
- কাজ করছে
- কর্মী
- শ্রমিকদের
- কর্মপ্রবাহ
- কর্মপ্রবাহ
- কাজ
- কাজ
- would
- লেখা
- লিখিত
- X
- বছর
- আপনি
- আপনার
- zephyrnet