Amazon SageMaker, পার্ট 2 এর সাথে ক্লাসিক্যাল ML এবং LLM সহজে প্যাকেজ করুন এবং স্থাপন করুন: SageMaker স্টুডিওতে ইন্টারেক্টিভ ব্যবহারকারীর অভিজ্ঞতা | আমাজন ওয়েব সার্ভিসেস

আমাজন সেজমেকার এটি একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা যা ডেভেলপার এবং ডেটা বিজ্ঞানীদের দ্রুত এবং সহজে মেশিন লার্নিং (ML) মডেলগুলি তৈরি করতে, প্রশিক্ষণ দিতে এবং স্থাপন করতে সক্ষম করে৷ সেজমেকার পরিষেবাতে API কলের মাধ্যমে সরাসরি উত্পাদনে মডেল স্থাপন করা সহজ করে তোলে। মজবুত এবং স্কেলযোগ্য স্থাপনার জন্য মডেলগুলি পাত্রে প্যাকেজ করা হয়।

SageMaker মডেল স্থাপন করার জন্য বিভিন্ন বিকল্প প্রদান করে। এই বিকল্পগুলি আপনার নিয়ন্ত্রণের পরিমাণ এবং আপনার শেষে প্রয়োজনীয় কাজের মধ্যে পরিবর্তিত হয়। দ্য AWS SDK আপনাকে সর্বাধিক নিয়ন্ত্রণ এবং নমনীয়তা দেয়। এটি Java, C++, Go, JavaScript, Node.js, PHP, রুবি এবং পাইথনের জন্য উপলব্ধ একটি নিম্ন-স্তরের API। দ্য সেজমেকার পাইথন এসডিকে একটি উচ্চ-স্তরের পাইথন API যা কিছু ধাপ এবং কনফিগারেশনকে বিমূর্ত করে এবং মডেল স্থাপন করা সহজ করে তোলে। AWS কমান্ড লাইন ইন্টারফেস (AWS CLI) হল আরেকটি উচ্চ-স্তরের টুল যা আপনি SageMaker-এর সাথে ইন্টারেক্টিভভাবে কাজ করতে আপনার নিজের কোড না লিখে মডেল স্থাপন করতে ব্যবহার করতে পারেন।

আমরা দুটি নতুন বিকল্প চালু করছি যা সেজমেকার ব্যবহার করে প্যাকেজিং এবং মডেল স্থাপনের প্রক্রিয়াকে আরও সহজ করে। একটি উপায় হল প্রোগ্রাম্যাটিক স্থাপনার জন্য। এর জন্য, আমরা পাইথন SDK-তে উন্নতির প্রস্তাব দিচ্ছি। আরো তথ্যের জন্য, পড়ুন Amazon SageMaker, পার্ট 1: PySDK উন্নতির সাথে সহজেই ক্লাসিক্যাল ML এবং LLM প্যাকেজ করুন এবং স্থাপন করুন। দ্বিতীয় উপায় হল ইন্টারেক্টিভ স্থাপনার জন্য। এর জন্য, আমরা একটি নতুন ইন্টারেক্টিভ অভিজ্ঞতা চালু করছি অ্যামাজন সেজমেকার স্টুডিও. এটি আপনাকে দ্রুত আপনার নিজস্ব প্রশিক্ষিত বা ভিত্তি মডেল (FMs) স্থাপন করতে সাহায্য করবে আমাজন সেজমেকার জাম্পস্টার্ট অপ্টিমাইজড কনফিগারেশন সহ, এবং সর্বনিম্ন খরচে অনুমানযোগ্য কর্মক্ষমতা অর্জন করুন। নতুন ইন্টারেক্টিভ অভিজ্ঞতা কেমন দেখাচ্ছে তা পরীক্ষা করতে পড়ুন।

সেজমেকার স্টুডিওতে নতুন ইন্টারেক্টিভ অভিজ্ঞতা

এই পোস্টটি অনুমান করে যে আপনি এক বা একাধিক ML মডেল প্রশিক্ষিত করেছেন বা SageMaker JumpStart মডেল হাব থেকে FM ব্যবহার করছেন এবং সেগুলি স্থাপন করতে প্রস্তুত৷ SageMaker ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দেওয়া SageMaker ব্যবহার করে মডেল স্থাপনের পূর্বশর্ত নয়। সেজমেকার স্টুডিওর সাথে কিছু পরিচিতিও অনুমান করা হয়।

আমরা আপনাকে নিম্নলিখিতগুলি কীভাবে করতে হবে তা নিয়ে আলোচনা করব:

• একটি সেজমেকার মডেল তৈরি করুন
• একটি সেজমেকার মডেল স্থাপন করুন
• একটি সেজমেকার জাম্পস্টার্ট বড় ভাষা মডেল (এলএলএম) স্থাপন করুন
• একটি শেষ পয়েন্টের পিছনে একাধিক মডেল স্থাপন করুন
• পরীক্ষা মডেল অনুমান
• সমস্যা সমাধান করুন

একটি সেজমেকার মডেল তৈরি করুন

অনুমানের জন্য একটি সেজমেকার এন্ডপয়েন্ট সেট আপ করার প্রথম ধাপ হল একটি সেজমেকার মডেল অবজেক্ট তৈরি করা। এই মডেল অবজেক্টটি দুটি জিনিস দিয়ে তৈরি: মডেলের জন্য একটি ধারক এবং প্রশিক্ষিত মডেল যা অনুমানের জন্য ব্যবহার করা হবে। নতুন ইন্টারেক্টিভ UI অভিজ্ঞতা SageMaker মডেল তৈরির প্রক্রিয়াটিকে সহজতর করে তোলে। আপনি যদি সেজমেকার স্টুডিওতে নতুন হন তবে দেখুন বিকাশকারী গাইড শুরু করতে.

1. সেজমেকার স্টুডিও ইন্টারফেসে, নির্বাচন করুন মডেল নেভিগেশন ফলকে।
2. উপরে স্থাপনযোগ্য মডেল ট্যাব, চয়ন করুন সৃষ্টি.

এখন আপনাকে যা করতে হবে তা হল মডেল ধারক বিবরণ, আপনার মডেল ডেটার অবস্থান এবং একটি এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা SageMaker আপনার পক্ষে অনুমান করার জন্য।

3. মডেল কন্টেইনারের জন্য, আপনি সেজমেকার প্রাক-নির্মিত ডকার চিত্রগুলির একটি ব্যবহার করতে পারেন যা এটি জনপ্রিয় ফ্রেমওয়ার্ক এবং লাইব্রেরির জন্য সরবরাহ করে। আপনি যদি এই বিকল্পটি ব্যবহার করতে চান, তাহলে সমর্থিত প্রকারের তালিকা থেকে একটি কন্টেইনার ফ্রেমওয়ার্ক, একটি সংশ্লিষ্ট ফ্রেমওয়ার্ক সংস্করণ এবং একটি হার্ডওয়্যার প্রকার বেছে নিন।
   

বিকল্পভাবে, আপনি সঞ্চিত আপনার নিজের পাত্রে একটি পথ নির্দিষ্ট করতে পারেন অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (আমাজন ইসিআর)।

4. এরপরে, আপনার মডেল আর্টিফ্যাক্ট আপলোড করুন। SageMaker স্টুডিও মডেল আর্টিফ্যাক্ট আপলোড করার দুটি উপায় প্রদান করে:
   • প্রথমত, আপনি একটি নির্দিষ্ট করতে পারেন model.tar.gz হয় একটি মধ্যে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি বা আপনার স্থানীয় পথে। এই model.tar.gz আপনি যে ধারকটি ব্যবহার করছেন তার সাথে সঙ্গতিপূর্ণ একটি বিন্যাসে গঠন করা আবশ্যক।
   • বিকল্পভাবে, এটি PyTorch এবং XGBoost মডেলের জন্য কাঁচা আর্টিফ্যাক্ট আপলোডিং সমর্থন করে। এই দুটি ফ্রেমওয়ার্কের জন্য, ধারকটি যে বিন্যাসে প্রত্যাশা করে সেই মডেলের আর্টিফ্যাক্টগুলি প্রদান করুন৷ উদাহরণস্বরূপ, PyTorch এর জন্য এটি একটি হবে model.pth. মনে রাখবেন যে আপনার মডেল আর্টিফ্যাক্টগুলিতে প্রিপ্রসেসিং এবং পোস্টপ্রসেসিংয়ের জন্য একটি অনুমান স্ক্রিপ্টও রয়েছে। আপনি যদি একটি অনুমান স্ক্রিপ্ট প্রদান না করেন, তাহলে আপনার নির্বাচিত কন্টেইনারের জন্য ডিফল্ট অনুমান হ্যান্ডলারগুলি প্রয়োগ করা হবে৷
5. আপনি আপনার কন্টেইনার এবং আর্টিফ্যাক্ট নির্বাচন করার পরে, একটি IAM ভূমিকা নির্দিষ্ট করুন৷
6. বেছে নিন স্থাপনযোগ্য মডেল তৈরি করুন একটি সেজমেকার মডেল তৈরি করতে।
   

পূর্ববর্তী ধাপগুলি সহজতম কর্মপ্রবাহ প্রদর্শন করে। আপনি মডেল তৈরির প্রক্রিয়াটি আরও কাস্টমাইজ করতে পারেন। উদাহরণস্বরূপ, আপনি ভিপিসি বিশদ উল্লেখ করতে পারেন এবং কনটেইনারটি পাবলিক ইন্টারনেটে আউটবাউন্ড কল করতে না পারে তা নিশ্চিত করতে নেটওয়ার্ক বিচ্ছিন্নতা সক্ষম করতে পারেন। আপনি প্রসারিত করতে পারেন উন্নত বিকল্প আরো অপশন দেখতে বিভাগ.

আপনি একটি সেজমেকার ইনফারেন্স রেকমেন্ডার বেঞ্চমার্কিং কাজ চালিয়ে আপনার এন্ডপয়েন্ট স্থাপন করার জন্য সর্বোত্তম মূল্য/কর্মক্ষমতা অনুপাতের জন্য হার্ডওয়্যারের দিকনির্দেশনা পেতে পারেন। SageMaker মডেলটিকে আরও কাস্টমাইজ করতে, আপনি কন্টেইনার স্তরে যেকোনো টিউনযোগ্য পরিবেশ ভেরিয়েবলে পাস করতে পারেন। আপনার মডেল পরিবেশন এবং ধারক জন্য সর্বোত্তম কনফিগারেশন খুঁজে পেতে ইনফারেন্স সুপারিশকারী এই ভেরিয়েবলগুলির একটি পরিসরও নেবে।

আপনি আপনার মডেল তৈরি করার পরে, আপনি এটি দেখতে পারেন স্থাপনযোগ্য মডেল ট্যাব যদি মডেল তৈরিতে কোনো সমস্যা পাওয়া যায়, আপনি স্থিতি দেখতে পাবেন অবস্থা পর্যবেক্ষণ করুন কলাম বিস্তারিত দেখতে মডেলের নাম নির্বাচন করুন।

একটি সেজমেকার মডেল স্থাপন করুন

সবচেয়ে মৌলিক পরিস্থিতিতে, আপনাকে যা করতে হবে তা হল থেকে একটি স্থাপনযোগ্য মডেল নির্বাচন করুন৷ মডেল পৃষ্ঠা বা সেজমেকার জাম্পস্টার্ট পৃষ্ঠা থেকে একটি এলএলএম, একটি উদাহরণের ধরন নির্বাচন করুন, প্রাথমিক উদাহরণ গণনা সেট করুন এবং মডেলটি স্থাপন করুন। আপনার নিজের সেজমেকার মডেলের জন্য সেজমেকার স্টুডিওতে এই প্রক্রিয়াটি কেমন তা দেখা যাক। আমরা এই পোস্টে পরে এলএলএম ব্যবহার নিয়ে আলোচনা করব।

1. উপরে মডেল পৃষ্ঠা, নির্বাচন করুন স্থাপনযোগ্য মডেল ট্যাব।
2. স্থাপন করার জন্য মডেল নির্বাচন করুন এবং নির্বাচন করুন স্থাপন করুন.
   
3. পরবর্তী ধাপ হল একটি উদাহরণের ধরন নির্বাচন করা যা সেজমেকার অনুমানের শেষ পয়েন্টের পিছনে রাখবে।

আপনি এমন একটি উদাহরণ চান যা সর্বনিম্ন খরচে সেরা কর্মক্ষমতা প্রদান করে। সেজমেকার সুপারিশগুলি দেখিয়ে আপনার জন্য এই সিদ্ধান্ত নেওয়া সহজ করে তোলে। SageMaker মডেল তৈরির ধাপে আপনি যদি SageMaker Inference Recommender ব্যবহার করে আপনার মডেলটিকে বেঞ্চমার্ক করে থাকেন, তাহলে আপনি ড্রপ-ডাউন মেনুতে সেই বেঞ্চমার্ক থেকে সুপারিশগুলি দেখতে পাবেন।

অন্যথায়, আপনি মেনুতে সম্ভাব্য উদাহরণগুলির একটি তালিকা দেখতে পাবেন। সেজমেকার সেই ক্ষেত্রে তালিকা তৈরি করতে নিজস্ব হিউরিস্টিক ব্যবহার করে।

4. প্রাথমিক উদাহরণ গণনা নির্দিষ্ট করুন, তারপর চয়ন করুন স্থাপন করুন.

সেজমেকার একটি এন্ডপয়েন্ট কনফিগারেশন তৈরি করবে এবং সেই এন্ডপয়েন্টের পিছনে আপনার মডেল স্থাপন করবে। মডেলটি স্থাপন করার পরে, আপনি শেষ পয়েন্ট এবং মডেলের স্থিতি দেখতে পাবেন সেবা. মনে রাখবেন মডেলের আগে শেষ পয়েন্ট প্রস্তুত হতে পারে।

এটি সেজমেকার স্টুডিওতেও সেই জায়গা যেখানে আপনি শেষ পয়েন্ট পরিচালনা করবেন। আপনি চয়ন করে এন্ডপয়েন্ট বিশদ পৃষ্ঠায় নেভিগেট করতে পারেন সমাপ্তি অধীনে স্থাপনার নেভিগেশন ফলকে। ব্যবহার মডেল যোগ করুন এবং মুছে ফেলা একটি এন্ডপয়েন্ট পুনরায় তৈরি করার প্রয়োজন ছাড়াই এন্ডপয়েন্টের পিছনে মডেল পরিবর্তন করতে বোতাম। দ্য পরীক্ষার অনুমান ট্যাব আপনাকে সেজমেকার স্টুডিও ইন্টারফেস থেকে সরাসরি ইন-সার্ভিস মডেলগুলির একটিতে পরীক্ষার অনুরোধ পাঠিয়ে আপনার মডেল পরীক্ষা করতে সক্ষম করে। এছাড়াও আপনি স্বয়ংক্রিয় স্কেলিং নীতি সম্পাদনা করতে পারেন স্বয়ংক্রিয় স্কেলিং এই পৃষ্ঠায় ট্যাব. মডেল যোগ করা, অপসারণ করা এবং পরীক্ষা করার বিষয়ে আরও বিশদ বিবরণ নিম্নলিখিত বিভাগে কভার করা হয়েছে। আপনি এই এন্ডপয়েন্টের জন্য নেটওয়ার্ক, নিরাপত্তা, এবং গণনা তথ্য দেখতে পারেন সেটিংস ট্যাব।

স্থাপনা কাস্টমাইজ করুন

পূর্ববর্তী উদাহরণ দেখিয়েছে যে আপনার পক্ষ থেকে প্রয়োজনীয় ন্যূনতম কনফিগারেশন সহ একটি একক মডেল স্থাপন করা কতটা সহজ। সেজমেকার আপনার জন্য বেশিরভাগ ক্ষেত্রকে পপুলেট করে, তবে আপনি কনফিগারেশনটি কাস্টমাইজ করতে পারেন। উদাহরণস্বরূপ, এটি স্বয়ংক্রিয়ভাবে শেষ পয়েন্টের জন্য একটি নাম তৈরি করে। যাইহোক, আপনি আপনার পছন্দ অনুযায়ী এন্ডপয়েন্টের নাম দিতে পারেন, অথবা একটি বিদ্যমান এন্ডপয়েন্ট ব্যবহার করতে পারেন এন্ডপয়েন্ট নাম ড্রপ-ডাউন মেনু। বিদ্যমান এন্ডপয়েন্টগুলির জন্য, আপনি সেই সময়ে পরিষেবাতে থাকা শুধুমাত্র শেষ পয়েন্টগুলি দেখতে পাবেন৷ আপনি ব্যবহার করতে পারেন উন্নত বিকল্প একটি IAM ভূমিকা, VPC বিশদ বিবরণ এবং ট্যাগ নির্দিষ্ট করার জন্য বিভাগ।

একটি সেজমেকার জাম্পস্টার্ট এলএলএম স্থাপন করুন

একটি সেজমেকার জাম্পস্টার্ট এলএলএম স্থাপন করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. নেভিগেট করুন লাফ শুরু সেজমেকার স্টুডিওতে পৃষ্ঠা।
2. সেই অংশীদারের কাছ থেকে উপলব্ধ মডেলগুলির তালিকা ব্রাউজ করতে অংশীদারদের নামগুলির মধ্যে একটি বেছে নিন, অথবা আপনি যদি মডেলটির নাম জানেন তবে মডেল পৃষ্ঠায় যেতে অনুসন্ধান বৈশিষ্ট্যটি ব্যবহার করুন৷
3. আপনি যে মডেলটি স্থাপন করতে চান তা চয়ন করুন।
   
4. বেছে নিন স্থাপন করুন.
   

মনে রাখবেন যে LLM-এর ব্যবহার EULA এবং প্রদানকারীর শর্তাবলী সাপেক্ষে।

5. লাইসেন্স এবং শর্তাবলী গ্রহণ করুন.
6. একটি উদাহরণ টাইপ নির্দিষ্ট করুন.

জাম্পস্টার্ট মডেল হাব থেকে অনেক মডেলই দাম-পারফরম্যান্স অপ্টিমাইজ করা ডিফল্ট ইন্সট্যান্স টাইপ নিয়ে আসে। এই ডিফল্টের সাথে আসে না এমন মডেলগুলির জন্য, আপনাকে সমর্থিত উদাহরণ প্রকারের একটি তালিকা প্রদান করা হবে দৃষ্টান্তের ধরণ ড্রপ-ডাউন মেনু। বেঞ্চমার্ক করা মডেলের জন্য, আপনি যদি আপনার নির্দিষ্ট ব্যবহারের ক্ষেত্রে খরচ বা কর্মক্ষমতার জন্য বিশেষভাবে স্থাপনা অপ্টিমাইজ করতে চান, তাহলে আপনি বেছে নিতে পারেন বিকল্প কনফিগারেশন মোট টোকেন, ইনপুট দৈর্ঘ্য, এবং সর্বোচ্চ একযোগে বিভিন্ন সমন্বয়ের সাথে বেঞ্চমার্ক করা হয়েছে এমন আরও বিকল্প দেখতে। আপনি সেই মডেলের জন্য অন্যান্য সমর্থিত উদাহরণ থেকেও নির্বাচন করতে পারেন।

7. একটি বিকল্প কনফিগারেশন ব্যবহার করলে, আপনার উদাহরণ নির্বাচন করুন এবং নির্বাচন করুন নির্বাচন করা.
   
8. বেছে নিন স্থাপন করুন মডেল স্থাপন করতে।

আপনি শেষ পয়েন্ট এবং মডেল স্ট্যাটাস পরিবর্তন দেখতে পাবেন সেবা. এই ক্ষেত্রে আপনার প্রয়োজনীয়তা পূরণের জন্য স্থাপনা কাস্টমাইজ করার বিকল্পও আপনার কাছে আছে।

একটি শেষ পয়েন্টের পিছনে একাধিক মডেল স্থাপন করুন

সেজমেকার আপনাকে একক শেষ পয়েন্টের পিছনে একাধিক মডেল স্থাপন করতে সক্ষম করে। এটি তাদের পিছনে শুধুমাত্র একটি মডেলের সাথে এন্ডপয়েন্ট ব্যবহার করার তুলনায় এন্ডপয়েন্ট ব্যবহার উন্নত করে হোস্টিং খরচ হ্রাস করে। এটি ডিপ্লয়মেন্ট ওভারহেডকেও কমিয়ে দেয় কারণ সেজমেকার মেমরিতে লোডিং মডেল পরিচালনা করে এবং আপনার এন্ডপয়েন্টে ট্রাফিক প্যাটার্নের উপর ভিত্তি করে সেগুলিকে স্কেলিং করে। সেজমেকার স্টুডিও এখন এটি করা সহজ করে তোলে।

1. আপনি যে মডেলগুলি স্থাপন করতে চান তা নির্বাচন করে শুরু করুন, তারপর চয়ন করুন৷ স্থাপন করুন.
   
2. তারপরে আপনি একাধিক মডেলের সাথে একটি এন্ডপয়েন্ট তৈরি করতে পারেন যাতে আপনার সংজ্ঞায়িত করা গণনার বরাদ্দ পরিমাণ থাকে।

এই ক্ষেত্রে, আমরা শেষ পয়েন্টের জন্য একটি ml.p4d.24xlarge উদাহরণ ব্যবহার করি এবং আমাদের দুটি ভিন্ন মডেলের জন্য প্রয়োজনীয় সংখ্যক সংস্থান বরাদ্দ করি। মনে রাখবেন যে আপনার এন্ডপয়েন্ট এই বৈশিষ্ট্য দ্বারা সমর্থিত দৃষ্টান্ত প্রকারের জন্য সীমাবদ্ধ।

3. আপনি যদি থেকে প্রবাহ শুরু করেন স্থাপনযোগ্য মডেল ট্যাব এবং একটি SageMaker JumpStart LLM যোগ করতে চান, অথবা এর বিপরীতে, আপনি এটিকে একাধিক মডেলের ফ্রন্টিং এন্ডপয়েন্ট করতে পারেন মডেল যোগ করুন স্থাপনার কর্মপ্রবাহ শুরু করার পর।
   
4. এখানে, আপনি সেজমেকার জাম্পস্টার্ট মডেল হাব বা ব্যবহার করে একটি মডেল থেকে অন্য এফএম চয়ন করতে পারেন স্থাপনযোগ্য মডেল বিকল্প, যা সেজমেকার মডেল অবজেক্ট হিসাবে আপনি সংরক্ষণ করেছেন এমন মডেলগুলিকে বোঝায়।
5. আপনার মডেল সেটিংস চয়ন করুন:
   • যদি মডেলটি একটি CPU দৃষ্টান্ত ব্যবহার করে, তাহলে মডেলটির জন্য সিপিইউ এবং নূন্যতম সংখ্যক কপি নির্বাচন করুন।
   • যদি মডেলটি একটি GPU দৃষ্টান্ত ব্যবহার করে, মডেলটির জন্য এক্সিলারেটরের সংখ্যা এবং ন্যূনতম সংখ্যক কপি নির্বাচন করুন৷
6. বেছে নিন মডেল যোগ করুন.
   
7. বেছে নিন স্থাপন করুন এই মডেলগুলিকে সেজমেকার এন্ডপয়েন্টে স্থাপন করতে।
   

যখন শেষ বিন্দু আপ এবং প্রস্তুত হয় (সেবা অবস্থা), আপনার কাছে একটি একক শেষ পয়েন্টের পিছনে দুটি মডেল স্থাপন করা হবে।

পরীক্ষা মডেল অনুমান

SageMaker স্টুডিও এখন মডেল অনুমানের অনুরোধগুলি পরীক্ষা করা সহজ করে তোলে। আপনি অ্যাপ্লিকেশন বা JSON, পাঠ্য বা CSV-এর মতো সমর্থিত সামগ্রীর ধরন ব্যবহার করে সরাসরি পেলোড ডেটা পাঠাতে পারেন, অথবা আপনার প্রোগ্রামিং পরিবেশ যেমন নোটবুক বা স্থানীয় সমন্বিত উন্নয়ন পরিবেশ (IDE) থেকে একটি আহ্বানের অনুরোধ করতে পাইথন SDK নমুনা কোড ব্যবহার করতে পারেন।

নোট করুন যে পাইথন SDK উদাহরণ কোড বিকল্পটি শুধুমাত্র সেজমেকার জাম্পস্টার্ট মডেলের জন্য উপলব্ধ, এবং এটি ইনপুট/আউটপুট ডেটা ট্রান্সফরমেশন সহ নির্দিষ্ট মডেল ব্যবহারের ক্ষেত্রের জন্য তৈরি।

সমস্যা সমাধান করুন

সমস্যা সমাধানে সহায়তা করতে এবং মডেল স্থাপনার গভীরে দেখতে, সংস্থানে টুলটিপ রয়েছে অবস্থা সংশ্লিষ্ট ত্রুটি এবং কারণ বার্তা দেখানোর জন্য লেবেল। এছাড়াও লিঙ্ক আছে অ্যামাজন ক্লাউডওয়াচ এন্ডপয়েন্ট বিশদ পৃষ্ঠায় লগ গ্রুপগুলি। একক-মডেল এন্ডপয়েন্টের জন্য, ক্লাউডওয়াচ কন্টেইনার লগগুলির লিঙ্কটি সুবিধাজনকভাবে এখানে অবস্থিত সারাংশ শেষবিন্দুর বিবরণের বিভাগ। একাধিক মডেল সহ শেষ পয়েন্টগুলির জন্য, ক্লাউডওয়াচ লগগুলির লিঙ্কগুলি প্রতিটি সারিতে অবস্থিত মডেল টেবিল ভিউ। সমস্যা সমাধানের জন্য নিম্নলিখিত কিছু সাধারণ ত্রুটির পরিস্থিতি রয়েছে:

• মডেল পিং স্বাস্থ্য পরীক্ষা ব্যর্থতা - মডেল স্থাপন ব্যর্থ হতে পারে কারণ পরিবেশনকারী ধারকটি মডেল পিং স্বাস্থ্য পরীক্ষা পাস করেনি। সমস্যাটি ডিবাগ করতে, CloudWatch লগ গ্রুপগুলি দ্বারা প্রকাশিত নিম্নলিখিত কন্টেইনার লগগুলি দেখুন:

  /aws/sagemaker/Endpoints/[EndpointName]
  /aws/sagemaker/InferenceComponents/[InferenceComponentName]

• অসামঞ্জস্যপূর্ণ মডেল এবং এন্ডপয়েন্ট কনফিগারেশনের কারণে স্থাপনা ব্যর্থ হয়েছে - যদি নিম্নোক্ত ত্রুটি বার্তাগুলির মধ্যে একটি দ্বারা স্থাপনা ব্যর্থ হয়, তাহলে এর অর্থ হল মোতায়েন করার জন্য নির্বাচিত মডেলটি একটি ভিন্ন IAM ভূমিকা, VPC কনফিগারেশন, বা নেটওয়ার্ক আইসোলেশন কনফিগারেশন ব্যবহার করেছে৷ প্রতিকার হল স্থাপনার প্রবাহের সময় একই IAM ভূমিকা, VPC কনফিগারেশন এবং নেটওয়ার্ক বিচ্ছিন্নতা কনফিগারেশন ব্যবহার করার জন্য মডেলের বিবরণ আপডেট করা। আপনি যদি একটি বিদ্যমান এন্ডপয়েন্টে একটি মডেল যোগ করে থাকেন, তাহলে আপনি টার্গেট এন্ডপয়েন্ট কনফিগারেশনের সাথে মেলে মডেল অবজেক্টটি পুনরায় তৈরি করতে পারেন।

  Model and endpoint config have different execution roles. Please ensure the execution roles are consistent.
  Model and endpoint config have different VPC configurations. Please ensure the VPC configurations are consistent.
  Model and endpoint config have different network isolation configurations. Please ensure the network isolation configurations are consistent.

• বিদ্যমান এন্ডপয়েন্ট অবকাঠামোতে আরো মডেল স্থাপন করার জন্য পর্যাপ্ত ক্ষমতা নেই - যদি নিম্নোক্ত ত্রুটি বার্তার সাথে স্থাপনা ব্যর্থ হয়, তাহলে এর মানে বর্তমান এন্ডপয়েন্ট অবকাঠামোতে মডেলটি স্থাপন করার জন্য পর্যাপ্ত গণনা বা মেমরি হার্ডওয়্যার সংস্থান নেই। প্রতিকার হল এন্ডপয়েন্টে সর্বোচ্চ দৃষ্টান্ত গণনা বাড়ানো বা নতুন মডেল স্থাপনের জন্য জায়গা তৈরি করতে এন্ডপয়েন্টে স্থাপন করা যেকোন বিদ্যমান মডেল মুছে ফেলা।

  There is not enough hardware resources on the instances for this endpoint to create a copy of the inference component. Please update resource requirements for this inference component, remove existing inference components, or increase the number of instances for this endpoint.

• একাধিক মডেল এন্ডপয়েন্ট স্থাপনার জন্য অসমর্থিত উদাহরণ প্রকার - যদি নিম্নোক্ত ত্রুটি বার্তার সাথে স্থাপনা ব্যর্থ হয়, তাহলে এর অর্থ হল নির্বাচিত দৃষ্টান্তের ধরণটি বর্তমানে একাধিক মডেল এন্ডপয়েন্ট স্থাপনার জন্য সমর্থিত নয়। প্রতিকার হল দৃষ্টান্তের ধরনটিকে এমন একটি উদাহরণে পরিবর্তন করা যা এই বৈশিষ্ট্যটিকে সমর্থন করে এবং স্থাপনার পুনরায় চেষ্টা করুন।

  The instance type is not supported for multiple models endpoint. Please choose a different instance type.

অন্যান্য মডেল স্থাপনার সমস্যাগুলির জন্য, পড়ুন সমর্থিত বৈশিষ্ট্য.

পরিষ্কার কর

ক্লিনআপও সোজা। আপনি SageMaker কনসোলে নির্দিষ্ট মডেল নির্বাচন করে আপনার বিদ্যমান সেজমেকার এন্ডপয়েন্ট থেকে এক বা একাধিক মডেল অপসারণ করতে পারেন। সম্পূর্ণ এন্ডপয়েন্ট মুছে ফেলতে, নেভিগেট করুন সমাপ্তি পৃষ্ঠা, পছন্দসই শেষ পয়েন্ট নির্বাচন করুন, নির্বাচন করুন মুছে ফেলা, এবং মুছে ফেলার সাথে এগিয়ে যেতে দাবিত্যাগ স্বীকার করুন।

উপসংহার

সেজমেকার স্টুডিওতে বর্ধিত ইন্টারেক্টিভ অভিজ্ঞতা ডেটা বিজ্ঞানীদের মডেল বিল্ডিং এবং স্থাপনার জটিলতাগুলিকে বিমূর্ত করার সময় সেজমেকারে তাদের শিল্পকর্ম নিয়ে আসার দিকে মনোনিবেশ করতে দেয়। যারা কোড-ভিত্তিক পদ্ধতি পছন্দ করেন, তাদের জন্য কম-কোডের সমতুল্য দেখুন মডেল বিল্ডার ক্লাস.

আরও জানতে, SageMaker দেখুন ModelBuilder পাইথন ইন্টারফেস ডকুমেন্টেশন এবং নির্দেশিত কর্মপ্রবাহ স্থাপন সেজমেকার স্টুডিওতে। SageMaker SDK এবং SageMaker স্টুডিওর জন্য কোন অতিরিক্ত চার্জ নেই। আপনি শুধুমাত্র ব্যবহৃত অন্তর্নিহিত সম্পদ জন্য অর্থ প্রদান. সেজমেকারের সাথে মডেলগুলি কীভাবে স্থাপন করবেন সে সম্পর্কে আরও তথ্যের জন্য, দেখুন অনুমানের জন্য মডেল স্থাপন করুন.

সিরিশা উপাধ্যায়লা, মেলানি লি, ধাওয়াল প্যাটেল, স্যাম এডওয়ার্ডস এবং কুমারা স্বামী বোরাকে বিশেষ ধন্যবাদ।

---

লেখক সম্পর্কে

রঘু রমেশা অ্যামাজন সেজমেকার সার্ভিস টিমের সাথে একজন সিনিয়র এমএল সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের এমএল উৎপাদন কাজের লোডগুলিকে সেজমেকারে স্কেলে তৈরি, স্থাপন এবং স্থানান্তর করতে সহায়তা করার দিকে মনোনিবেশ করেন। তিনি মেশিন লার্নিং, এআই, এবং কম্পিউটার ভিশন ডোমেনে বিশেষজ্ঞ এবং UT ডালাস থেকে কম্পিউটার সায়েন্সে স্নাতকোত্তর ডিগ্রি অর্জন করেছেন। তার অবসর সময়ে, তিনি ভ্রমণ এবং ফটোগ্রাফি উপভোগ করেন।

দীপক গর্গ AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি AWS পরিষেবাগুলিতে গভীরভাবে ডুব দিতে এবং গ্রাহকদের সাথে তার জ্ঞান ভাগ করে নিতে পছন্দ করেন। কন্টেন্ট ডেলিভারি নেটওয়ার্ক এবং টেলিকমিউনিকেশনে দীপকের ব্যাকগ্রাউন্ড রয়েছে

রাম ভেগিরাজু অ্যামাজন সেজমেকার সার্ভিস টিমের সাথে একজন এমএল আর্কিটেক্ট। তিনি আমাজন সেজমেকারে গ্রাহকদের তাদের AI/ML সমাধানগুলি তৈরি এবং অপ্টিমাইজ করতে সহায়তা করার উপর ফোকাস করেন। অবসর সময়ে তিনি ভ্রমণ এবং লেখালেখি পছন্দ করেন।

মার্ক কার্প অ্যামাজন সেজমেকার সার্ভিস টিমের সাথে একজন এমএল স্থপতি। তিনি গ্রাহকদের স্কেলে এমএল ওয়ার্কলোড ডিজাইন, স্থাপন এবং পরিচালনা করতে সহায়তা করার দিকে মনোনিবেশ করেন। তার অবসর সময়ে, তিনি ভ্রমণ এবং নতুন জায়গা অন্বেষণ উপভোগ করেন।

শিব রাজ কোটিনি Amazon SageMaker Inference প্রোডাক্ট পোর্টফোলিওতে প্রিন্সিপাল প্রোডাক্ট ম্যানেজার হিসেবে কাজ করে। তিনি অনুমানের জন্য সেজমেকারে মডেল স্থাপনা, কর্মক্ষমতা টিউনিং এবং অপ্টিমাইজেশানের উপর ফোকাস করেন।

আলউইন (কিয়ুন) ঝাও অ্যামাজন সেজমেকার ইনফারেন্স প্ল্যাটফর্ম টিমের একজন সিনিয়র সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তিনি স্থাপনার গার্ডেল এবং ছায়া স্থাপনের প্রধান বিকাশকারী এবং তিনি গ্রাহকদের এমএল ওয়ার্কলোড এবং উচ্চ প্রাপ্যতা সহ স্কেলে স্থাপনা পরিচালনা করতে সহায়তা করার দিকে মনোনিবেশ করেন। তিনি দ্রুত এবং নিরাপদ ML চাকরি স্থাপন এবং স্বাচ্ছন্দ্যে ML অনলাইন পরীক্ষা চালানোর জন্য প্ল্যাটফর্ম আর্কিটেকচারের বিবর্তনে কাজ করেন। তার অবসর সময়ে, তিনি পড়া, গেমিং এবং ভ্রমণ উপভোগ করেন।

গৌরব ভান্ডারি সেজমেকারে এআই প্ল্যাটফর্ম টিমের একজন ফ্রন্ট এন্ড ইঞ্জিনিয়ার। তিনি AWS org-এর মধ্যে গ্রাহকের মুখোমুখি UI সমাধান সরবরাহ করার জন্য কাজ করেন। তার অবসর সময়ে, তিনি হাইকিং এবং স্থানীয় রেস্তোরাঁগুলি অন্বেষণ উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-2-interactive-user-experiences-in-sagemaker-studio/