Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیک کریں اور ان کی تعیناتی کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیک کریں اور ان کی تعیناتی کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز

ٹائم سٹیمپ: 30 نومبر 2023 3:45 PM

ایمیزون سیج میکر ایک مکمل طور پر منظم سروس ہے جو ڈویلپرز اور ڈیٹا سائنسدانوں کو مشین لرننگ (ML) ماڈلز کو تیزی سے اور آسانی سے بنانے، تربیت دینے اور تعینات کرنے کے قابل بناتی ہے۔ SageMaker سروس کو API کالز کے ذریعے براہ راست پروڈکشن میں ماڈلز کو تعینات کرنا آسان بناتا ہے۔ ماڈلز کو مضبوط اور توسیع پذیر تعیناتیوں کے لیے کنٹینرز میں پیک کیا جاتا ہے۔

SageMaker ماڈلز کو تعینات کرنے کے لیے متعدد اختیارات فراہم کرتا ہے۔ یہ اختیارات آپ کے کنٹرول کی مقدار اور آپ کے اختتام پر درکار کام کے لحاظ سے مختلف ہوتے ہیں۔ دی AWS SDK آپ کو سب سے زیادہ کنٹرول اور لچک دیتا ہے۔ یہ جاوا، C++، Go، JavaScript، Node.js، PHP، Ruby، اور Python کے لیے ایک نچلی سطح کا API دستیاب ہے۔ دی SageMaker Python SDK ایک اعلی سطحی Python API ہے جو کچھ مراحل اور ترتیب کو خلاصہ کرتا ہے، اور ماڈلز کو تعینات کرنا آسان بناتا ہے۔ AWS کمانڈ لائن انٹرفیس (AWS CLI) ایک اور اعلیٰ سطحی ٹول ہے جسے آپ اپنا کوڈ لکھے بغیر ماڈلز کو تعینات کرنے کے لیے SageMaker کے ساتھ انٹرایکٹو کام کرنے کے لیے استعمال کر سکتے ہیں۔

ہم دو نئے آپشنز شروع کر رہے ہیں جو SageMaker کا استعمال کرتے ہوئے ماڈلز کی پیکیجنگ اور تعیناتی کے عمل کو مزید آسان بناتے ہیں۔ ایک طریقہ پروگراماتی تعیناتی کا ہے۔ اس کے لیے، ہم Python SDK میں بہتری کی پیشکش کر رہے ہیں۔ مزید معلومات کے لیے رجوع کریں۔ Amazon SageMaker کے ساتھ کلاسیکی ML اور LLMs کو آسانی سے پیکیج اور تعینات کریں، حصہ 1: PySDK بہتری۔ دوسرا طریقہ انٹرایکٹو تعیناتی کا ہے۔ اس کے لیے، ہم میں ایک نیا انٹرایکٹو تجربہ شروع کر رہے ہیں۔ ایمیزون سیج میکر اسٹوڈیو. اس سے آپ کو اپنے تربیت یافتہ یا بنیادی ماڈلز (FMs) کو تیزی سے تعینات کرنے میں مدد ملے گی۔ ایمیزون سیج میکر جمپ اسٹارٹ آپٹمائزڈ کنفیگریشن کے ساتھ، اور سب سے کم قیمت پر قابلِ توقع کارکردگی حاصل کریں۔ یہ جاننے کے لیے پڑھیں کہ نیا انٹرایکٹو تجربہ کیسا لگتا ہے۔

سیج میکر اسٹوڈیو میں نیا انٹرایکٹو تجربہ

یہ پوسٹ فرض کرتی ہے کہ آپ نے ایک یا زیادہ ML ماڈلز کو تربیت دی ہے یا SageMaker JumpStart ماڈل ہب سے FMs استعمال کر رہے ہیں اور انہیں تعینات کرنے کے لیے تیار ہیں۔ SageMaker کا استعمال کرتے ہوئے ماڈل کو تربیت دینا SageMaker کا استعمال کرتے ہوئے ماڈل کی تعیناتی کی شرط نہیں ہے۔ سیج میکر اسٹوڈیو سے کچھ واقفیت بھی فرض کی گئی ہے۔

ہم آپ کو درج ذیل کام کرنے کے طریقے بتاتے ہیں:

  • سیج میکر ماڈل بنائیں
  • سیج میکر ماڈل تعینات کریں۔
  • سیج میکر جمپ سٹارٹ بڑے لینگویج ماڈل (LLM) کو تعینات کریں
  • ایک اختتامی نقطہ کے پیچھے متعدد ماڈل تعینات کریں۔
  • ٹیسٹ ماڈل کا اندازہ
  • خرابیوں کا ازالہ کریں۔

سیج میکر ماڈل بنائیں

اندازہ لگانے کے لیے سیج میکر اینڈ پوائنٹ قائم کرنے کا پہلا قدم سیج میکر ماڈل آبجیکٹ بنانا ہے۔ یہ ماڈل آبجیکٹ دو چیزوں سے بنا ہے: ماڈل کے لیے ایک کنٹینر، اور تربیت یافتہ ماڈل جو اندازہ لگانے کے لیے استعمال کیا جائے گا۔ نیا انٹرایکٹو UI تجربہ SageMaker ماڈل بنانے کے عمل کو سیدھا بناتا ہے۔ اگر آپ سیج میکر اسٹوڈیو میں نئے ہیں، تو دیکھیں ڈویلپر گائیڈ شروع کرنے کے لئے.

  1. سیج میکر اسٹوڈیو انٹرفیس میں، منتخب کریں۔ ماڈل نیوی گیشن پین میں.
  2. پر قابل تعیناتی ماڈل ٹیب، منتخب کریں تخلیق کریں.

اب آپ کو صرف ماڈل کنٹینر کی تفصیلات فراہم کرنے کی ضرورت ہے، آپ کے ماڈل ڈیٹا کا مقام، اور ایک AWS شناخت اور رسائی کا انتظام (IAM) SageMaker کے لیے آپ کی طرف سے فرض کرنے کا کردار۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

  1. ماڈل کنٹینر کے لیے، آپ SageMaker کی پہلے سے تیار کردہ Docker امیجز میں سے ایک استعمال کر سکتے ہیں جو یہ مشہور فریم ورک اور لائبریریوں کے لیے فراہم کرتی ہے۔ اگر آپ اس اختیار کو استعمال کرنے کا انتخاب کرتے ہیں تو، معاون اقسام کی فہرست میں سے ایک کنٹینر فریم ورک، ایک متعلقہ فریم ورک ورژن، اور ہارڈ ویئر کی قسم کا انتخاب کریں۔
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

متبادل طور پر، آپ اپنے اپنے کنٹینر میں ذخیرہ کرنے کا راستہ بتا سکتے ہیں۔ ایمیزون لچکدار کنٹینر رجسٹری (ایمیزون ای سی آر)۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

  1. اگلا، اپنے ماڈل کے نمونے اپ لوڈ کریں۔ SageMaker اسٹوڈیو ماڈل نمونے اپ لوڈ کرنے کے دو طریقے فراہم کرتا ہے:
    • سب سے پہلے، آپ وضاحت کر سکتے ہیں a model.tar.gz یا تو ایک میں ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی یا آپ کے مقامی راستے میں۔ یہ model.tar.gz اس فارمیٹ میں ڈھانچہ ہونا چاہیے جو اس کنٹینر کے مطابق ہو جسے آپ استعمال کر رہے ہیں۔
    • متبادل طور پر، یہ PyTorch اور XGBoost ماڈلز کے لیے خام آرٹفیکٹ اپ لوڈ کرنے کی حمایت کرتا ہے۔ ان دو فریم ورکس کے لیے، کنٹینر کی توقع کے مطابق ماڈل کے نمونے فراہم کریں۔ مثال کے طور پر، PyTorch کے لیے یہ ایک ہو گا۔ model.pth. نوٹ کریں کہ آپ کے ماڈل کے نمونے میں پری پروسیسنگ اور پوسٹ پروسیسنگ کے لیے ایک انفرنس اسکرپٹ بھی شامل ہے۔ اگر آپ انفرنس اسکرپٹ فراہم نہیں کرتے ہیں تو، آپ کے منتخب کردہ کنٹینر کے لیے ڈیفالٹ انفرنس ہینڈلرز کو لاگو کیا جائے گا۔
  2. اپنے کنٹینر اور آرٹفیکٹ کو منتخب کرنے کے بعد، IAM رول کی وضاحت کریں۔
  3. میں سے انتخاب کریں قابل تعیناتی ماڈل بنائیں SageMaker ماڈل بنانے کے لیے۔
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

پچھلے مراحل آسان ترین ورک فلو کو ظاہر کرتے ہیں۔ آپ ماڈل بنانے کے عمل کو مزید اپنی مرضی کے مطابق بنا سکتے ہیں۔ مثال کے طور پر، آپ VPC کی تفصیلات بتا سکتے ہیں اور نیٹ ورک آئسولیشن کو فعال کر سکتے ہیں تاکہ یہ یقینی بنایا جا سکے کہ کنٹینر عوامی انٹرنیٹ پر آؤٹ باؤنڈ کالز نہیں کر سکتا۔ آپ توسیع کر سکتے ہیں اعلی درجے کے اختیارات مزید اختیارات دیکھنے کے لیے سیکشن۔

آپ SageMaker Inference Recommender بینچ مارکنگ جاب چلا کر اپنے اختتامی نقطہ کو متعین کرنے کے لیے بہترین قیمت/کارکردگی کے تناسب کے لیے ہارڈ ویئر پر رہنمائی حاصل کر سکتے ہیں۔ SageMaker ماڈل کو مزید اپنی مرضی کے مطابق بنانے کے لیے، آپ کنٹینر کی سطح پر کسی بھی ٹیون ایبل ماحول کے متغیرات کو پاس کر سکتے ہیں۔ Inference Recommender آپ کے ماڈل کی خدمت اور کنٹینر کے لیے بہترین کنفیگریشن تلاش کرنے کے لیے ان متغیرات کی ایک رینج بھی لے گا۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

اپنا ماڈل بنانے کے بعد، آپ اسے پر دیکھ سکتے ہیں۔ قابل تعیناتی ماڈل ٹیب اگر ماڈل کی تخلیق میں کوئی مسئلہ پایا جاتا ہے، تو آپ کو اسٹیٹس نظر آئے گا۔ مانیٹر کی حیثیت۔ کالم تفصیلات دیکھنے کے لیے ماڈل کا نام منتخب کریں۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

سیج میکر ماڈل تعینات کریں۔

سب سے بنیادی منظر نامے میں، آپ کو بس سے ایک قابل تعیناتی ماڈل منتخب کرنے کی ضرورت ہے۔ ماڈل صفحہ یا سیج میکر جمپ اسٹارٹ صفحہ سے ایل ایل ایم، ایک مثال کی قسم منتخب کریں، ابتدائی مثال کی گنتی سیٹ کریں، اور ماڈل کو متعین کریں۔ آئیے دیکھتے ہیں کہ یہ عمل سیج میکر اسٹوڈیو میں آپ کے اپنے سیج میکر ماڈل کے لیے کیسا لگتا ہے۔ ہم بعد میں اس پوسٹ میں LLMs کے استعمال پر بات کریں گے۔

  1. پر ماڈل صفحہ، منتخب کریں قابل تعیناتی ماڈل ٹیب.
  2. تعینات کرنے کے لیے ماڈل کو منتخب کریں اور منتخب کریں۔ تعینات.
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی
  3. اگلا مرحلہ ایک مثال کی قسم کا انتخاب کرنا ہے جسے سیج میکر انفرنس اینڈ پوائنٹ کے پیچھے رکھے گا۔

آپ ایک ایسی مثال چاہتے ہیں جو سب سے کم قیمت پر بہترین کارکردگی پیش کرے۔ سیج میکر سفارشات دکھا کر آپ کے لیے یہ فیصلہ کرنا آسان بنا دیتا ہے۔ اگر آپ نے SageMaker ماڈل کی تخلیق کے مرحلے کے دوران SageMaker Inference Recommender کا استعمال کرتے ہوئے اپنے ماڈل کو بینچ مارک کیا تھا، تو آپ کو ڈراپ ڈاؤن مینو پر اس بینچ مارک کی سفارشات نظر آئیں گی۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

بصورت دیگر، آپ کو مینو پر ممکنہ مثالوں کی فہرست نظر آئے گی۔ SageMaker اس معاملے میں فہرست کو آباد کرنے کے لیے اپنی ہیورسٹکس کا استعمال کرتا ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

  1. ابتدائی مثال کی گنتی کی وضاحت کریں، پھر منتخب کریں۔ تعینات.

SageMaker ایک اینڈ پوائنٹ کنفیگریشن بنائے گا اور آپ کے ماڈل کو اس اینڈ پوائنٹ کے پیچھے تعینات کرے گا۔ ماڈل کے تعینات ہونے کے بعد، آپ کو اختتامی نقطہ اور ماڈل کی حیثیت نظر آئے گی۔ سروس میں. نوٹ کریں کہ اختتامی نقطہ ماڈل سے پہلے تیار ہو سکتا ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

یہ سیج میکر اسٹوڈیو میں بھی وہ جگہ ہے جہاں آپ اختتامی نقطہ کا انتظام کریں گے۔ آپ منتخب کر کے اختتامی نقطہ تفصیلات کے صفحہ پر جا سکتے ہیں۔ اختتامی نکات کے تحت تعینات۔ نیویگیشن پین میں۔ کا استعمال کرتے ہیں ماڈل شامل کریں۔ اور خارج کر دیں اختتامی نقطہ کو دوبارہ بنانے کی ضرورت کے بغیر اختتامی نقطہ کے پیچھے ماڈلز کو تبدیل کرنے کے بٹن۔ دی ٹیسٹ کا اندازہ ٹیب آپ کو سیج میکر اسٹوڈیو انٹرفیس سے براہ راست ان سروس ماڈلز میں سے کسی ایک کو ٹیسٹ کی درخواستیں بھیج کر اپنے ماڈل کی جانچ کرنے کے قابل بناتا ہے۔ آپ آٹو اسکیلنگ پالیسی میں بھی ترمیم کرسکتے ہیں۔ آٹو اسکیلنگ اس صفحے پر ٹیب. ماڈلز کو شامل کرنے، ہٹانے اور جانچنے کے بارے میں مزید تفصیلات درج ذیل حصوں میں شامل ہیں۔ آپ اس اینڈ پوائنٹ کے لیے نیٹ ورک، سیکیورٹی، اور کمپیوٹ کی معلومات دیکھ سکتے ہیں۔ ترتیبات ٹیب.

تعیناتی کو حسب ضرورت بنائیں

پچھلی مثال نے ظاہر کیا کہ آپ کی طرف سے مطلوبہ کم سے کم ترتیب کے ساتھ ایک ہی ماڈل کو تعینات کرنا کتنا سیدھا ہے۔ SageMaker آپ کے لیے زیادہ تر فیلڈز کو آباد کرتا ہے، لیکن آپ کنفیگریشن کو اپنی مرضی کے مطابق بنا سکتے ہیں۔ مثال کے طور پر، یہ اختتامی نقطہ کے لیے خود بخود ایک نام بناتا ہے۔ تاہم، آپ اپنی ترجیح کے مطابق اختتامی نقطہ کا نام دے سکتے ہیں، یا پر موجود اختتامی نقطہ استعمال کر سکتے ہیں۔ اختتامی نقطہ کا نام ڈراپ ڈاؤن مینو. موجودہ اختتامی پوائنٹس کے لیے، آپ کو صرف وہی اختتامی نقطہ نظر آئے گا جو اس وقت خدمت میں ہیں۔ آپ استعمال کر سکتے ہیں۔ اعلی درجے کے اختیارات IAM کردار، VPC تفصیلات، اور ٹیگز بتانے کے لیے سیکشن۔

سیج میکر جمپ اسٹارٹ ایل ایل ایم تعینات کریں۔

SageMaker JumpStart LLM کو تعینات کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:

  1. پر تشریف لے جائیں جمپ اسٹارٹ سیج میکر اسٹوڈیو میں صفحہ۔
  2. اس پارٹنر سے دستیاب ماڈلز کی فہرست کو براؤز کرنے کے لیے پارٹنر کے ناموں میں سے ایک کا انتخاب کریں، یا اگر آپ کو ماڈل کا نام معلوم ہے تو ماڈل کے صفحے پر جانے کے لیے تلاش کی خصوصیت کا استعمال کریں۔
  3. وہ ماڈل منتخب کریں جسے آپ تعینات کرنا چاہتے ہیں۔
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی
  4. میں سے انتخاب کریں تعینات.
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

نوٹ کریں کہ LLMs کا استعمال EULA اور فراہم کنندہ کی شرائط و ضوابط سے مشروط ہے۔

  1. لائسنس اور شرائط کو قبول کریں۔
  2. مثال کی قسم کی وضاحت کریں۔

جمپ سٹارٹ ماڈل ہب کے بہت سے ماڈلز تعیناتی کے لیے پرائس پرفارمنس آپٹیمائزڈ ڈیفالٹ مثال کی قسم کے ساتھ آتے ہیں۔ ان ماڈلز کے لیے جو اس ڈیفالٹ کے ساتھ نہیں آتے ہیں، آپ کو معاون مثال کی اقسام کی فہرست فراہم کی جائے گی۔ مثال کی قسم ڈراپ ڈاؤن مینو. بینچ مارک شدہ ماڈلز کے لیے، اگر آپ اپنے مخصوص استعمال کے معاملے کو پورا کرنے کے لیے خاص طور پر لاگت یا کارکردگی کے لیے تعیناتی کو بہتر بنانا چاہتے ہیں، تو آپ انتخاب کر سکتے ہیں۔ متبادل کنفیگریشنز مزید آپشنز دیکھنے کے لیے جنہیں کل ٹوکنز، ان پٹ کی لمبائی، اور زیادہ سے زیادہ ہم آہنگی کے مختلف مجموعوں کے ساتھ بینچ مارک کیا گیا ہے۔ آپ اس ماڈل کے لیے دیگر معاون مثالوں میں سے بھی منتخب کر سکتے ہیں۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

  1. اگر کوئی متبادل کنفیگریشن استعمال کر رہے ہیں، تو اپنی مثال منتخب کریں اور منتخب کریں۔ منتخب کریں.
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی
  2. میں سے انتخاب کریں تعینات ماڈل کو تعینات کرنے کے لئے.

آپ کو اختتامی نقطہ اور ماڈل کی حیثیت میں تبدیلی نظر آئے گی۔ سروس میں. آپ کے پاس اس معاملے میں اپنی ضروریات کو پورا کرنے کے لیے تعیناتی کو حسب ضرورت بنانے کے اختیارات بھی ہیں۔

ایک اختتامی نقطہ کے پیچھے متعدد ماڈل تعینات کریں۔

سیج میکر آپ کو ایک ہی اختتامی نقطہ کے پیچھے متعدد ماڈلز کو تعینات کرنے کے قابل بناتا ہے۔ یہ اختتامی نقطہ کے استعمال کو بہتر بنا کر ہوسٹنگ کے اخراجات کو کم کرتا ہے اس کے مقابلے میں ان کے پیچھے صرف ایک ماڈل کے ساتھ اختتامی پوائنٹس کا استعمال۔ یہ تعیناتی اوور ہیڈ کو بھی کم کرتا ہے کیونکہ SageMaker میموری میں ماڈلز کو لوڈ کرنے کا انتظام کرتا ہے اور ٹریفک کے نمونوں کی بنیاد پر آپ کے اختتامی نقطہ تک ان کی پیمائش کرتا ہے۔ سیج میکر اسٹوڈیو اب ایسا کرنا آسان بنا دیتا ہے۔

  1. ان ماڈلز کو منتخب کرکے شروع کریں جنہیں آپ تعینات کرنا چاہتے ہیں، پھر منتخب کریں۔ تعینات.
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی
  2. اس کے بعد آپ متعدد ماڈلز کے ساتھ ایک اختتامی نقطہ بنا سکتے ہیں جس میں حساب کی ایک مختص رقم ہوتی ہے جس کی آپ وضاحت کرتے ہیں۔

اس صورت میں، ہم اختتامی نقطہ کے لیے ایک ml.p4d.24xlarge مثال استعمال کرتے ہیں اور اپنے دو مختلف ماڈلز کے لیے وسائل کی ضروری تعداد مختص کرتے ہیں۔ نوٹ کریں کہ آپ کا اختتامی نقطہ ان مثال کی اقسام تک محدود ہے جو اس خصوصیت کے ذریعے تعاون یافتہ ہیں۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

  1. اگر آپ سے بہاؤ شروع ہوتا ہے۔ قابل تعیناتی ماڈل ٹیب اور ایک SageMaker JumpStart LLM شامل کرنا چاہتے ہیں، یا اس کے برعکس، آپ اسے منتخب کرکے ایک سے زیادہ ماڈلز کو سامنے رکھتے ہوئے ایک اختتامی نقطہ بنا سکتے ہیں۔ ماڈل شامل کریں۔ تعیناتی ورک فلو شروع کرنے کے بعد۔
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی
  2. یہاں، آپ سیج میکر جمپ سٹارٹ ماڈل ہب سے ایک اور ایف ایم کا انتخاب کر سکتے ہیں یا اس کا استعمال کرتے ہوئے ایک ماڈل قابل تعیناتی ماڈلز اختیار، جو ان ماڈلز سے مراد ہے جنہیں آپ نے SageMaker ماڈل آبجیکٹ کے طور پر محفوظ کیا ہے۔
  3. اپنے ماڈل کی ترتیبات کا انتخاب کریں:
    • اگر ماڈل ایک CPU مثال استعمال کرتا ہے تو، ماڈل کے لیے CPUs کی تعداد اور کاپیوں کی کم از کم تعداد کا انتخاب کریں۔
    • اگر ماڈل GPU مثال استعمال کرتا ہے، تو ماڈل کے لیے ایکسلریٹر کی تعداد اور کاپیوں کی کم از کم تعداد کا انتخاب کریں۔
  4. میں سے انتخاب کریں ماڈل شامل کریں۔.
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی
  5. میں سے انتخاب کریں تعینات ان ماڈلز کو سیج میکر اینڈ پوائنٹ پر تعینات کرنے کے لیے۔
    Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

جب اختتامی نقطہ تیار ہو اور تیار ہو (سروس میں اسٹیٹس)، آپ کے پاس ایک ہی اختتامی نقطہ کے پیچھے دو ماڈل تعینات ہوں گے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

ٹیسٹ ماڈل کا اندازہ

SageMaker سٹوڈیو اب ماڈل کی تشخیص کی درخواستوں کو جانچنا آسان بنا دیتا ہے۔ آپ معاون مواد کی قسم، جیسے ایپلیکیشن یا JSON، ٹیکسٹ یا CSV کا استعمال کرتے ہوئے براہ راست پے لوڈ ڈیٹا بھیج سکتے ہیں، یا اپنے پروگرامنگ ماحول جیسے نوٹ بک یا مقامی مربوط ترقیاتی ماحول (IDE) سے درخواست کرنے کے لیے Python SDK نمونہ کوڈ استعمال کر سکتے ہیں۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

نوٹ کریں کہ Python SDK مثال کوڈ کا اختیار صرف SageMaker JumpStart ماڈلز کے لیے دستیاب ہے، اور یہ ان پٹ/آؤٹ پٹ ڈیٹا ٹرانسفارمیشن کے ساتھ مخصوص ماڈل کے استعمال کے کیس کے لیے تیار کیا گیا ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

خرابیوں کا ازالہ کریں۔

خرابیوں کا ازالہ کرنے اور ماڈل کی تعیناتی میں گہرائی سے دیکھنے میں مدد کرنے کے لیے، وسائل پر ٹول ٹپس موجود ہیں۔ درجہ متعلقہ غلطی اور وجہ پیغامات دکھانے کے لیے لیبل۔ کے لنکس بھی ہیں۔ ایمیزون کلاؤڈ واچ اختتامی نقطہ تفصیلات کے صفحہ پر لاگ گروپس۔ سنگل ماڈل اینڈ پوائنٹس کے لیے، CloudWatch کنٹینر لاگز کا لنک آسانی سے خلاصہ اختتامی نقطہ کی تفصیلات کا سیکشن۔ ایک سے زیادہ ماڈلز کے ساتھ اختتامی پوائنٹس کے لیے، کلاؤڈ واچ لاگز کے لنکس کی ہر قطار میں موجود ہیں ماڈل میز کا منظر خرابی کا سراغ لگانے کے لیے کچھ عام خرابی کے منظرنامے درج ذیل ہیں:

  • ماڈل پنگ ہیلتھ چیک کی ناکامی۔ - ماڈل کی تعیناتی ناکام ہو سکتی ہے کیونکہ سرونگ کنٹینر نے ماڈل پنگ ہیلتھ چیک پاس نہیں کیا۔ مسئلے کو ڈیبگ کرنے کے لیے، CloudWatch لاگ گروپس کے ذریعے شائع کردہ درج ذیل کنٹینر لاگز کو دیکھیں: 
    /aws/sagemaker/Endpoints/[EndpointName]
/aws/sagemaker/InferenceComponents/[InferenceComponentName]

  • متضاد ماڈل اور اینڈ پوائنٹ کنفیگریشن کی وجہ سے تعیناتی ناکام ہو گئی۔ - اگر تعیناتی مندرجہ ذیل ایرر میسجز میں سے کسی ایک کی وجہ سے ناکام ہو جاتی ہے، تو اس کا مطلب ہے کہ تعینات کرنے کے لیے منتخب ماڈل نے مختلف IAM رول، VPC کنفیگریشن، یا نیٹ ورک آئسولیشن کنفیگریشن کا استعمال کیا۔ تدارک یہ ہے کہ تعیناتی کے بہاؤ کے دوران ایک ہی IAM رول، VPC کنفیگریشن، اور نیٹ ورک آئسولیشن کنفیگریشن کو استعمال کرنے کے لیے ماڈل کی تفصیلات کو اپ ڈیٹ کیا جائے۔ اگر آپ موجودہ اختتامی نقطہ میں ایک ماڈل شامل کر رہے ہیں، تو آپ ہدف کے اختتامی نقطہ کی ترتیب سے ملنے کے لیے ماڈل آبجیکٹ کو دوبارہ بنا سکتے ہیں۔ 
    Model and endpoint config have different execution roles. Please ensure the execution roles are consistent.
Model and endpoint config have different VPC configurations. Please ensure the VPC configurations are consistent.
Model and endpoint config have different network isolation configurations. Please ensure the network isolation configurations are consistent.

  • موجودہ اینڈ پوائنٹ کے بنیادی ڈھانچے پر مزید ماڈلز کو تعینات کرنے کے لیے کافی صلاحیت نہیں ہے۔ - اگر تعیناتی درج ذیل ایرر میسج کے ساتھ ناکام ہو جاتی ہے، تو اس کا مطلب ہے کہ موجودہ اینڈ پوائنٹ انفراسٹرکچر میں ماڈل کو تعینات کرنے کے لیے کافی کمپیوٹ یا میموری ہارڈویئر وسائل نہیں ہیں۔ تدارک یہ ہے کہ اینڈ پوائنٹ پر زیادہ سے زیادہ مثالوں کی تعداد میں اضافہ کیا جائے یا نئے ماڈل کی تعیناتی کے لیے جگہ بنانے کے لیے اینڈ پوائنٹ پر تعینات کسی بھی موجودہ ماڈل کو حذف کر دیا جائے۔ 
    There is not enough hardware resources on the instances for this endpoint to create a copy of the inference component. Please update resource requirements for this inference component, remove existing inference components, or increase the number of instances for this endpoint.

  • متعدد ماڈل اینڈ پوائنٹ کی تعیناتی کے لیے غیر تعاون یافتہ مثال کی قسم - اگر تعیناتی درج ذیل ایرر میسج کے ساتھ ناکام ہو گئی، تو اس کا مطلب ہے کہ منتخب مثال کی قسم فی الحال متعدد ماڈل اینڈ پوائنٹ کی تعیناتی کے لیے تعاون یافتہ نہیں ہے۔ تدارک یہ ہے کہ مثال کی قسم کو ایسی مثال میں تبدیل کیا جائے جو اس خصوصیت کو سپورٹ کرتا ہو اور دوبارہ تعیناتی کی کوشش کریں۔ 
    The instance type is not supported for multiple models endpoint. Please choose a different instance type.

دیگر ماڈل کی تعیناتی کے مسائل کے لیے، رجوع کریں۔ تائید شدہ خصوصیات۔.

صاف کرو

صفائی بھی سیدھی ہے۔ آپ SageMaker کنسول پر مخصوص ماڈل کو منتخب کر کے اپنے موجودہ SageMaker اینڈ پوائنٹ سے ایک یا زیادہ ماڈلز کو ہٹا سکتے ہیں۔ پورے اختتامی نقطہ کو حذف کرنے کے لیے، پر تشریف لے جائیں۔ اختتامی نکات صفحہ، مطلوبہ اختتامی نقطہ منتخب کریں، منتخب کریں۔ خارج کر دیں، اور حذف کرنے کے ساتھ آگے بڑھنے کے لیے دستبرداری کو قبول کریں۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عی

نتیجہ

SageMaker سٹوڈیو میں بہتر انٹرایکٹو تجربہ ڈیٹا سائنسدانوں کو ماڈل بنانے اور SageMaker تک اپنے نمونے لانے پر توجہ مرکوز کرنے کی اجازت دیتا ہے جبکہ تعیناتی کی پیچیدگیوں کا خلاصہ کرتا ہے۔ ان لوگوں کے لیے جو کوڈ پر مبنی نقطہ نظر کو ترجیح دیتے ہیں، اس کے ساتھ کم کوڈ کے مساوی کو چیک کریں۔ ماڈل بلڈر کلاس.

مزید جاننے کے لیے سیج میکر ملاحظہ کریں۔ ModelBuilder ازگر کا انٹرفیس دستاویزات اور ہدایت یافتہ کام کے بہاؤ کو تعینات کریں سیج میکر اسٹوڈیو میں۔ SageMaker SDK اور SageMaker Studio کے لیے کوئی اضافی چارج نہیں ہے۔ آپ صرف استعمال شدہ بنیادی وسائل کے لیے ادائیگی کرتے ہیں۔ SageMaker کے ساتھ ماڈلز کو کیسے تعینات کیا جائے اس بارے میں مزید معلومات کے لیے، دیکھیں اندازہ لگانے کے لیے ماڈلز لگائیں۔.

سریشا اپادھیایالا، میلانیا لی، دھول پٹیل، سیم ایڈورڈز اور کمارا سوامی بورا کا خصوصی شکریہ۔

مصنفین کے بارے میں

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیراگھو رمیشا۔ ایمیزون سیج میکر سروس ٹیم کے ساتھ ایک سینئر ایم ایل سلوشنز آرکیٹیکٹ ہے۔ وہ صارفین کی ایم ایل پروڈکشن ورک بوجھ کو SageMaker پر پیمانے پر بنانے، تعینات کرنے اور منتقل کرنے میں مدد کرنے پر توجہ مرکوز کرتا ہے۔ وہ مشین لرننگ، AI، اور کمپیوٹر ویژن ڈومینز میں مہارت رکھتا ہے، اور UT Dallas سے کمپیوٹر سائنس میں ماسٹر ڈگری رکھتا ہے۔ اپنے فارغ وقت میں وہ سفر اور فوٹو گرافی سے لطف اندوز ہوتے ہیں۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیدیپک گرگ AWS میں ایک حل آرکیٹیکٹ ہے۔ وہ AWS خدمات میں گہرائی میں غوطہ لگانا اور اپنے علم کو صارفین کے ساتھ بانٹنا پسند کرتا ہے۔ دیپک کا پس منظر مواد کی ترسیل کے نیٹ ورکس اور ٹیلی کمیونیکیشن میں ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیرام ویگیراجو ایمیزون سیج میکر سروس ٹیم کے ساتھ ایم ایل آرکیٹیکٹ ہے۔ وہ ایمیزون سیج میکر پر صارفین کو ان کے AI/ML حل بنانے اور بہتر بنانے میں مدد کرنے پر توجہ مرکوز کرتا ہے۔ اپنے فارغ وقت میں، وہ سفر اور لکھنے سے محبت کرتا ہے.

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیمارک کارپ ایمیزون سیج میکر سروس ٹیم کے ساتھ ایم ایل آرکیٹیکٹ ہے۔ وہ گاہک کو پیمانے پر ایم ایل ورک بوجھ کو ڈیزائن کرنے، تعینات کرنے اور ان کا انتظام کرنے میں مدد کرنے پر توجہ مرکوز کرتا ہے۔ اپنے فارغ وقت میں، وہ سفر کرنے اور نئی جگہوں کی تلاش کا لطف اٹھاتا ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیشیوا راج کوٹینی۔ Amazon SageMaker Inference پروڈکٹ پورٹ فولیو میں پرنسپل پروڈکٹ مینیجر کے طور پر کام کرتا ہے۔ وہ اندازہ کے لیے SageMaker میں ماڈل کی تعیناتی، پرفارمنس ٹیوننگ، اور اصلاح پر توجہ مرکوز کرتا ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیالون (کیون) زاؤ ایمیزون سیج میکر انفرنس پلیٹ فارم ٹیم کے ساتھ ایک سینئر سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ وہ تعیناتی گارڈریلز اور شیڈو تعیناتیوں کا لیڈ ڈویلپر ہے، اور وہ اعلیٰ دستیابی کے ساتھ ML ورک بوجھ اور تعیناتیوں کا انتظام کرنے میں صارفین کی مدد کرنے پر توجہ مرکوز کرتا ہے۔ وہ تیز اور محفوظ ML ملازمتوں کی تعیناتی اور آسانی سے ML آن لائن تجربات کو چلانے کے لیے پلیٹ فارم آرکیٹیکچر کے ارتقاء پر بھی کام کرتا ہے۔ اپنے فارغ وقت میں، وہ پڑھنے، گیمنگ اور سفر سے لطف اندوز ہوتا ہے۔

Amazon SageMaker کے ساتھ کلاسیکی ML اور LLM کو آسانی سے پیکیج اور تعینات کریں، حصہ 2: سیج میکر اسٹوڈیو میں انٹرایکٹو صارف کے تجربات | ایمیزون ویب سروسز پلیٹو بلاکچین ڈیٹا انٹیلی جنس۔ عمودی تلاش۔ عیگورو بھنڈیری SageMaker میں AI پلیٹ فارمز ٹیم کے ساتھ فرنٹ اینڈ انجینئر ہے۔ وہ AWS org کے اندر گاہک کا سامنا کرنے والے UI حل فراہم کرنے پر کام کرتا ہے۔ اپنے فارغ وقت میں، وہ پیدل سفر اور مقامی ریستوراں کی تلاش سے لطف اندوز ہوتا ہے۔

ٹائم اسٹیمپ:

سے زیادہ AWS مشین لرننگ