AWS CDK اور AWS سروس کیٹلاگ کا استعمال کرتے ہوئے Amazon SageMaker Canvas کے ساتھ ML ماحولیات کی فراہمی اور نظم کریں۔

وسیع پیمانے پر استعمال کے معاملات میں مشین لرننگ (ML) کا پھیلاؤ ہر صنعت میں عام ہوتا جا رہا ہے۔ تاہم، یہ ML پریکٹیشنرز کی تعداد میں اضافے کو پیچھے چھوڑ دیتا ہے جو روایتی طور پر کاروباری نتائج کو حاصل کرنے کے لیے ان تکنیکی حلوں کو نافذ کرنے کے لیے ذمہ دار رہے ہیں۔

آج کے انٹرپرائز میں، مشین لرننگ کو غیر ایم ایل پریکٹیشنرز کے استعمال کرنے کی ضرورت ہے جو ڈیٹا میں مہارت رکھتے ہیں، جو ایم ایل کی بنیاد ہے۔ اس کو حقیقت بنانے کے لیے، ML کی قدر کو پورے انٹرپرائز میں بغیر کوڈ کے ML پلیٹ فارمز کے ذریعے حاصل کیا جا رہا ہے۔ یہ پلیٹ فارم مختلف شخصیات کو، مثال کے طور پر کاروباری تجزیہ کاروں کو، کوڈ کی ایک لائن لکھے بغیر ML استعمال کرنے اور کاروباری مسائل کے حل کو فوری، سادہ اور بدیہی انداز میں فراہم کرنے کے قابل بناتے ہیں۔ ایمیزون سیج میکر کینوس ایک بصری نقطہ اور کلک کی خدمت ہے جو کاروباری تجزیہ کاروں کو ML کا استعمال کرنے کے قابل بناتی ہے تاکہ وہ اپنے طور پر درست پیشین گوئیاں پیدا کر کے کاروباری مسائل کو حل کر سکیں۔ Canvas نے انٹرپرائز میں ML کے استعمال کو ایک آسان استعمال کرنے والے بدیہی انٹرفیس کے ساتھ بڑھایا ہے جو کاروباروں کو حل کو تیزی سے نافذ کرنے میں مدد کرتا ہے۔

اگرچہ کینوس نے ML کی جمہوریت کو فعال کیا ہے، لیکن ML ماحولیات کو محفوظ طریقے سے فراہم کرنے اور تعینات کرنے کا چیلنج اب بھی باقی ہے۔ عام طور پر، یہ زیادہ تر بڑے اداروں میں مرکزی آئی ٹی ٹیموں کی ذمہ داری ہے۔ اس پوسٹ میں، ہم اس بات پر تبادلہ خیال کرتے ہیں کہ آئی ٹی ٹیمیں کس طرح محفوظ ایم ایل ماحول کا استعمال کرتے ہوئے انتظام، انتظام اور انتظام کر سکتی ہیں۔ ایمیزون سیج میکر کینوس, AWS کلاؤڈ ڈویلپمنٹ کٹ (AWS CDK) اور AWS سروس کیٹلاگ. یہ پوسٹ آئی ٹی منتظمین کے لیے ایک مرحلہ وار گائیڈ پیش کرتی ہے تاکہ اسے تیزی سے اور بڑے پیمانے پر حاصل کیا جا سکے۔

AWS CDK اور AWS سروس کیٹلاگ کا جائزہ

AWS CDK آپ کے کلاؤڈ ایپلیکیشن کے وسائل کی وضاحت کرنے کے لیے ایک اوپن سورس سافٹ ویئر ڈویلپمنٹ فریم ورک ہے۔ یہ آپ کی ایپلی کیشنز کی ماڈلنگ کے لیے پروگرامنگ زبانوں کی واقفیت اور اظہار کی طاقت کا استعمال کرتا ہے، جبکہ وسائل کو محفوظ اور دہرانے کے قابل طریقے سے فراہم کرتا ہے۔

AWS سروس کیٹلاگ آپ کو مرکزی طور پر تعینات آئی ٹی خدمات، ایپلیکیشنز، وسائل اور میٹا ڈیٹا کا انتظام کرنے دیتا ہے۔ AWS سروس کیٹلاگ کے ساتھ، آپ کوڈ (IaC) ٹیمپلیٹس کے بطور انفراسٹرکچر کے ساتھ کلاؤڈ وسائل کو تخلیق، اشتراک، منظم اور ان پر حکومت کر سکتے ہیں اور تیز اور سیدھی فراہمی کو فعال کر سکتے ہیں۔

حل جائزہ

ہم تین مراحل میں کینوس کا استعمال کرتے ہوئے ML ماحولیات کی فراہمی کو فعال کرتے ہیں:

1. سب سے پہلے، ہم یہ بتاتے ہیں کہ آپ AWS سروس کیٹلاگ کا استعمال کرتے ہوئے کینوس کے منظور شدہ استعمال کے لیے ضروری وسائل کے پورٹ فولیو کا انتظام کیسے کر سکتے ہیں۔
2. پھر، ہم AWS CDK کا استعمال کرتے ہوئے کینوس کے لیے ایک مثال AWS سروس کیٹلاگ پورٹ فولیو تعینات کرتے ہیں۔
3. آخر میں، ہم یہ ظاہر کرتے ہیں کہ آپ کینوس کے ماحول کو منٹوں میں طلب کرنے پر کیسے فراہم کر سکتے ہیں۔

شرائط

کینوس، AWS CDK، اور AWS سروس کیٹلاگ کے ساتھ ML ماحول فراہم کرنے کے لیے، آپ کو درج ذیل کام کرنے کی ضرورت ہے:

1. AWS اکاؤنٹ تک رسائی حاصل کریں جہاں سروس کیٹلاگ پورٹ فولیو تعینات کیا جائے گا۔ یقینی بنائیں کہ آپ کے پاس AWS CDK اسٹیک کو اپنے اکاؤنٹ میں تعینات کرنے کے لیے اسناد اور اجازتیں ہیں۔ دی AWS CDK ورکشاپ اگر آپ کو مدد کی ضرورت ہو تو آپ اس کا حوالہ دے سکتے ہیں۔
2. ہم کچھ بہترین طریقوں پر عمل کرنے کی تجویز کرتے ہیں جو مندرجہ ذیل وسائل میں تفصیلی تصورات کے ذریعے اجاگر کیے گئے ہیں:
3. کلون یہ GitHub ذخیرہ آپ کے ماحول میں.

AWS سروس کیٹلاگ کا استعمال کرتے ہوئے Amazon SageMaker Canvas کے ساتھ منظور شدہ ML ماحولیات کی فراہمی

ریگولیٹڈ صنعتوں اور سب سے بڑے اداروں میں، آپ کو IT ٹیموں کی طرف سے ML ماحولیات کی فراہمی اور ان کا نظم و نسق کرنے کے لیے لازمی تقاضوں پر عمل کرنے کی ضرورت ہے۔ ان میں ایک محفوظ، پرائیویٹ نیٹ ورک، ڈیٹا انکرپشن، کنٹرولز شامل ہو سکتے ہیں جو صرف مجاز اور مستند صارفین کو اجازت دیتے ہیں جیسے AWS شناخت اور رسائی کا انتظام کینوس جیسے حل تک رسائی کے لیے (IAM) اور آڈٹ کے مقاصد کے لیے سخت لاگنگ اور نگرانی۔

ایک IT منتظم کے طور پر، آپ AWS سروس کیٹلاگ کو SageMaker Canvas کے ساتھ ایک پروڈکٹ پورٹ فولیو میں محفوظ، دوبارہ پیدا کرنے کے قابل ML ماحول بنانے اور ترتیب دینے کے لیے استعمال کر سکتے ہیں۔ اس کا انتظام IaC کنٹرولز کا استعمال کرتے ہوئے کیا جاتا ہے جو پہلے بیان کی گئی ضروریات کو پورا کرنے کے لیے سرایت کیے گئے ہیں، اور چند منٹوں میں مطالبہ پر فراہم کیے جا سکتے ہیں۔ آپ اس پر بھی کنٹرول برقرار رکھ سکتے ہیں کہ پروڈکٹس لانچ کرنے کے لیے اس پورٹ فولیو تک کون رسائی حاصل کر سکتا ہے۔

مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔

مثال بہاؤ

اس سیکشن میں، ہم SageMaker Canvas کے ساتھ AWS سروس کیٹلاگ پورٹ فولیو کی ایک مثال دکھاتے ہیں۔ پورٹ فولیو کینوس ماحول کے مختلف پہلوؤں پر مشتمل ہے جو سروس کیٹلاگ پورٹ فولیو کا حصہ ہیں:

• اسٹوڈیو ڈومین - کینوس ایک ایسی ایپلی کیشن ہے جو اندر چلتی ہے۔ اسٹوڈیو ڈومینز. ڈومین ایک پر مشتمل ہے۔ ایمیزون لچکدار فائل سسٹم (ایمیزون ای ایف ایس) والیوم، مجاز صارفین کی فہرست، اور سیکیورٹی، ایپلیکیشن، پالیسی، اور ایمیزون ورچوئل پرائیویٹ کلاؤڈ (VPC) کنفیگریشنز۔ AWS اکاؤنٹ فی خطہ ایک ڈومین سے منسلک ہوتا ہے۔
• ایمیزون S3 بالٹی - اسٹوڈیو ڈومین بننے کے بعد، ایک ایمیزون سادہ اسٹوریج سروس (Amazon S3) بالٹی کینوس کے لیے مقامی فائلوں سے ڈیٹاسیٹس کو درآمد کرنے کی اجازت دینے کے لیے فراہم کی گئی ہے، جسے مقامی فائل اپ لوڈ بھی کہا جاتا ہے۔ یہ بالٹی گاہک کے اکاؤنٹ میں ہے اور ایک بار فراہم کی جاتی ہے۔
• کینوس صارف - سیج میکر کینوس ایک ایسی ایپلی کیشن ہے جہاں آپ ہر کینوس صارف کے لیے اسٹوڈیو ڈومین کے اندر صارف پروفائلز شامل کر سکتے ہیں، جو ڈیٹا سیٹس کو درآمد کرنے، کوڈ لکھے بغیر ایم ایل ماڈلز کی تعمیر اور تربیت، اور ماڈل پر پیشین گوئیاں چلا سکتے ہیں۔
• کینوس سیشنز کا شیڈول بند - کینوس استعمال کرنے والے اپنے کام مکمل کر لینے پر کینوس انٹرفیس سے لاگ آؤٹ کر سکتے ہیں۔ متبادل طور پر، منتظمین کینوس سیشن کو بند کر سکتے ہیں۔ سے AWS مینجمنٹ کنسول کینوس سیشن کے انتظام کے حصے کے طور پر۔ AWS سروس کیٹلاگ پورٹ فولیو کے اس حصے میں، ایک او ڈبلیو ایس لامبڈا۔ تقریب کینوس سیشنز کو خود بخود متعین طے شدہ وقفوں پر بند کرنے کے لیے بنایا اور فراہم کیا گیا ہے۔ اس سے کھلے سیشن کا انتظام کرنے اور استعمال میں نہ ہونے پر انہیں بند کرنے میں مدد ملتی ہے۔

یہ مثال بہاؤ میں پایا جا سکتا ہے GitHub ذخیرہ فوری حوالہ کے لئے.

AWS CDK کے ساتھ بہاؤ تعینات کریں۔

اس حصے میں، ہم AWS CDK کا استعمال کرتے ہوئے پہلے بیان کردہ بہاؤ کو تعینات کرتے ہیں۔ اس کے تعینات ہونے کے بعد، آپ ورژن ٹریکنگ اور پورٹ فولیو کا نظم بھی کر سکتے ہیں۔

پورٹ فولیو اسٹیک میں پایا جا سکتا ہے۔ app.py اور پروڈکٹ اسٹیک کے نیچے ہے۔ products/ فولڈر آپ IAM کرداروں پر اعادہ کر سکتے ہیں، AWS کلیدی انتظام کی خدمت (AWS KMS) کیز، اور VPC سیٹ اپ میں studio_constructs/ فولڈر اسٹیک کو اپنے اکاؤنٹ میں تعینات کرنے سے پہلے، آپ درج ذیل لائنوں میں ترمیم کر سکتے ہیں۔ app.py اور اپنی پسند کے IAM رول تک پورٹ فولیو تک رسائی فراہم کریں۔

آپ متعلقہ IAM صارفین، گروپس اور کرداروں کے لیے پورٹ فولیو تک رسائی کا انتظام کر سکتے ہیں۔ دیکھیں صارفین تک رسائی فراہم کرنا مزید تفصیلات کے لئے.

پورٹ فولیو کو اپنے اکاؤنٹ میں متعین کریں۔

اب آپ AWS CDK کو انسٹال کرنے کے لیے درج ذیل کمانڈز چلا سکتے ہیں اور یقینی بنائیں کہ آپ کے پاس پورٹ فولیو کو تعینات کرنے کے لیے صحیح انحصار ہے:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

پورٹ فولیو کو اپنے اکاؤنٹ میں تعینات کرنے کے لیے درج ذیل کمانڈز چلائیں:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

پہلے دو کمانڈز کا استعمال کرتے ہوئے آپ کے اکاؤنٹ کی شناخت اور موجودہ علاقہ حاصل کرتے ہیں۔ AWS کمانڈ لائن انٹرفیس (AWS CLI) آپ کے کمپیوٹر پر۔ اس کے بعد، cdk bootstrap اور cdk deploy مقامی طور پر اثاثے بنائیں، اور اسٹیک کو چند منٹوں میں تعینات کریں۔

پورٹ فولیو اب AWS سروس کیٹلاگ میں پایا جا سکتا ہے، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

آن ڈیمانڈ پروویژننگ

پورٹ فولیو کے اندر موجود مصنوعات کی مانگ پر تیزی اور آسانی سے لانچ کی جا سکتی ہیں۔ کرانا AWS سروس کیٹلاگ کنسول پر مینو۔ ایک عام بہاؤ اسٹوڈیو ڈومین اور کینوس آٹو شٹ ڈاؤن کو پہلے لانچ کرنا ہے کیونکہ یہ عام طور پر ایک بار کی کارروائی ہوتی ہے۔ اس کے بعد آپ کینوس صارفین کو ڈومین میں شامل کر سکتے ہیں۔ ڈومین ID اور صارف کا IAM رول ARN اس میں محفوظ ہے۔ AWS سسٹمز مینیجر اور خود بخود صارف کے پیرامیٹرز کے ساتھ آباد ہو جاتے ہیں جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

آپ لاگت مختص کرنے والے ٹیگز بھی استعمال کر سکتے ہیں جو ہر صارف کے ساتھ منسلک ہوتے ہیں۔ مثال کے طور پر، UserCostCenter ایک نمونہ ٹیگ ہے جہاں آپ ہر صارف کا نام شامل کر سکتے ہیں۔

کینوس کا استعمال کرتے ہوئے ایم ایل ماحول کو کنٹرول کرنے کے لیے کلیدی تحفظات

اب جب کہ ہم نے کینوس پر مرکوز ایک AWS سروس کیٹلاگ پورٹ فولیو کی فراہمی اور تعیناتی کی ہے، ہم ڈومین اور صارف پروفائل پر مرکوز کینوس پر مبنی ML ماحولیات کو کنٹرول کرنے کے لیے چند باتوں کو اجاگر کرنا چاہیں گے۔

اسٹوڈیو ڈومین کے حوالے سے مندرجہ ذیل تحفظات ہیں:

• کینوس کے لیے نیٹ ورکنگ کا انتظام اسٹوڈیو ڈومین کی سطح پر کیا جاتا ہے، جہاں محفوظ رابطے کے لیے ڈومین کو نجی VPC سب نیٹ پر تعینات کیا جاتا ہے۔ دیکھیں نجی وی پی سی کا استعمال کرتے ہوئے ایمیزون سیج میکر اسٹوڈیو کنیکٹیویٹی کو محفوظ بنانا مزید جاننے کے لئے.
• ڈومین کی سطح پر پہلے سے طے شدہ IAM ایگزیکیوشن رول کی وضاحت کی گئی ہے۔ یہ ڈیفالٹ رول ڈومین میں موجود تمام کینوس صارفین کو تفویض کیا جاتا ہے۔
• ڈومین میں EFS والیوم کو انکرپٹ کرکے AWS KMS کا استعمال کرتے ہوئے خفیہ کاری کی جاتی ہے۔ اضافی کنٹرولز کے لیے، آپ اپنی خود کی مینیجڈ کلید کی وضاحت کر سکتے ہیں، جسے کسٹمر مینیجڈ کی (CMK) بھی کہا جاتا ہے۔ دیکھیں خفیہ کاری کا استعمال کرتے ہوئے آرام سے ڈیٹا کی حفاظت کریں۔ مزید جاننے کے لئے.
• آپ کی مقامی ڈسک سے فائلیں اپ لوڈ کرنے کی اہلیت کینوس کے ذریعے استعمال ہونے والی S3 بالٹی میں کراس اوریجن ریسورس شیئرنگ (CORS) پالیسی کو منسلک کر کے کی جاتی ہے۔ دیکھیں اپنے صارفین کو مقامی فائلیں اپ لوڈ کرنے کی اجازت دیں۔ مزید جاننے کے لئے.

صارف کے پروفائل کے بارے میں مندرجہ ذیل تحفظات ہیں:

• اسٹوڈیو میں تصدیق سنگل سائن آن (SSO) اور IAM دونوں کے ذریعے کی جا سکتی ہے۔ اگر آپ کے پاس کنسول تک رسائی کے لیے فیڈریٹ صارفین کو شناخت فراہم کرنے والا موجودہ ہے، تو آپ IAM کا استعمال کرتے ہوئے ہر فیڈریٹ شدہ شناخت کے لیے اسٹوڈیو صارف پروفائل تفویض کر سکتے ہیں۔ سیکشن دیکھیں اسٹوڈیو کے صارفین کو پالیسی تفویض کرنا in مکمل وسائل کی تنہائی کے ساتھ ٹیموں اور گروپس کے لیے Amazon SageMaker اسٹوڈیو کو ترتیب دینا مزید جاننے کے لئے.
• آپ ہر صارف کے پروفائل کو IAM پر عملدرآمد کے کردار تفویض کر سکتے ہیں۔ اسٹوڈیو کا استعمال کرتے ہوئے، صارف اپنے صارف پروفائل میں نقش شدہ کردار کو فرض کرتا ہے جو پہلے سے طے شدہ عمل کے کردار کو اوور رائیڈ کرتا ہے۔ آپ اسے ٹیم کے اندر عمدہ رسائی کے کنٹرول کے لیے استعمال کر سکتے ہیں۔
• آپ انتساب پر مبنی رسائی کنٹرولز (ABAC) کا استعمال کرتے ہوئے تنہائی حاصل کر سکتے ہیں تاکہ یہ یقینی بنایا جا سکے کہ صارفین صرف اپنی ٹیم کے وسائل تک رسائی حاصل کر سکتے ہیں۔ دیکھیں مکمل وسائل کی تنہائی کے ساتھ ٹیموں اور گروپس کے لیے Amazon SageMaker اسٹوڈیو کو ترتیب دینا مزید جاننے کے لئے.
• آپ صارف کے پروفائلز پر لاگت مختص کرنے والے ٹیگ لگا کر لاگت سے باخبر رہنے کا کام انجام دے سکتے ہیں۔

صاف کرو

اوپر AWS CDK اسٹیک کے ذریعہ بنائے گئے وسائل کو صاف کرنے کے لیے، AWS CloudFormation stacks کے صفحہ پر جائیں اور Canvas stacks کو حذف کریں۔ آپ بھی دوڑ سکتے ہیں۔ cdk destroy ریپوزٹری فولڈر کے اندر سے، ایسا کرنے کے لیے۔

نتیجہ

اس پوسٹ میں، ہم نے شیئر کیا ہے کہ آپ AWS سروس کیٹلاگ اور AWS CDK کا استعمال کرتے ہوئے کینوس کے ساتھ ایم ایل ماحول کیسے جلدی اور آسانی سے فراہم کر سکتے ہیں۔ ہم نے اس بات پر تبادلہ خیال کیا کہ آپ AWS سروس کیٹلاگ پر پورٹ فولیو کیسے بنا سکتے ہیں، پورٹ فولیو کی فراہمی، اور اسے اپنے اکاؤنٹ میں کیسے تعینات کر سکتے ہیں۔ IT منتظمین کینوس کی فراہمی کے دوران صارفین، سیشنز، اور متعلقہ اخراجات کو تعینات کرنے اور ان کا نظم کرنے کے لیے اس طریقہ کو استعمال کر سکتے ہیں۔

پر کینوس کے بارے میں مزید جانیں۔ پروڈکٹ کا صفحہ اور ڈویلپر گائیڈ. مزید پڑھنے کے لیے، آپ سیکھ سکتے ہیں کہ کیسے کاروباری تجزیہ کاروں کو کنسول کے بغیر AWS SSO کا استعمال کرتے ہوئے SageMaker کینوس تک رسائی کے قابل بنائیں. آپ یہ بھی سیکھ سکتے ہیں کہ کیسے کاروباری تجزیہ کار اور ڈیٹا سائنسدان کینوس اور اسٹوڈیو کا استعمال کرتے ہوئے تیزی سے تعاون کر سکتے ہیں۔.

مصنفین کے بارے میں

ڈیوڈ گیلیٹیلی EMEA خطے میں AI/ML کے لیے ایک ماہر حل آرکیٹیکٹ ہے۔ وہ برسلز میں مقیم ہے اور پورے بینیلکس میں صارفین کے ساتھ مل کر کام کرتا ہے۔ وہ اس وقت سے ایک ڈویلپر رہا ہے جب وہ بہت چھوٹا تھا، اس نے 7 سال کی عمر میں کوڈ بنانا شروع کیا۔ اس نے یونیورسٹی میں AI/ML سیکھنا شروع کیا، اور تب سے اسے اس سے پیار ہو گیا۔

صوفیان حمیتی۔ AWS میں AI/ML ماہر حل آرکیٹیکٹ ہے۔ وہ تمام صنعتوں کے صارفین کو اینڈ ٹو اینڈ مشین لرننگ سلوشنز بنانے اور چلانے میں مدد کر کے اپنے AI/ML سفر کو تیز کرنے میں مدد کرتا ہے۔

شیام سری نواسن AWS AI/ML ٹیم کے پرنسپل پروڈکٹ مینیجر ہیں، جو Amazon SageMaker Canvas کے لیے پروڈکٹ مینجمنٹ کی قیادت کر رہے ہیں۔ شیام کو ٹیکنالوجی کے ذریعے دنیا کو ایک بہتر جگہ بنانے کی فکر ہے اور وہ اس بارے میں پرجوش ہیں کہ کس طرح AI اور ML اس سفر میں ایک اتپریرک ثابت ہو سکتے ہیں۔

ایوی پٹیل ایمیزون سیج میکر کینوس ٹیم میں سافٹ ویئر انجینئر کے طور پر کام کرتا ہے۔ اس کا پس منظر فرنٹ اینڈ فوکس کے ساتھ مکمل کام کرنے پر مشتمل ہے۔ اپنے فارغ وقت میں، وہ کرپٹو اسپیس میں اوپن سورس پروجیکٹس میں حصہ ڈالنا اور نئے DeFi پروٹوکولز کے بارے میں جاننا پسند کرتا ہے۔

جیرڈ ہیووڈ AWS میں ایک سینئر بزنس ڈویلپمنٹ مینیجر ہے۔ وہ ایک عالمی AI/ML ماہر ہے جو بغیر کوڈ مشین لرننگ والے صارفین کی مدد کرتا ہے۔ اس نے پچھلے 5 سالوں سے آٹو ایم ایل اسپیس میں کام کیا ہے اور ایمیزون پر امیزون سیج میکر جمپ اسٹارٹ اور ایمیزون سیج میکر کینوس جیسی مصنوعات لانچ کی ہیں۔