ایمیزون سیج میکر اسٹوڈیو لیب میں بیچ جابز کے طور پر نوٹ بکس چلائیں۔

حال ہی میں، ایمیزون سیج میکر اسٹوڈیو بیچ جابز کے طور پر نوٹ بک چلانے کا ایک آسان طریقہ شروع کیا جو بار بار چلنے والے شیڈول پر چل سکتا ہے۔ ایمیزون سیج میکر اسٹوڈیو لیب اس خصوصیت کو بھی سپورٹ کرتا ہے، جو آپ کو اپنے AWS اکاؤنٹ میں SageMaker Studio Lab میں تیار کردہ نوٹ بک چلانے کے قابل بناتا ہے۔ یہ آپ کو کچھ بھی نیا سیکھنے یا کوڈ کی ایک لائن کو تبدیل کیے بغیر، بڑے ڈیٹا سیٹس اور زیادہ طاقتور مثالوں کے ساتھ اپنے مشین لرننگ (ML) کے تجربات کو تیزی سے اسکیل کرنے کے قابل بناتا ہے۔

اس پوسٹ میں، ہم آپ کے اسٹوڈیو لیب کے ماحول کو AWS اکاؤنٹ سے منسلک کرنے کے لیے ایک وقت کی شرط کے بارے میں بتاتے ہیں۔ اس کے بعد، ہم آپ کو سٹوڈیو لیب سے ایک بیچ جاب کے طور پر نوٹ بکس چلانے کے مراحل سے گزرتے ہیں۔

حل جائزہ

اسٹوڈیو لیب نے اسٹوڈیو جیسی ہی ایکسٹینشن کو شامل کیا، جو Jupyter اوپن سورس ایکسٹینشن پر مبنی ہے شیڈول نوٹ بک. اس ایکسٹینشن میں اضافی AWS مخصوص پیرامیٹرز ہیں، جیسے کمپیوٹ کی قسم۔ اسٹوڈیو لیب میں، ایک طے شدہ نوٹ بک کو پہلے ایک میں کاپی کیا جاتا ہے۔ ایمیزون سادہ اسٹوریج سروس اپنے AWS اکاؤنٹ میں (Amazon S3) بالٹی، پھر منتخب کمپیوٹ قسم کے ساتھ مقررہ وقت پر چلائیں۔ جب کام مکمل ہو جاتا ہے، آؤٹ پٹ کو S3 بالٹی میں لکھا جاتا ہے، اور AWS کمپیوٹ کو مکمل طور پر روک دیا جاتا ہے، جو جاری اخراجات کو روکتا ہے۔

شرائط

اسٹوڈیو لیب نوٹ بک جابز استعمال کرنے کے لیے، آپ کو اس AWS اکاؤنٹ تک انتظامی رسائی کی ضرورت ہے جس سے آپ جڑنے جا رہے ہیں (یا اس رسائی والے کسی فرد کی مدد)۔ اس پوسٹ کے بقیہ حصے میں، ہم فرض کرتے ہیں کہ آپ AWS ایڈمنسٹریٹر ہیں، اگر ایسا نہیں ہے، تو اپنے منتظم یا اکاؤنٹ کے مالک سے اپنے ساتھ ان اقدامات کا جائزہ لینے کو کہیں۔

سیج میکر پر عمل درآمد کا کردار بنائیں

ہمیں یہ یقینی بنانا ہوگا کہ AWS اکاؤنٹ میں ایک ہے۔ AWS شناخت اور رسائی کا انتظام (IAM) سیج میکر پر عمل درآمد کا کردار۔ یہ کردار اکاؤنٹ کے اندر SageMaker وسائل کے ذریعے استعمال کیا جاتا ہے، اور AWS اکاؤنٹ میں SageMaker سے دیگر وسائل تک رسائی فراہم کرتا ہے۔ ہمارے معاملے میں، ہماری نوٹ بک کی ملازمتیں ان اجازتوں کے ساتھ چلتی ہیں۔ اگر SageMaker اس اکاؤنٹ میں پہلے استعمال کیا جا چکا ہے، تو ایک کردار پہلے سے موجود ہو سکتا ہے، لیکن ہو سکتا ہے کہ اس میں تمام ضروری اجازتیں نہ ہوں۔ تو آئیے آگے بڑھیں اور ایک نیا بنائیں۔

مندرجہ ذیل اقدامات صرف ایک بار کرنے کی ضرورت ہے، قطع نظر اس سے کہ کتنے SageMaker اسٹوڈیو لیب ماحول اس AWS اکاؤنٹ تک رسائی حاصل کریں گے۔

1. IAM کنسول پر، منتخب کریں۔ رولز نیوی گیشن پین میں.
2. میں سے انتخاب کریں کردار بنائیں.
3. کے لئے قابل اعتماد ہستی کی قسممنتخب AWS سروس.
4. کے لئے دیگر AWS سروسز کے لیے کیسز استعمال کریں۔منتخب کریں سیج میکر۔.
5. منتخب کریں سیج میکر - پھانسی.
6. میں سے انتخاب کریں اگلے.
7. اجازتوں کا جائزہ لیں، پھر منتخب کریں۔ اگلے.
8. کے لئے کردار کا نام، ایک نام درج کریں (اس پوسٹ کے لیے، ہم استعمال کرتے ہیں۔ sagemaker-execution-role-notebook-jobs).
9. میں سے انتخاب کریں کردار بنائیں.
10. ARN کے کردار کا ایک نوٹ بنائیں۔

کردار ARN کی شکل میں ہوگا۔ arn:aws:iam::[account-number]:role/service-role/[role-name] اور اسٹوڈیو لیب سیٹ اپ میں درکار ہے۔

ایک IAM صارف بنائیں

AWS تک رسائی کے لیے اسٹوڈیو لیب کے ماحول کے لیے، ہمیں AWS کے اندر ایک IAM صارف بنانے اور اسے ضروری اجازتیں دینے کی ضرورت ہے۔ اس کے بعد ہمیں اس صارف کے لیے رسائی کی چابیاں کا ایک سیٹ بنانا ہوگا اور انہیں اسٹوڈیو لیب ماحول میں فراہم کرنا ہوگا۔

یہ مرحلہ ہر SageMaker Studio Lab ماحول کے لیے دہرایا جانا چاہیے جو اس AWS اکاؤنٹ تک رسائی حاصل کرے گا۔

نوٹ کریں کہ منتظمین اور AWS اکاؤنٹ کے مالکان کو اس بات کو یقینی بنانا چاہیے کہ ممکنہ حد تک، اچھی طرح سے تعمیر شدہ حفاظتی طریقوں کی پیروی کی جائے۔ مثال کے طور پر، صارف کی اجازتوں کا دائرہ ہمیشہ نیچے ہونا چاہیے، اور اسناد کے سمجھوتے کے اثر کو کم کرنے کے لیے رسائی کی چابیاں باقاعدگی سے گھمائی جانی چاہئیں۔

اس بلاگ میں ہم دکھاتے ہیں کہ کس طرح استعمال کیا جائے۔ AmazonSageMakerFullAccess منظم پالیسی. یہ پالیسی Amazon SageMaker تک وسیع رسائی فراہم کرتی ہے جو ضرورت سے زیادہ ہو سکتی ہے۔ کے بارے میں تفصیلات AmazonSageMakerFullAccess پایا جا سکتا ہے یہاں.

اگرچہ اسٹوڈیو لیب انٹرپرائز سیکیورٹی کو ملازمت دیتا ہے، لیکن یہ یاد رکھنا چاہیے کہ اسٹوڈیو لیب صارف کی اسناد آپ کے AWS اکاؤنٹ کا حصہ نہیں بنتی ہیں، اور اس لیے، مثال کے طور پر، آپ کے AWS پاس ورڈ یا MFA پالیسیوں کے تابع نہیں ہیں۔

جہاں تک ممکن ہو اجازتوں کو کم کرنے کے لیے، ہم خاص طور پر اس رسائی کے لیے ایک صارف پروفائل بناتے ہیں۔

1. IAM کنسول پر، منتخب کریں۔ صارفین نیوی گیشن پین میں.
2. میں سے انتخاب کریں صارفین کو شامل کریں.
3. کے لئے صارف کا نام, ایک نام درج کریں۔ ایک ایسا نام استعمال کرنا اچھا عمل ہے جو کسی ایسے فرد سے منسلک ہو جو اس اکاؤنٹ کو استعمال کرے گا۔ اگر آڈٹ لاگز کا جائزہ لیا جائے تو اس سے مدد ملتی ہے۔
4. کے لئے AWS رسائی کی قسم منتخب کریں۔منتخب رسائی کلید - پروگرامی رسائی.
5. میں سے انتخاب کریں اگلا: اجازتیں.
6. میں سے انتخاب کریں موجودہ پالیسیوں کو براہ راست منسلک کریں۔.
7. تلاش کریں اور منتخب کریں۔ AmazonSageMakerFullAccess.
8. تلاش کریں اور منتخب کریں۔ AmazonEventBridgeFullAccess.
9. میں سے انتخاب کریں اگلا: ٹیگز.
10. میں سے انتخاب کریں اگلا: جائزہ لیں.
11. اپنی پالیسیوں کی تصدیق کریں، پھر منتخب کریں۔ صارف بنائیں.صارف کی تخلیق کے عمل کا آخری صفحہ آپ کو صارف کی رسائی کی چابیاں دکھائے گا۔ اس ٹیب کو کھلا چھوڑ دیں، کیونکہ ہم یہاں واپس نہیں جا سکتے اور ہمیں ان تفصیلات کی ضرورت ہے۔
12. اسٹوڈیو لیب میں ایک نیا براؤزر ٹیب کھولیں۔
13. پر فائل مینو، منتخب کریں نیا لانچر، پھر منتخب کریں ٹرمنل.
14. کمانڈ لائن پر، درج ذیل کوڈ درج کریں:

    aws configure

15. درج ذیل کوڈ درج کریں:
    1. اپنی رسائی کلید ID اور خفیہ رسائی کلید کے لیے IAM کنسول صفحہ سے اقدار درج کریں۔
    2. کے لئے Default region name، داخل کریں us-west-2.
    3. چھوڑ دو Default output format as text.

       (studiolab) studio-lab-user@default:~$ aws configure 
       AWS Access Key ID []: 01234567890
       AWS Secret Access Key []: ABCDEFG1234567890ABCDEFG
       Default region name []: us-west-2
       Default output format [text]: 
       
       (studiolab) studio-lab-user@default:~$

مبارک ہو، اب آپ کے اسٹوڈیو لیب کے ماحول کو AWS اکاؤنٹ تک رسائی کے لیے کنفیگر کیا جانا چاہیے۔ کنکشن کی جانچ کرنے کے لیے، درج ذیل کمانڈ جاری کریں:

aws sts get-caller-identity

اس کمانڈ کو IAM صارف کے بارے میں تفصیلات واپس کرنی چاہئیں جو آپ نے استعمال کرنے کے لیے کنفیگر کیے ہیں۔

ایک نوٹ بک کام بنائیں

سٹوڈیو لیب کے اندر Jupyter نوٹ بک کا استعمال کرتے ہوئے نوٹ بک کی نوکریاں بنائی جاتی ہیں۔ اگر آپ کی نوٹ بک اسٹوڈیو لیب میں چلتی ہے، تو یہ ایک نوٹ بک جاب کے طور پر چل سکتی ہے (مزید وسائل اور AWS خدمات تک رسائی کے ساتھ)۔ تاہم، دیکھنے کے لیے کچھ چیزیں ہیں۔

اگر آپ نے اپنی نوٹ بک کو کام کرنے کے لیے پیکجز انسٹال کیے ہیں، تو ان پیکجوں کو اپنی نوٹ بک کے اوپری حصے میں ایک سیل میں لوڈ کرنے کے لیے کمانڈز شامل کریں۔ ہر لائن کے شروع میں ایک & علامت استعمال کرنے سے، کوڈ کو چلانے کے لیے کمانڈ لائن کو بھیجا جائے گا۔ مندرجہ ذیل مثال میں، پہلا سیل PyTorch لائبریریوں کو انسٹال کرنے کے لیے pip کا استعمال کرتا ہے:

%%capture
%pip install torch
%pip install torchvision

ہماری نوٹ بک ایک تربیت یافتہ PyTorch ماڈل تیار کرے گی۔ اپنے باقاعدہ کوڈ کے ساتھ، ہم ماڈل کو اسٹوڈیو لیبز میں فائل سسٹم میں محفوظ کرتے ہیں۔

جب ہم اسے نوٹ بک کے کام کے طور پر چلاتے ہیں، تو ہمیں اس ماڈل کو محفوظ کرنے کی ضرورت ہوتی ہے جہاں ہم بعد میں اس تک رسائی حاصل کر سکیں۔ ایسا کرنے کا سب سے آسان طریقہ ایمیزون S3 میں ماڈل کو محفوظ کرنا ہے۔ ہم نے اپنے ماڈلز کو محفوظ کرنے کے لیے ایک S3 بالٹی بنائی، اور آبجیکٹ کو بالٹی میں کاپی کرنے کے لیے ایک اور کمانڈ لائن سیل کا استعمال کیا۔

ہم استعمال کرتے ہیں AWS کمانڈ لائن انٹرفیس (AWS CLI) اعتراض کو کاپی کرنے کے لیے یہاں۔ ہم بھی استعمال کر سکتے ہیں AWS SDK برائے Python (Boto3) اگر ہم فائل کے نام کا زیادہ نفیس یا خودکار کنٹرول حاصل کرنا چاہتے ہیں۔ ابھی کے لیے، ہم اس بات کو یقینی بنائیں گے کہ جب بھی ہم نوٹ بک چلاتے ہیں تو ہم فائل کا نام تبدیل کرتے ہیں تاکہ ماڈل اوور رائٹ نہ ہوں۔

اب ہم نوٹ بک کا کام بنانے کے لیے تیار ہیں۔

1. نوٹ بک کا نام منتخب کریں (دائیں کلک کریں)، پھر منتخب کریں۔ نوٹ بک جاب بنائیں.
   اگر یہ مینو آپشن غائب ہے، تو آپ کو اپنے اسٹوڈیو لیب کے ماحول کو تازہ کرنے کی ضرورت پڑسکتی ہے۔ ایسا کرنے کے لیے لانچر سے ٹرمینل کھولیں اور درج ذیل کوڈ کو چلائیں۔

   conda deactivate && conda env remove —name studiolab

2. اگلا، منتخب کرکے اپنے JupyterLab مثال کو دوبارہ شروع کریں۔ ایمیزون سیج میکر اسٹوڈیو لیب اوپر والے مینو سے، پھر منتخب کریں۔ JupyterLab کو دوبارہ شروع کریں۔متبادل طور پر، پروجیکٹ کے صفحہ پر جائیں، اور رن ٹائم کو بند کرکے دوبارہ شروع کریں۔
3. پر نوکری پیدا کریں۔ صفحہ، کے لیے کمپیوٹ کی قسم، کمپیوٹ کی قسم منتخب کریں جو آپ کے کام کے مطابق ہو۔

   کمپیوٹ کی صلاحیت کی مختلف اقسام کے بارے میں مزید معلومات کے لیے، بشمول لاگت، دیکھیں ایمیزون سیج میکر قیمتوں کا تعین (منتخب کریں۔ آن ڈیمانڈ قیمتوں کا تعین اور پر جائیں۔ ٹریننگ ٹیب آپ کو اپنے AWS اکاؤنٹ میں کمپیوٹ کی قسم کے کوٹہ کی دستیابی کو بھی چیک کرنے کی ضرورت پڑ سکتی ہے۔ سروس کوٹہ کے بارے میں مزید معلومات کے لیے، دیکھیں: AWS سروس کوٹہاس مثال کے لیے، ہم نے ایک ml.p3.2x بڑا مثال منتخب کیا ہے، جو 8 vCPU، 61 GB میموری اور Tesla V100 GPU پیش کرتا ہے۔

   اگر اس صفحہ پر کوئی انتباہ نہیں ہے، تو آپ کو جانے کے لیے تیار رہنا چاہیے۔ اگر انتباہات ہیں، تو اس بات کو یقینی بنانے کے لیے چیک کریں کہ ARN کا صحیح کردار بیان کیا گیا ہے۔ اضافی اختیارات. یہ کردار SageMaker کے ایگزیکیوشن رول کے ARN سے مماثل ہونا چاہیے جو ہم نے پہلے بنایا تھا۔ ARN فارمیٹ میں ہے۔ arn:aws:iam::[account-number]:role/service-role/[role-name].

   اندر اندر دیگر اختیارات دستیاب ہیں۔ اضافی اختیارات; مثال کے طور پر، آپ ایک خاص تصویر اور دانا منتخب کر سکتے ہیں جس میں پہلے سے ہی وہ کنفیگریشن ہو سکتی ہے جس کی آپ کو ضرورت ہے بغیر اضافی لائبریریوں کو انسٹال کرنے کی ضرورت کے۔

4. اگر آپ اس نوٹ بک کو شیڈول کے مطابق چلانا چاہتے ہیں تو منتخب کریں۔ شیڈول کے مطابق چلائیں۔ اور وضاحت کریں کہ آپ کتنی بار کام چلانا چاہتے ہیں۔ہم چاہتے ہیں کہ یہ نوٹ بک ایک بار چلے، لہذا ہم منتخب کرتے ہیں۔ اب دوڑو.
5. میں سے انتخاب کریں تخلیق کریں.
   

نوٹ بک ملازمتوں کی فہرست

۔ نوٹ بک نوکریاں صفحہ ان تمام ملازمتوں کی فہرست دیتا ہے جو اس وقت چل رہی ہیں اور جو ماضی میں چل رہی ہیں۔ آپ یہ فہرست لانچر سے تلاش کر سکتے ہیں (منتخب کریں، فائل, نیا لانچر)، پھر منتخب کریں۔ نوٹ بک نوکریاں میں دیگر سیکشن پر ایک اقتصادی کینڈر سکین کر لیں۔

جب نوٹ بک کا کام مکمل ہو جائے گا، تو آپ کو اسٹیٹس میں تبدیلی نظر آئے گی۔ Completed (کا استعمال کرتے ہیں دوبارہ دیکھیں اگر ضرورت ہو تو اختیار)۔ اس کے بعد آپ آؤٹ پٹ فائلوں تک رسائی کے لیے ڈاؤن لوڈ آئیکن کا انتخاب کر سکتے ہیں۔

فائلیں ڈاؤن لوڈ ہونے پر، آپ کوڈ آؤٹ پٹ اور آؤٹ پٹ لاگ کے ساتھ نوٹ بک کا جائزہ لے سکتے ہیں۔ ہمارے معاملے میں، چونکہ ہم نے ٹریننگ سیل کے چلنے کے وقت کوڈ شامل کیا ہے، ہم دیکھ سکتے ہیں کہ تربیتی کام میں کتنا وقت لگا—16 منٹ اور 21 سیکنڈ، جو کہ اس سے کہیں زیادہ تیز ہے اگر کوڈ سٹوڈیو لیب کے اندر چلتا ہے (1 گھنٹہ) ، 38 منٹ، 55 سیکنڈ)۔ درحقیقت، پوری نوٹ بک $1,231 (USD) سے کم کی لاگت سے 20 سیکنڈ (صرف 1.30 منٹ سے زیادہ) میں چلی۔

W اب عہدوں کی تعداد میں اضافہ کر سکتا ہے اور ماڈل کی نقصان کی قیمت کو بہتر بنانے کے لیے ہائپر پیرامیٹر کو ایڈجسٹ کر سکتا ہے، اور ایک اور نوٹ بک جاب جمع کرا سکتا ہے۔

نتیجہ

اس پوسٹ میں، ہم نے اسٹوڈیو لیب میں تیار کردہ کوڈ کو اسکیل کرنے اور اسے AWS اکاؤنٹ میں مزید وسائل کے ساتھ چلانے کے لیے اسٹوڈیو لیب نوٹ بک جابز کا استعمال کیسے کیا ہے۔

اپنے اسٹوڈیو لیب کے ماحول میں AWS اسناد کو شامل کرکے، نہ صرف ہم نوٹ بک جابز تک رسائی حاصل کرسکتے ہیں، بلکہ ہم اپنے اسٹوڈیو لیب نوٹ بک کے اندر سے ہی AWS اکاؤنٹ سے دیگر وسائل تک بھی رسائی حاصل کرسکتے ہیں۔ ازگر کے لیے AWS SDK پر ایک نظر ڈالیں۔

اسٹوڈیو لیب کی یہ اضافی صلاحیت آپ کے حاصل کیے جانے والے پروجیکٹس کی اقسام اور سائز کی حدود کو ختم کر دیتی ہے۔ ہمیں بتائیں کہ آپ اس نئی صلاحیت کے ساتھ کیا بناتے ہیں!

مصنفین کے بارے میں

مائک چیمبرز AWS میں AI اور ML کے لیے ڈیولپر ایڈوکیٹ ہیں۔ اس نے کلاؤڈ، سیکورٹی اور ایم ایل سیکھنے میں بلڈرز کی مدد کرتے ہوئے گزشتہ 7 سال گزارے ہیں۔ اصل میں برطانیہ سے، مائیک ایک پرجوش چائے پینے والا اور لیگو بنانے والا ہے۔

مشیل مونکلووا SageMaker ٹیم میں AWS میں پرنسپل پروڈکٹ مینیجر ہے۔ وہ ایک مقامی نیویارکر اور سلیکن ویلی کی تجربہ کار ہیں۔ وہ ان اختراعات کے بارے میں پرجوش ہے جو ہمارے معیار زندگی کو بہتر کرتی ہیں۔