ایمیزون سیج میکر اسٹوڈیو ML کے لیے پہلا مکمل طور پر مربوط ترقیاتی ماحول (IDE) ہے۔ یہ ایک واحد، ویب پر مبنی بصری انٹرفیس فراہم کرتا ہے جہاں آپ ماڈلز کی تعمیر، تربیت، ٹیون، ڈیبگ، تعیناتی، اور نگرانی کے لیے درکار تمام مشین لرننگ (ML) ترقیاتی اقدامات انجام دے سکتے ہیں۔ یہ ڈیٹا سائنسدانوں کو وہ تمام ٹولز فراہم کرتا ہے جن کی آپ کو IDE کو چھوڑے بغیر ML ماڈلز کو تجربہ سے پروڈکشن تک لے جانے کی ضرورت ہے۔ مزید یہ کہ، نومبر 2022 تک، اسٹوڈیو سپورٹ کرتا ہے۔ مشترکہ جگہیں ریئل ٹائم تعاون کو تیز کرنا اور متعدد Amazon SageMaker ڈومینز ہر اکاؤنٹ کے لیے ایک واحد AWS ریجن میں۔
اسٹوڈیو ڈومین بیک اپ اور ریکوری کے لیے استعمال کے دو مروجہ کیسز ہیں۔ پہلے استعمال کے معاملے میں ایک کسٹمر بزنس یونٹ اور پروجیکٹ شامل ہے جو ڈیٹا سائنسدانوں کے فن پاروں اور ڈیٹا فائلوں کو اپنی مرضی سے کسی بھی ٹارگٹ ڈومینز اور پروفائلز پر نقل کرنے کے لیے فعالیت چاہتا ہے۔ دوسرے استعمال کے معاملے میں نقل صرف اس وقت شامل ہوتی ہے جب ڈومین اور پروفائل کو کسی صارف کے زیر انتظام کلید سے تبدیل کرنے جیسی شرائط کی وجہ سے حذف کر دیا جاتا ہے۔ AWS کے زیر انتظام کلید یا سے آن بورڈنگ کی تبدیلی AWS شناخت اور رسائی کا انتظام (IAM) کی توثیق (دیکھیں۔ IAM کا استعمال کرتے ہوئے Amazon SageMaker ڈومین پر آن بورڈکے) AWS IAM شناختی مرکز (ملاحظہ کریں IAM شناختی مرکز کا استعمال کرتے ہوئے Amazon SageMaker ڈومین پر آن بورڈ).
یہ پوسٹ بنیادی طور پر استعمال کرنے والے دوسرے کیس کا احاطہ کرتی ہے یہ پیش کرتے ہوئے کہ صارفین کے کام کا بیک اپ اور بازیافت کیسے کریں۔ صارف اور خلائی پروفائلز کو حذف کر کے دوبارہ بنایا جاتا ہے، لیکن ہم پہلے استعمال کے معاملے کو سپورٹ کرنے کے لیے Python اسکرپٹ بھی فراہم کرتے ہیں۔
جب موجودہ اسٹوڈیو ڈومین میں صارف اور اسپیس پروفائلز دوبارہ بنائے جائیں گے، تو اسٹوڈیو کے اندر پروفائل ڈائرکٹری کی ایک نئی ID بنائی جائے گی۔ ایمیزون لچکدار فائل سسٹم (ایمیزون ای ایف ایس) حجم. نتیجتاً، سٹوڈیو کے صارفین اپنی سابقہ پروفائل ڈائرکٹری میں محفوظ کردہ ماڈل آرٹفیکٹس اور ڈیٹا فائلوں تک رسائی سے محروم ہو سکتے ہیں اگر وہ حذف ہو جائیں۔ مزید برآں، اسٹوڈیو ڈومینز فی الحال بڑھتے ہوئے کسٹم یا اضافی EFS والیوم کی حمایت نہیں کرتے ہیں۔. ہم پچھلے اسٹوڈیو ای ایف ایس والیوم کو بیک اپ کے طور پر استعمال کرنے کی تجویز کرتے ہیں۔ برقرار رکھنے کی پالیسی سٹوڈیو میں
لہذا، پروفائل ڈیلیٹ ہونے کی صورت میں پچھلی ڈائرکٹری سے ڈیٹا تک رسائی کے لیے یا ڈومین ڈیلیٹ ہونے کی صورت میں فائلوں کو علیحدہ والیوم سے بازیافت کرنے کے لیے ایک مناسب ریکوری سلوشن کو نافذ کرنے کی ضرورت ہے۔ ڈیٹا سائنسدان ڈومین اور پروفائلز کو حذف کرنے کے ممکنہ اثرات کو کم کر سکتے ہیں اگر وہ اکثر اپنے کوڈ کو ریپوزٹری میں بھیجتے ہیں اور ڈیٹا تک رسائی کے لیے بیرونی اسٹوریج کا استعمال کرتے ہیں۔ تاہم، ڈیٹا سائنسدان کے ورک اسپیس کا بیک اپ اور بازیافت کرنے کی صلاحیت ان کے کام کے تسلسل کو یقینی بنانے کے لیے ایک اور پرت ہے، جو ان کی پیداواری صلاحیت کو بڑھا سکتی ہے۔ مزید برآں، اگر آپ کے پاس دسیوں اور سینکڑوں سٹوڈیو کے صارفین ہیں، تو اس بات پر غور کریں کہ غلطیوں سے بچنے اور اخراجات اور وقت بچانے کے لیے بحالی کے عمل کو خود کار طریقے سے کیسے بنایا جائے۔ اس مسئلے کو حل کرنے کے لیے، ہم فراہم کرتے ہیں a سٹوڈیو ڈومین ریکوری کی تکمیل کا حل.
یہ پوسٹ بیک اپ اور ریکوری ماڈیول کی وضاحت کرتی ہے اور ایونٹ سے چلنے والے فن تعمیر کا استعمال کرتے ہوئے عمل کو خودکار کرنے کے لیے ایک نقطہ نظر کی وضاحت کرتی ہے۔ سب سے پہلے، ہم یہ ظاہر کرتے ہیں کہ اگر آپ ایک نیا اسٹوڈیو ڈومین، صارف، اور اسپیس پروفائلز کا استعمال کرتے ہوئے بناتے ہیں تو بیک اپ اور ریکوری کیسے کریں AWS کلاؤڈ فارمیشن ٹیمپلیٹس اس کے بعد، ہم ہمارے CloudFormation ٹیمپلیٹس کا استعمال کیے بغیر موجودہ ڈومین اور پروفائلز کا استعمال کرتے ہوئے اپنے ریکوری سلوشن کو جانچنے کے لیے مطلوبہ اقدامات کی وضاحت کرتے ہیں (آپ اپنی ٹیمپلیٹس استعمال کر سکتے ہیں)۔ اگرچہ یہ پوسٹ ایک ڈومین سیٹنگ پر فوکس کرتی ہے، ہمارا حل متعدد اسٹوڈیو ڈومینز کے لیے بھی کام کرتا ہے۔ آخر میں، ہم نے استعمال کرتے ہوئے تمام وسائل کی فراہمی کو خودکار کر دیا ہے۔ AWS سرور لیس ایپلیکیشن ماڈل (AWS SAM)، بغیر سرور ایپلی کیشنز کی تعمیر کے لیے ایک اوپن سورس فریم ورک۔
حل جائزہ
مندرجہ ذیل خاکہ اسٹوڈیو ڈومین بیک اپ کے اعلیٰ سطحی ورک فلو اور ایونٹ سے چلنے والے فن تعمیر کے ساتھ ریکوری کو واضح کرتا ہے۔
ایونٹ سے چلنے والی ایپ میں درج ذیل اقدامات شامل ہیں:
- An ایمیزون کلاؤڈ واچ واقعات کی حکمرانی استعمال AWS CloudTrail ٹریک کرنے کے لئے
CreateUserProfile
اورCreateSpace
API کال کریں، قاعدہ کو متحرک کریں، اور کال کریں۔ او ڈبلیو ایس لامبڈا۔ تقریب. - فنکشن صارف کی میز کو اپ ڈیٹ کرتا ہے اور ہسٹری ٹیبل میں آئٹمز کو شامل کرتا ہے۔ ایمیزون ڈائنومو ڈی بی. اس کے علاوہ، ڈیٹا بیس کی تہہ ڈومین اور پروفائل کے نام اور فائل سسٹم کی میپنگ کو ٹریک کرتی ہے۔
درج ذیل تصویر DynamoDB ٹیبلز کا ڈھانچہ دکھاتی ہے۔ دی تقسیم کلید اور ترتیب کی کلید میں studioUser
ٹیبل پروفائل اور ڈومین نام پر مشتمل ہے۔ نقل کا کالم ڈیفالٹ قدر کے طور پر سچ کے ساتھ نقل کا جھنڈا رکھتا ہے۔ اس کے علاوہ، bytes_written
, bytes_file_transferred
, total_duration_ms
، اور replication_status
جب نقل کامیابی سے مکمل ہو جاتی ہے تو فیلڈز آباد ہوتے ہیں۔
ڈیٹا بیس کی پرت کو دوسری خدمات سے تبدیل کیا جا سکتا ہے، جیسے ایمیزون متعلقہ ڈیٹا بیس سروس (ایمیزون آر ڈی ایس) یا ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔ تاہم، ہم نے اس کی وجہ سے DynamoDB کا انتخاب کیا۔ Amazon DynamoDB اسٹریمز کو نمایاں کریں.
- DynamoDB اسٹریمز کو صارف کے ٹیبل پر فعال کیا جاتا ہے، اور Lambda فنکشن کو ٹرگر کے طور پر سیٹ کیا جاتا ہے اور جب نئے سٹریم ریکارڈز دستیاب ہوتے ہیں تو ہم وقت سازی کی جاتی ہے۔
- ایک اور لیمبڈا فنکشن صارف اور خلائی فائلوں کو بحال کرنے والے ٹولز کا استعمال کرتے ہوئے فائلوں کو بحال کرنے کے عمل کو متحرک کرتا ہے۔
بیک اپ اور ریکوری ورک فلو میں درج ذیل اقدامات شامل ہیں:
- بیک اپ اور ریکوری ورک فلو پر مشتمل ہے۔ AWS اسٹیپ فنکشنز، دیگر AWS خدمات کے ساتھ مربوط، بشمول AWS ڈیٹا سنکصارف اور اسپیس فائلوں کی بازیابی کو پچھلی ڈائرکٹری سے ایک نئی ڈائرکٹری کے درمیان ترتیب دینے کے لیے اسٹوڈیو ڈومین EFS والیوم (پروفائل تفریح) یا ایک نیا ڈومین EFS حجم (ڈومین تفریح)۔ کے ساتہ سٹیپ فنکشنز ورک فلو اسٹوڈیو، زیادہ حسب ضرورت حل کے لیے ورک فلو کو بغیر کوڈ (جیسے اس معاملے میں) یا کم کوڈ کے ساتھ لاگو کیا جا سکتا ہے۔ اسٹیپ فنکشنز اسٹیٹ مشین کو اس وقت طلب کیا جاتا ہے جب ایونٹ سے چلنے والی ایپ پروفائل تخلیق کے ایونٹ کا پتہ لگاتی ہے۔ ہر پروفائل کے لیے، سٹیپ فنکشنز سٹیٹ مشین DataSync ٹاسک چلاتی ہے تاکہ تمام فائلوں کو ان کی پچھلی ڈائریکٹریوں سے نئی ڈائرکٹری میں کاپی کر سکے۔
درج ذیل تصویر سٹیپ فنکشنز سٹیٹ مشین کا اصل گراف ہے۔ نوٹ کریں کہ ListApp*
قدم اس بات کو یقینی بناتا ہے کہ آگے بڑھنے سے پہلے پروفائل ڈائریکٹریز اسٹوڈیو ای ایف ایس والیوم میں آباد ہیں۔ اس کے علاوہ، ہم نے لاگو کیا ایکسپونینشل بیک آف کے ساتھ دوبارہ کوشش کریں۔ DataSync کے لیے API تھروٹل کو ہینڈل کرنے کے لیے CreateLocationEfs
اور CreateTask
API کالز۔
- جب صارفین اپنا اسٹوڈیو کھولیں گے تو پچھلی ڈائریکٹری سے متعلقہ ڈائریکٹریز کی تمام فائلیں اپنا کام جاری رکھنے کے لیے دستیاب ہوں گی۔ ہمارے تجربے سے ایک گیگا بائٹ ڈیٹا کی نقل تیار کرنے والے DataSync کام میں تقریباً 1 منٹ لگا۔
درج ذیل خدمات ہیں جو حل کے حصے کے طور پر استعمال ہوں گی۔
شرائط
اس حل کو نافذ کرنے کے لیے، آپ کو درج ذیل شرائط کا ہونا ضروری ہے:
- An AWS اکاؤنٹ اگر آپ کے پاس پہلے سے نہیں ہے۔ جس IAM صارف کو آپ استعمال کرتے ہیں اس کے پاس ضروری AWS سروس کال کرنے اور AWS وسائل کا نظم کرنے کے لیے کافی اجازت ہونی چاہیے۔
- ۔ AWS SAM CLI انسٹال اور تشکیل شدہ۔
- اور AWS اسناد سیٹ اپ کریں۔
- گٹ انسٹال ہے۔.
- ازگر 3.9۔
- ایک اسٹوڈیو پروفائل اور ڈومین نام کا امتزاج جو کسی علاقے اور اکاؤنٹ کے اندر موجود تمام اسٹوڈیو ڈومینز میں منفرد ہے۔
- تعیناتی کے مرحلے پر عمل کرنے کے لیے آپ کو موجودہ Amazon VPC اور S3 بالٹی استعمال کرنے کی ضرورت ہے۔
- اس کے علاوہ، کے لیے سروس کوٹہ سے آگاہ رہیں فی خطہ فی اکاؤنٹ ڈیٹا سنک کاموں کی زیادہ سے زیادہ تعداد (پہلے سے طے شدہ 100 ہے)۔ آپ کر سکتے ہیں۔ کوٹہ بڑھانے کی درخواست کریں۔ آپ کے استعمال کے کیس کے لیے نقل کے کاموں کی تعداد کو پورا کرنے کے لیے۔
ملاحظہ کریں AWS علاقائی خدمات کی فہرست علاقے کی بنیاد پر سروس کی دستیابی کے لیے۔ اس کے علاوہ، جائزہ لیں ایمیزون سیج میکر کے اختتامی نکات اور کوٹے.
اسٹوڈیو پروفائل ریکوری انفراسٹرکچر ترتیب دیں۔
مندرجہ ذیل خاکہ SageMaker منتظم کے لیے اسٹوڈیو صارف اور خلائی بحالی کے بنیادی ڈھانچے کو ترتیب دینے کے لیے منطقی اقدامات دکھاتا ہے، جسے ایک کمانڈ ہمارے خودکار حل کے ساتھ مکمل کر سکتی ہے۔
ماحول کو ترتیب دینے کے لیے، ٹرمینل میں GitHub ریپو کو کلون کریں:
درج ذیل کوڈ تعیناتی اسکرپٹ کے استعمال کو ظاہر کرتا ہے:
ایک نیا بنانے کے لیے ایمیزون سیج میکر ڈومین، درج ذیل کمانڈ کو چلائیں۔ آپ کو یہ بتانے کی ضرورت ہے کہ کون سا Amazon VPC اور سب نیٹ آپ استعمال کرنا چاہتے ہیں۔ ہم استعمال کرتے ہیں صرف VPC اسٹوڈیو کی تعیناتی کے لیے وضع۔ اگر آپ کی کوئی ترجیح نہیں ہے، تو آپ استعمال کر سکتے ہیں۔ پہلے سے طے شدہ VPC اور سب نیٹ. اس کے علاوہ، کسی بھی اسٹیک نام کی وضاحت کریں، AWS علاقہ، اور Lambda فنکشن کو تعینات کرنے کے لیے AWS SAM کے لیے S3 بالٹی کا نام:
اگر آپ موجودہ اسٹوڈیو ڈومین استعمال کرنا چاہتے ہیں تو درج ذیل کمانڈ کو چلائیں۔ آپشن -d
yes ایک نیا اسٹوڈیو ڈومین بنانا چھوڑ دے گا:
موجودہ ڈومینز کے لیے، SageMaker منتظم کو صارف اور اسپیس فائل ریسٹور ٹول سے کنکشن کی اجازت دینے کے لیے سورس اور ہدف اسٹوڈیو EFS سیکیورٹی گروپس کو بھی اپ ڈیٹ کرنا چاہیے۔ مثال کے طور پر، درج ذیل کمانڈ کو چلانے کے لیے، آپ کو وضاحت کرنے کی ضرورت ہے۔ HomeEfsFileSystemId، EFS فائل سسٹم ID، اور SecurityGroupId
صارف اور اسپیس فائل ریسٹور ٹول کے ذریعہ استعمال کیا جاتا ہے (ہم بعد میں پوسٹ میں اس پر مزید تفصیل سے بات کریں گے):
صارف اور جگہ کی بازیابی کا منطقی بہاؤ
مندرجہ ذیل خاکہ سیج میکر ایڈمنسٹریٹر کے لیے منطقی صارف اور اسپیس ریکوری فلو ڈایاگرام دکھاتا ہے تاکہ یہ سمجھ سکے کہ حل کیسے کام کرتا ہے، اور کسی اضافی سیٹ اپ کی ضرورت نہیں ہے۔ اگر پروفائل (صارف یا اسپیس) اور ڈومین غلطی سے حذف ہو جائیں، EFS والیوم الگ ہے لیکن حذف نہیں کیا گیا ہے۔. ایک ممکنہ منظر نامہ یہ ہے کہ ہم ایک نیا ڈومین اور پروفائلز دوبارہ بنا کر حذف کو واپس لوٹانا چاہتے ہیں۔ اگر وہی پروفائلز دوبارہ آن بورڈ کیے جا رہے ہیں، تو وہ علیحدہ والیوم میں اپنے متعلقہ ورک اسپیس سے فائلوں تک رسائی حاصل کرنا چاہیں گے۔ بحالی کا عمل تقریباً مکمل طور پر خودکار ہے۔ SageMaker ایڈمنسٹریٹر کے لیے صرف ایک ہی کارروائی کی ضرورت ہے کہ وہ ایک ہی CloudFormation ٹیمپلیٹ کا استعمال کرتے ہوئے اسٹوڈیو ڈومین اور پروفائلز کو دوبارہ تخلیق کرے۔ باقی اقدامات خودکار ہیں۔
اختیاری طور پر، اگر SageMaker منتظم نقل پر کنٹرول چاہتا ہے، تو مخصوص ڈومینز اور پروفائلز کے لیے نقل کو بند کرنے کے لیے درج ذیل کمانڈ کو چلائیں۔ یہ اسکرپٹ ٹیبل میں ڈومین اور پروفائل کا نام دیکر ریپلیکشن فیلڈ کو اپ ڈیٹ کرتا ہے۔ نوٹ کریں کہ جب بھی وہ دوبارہ بنائے جائیں تو آپ کو ایک ہی صارف کے لیے اسکرپٹ چلانے کی ضرورت ہے۔
مندرجہ ذیل اختیاری مرحلہ پہلے استعمال کے معاملے کا حل فراہم کرتا ہے تاکہ مخصوص سورس فائل سسٹم کے درمیان کسی بھی ٹارگٹ ڈومین اور پروفائل نام کی نقل کی اجازت دی جا سکے۔ اگر سیج میکر ایڈمن مخصوص پروفائل ڈیٹا کو کسی مختلف ڈومین اور کسی ایسے پروفائل پر نقل کرنا چاہتا ہے جو ابھی موجود نہیں ہے تو درج ذیل کمانڈ کو چلائیں۔ اسکرپٹ نئے ڈومین اور پروفائل کا نام مخصوص سورس فائل سسٹم کی معلومات کے ساتھ داخل کرتا ہے۔ بعد میں پروفائل کی تخلیق نقل کے کام کو متحرک کرے گی۔ نوٹ کریں کہ آپ کو پچھلے مرحلے سے add-security-group.py چلانے کی ضرورت ہے تاکہ فائل کو بحال کرنے والے ٹول سے کنکشن کی اجازت دی جا سکے۔
مندرجہ ذیل حصوں میں، ہم اس بات کی تصدیق کے لیے دو منظرناموں کی جانچ کرتے ہیں کہ حل توقع کے مطابق کام کرتا ہے۔
ایک نیا اسٹوڈیو ڈومین بنائیں
ہمارا پہلا ٹیسٹ منظر نامہ یہ فرض کرتا ہے کہ آپ شروع سے شروع کر رہے ہیں اور ہمارے ٹیمپلیٹس کا استعمال کرتے ہوئے اپنے ماحول میں ایک نیا اسٹوڈیو ڈومین اور پروفائلز بنانا چاہتے ہیں۔ پھر ہم اسٹوڈیو ڈومین، صارف اور جگہ، بیک اپ اور ریکوری ورک فلو، اور ایونٹ ایپ تعینات کرتے ہیں۔ پہلے منظر نامے کا مقصد اس بات کی تصدیق کرنا ہے کہ پروفائل فائل کو نئی ہوم ڈائرکٹری میں خود بخود بازیافت کیا جاتا ہے جب پروفائل کو حذف کیا جاتا ہے اور اسی اسٹوڈیو ڈومین میں دوبارہ بنایا جاتا ہے۔
درج ذیل مراحل کو مکمل کریں:
- ایپلیکیشن کو تعینات کرنے کے لیے، درج ذیل کمانڈ کو چلائیں:
- AWS CloudFormation کنسول پر، یقینی بنائیں کہ درج ذیل اسٹیک موجود ہیں۔
CREATE_COMPLETE
حالت:<stack_name>
-DemoBootstrap-*
<stack_name>
-StepFunction-*
<stack_name>
-EventApp-*
<stack_name>
-StudioDomain-*
<stack_name>
-StudioUser1-*
<stack_name>
-StudioSpace-*
اگر کسی بھی اسٹیک میں تعیناتی ناکام ہو گئی، تو غلطی کو چیک کریں اور مسائل کو حل کریں۔ پھر، اگلے مرحلے پر صرف اس صورت میں آگے بڑھیں جب مسائل حل ہوجائیں۔
- DynamoDB کنسول پر، منتخب کریں۔ میزیں نیویگیشن پین میں اور تصدیق کریں کہ
studioUser
اورstudioUserHistory
میزیں بنائی جاتی ہیں. - منتخب کریں
studioUser
اور منتخب کریں ٹیبل آئٹمز کو دریافت کریں۔ اس کے لیے اشیاء کی تصدیق کرنے کے لیےuser1
اورspace1
ٹیبل میں آباد ہیں۔ - سیج میکر کنسول پر، منتخب کریں۔ ڈومینز نیوی گیشن پین میں.
- میں سے انتخاب کریں
demo-myapp-dev-studio-domain
. - پر صارف کے پروفائلز ٹیب، منتخب کریں
user1
اور منتخب کریں شروع، اور منتخب کریں سٹوڈیو صارف کے لیے اسٹوڈیو کھولنے کے لیے۔
نوٹ کریں کہ اسٹوڈیو پہلی بار لوڈ ہونے میں 10-15 منٹ لگ سکتے ہیں۔.
- پر فائل مینو، منتخب کریں ٹرمنل سٹوڈیو کے اندر ایک نیا ٹرمینل شروع کرنے کے لیے۔
- جانچ کے لیے فائل بنانے کے لیے ٹرمینل میں درج ذیل کمانڈ کو چلائیں:
- کے لیے ان اقدامات کو دہرائیں۔
space1
(منتخب کریں۔ خالی جگہوں مرحلہ 7 میں)۔ بلا جھجھک اپنی پسند کی فائل بنائیں۔ - اسٹوڈیو صارف کو حذف کریں۔
user1
اورspace1
نیسٹڈ ڈھیروں کو ہٹا کر<stack_name>
اور-StudioUser1-*
<stack_name>
-StudioSpace-*
والدین سے. AWS SAM ٹیمپلیٹ فائل سے درج ذیل کوڈ بلاکس پر تبصرہ کرتے ہوئے اسٹیک کو حذف کریں،template.yaml
. ترمیم کے بعد فائل کو محفوظ کرنا یقینی بنائیں:
- اس تبدیلی کے ساتھ اسٹیک کو تعینات کرنے کے لیے درج ذیل کمانڈ کو چلائیں:
- اسٹیک کو واپس والدین میں شامل کرکے اسٹوڈیو پروفائلز کو دوبارہ بنائیں۔ پچھلے مرحلے سے کوڈ بلاک کو غیر تبصرہ کریں، فائل کو محفوظ کریں، اور وہی کمانڈ چلائیں:
کامیاب تعیناتی کے بعد، آپ نتائج دیکھ سکتے ہیں۔
- AWS CloudFormation کنسول پر، اسٹیک کا انتخاب کریں۔
<stack_name>
-StepFunction-*
- اسٹیک میں، کے لیے قدر منتخب کریں۔ جسمانی شناخت of
StepFunction
میں وسائل سیکشن پر ایک اقتصادی کینڈر سکین کر لیں۔ - تازہ ترین رن کا انتخاب کریں اور اس کی حیثیت کی تصدیق کریں۔ گراف کا نظارہ.
یہ صارف کے پروفائل کی نقل کے لیے درج ذیل اسکرین شاٹ کی طرح نظر آنا چاہیے۔ آپ خلائی پروفائل کے لیے اسی کو یقینی بنانے کے لیے دوسرے رن کو بھی چیک کر سکتے ہیں۔
- اگر آپ نے مرحلہ 5-10 مکمل کر لیا ہے تو اس کے لیے اسٹوڈیو ڈومین کھولیں۔
user1
اور تصدیق کریں کہuser1.txt
فائل کو نئی بنائی گئی ڈائرکٹری میں کاپی کیا جاتا ہے۔
اس میں نظر نہیں آنا چاہیے۔ space1
ڈائریکٹری، ایک ہی فائل کی ملکیت کو برقرار رکھتے ہوئے.
- کے لیے اس قدم کو دہرائیں۔
space1
. - DataSync کنسول پر، تازہ ترین ٹاسک ID کا انتخاب کریں۔
- میں سے انتخاب کریں تاریخ اور سب سے حالیہ رن آئی ڈی۔
ڈیٹا سنک ٹاسک کی کنفیگریشنز اور رن اسٹیٹس کا معائنہ کرنے کا یہ دوسرا طریقہ ہے۔ مثال کے طور پر، مندرجہ ذیل اسکرین شاٹ کام کا نتیجہ دکھاتا ہے۔ user1
ڈائریکٹری نقل.
ہم نے اس منظر نامے میں صرف پروفائل تفریح کا احاطہ کیا۔ تاہم، ہمارا حل اسٹوڈیو ڈومین تفریح کے لیے اسی طرح کام کرتا ہے، اور اسے ڈومین کو حذف اور دوبارہ بنا کر جانچا جا سکتا ہے۔
ایک موجودہ اسٹوڈیو ڈومین استعمال کریں۔
ہمارا دوسرا ٹیسٹ منظر نامہ فرض کرتا ہے کہ آپ ماحول میں موجودہ SageMaker ڈومین اور پروفائلز استعمال کرنا چاہتے ہیں۔ لہذا، ہم صرف بیک اپ اور ریکوری ورک فلو اور ایونٹ ایپ کو تعینات کرتے ہیں۔ ایک بار پھر، آپ اپنا اسٹوڈیو کلاؤڈ فارمیشن ٹیمپلیٹ استعمال کر سکتے ہیں یا انہیں AWS CloudFormation کنسول کے ذریعے بنا سکتے ہیں۔ چونکہ ہم موجودہ اسٹوڈیو ڈومین استعمال کر رہے ہیں، اس لیے حل موجودہ صارف اور خطے کے اندر موجود تمام ڈومینز کے لیے جگہ کی فہرست بنائے گا، جسے ہم کہتے ہیں۔ بوائ.
درج ذیل مراحل کو مکمل کریں:
- ایپلیکیشن کو تعینات کرنے کے لیے، درج ذیل کمانڈ کو چلائیں:
- AWS CloudFormation کنسول پر، یقینی بنائیں کہ درج ذیل اسٹیک موجود ہیں۔
CREATE_COMPLETE
حالت:<stack_name>
-DemoBootstrap-*
<stack_name>
-StepFunction-*
<stack_name>
-EventApp-*
اگر کسی بھی اسٹیک میں تعیناتی ناکام ہو گئی، تو غلطی کو چیک کریں اور مسائل کو حل کریں۔ پھر، اگلے مرحلے پر صرف اس صورت میں آگے بڑھیں جب مسائل حل ہوجائیں۔
- تصدیق کریں کہ ابتدائی ڈیٹا بیج مکمل ہو گیا ہے۔
- DynamoDB کنسول پر، منتخب کریں۔ میزیں نیویگیشن پین میں اور تصدیق کریں کہ
studioUser
اورstudioUserHistory
میزیں بنائی جاتی ہیں. - میں سے انتخاب کریں
studioUser
اور منتخب کریں ٹیبل آئٹمز کو دریافت کریں۔ اس بات کی تصدیق کرنے کے لیے کہ موجودہ اسٹوڈیو ڈومین کے لیے آئٹمز ٹیبل میں موجود ہیں۔
اگلے مرحلے پر صرف اسی صورت میں آگے بڑھیں جب بیج کامیابی سے مکمل ہو جائے۔ اگر میزیں آباد نہیں ہیں، تو متعلقہ لیمبڈا فنکشن کے CloudWatch لاگز کو چیک کریں۔ AWS CloudFormation کنسول پر، اسٹیک کا انتخاب کریں۔ <stack_name>
، اور کی فزیکل ID منتخب کریں۔ -EventApp-*
DDBSeedLambda
میں وسائل سیکشن کے تحت۔ کی نگرانیمنتخب کریں کلاؤڈ واچ لاگز دیکھیں اور ٹربل شوٹ کرنے کے لیے تازہ ترین رن کے لیے لاگز چیک کریں۔
- EFS سیکیورٹی گروپ کو اپ ڈیٹ کرنے کے لیے، پہلے حاصل کریں۔
SecurityGroupId
. ہم CloudFormation ٹیمپلیٹ کے ذریعے بنائے گئے سیکیورٹی گروپ کا استعمال کرتے ہیں، جو آؤٹ باؤنڈ کنکشن میں تمام ٹریفک کی اجازت دیتا ہے۔ درج ذیل کمانڈ کو چلائیں:
- حاصل کریں
HomeEfsFileSystemId
جو کہ اسٹوڈیو ہوم EFS والیوم کی ID ہے۔ درج ذیل کمانڈ کو چلائیں: - آخر میں، پورٹ 2049 کا استعمال کرتے ہوئے ڈیٹا سنک ٹاسک کے ساتھ اشتراک کردہ سیکیورٹی گروپ سے ان باؤنڈز کی اجازت دے کر EFS سیکیورٹی گروپ کو اپ ڈیٹ کریں۔ درج ذیل کمانڈ کو چلائیں:
- اسی پروفائل نام کا استعمال کرتے ہوئے اپنی پسند کے اسٹوڈیو پروفائلز کو حذف اور دوبارہ بنائیں۔
- پہلے منظر نامے کے مراحل پر عمل کرتے ہوئے اسٹیپ فنکشنز اسٹیٹ مشین کے رن اسٹیٹس اور اسٹوڈیو پروفائل ڈائرکٹری کی بازیافت کی تصدیق کریں۔
آپ اسٹیپ فنکشنز ورک فلو کو دستی طور پر اپنے ذریعہ کے انتخاب اور نقل کے لیے ٹارگٹ ان پٹس کے ساتھ بھی جانچ سکتے ہیں (مزید تفصیلات README.md میں GitHub ذخیرہ).
صاف کرو
اپنے وسائل کو صاف کرنے کے لیے درج ذیل کمانڈز چلائیں:
دستی طور پر حذف کریں۔ SageMakerSecurityGroup
20 منٹ یا اس کے بعد. کو حذف کرنا لچکدار نیٹ ورک انٹرفیس (ENI) کے طور پر اسٹیک شو کر سکتے ہیں DELETE_IN_PROGRESS
کچھ وقت کے لیے، اس لیے ہم نے جان بوجھ کر سیکیورٹی گروپ کو برقرار رکھا ہے۔ اس کے علاوہ، آپ کو کرنے کی ضرورت ہے اس سیکیورٹی گروپ کو سیج میکر کے زیر انتظام سیکیورٹی گروپ سے الگ کردیں اس سے پہلے کہ آپ اسے حذف کرسکیں.
نتیجہ
اسٹوڈیو ایک طاقتور IDE ہے جو ڈیٹا سائنسدانوں کو ماڈلز کو تیزی سے تیار کرنے، تربیت دینے، جانچنے اور تعینات کرنے کی اجازت دیتا ہے۔ اس پوسٹ میں ڈیٹا سائنسدان کے گھر اور مشترکہ اسپیس ڈائرکٹری میں محفوظ فائلوں کا بیک اپ اور بازیافت کرنے کے طریقہ پر تبادلہ خیال کیا گیا ہے۔ ہم نے یہ بھی دکھایا کہ کس طرح واقعہ سے چلنے والا فن تعمیر بحالی کے عمل کو خودکار بنانے میں مدد کرسکتا ہے۔
ہمارا حل سٹوڈیو کے اندر ڈیٹا سائنسدانوں کے نمونے کی لچک کو بہتر بنانے میں مدد کر سکتا ہے، جس سے AWS کلاؤڈ پر آپریشنل کارکردگی بڑھ جاتی ہے۔ اس کے علاوہ، حل ماڈیولر ہے، لہذا آپ ضروری اجزاء استعمال کر سکتے ہیں اور اپنے استعمال کے لیے انہیں اپ ڈیٹ کر سکتے ہیں۔ مثال کے طور پر، اس حل میں اضافہ کراس اکاؤنٹ کی نقل ہو سکتا ہے۔ ہم امید کرتے ہیں کہ جو کچھ ہم نے پوسٹ میں دکھایا ہے وہ ان خیالات کی حمایت کرنے کے لیے ایک مددگار ذریعہ ثابت ہوگا۔
اسٹوڈیو کے ساتھ شروع کرنے کے لیے، چیک آؤٹ کریں۔ ڈیٹا سائنسدانوں کے لیے ایمیزون سیج میکر. براہ کرم ہمیں فیڈ بیک بھیجیں۔ AWS فورم برائے سیج میکر یا آپ کے AWS سپورٹ رابطوں کے ذریعے۔ آپ ہمارے میں اسٹوڈیو کی دیگر مثالیں تلاش کر سکتے ہیں۔ GitHub ذخیرہ.
مصنفین کے بارے میں
کینی ساتو AWS میں مشین لرننگ انجینئر ہے، جو مشین لرننگ سلوشنز کو آرکیٹیکٹنگ اور لاگو کرنے میں صارفین کی رہنمائی کرتا ہے۔ اس نے ورجینیا ٹیک سے کمپیوٹر انجینئرنگ میں ماسٹر کی ڈگری حاصل کی اور کمپیوٹر سائنس میں پی ایچ ڈی کر رہا ہے۔ اس کے فارغ وقت میں، آپ اسے اس کے گھر کے پچھواڑے میں یا باہر کہیں اس کی پیاری بیٹیوں کے ساتھ کھیلتے ہوئے پا سکتے ہیں۔
گوتم نمبیار AWS کے ساتھ ایک DevOps کنسلٹنٹ ہے۔ وہ خاص طور پر خودکار حلوں، MLOps پائپ لائنوں، اور دوبارہ قابل استعمال اور محفوظ DevOps بہترین پریکٹس کے نمونوں کی تعمیر اور تعمیر میں دلچسپی رکھتا ہے۔ اپنے فارغ وقت میں، وہ فٹ بال کھیلنا اور دیکھنا پسند کرتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹوآئ اسٹریم۔ ویب 3 ڈیٹا انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ایڈریین ایشلے کے ساتھ مستقبل کا نقشہ بنانا۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/implement-backup-and-recovery-using-an-event-driven-serverless-architecture-with-amazon-sagemaker-studio/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 1
- 10
- 100
- 13
- 14
- 20
- 2022
- 7
- 8
- 9
- a
- رفتار کو تیز تر
- تک رسائی حاصل
- اکاؤنٹ
- کے پار
- عمل
- انہوں نے مزید کہا
- اس کے علاوہ
- ایڈیشنل
- اس کے علاوہ
- منتظم
- کے بعد
- پھر
- تمام
- کی اجازت
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- ساتھ
- پہلے ہی
- بھی
- اگرچہ
- ایمیزون
- ایمیزون آر ڈی ایس
- ایمیزون سیج میکر
- ایمیزون سیج میکر اسٹوڈیو
- an
- اور
- ایک اور
- کوئی بھی
- اے پی آئی
- اپلی کیشن
- درخواست
- ایپلی کیشنز
- نقطہ نظر
- تقریبا
- فن تعمیر
- کیا
- AS
- At
- کی توثیق
- خود کار طریقے سے
- آٹومیٹڈ
- خود کار طریقے سے
- دستیابی
- دستیاب
- سے اجتناب
- AWS
- AWS کلاؤڈ فارمیشن
- واپس
- بیک اپ
- کی بنیاد پر
- BE
- کیونکہ
- اس سے پہلے
- کیا جا رہا ہے
- BEST
- کے درمیان
- بلاک
- بلاکس
- تعمیر
- عمارت
- کاروبار
- لیکن
- by
- فون
- کالز
- کر سکتے ہیں
- کیس
- مقدمات
- CD
- تبدیل
- چیک کریں
- انتخاب
- میں سے انتخاب کریں
- کا انتخاب کیا
- بادل
- کوڈ
- تعاون
- کالم
- مجموعہ
- تبصرہ
- وعدہ کرنا
- مکمل
- مکمل
- مکمل کرتا ہے
- اجزاء
- کمپیوٹر
- کمپیوٹر انجینئرنگ
- کمپیوٹر سائنس
- شرط
- حالات
- کی توثیق
- کنکشن
- غور کریں
- کنسول
- کنسلٹنٹ
- روابط
- جاری
- کنٹرول
- اسی کے مطابق
- اخراجات
- سکتا ہے
- احاطہ کرتا ہے
- کا احاطہ کرتا ہے
- تخلیق
- بنائی
- تخلیق
- مخلوق
- موجودہ
- اس وقت
- اپنی مرضی کے
- گاہک
- گاہکوں
- اپنی مرضی کے مطابق
- اعداد و شمار
- ڈیٹا تک رسائی
- ڈیٹا بیس
- پہلے سے طے شدہ
- مظاہرہ
- demonstrated,en
- تعیناتی
- تعیناتی
- تفصیل
- تفصیلات
- ترقی
- ترقی
- مختلف
- ڈائریکٹریز
- بات چیت
- نہیں کرتا
- ڈومین
- ڈومین نام
- ڈومینز
- ڈان
- نہیں
- دو
- ہر ایک
- کارکردگی
- چالو حالت میں
- انجینئر
- انجنیئرنگ
- کو یقینی بنانے کے
- یقینی بناتا ہے
- مکمل
- ماحولیات
- خرابی
- واقعہ
- مثال کے طور پر
- مثال کے طور پر
- وجود
- موجودہ
- توقع
- تجربہ
- وضاحت
- بیان کرتا ہے
- ظالمانہ
- بیرونی
- ناکام
- نمایاں کریں
- آراء
- محسوس
- میدان
- قطعات
- فائل
- فائلوں
- آخر
- مل
- پہلا
- بہاؤ
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- کے لئے
- قیام
- فورم
- ملا
- فریم ورک
- مفت
- اکثر
- سے
- مکمل طور پر
- تقریب
- فعالیت
- افعال
- حاصل
- جاؤ
- GitHub کے
- دی
- فراہم کرتا ہے
- گراف
- گروپ
- گروپ کا
- ہینڈل
- ہے
- ہونے
- he
- مدد
- مدد گار
- اعلی سطحی
- ان
- تاریخ
- کی ڈگری حاصل کی
- ہوم پیج (-)
- امید ہے کہ
- کس طرح
- کیسے
- تاہم
- HTML
- HTTP
- HTTPS
- سینکڑوں
- i
- ID
- خیالات
- شناختی
- if
- وضاحت کرتا ہے
- تصویر
- اثرات
- پر عملدرآمد
- عملدرآمد
- پر عمل درآمد
- کو بہتر بنانے کے
- in
- شامل ہیں
- سمیت
- اضافہ
- معلومات
- انفراسٹرکچر
- ابتدائی
- آدانوں
- داخل کرتا ہے
- نصب
- مثال کے طور پر
- ضم
- جان بوجھ کر
- دلچسپی
- انٹرفیس
- درخواست کی
- مسائل
- IT
- اشیاء
- میں
- ایوب
- رکھتے ہوئے
- کلیدی
- بعد
- شروع
- پرت
- معروف
- سیکھنے
- چھوڑ کر
- کی طرح
- پسند
- لسٹ
- لوڈ
- محل وقوع
- منطقی
- دیکھو
- کی طرح دیکھو
- کھو
- لو
- مشین
- مشین لرننگ
- بنیادی طور پر
- بنا
- انتظام
- میں کامیاب
- دستی طور پر
- تعریفیں
- ماسٹر کی
- مئی..
- سے ملو
- مینو
- شاید
- منٹ
- منٹ
- غلطیوں
- ML
- ایم ایل اوپس
- موڈ
- ماڈل
- ماڈل
- ماڈیولر
- ماڈیول
- کی نگرانی
- زیادہ
- اس کے علاوہ
- سب سے زیادہ
- ایک سے زیادہ
- ضروری
- نام
- سمت شناسی
- ضروری
- ضرورت ہے
- ضروریات
- نیٹ ورک
- نئی
- اگلے
- نہیں
- نومبر
- تعداد
- of
- بند
- on
- جہاز
- ایک
- صرف
- کھول
- اوپن سورس
- آپریشنل
- اختیار
- آپشنز کے بھی
- or
- دیگر
- ہمارے
- باہر
- پر
- خود
- ملکیت
- پین
- پیرامیٹر
- پیرامیٹرز
- حصہ
- خاص طور پر
- خاص طور پر
- پیٹرن
- انجام دیں
- اجازتیں
- جسمانی
- مقام
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- کھیل
- مہربانی کرکے
- آباد ہے
- ممکن
- پوسٹ
- ممکنہ
- طاقتور
- پریکٹس
- ضروریات
- پچھلا
- مسئلہ
- مسائل
- عمل
- پیداوار
- پیداوری
- پروفائل
- پروفائلز
- منصوبے
- مناسب
- خصوصیات
- فراہم
- فراہم کرتا ہے
- مقصد
- ازگر
- جلدی سے
- اصل وقت
- موصول
- حال ہی میں
- سفارش
- ریکارڈ
- بازیافت
- وصولی
- خطے
- علاقائی
- کو ہٹانے کے
- کی جگہ
- نقل
- ذخیرہ
- ضرورت
- حل کیا
- وسائل
- وسائل
- متعلقہ
- باقی
- بحال
- نتیجہ
- نتائج کی نمائش
- قابل اعتماد
- واپس
- کا جائزہ لینے کے
- حکمرانی
- رن
- sagemaker
- سیم
- اسی
- محفوظ کریں
- منظر نامے
- منظرنامے
- سائنس
- سائنسدانوں
- دوسری
- سیکشن
- سیکشنز
- محفوظ بنانے
- سیکورٹی
- دیکھنا
- بیج
- بھیجنے
- بے سرور
- سروس
- سروسز
- مقرر
- قائم کرنے
- سیٹ اپ
- مشترکہ
- ہونا چاہئے
- دکھائیں
- شوز
- سادہ
- ایک
- So
- فٹ بال
- حل
- حل
- حل
- کچھ
- کہیں
- ماخذ
- خلا
- مخصوص
- مخصوص
- ڈھیر لگانا
- Stacks
- شروع
- شروع
- حالت
- درجہ
- مرحلہ
- مراحل
- ذخیرہ
- ذخیرہ
- ذخیرہ
- سٹریم
- اسٹریمز
- ساخت
- سٹوڈیو
- سب نیٹ
- بعد میں
- کامیاب
- کامیابی کے ساتھ
- اس طرح
- کافی
- حمایت
- کی حمایت کرتا ہے
- کے نظام
- ٹیبل
- لے لو
- ہدف
- ٹاسک
- کاموں
- ٹیک
- ٹیکنیکل
- سانچے
- سانچے
- دہلی
- ٹرمنل
- ٹیسٹ
- ٹیسٹنگ
- کہ
- ۔
- ماخذ
- ان
- ان
- تو
- لہذا
- یہ
- وہ
- اس
- ان
- کے ذریعے
- وقت
- کرنے کے لئے
- لیا
- کے آلے
- اوزار
- ٹریک
- ٹریفک
- ٹرین
- ٹرگر
- سچ
- ٹرن
- دو
- قسم
- کے تحت
- سمجھ
- منفرد
- یونٹ
- اپ ڈیٹ کریں
- تازہ ترین معلومات
- us
- استعمال
- استعمال کی شرائط
- استعمال کیس
- استعمال کیا جاتا ہے
- رکن کا
- صارفین
- کا استعمال کرتے ہوئے
- استعمال
- قیمت
- ورجینیا
- نظر
- حجم
- چاہتے ہیں
- چاہتے ہیں
- چاہتا ہے
- دیکھ
- راستہ..
- we
- ویب پر مبنی ہے
- اچھا ہے
- کیا
- جب
- چاہے
- جس
- گے
- ساتھ
- کے اندر
- بغیر
- کام
- کام کرتا ہے
- یامل
- ابھی
- تم
- اور
- زیفیرنیٹ