ایمیزون سرچ ایمیزون سیج میکر کے ساتھ بڑے پیمانے پر، لچکدار مشین لرننگ پروجیکٹس کیسے چلاتی ہے۔

اگر آپ نے amazon.com پر خریدنے کے لیے کوئی چیز تلاش کی ہے، تو آپ نے Amazon تلاش کی خدمات استعمال کی ہیں۔ Amazon تلاش میں، ہم دنیا بھر میں اپنے صارفین کے لیے تلاش اور دریافت کے تجربے کے لیے ذمہ دار ہیں۔ پس منظر میں، ہم اپنی مصنوعات کی دنیا بھر میں کیٹلاگ کو انڈیکس کرتے ہیں، انتہائی قابل توسیع AWS فلیٹ تعینات کرتے ہیں، اور ہر صارف کے سوال سے متعلقہ اور دلچسپ پروڈکٹس سے ملنے کے لیے جدید مشین لرننگ (ML) کا استعمال کرتے ہیں۔

تلاش کے نتائج کے معیار کو بہتر بنانے کے لیے ہمارے سائنسدان باقاعدگی سے ہزاروں ML ماڈلز کی تربیت کرتے ہیں۔ بڑے پیمانے پر تجربات کی حمایت کرنا اس کے اپنے چیلنجز پیش کرتا ہے، خاص طور پر جب بات ان ایم ایل ماڈلز کو تربیت دینے والے سائنسدانوں کی پیداواری صلاحیت کو بہتر بنانے کی ہو۔

اس پوسٹ میں، ہم اشتراک کرتے ہیں کہ ہم نے کس طرح ایک انتظامی نظام بنایا ایمیزون سیج میکر تربیتی ملازمتیں، جو ہمارے سائنسدانوں کو ہزاروں تجربات کو بھڑکانے اور فراموش کرنے اور ضرورت پڑنے پر مطلع کرنے کی اجازت دیتی ہیں۔ اب وہ اپنے 60% وقت کی بچت کرتے ہوئے اعلیٰ قدر کے کاموں اور الگورتھمک غلطیوں کو حل کرنے پر توجہ مرکوز کر سکتے ہیں۔

للکار

Amazon Search میں، ہمارے سائنسدان SageMaker پر متعدد ML ماڈل ٹریننگ جابز کو تجربہ کرکے اور چلا کر معلومات کی بازیافت کے مسائل کو حل کرتے ہیں۔ ہماری ٹیم کی اختراعات کو برقرار رکھنے کے لیے، وقت کے ساتھ ساتھ ہمارے ماڈلز کی پیچیدگی اور تربیتی ملازمتوں کی تعداد میں اضافہ ہوا ہے۔ سیج میکر کی تربیتی ملازمتیں ہمیں بنیادی ڈھانچے کا انتظام کرنے کی ضرورت کے بغیر، ان ماڈلز کو پیمانے پر تربیت اور ٹیون کرنے کے لیے وقت اور لاگت کو کم کرنے کی اجازت دیتی ہیں۔

اس طرح کے بڑے پیمانے پر ML منصوبوں میں ہر چیز کی طرح، تربیتی ملازمتیں مختلف عوامل کی وجہ سے ناکام ہو سکتی ہیں۔ یہ پوسٹ صلاحیت کی کمی اور الگورتھم کی غلطیوں کی وجہ سے ناکامیوں پر مرکوز ہے۔

ہم نے ملازمت کے انتظام کے نظام کے ساتھ ایک فن تعمیر ڈیزائن کیا ہے تاکہ صلاحیت کی عدم دستیابی یا الگورتھم کی غلطیوں کی وجہ سے کسی کام کے ناکام ہونے کے امکان کو برداشت کیا جا سکے۔ یہ سائنسدانوں کو ہزاروں تربیتی ملازمتوں کو چھوڑنے اور بھول جانے، عارضی ناکامی پر خود بخود دوبارہ کوشش کرنے، اور ضرورت پڑنے پر کامیابی یا ناکامی کے بارے میں مطلع کرنے کی اجازت دیتا ہے۔

حل جائزہ

مندرجہ ذیل حل کے خاکے میں، ہم SageMaker تربیتی ملازمتوں کو اپنے حل کی بنیادی اکائی کے طور پر استعمال کرتے ہیں۔ یعنی، ایک ملازمت ایم ایل ماڈل کی آخر سے آخر تک تربیت کی نمائندگی کرتی ہے۔

اس حل کا اعلیٰ سطحی ورک فلو مندرجہ ذیل ہے۔

1. سائنس دان سسٹم میں نئی ​​نوکری جمع کرانے کے لیے ایک API کا مطالبہ کرتے ہیں۔
2. نوکری کے ساتھ رجسٹرڈ ہے۔ New میٹا ڈیٹا اسٹور میں حیثیت۔
3. کام کا شیڈولر متضاد طور پر بازیافت کرتا ہے۔ New میٹا ڈیٹا اسٹور سے نوکریاں، ان کے ان پٹ کو پارس کرتا ہے، اور ہر ایک کے لیے سیج میکر ٹریننگ جابز شروع کرنے کی کوشش کرتا ہے۔ ان کی حیثیت بدل جاتی ہے۔ Launched or Failed کامیابی پر منحصر ہے.
4. ایک مانیٹر باقاعدہ وقفوں سے ملازمتوں کی پیش رفت کو چیک کرتا ہے، اور ان کی رپورٹ کرتا ہے۔ Completed, Failed، یا InProgress میٹا ڈیٹا اسٹور میں ریاست۔
5. اطلاع دینے کے لیے ایک نوٹیفائر کو متحرک کیا جاتا ہے۔ Completed اور Failed سائنسدانوں کو ملازمتیں

میٹا ڈیٹا اسٹور میں ملازمتوں کی تاریخ کو برقرار رکھنے سے ہماری ٹیم کو رجحان کا تجزیہ کرنے اور پروجیکٹ کی پیشرفت کی نگرانی کرنے کی بھی اجازت ملتی ہے۔

یہ جاب شیڈولنگ حل ڈھیلے جوڑے سرور لیس اجزاء کی بنیاد پر استعمال کرتا ہے۔ او ڈبلیو ایس لامبڈا۔, ایمیزون ڈائنومو ڈی بی, ایمیزون سادہ نوٹیفکیشن سروس (ایمیزون ایس این ایس)، اور ایمیزون ایونٹ برج. یہ افقی اسکیل ایبلٹی کو یقینی بناتا ہے، جس سے ہمارے سائنسدانوں کو کم سے کم آپریشن کی کوششوں کے ساتھ ہزاروں ملازمتیں شروع کرنے کی اجازت ملتی ہے۔ مندرجہ ذیل خاکہ سرور کے بغیر فن تعمیر کی وضاحت کرتا ہے۔

مندرجہ ذیل حصوں میں، ہم ہر سروس اور اس کے اجزاء کے بارے میں مزید تفصیل میں جاتے ہیں۔

DynamoDB بطور میٹا ڈیٹا اسٹور کام کے لیے چلتا ہے۔

DynamoDB کے استعمال میں آسانی اور اسکیل ایبلٹی نے DynamoDB ٹیبل میں ملازمتوں کے میٹا ڈیٹا کو برقرار رکھنے کو قدرتی انتخاب بنا دیا۔ یہ حل سائنسدانوں کی طرف سے پیش کی گئی ملازمتوں کی متعدد صفات کو ذخیرہ کرتا ہے، اس طرح پیش رفت سے باخبر رہنے اور ورک فلو آرکیسٹریشن میں مدد ملتی ہے۔ سب سے اہم صفات درج ذیل ہیں:

• جاب آئی ڈی - ایک منفرد ملازمت کی شناخت۔ یہ خود کار طریقے سے تیار کیا جا سکتا ہے یا سائنسدان فراہم کر سکتا ہے۔
• جاب اسٹیٹس - ملازمت کی حیثیت۔
• JobArgs – ٹریننگ جاب بنانے کے لیے درکار دیگر دلائل، جیسے Amazon S3 میں ان پٹ پاتھ، ٹریننگ امیج URI، اور مزید۔ تربیتی جاب بنانے کے لیے درکار پیرامیٹرز کی مکمل فہرست کے لیے رجوع کریں۔ ٹریننگ جاب بنائیں.

بنیادی منطق کے لیے لیمبڈا

ہم تین استعمال کرتے ہیں۔ کنٹینر کی بنیاد پر لیمبڈا جاب ورک فلو کو ترتیب دینے کے لیے کام کرتا ہے:

• کام جمع کروائیں - یہ فنکشن سائنسدانوں کے ذریعہ اس وقت طلب کیا جاتا ہے جب انہیں نئی ​​ملازمتیں شروع کرنے کی ضرورت ہوتی ہے۔ یہ سادگی کے لیے ایک API کے طور پر کام کرتا ہے۔ آپ اسے سامنے بھی رکھ سکتے ہیں۔ ایمیزون API گیٹ وے، اگر ضرورت ہو تو. یہ فنکشن DynamoDB ٹیبل میں جابز کو رجسٹر کرتا ہے۔
• نوکریاں شروع کریں۔ - یہ فنکشن وقتا فوقتا بازیافت ہوتا ہے۔ New DynamoDB ٹیبل سے نوکریاں حاصل کرتا ہے اور SageMaker کا استعمال کرتے ہوئے انہیں لانچ کرتا ہے۔ ٹریننگ جاب بنائیں کمانڈ. یہ عارضی ناکامیوں پر دوبارہ کوشش کرتا ہے، جیسے ResourceLimitExceeded اور CapacityErrorنظام میں لچک پیدا کرنے کے لیے۔ یہ پھر ملازمت کی حیثیت کو اپ ڈیٹ کرتا ہے۔ Launched or Failed کامیابی پر منحصر ہے.
• ملازمتوں کی نگرانی کریں۔ - یہ فنکشن وقتا فوقتا کام کی پیشرفت کا استعمال کرتے ہوئے ٹریک کرتا ہے۔ ٹریننگ جاب کی وضاحت کریں۔ کمانڈ، اور اس کے مطابق DynamoDB ٹیبل کو اپ ڈیٹ کرتا ہے۔ یہ رائے شماری کرتا ہے۔ Failed میٹا ڈیٹا سے ملازمتیں اور اس بات کا اندازہ لگاتا ہے کہ آیا انہیں دوبارہ جمع کرایا جانا چاہیے یا ٹرمینل طور پر ناکام کے بطور نشان زد کیا جانا چاہیے۔ یہ سائنسدانوں کو اطلاعی پیغامات بھی شائع کرتا ہے جب ان کی ملازمتیں ٹرمینل حالت تک پہنچ جاتی ہیں۔

شیڈولنگ کے لیے ایونٹ برج

ہم ایونٹ برج کا استعمال لانچ جابز کو چلانے کے لیے کرتے ہیں اور جابس لیمبڈا کے افعال کو شیڈول کے مطابق مانیٹر کرتے ہیں۔ مزید معلومات کے لیے رجوع کریں۔ ٹیوٹوریل: ایونٹ برج کا استعمال کرتے ہوئے AWS Lambda فنکشنز کو شیڈول کریں۔.

متبادل طور پر، آپ استعمال کرسکتے ہیں Amazon DynamoDB اسٹریمز محرکات کے لیے مزید معلومات کے لیے دیکھیں DynamoDB اسٹریمز اور AWS Lambda ٹرگرز.

ایمیزون ایس این ایس کے ساتھ اطلاعات

ہمارے سائنسدان ہیں۔ ایمیزون ایس این ایس کا استعمال کرتے ہوئے ای میل کے ذریعے مطلع کیا گیا۔ جب ان کی ملازمتیں ٹرمینل حالت تک پہنچ جاتی ہیں (Failed زیادہ سے زیادہ کوششوں کے بعد) Completed، یا Stopped.

نتیجہ

اس پوسٹ میں، ہم نے شیئر کیا کہ ایمیزون سرچ کس طرح ایم ایل ماڈل ٹریننگ ورک بوجھ میں لچک پیدا کرتی ہے، ان کو شیڈول کر کے، اور صلاحیت کی کمی یا الگورتھم کی غلطیوں پر دوبارہ کوشش کر کے۔ ہم نے پورے ورک فلو کو آرکیسٹریٹ کرنے کے لیے ایک مرکزی میٹا ڈیٹا اسٹور کے بطور DynamoDB ٹیبل کے ساتھ مل کر لیمبڈا فنکشنز کا استعمال کیا۔

اس طرح کا نظام الاوقات سائنسدانوں کو اپنی ملازمتیں جمع کرانے اور ان کے بارے میں بھول جانے کی اجازت دیتا ہے۔ یہ وقت بچاتا ہے اور انہیں بہتر ماڈل لکھنے پر توجہ مرکوز کرنے کی اجازت دیتا ہے۔

اپنی تعلیم میں مزید جانے کے لیے، آپ ملاحظہ کر سکتے ہیں۔ بہت اچھے سیج میکر اور سیج میکر کے ساتھ کام کرنے کے لیے درکار تمام متعلقہ اور تازہ ترین وسائل ایک ہی جگہ پر تلاش کریں۔

---

مصنفین کے بارے میں

لوچاو وانگ ایمیزون سرچ میں سافٹ ویئر انجینئر ہے۔ وہ مشین لرننگ ایپلی کیشنز کے لیے سائنسی اختراع کی رفتار کو تیز کرنے کے لیے کلاؤڈ پر توسیع پذیر تقسیم شدہ نظاموں اور آٹومیشن ٹولنگ پر توجہ مرکوز کرتا ہے۔

ایشان بھٹ ایمیزون پرائم ویڈیو ٹیم میں سافٹ ویئر انجینئر ہے۔ وہ بنیادی طور پر MLOps کی جگہ پر کام کرتا ہے اور پچھلے 4 سالوں سے Amazon SageMaker کا استعمال کرتے ہوئے MLOps پروڈکٹس بنانے کا تجربہ رکھتا ہے۔

ابھینندن پٹنی ایمیزون سرچ میں ایک سینئر سافٹ ویئر انجینئر ہے۔ وہ توسیع پذیر تقسیم شدہ گہری سیکھنے کی تربیت اور حقیقی وقت کا اندازہ لگانے کے لیے نظام کی تعمیر اور ٹولنگ پر توجہ مرکوز کرتا ہے۔

ایمن النہراوی۔ ایمیزون سرچ میں ایک پرنسپل سافٹ ویئر انجینئر ہے جو مشین لرننگ ایکسلریشن، اسکیلنگ اور آٹومیشن کی کوششوں کی رہنمائی کرتا ہے۔ اس کی مہارت متعدد شعبوں پر محیط ہے، بشمول مشین لرننگ، ڈسٹری بیوٹڈ سسٹمز، اور پرسنلائزیشن۔

صوفیان حمیتی۔ AWS میں AI/ML ماہر حل آرکیٹیکٹ ہے۔ وہ تمام صنعتوں کے صارفین کو اینڈ ٹو اینڈ مشین لرننگ سلوشنز بنانے اور چلانے میں مدد کر کے اپنے AI/ML سفر کو تیز کرنے میں مدد کرتا ہے۔

ڈاکٹر رومی دتہ  Amazon SageMaker ٹیم میں پروڈکٹ مینجمنٹ کا ایک سینئر مینیجر ہے جو تربیت، پروسیسنگ اور فیچر اسٹور کے لیے ذمہ دار ہے۔ وہ 4 سال سے زیادہ عرصے سے AWS میں ہے، SageMaker، S3 اور IoT میں پروڈکٹ مینجمنٹ کی قیادت کے کئی کردار ادا کر رہے ہیں۔ AWS سے پہلے اس نے IBM، Texas Instruments اور Nvidia میں مختلف پروڈکٹ مینجمنٹ، انجینئرنگ اور آپریشنل لیڈر شپ رولز میں کام کیا۔ اس کے پاس ایم ایس اور پی ایچ ڈی ہے۔ آسٹن میں یونیورسٹی آف ٹیکساس سے الیکٹریکل اور کمپیوٹر انجینئرنگ میں، اور یونیورسٹی آف شکاگو بوتھ اسکول آف بزنس سے ایم بی اے۔

RJ تلاش M5 ٹیم میں ایک انجینئر ہے جو تربیت اور تخمینہ کے لیے بڑے پیمانے پر گہرے سیکھنے کے نظام کی تعمیر کی کوششوں کی رہنمائی کرتا ہے۔ کام سے باہر وہ کھانے کے مختلف پکوان دریافت کرتا ہے اور ریکٹ کھیل کھیلتا ہے۔