گیٹیر نے ایمیزون سیج میکر اور اے ڈبلیو ایس بیچ کے ساتھ ماڈل ٹریننگ کے دورانیے کو کس طرح 90 فیصد کم کیا۔ ایمیزون ویب سروسز

یہ گیٹیر سے نافی احمد ترگت، حسن برک ییل، اور دملا سینترک کے مشترکہ مصنف ہیں۔

2015 میں قائم کیا، لایا الٹرا فاسٹ گروسری ڈیلیوری کے شعبے میں خود کو ٹریل بلزر کے طور پر کھڑا کیا ہے۔ اس جدید ٹیکنالوجی کمپنی نے "منٹوں میں گروسری" کی اپنی زبردست پیشکش کے ساتھ آخری میل ڈیلیوری والے حصے میں انقلاب برپا کر دیا ہے۔ ترکی، برطانیہ، نیدرلینڈز، جرمنی اور ریاستہائے متحدہ میں موجودگی کے ساتھ، گیٹیر ایک کثیر القومی قوت بن گئی ہے جس کا شمار کیا جانا چاہیے۔ آج، گیٹیر برانڈ ایک متنوع جماعت کی نمائندگی کرتا ہے جس میں نو مختلف عمودی شامل ہیں، سبھی ایک واحد چھتری کے نیچے ہم آہنگی سے کام کر رہے ہیں۔

اس پوسٹ میں، ہم وضاحت کرتے ہیں کہ کس طرح ہم نے ایک اختتام سے آخر تک مصنوعات کے زمرے کی پیشن گوئی پائپ لائن بنائی تاکہ تجارتی ٹیموں کی مدد کی جا سکے۔ ایمیزون سیج میکر اور AWS بیچماڈل ٹریننگ کے دورانیے کو 90% تک کم کرنا۔

ہماری موجودہ مصنوعات کی درجہ بندی کو تفصیلی طور پر سمجھنا ایک اہم چیلنج ہے جس کا سامنا ہم بہت سے کاروباروں کے ساتھ آج کی تیز رفتار اور مسابقتی مارکیٹ میں کرتے ہیں۔ اس مسئلے کا ایک مؤثر حل مصنوعات کے زمرے کی پیشن گوئی ہے۔ ایک ایسا ماڈل جو ایک جامع زمرہ کا درخت تیار کرتا ہے ہماری تجارتی ٹیموں کو ہمارے حریفوں کے مقابلے ہمارے موجودہ پروڈکٹ پورٹ فولیو کو بینچ مارک کرنے کی اجازت دیتا ہے، جو کہ ایک اسٹریٹجک فائدہ پیش کرتا ہے۔ لہذا، ہمارا مرکزی چیلنج ایک درست مصنوعات کے زمرے کی پیشن گوئی کے ماڈل کی تخلیق اور نفاذ ہے۔

ہم نے اس چیلنج سے نمٹنے کے لیے AWS کے فراہم کردہ طاقتور ٹولز کا فائدہ اٹھایا اور مشین لرننگ (ML) اور پیشن گوئی کے تجزیات کے پیچیدہ شعبے کو مؤثر طریقے سے نیویگیٹ کیا۔ ہماری کوششوں کے نتیجے میں ایک اختتام سے آخر تک مصنوعات کے زمرے کی پیشن گوئی پائپ لائن کی کامیاب تخلیق ہوئی، جو SageMaker اور AWS Batch کی طاقتوں کو یکجا کرتی ہے۔

پیش گوئی کرنے والے تجزیات کی یہ صلاحیت، خاص طور پر مصنوعات کے زمروں کی درست پیشین گوئی، انمول ثابت ہوئی ہے۔ اس نے ہماری ٹیموں کو ڈیٹا سے چلنے والی اہم بصیرتیں فراہم کیں جس نے انوینٹری کے انتظام کو بہتر بنایا، صارفین کی بات چیت کو بڑھایا، اور ہماری مارکیٹ کی موجودگی کو مضبوط کیا۔

اس پوسٹ میں ہم جس طریقہ کار کی وضاحت کرتے ہیں وہ فیچر سیٹ اکٹھا کرنے کے ابتدائی مرحلے سے لے کر پیشین گوئی پائپ لائن کے حتمی نفاذ تک ہے۔ ہماری حکمت عملی کا ایک اہم پہلو سات مختلف زبانوں کے لیے پہلے سے تربیت یافتہ BERT ماڈلز کو بہتر بنانے کے لیے SageMaker اور AWS Batch کا استعمال ہے۔ مزید برآں، AWS کی آبجیکٹ اسٹوریج سروس کے ساتھ ہمارا ہموار انضمام ایمیزون سادہ اسٹوریج سروس (Amazon S3) ان بہتر ماڈلز کو مؤثر طریقے سے ذخیرہ کرنے اور ان تک رسائی حاصل کرنے کی کلید رہی ہے۔

سیج میکر ایک مکمل طور پر منظم ایم ایل سروس ہے۔ SageMaker کے ساتھ، ڈیٹا سائنسدان اور ڈویلپرز تیزی سے اور آسانی کے ساتھ ML ماڈلز کی تعمیر اور تربیت کر سکتے ہیں، اور پھر انہیں براہ راست پیداوار کے لیے تیار میزبان ماحول میں تعینات کر سکتے ہیں۔

ایک مکمل طور پر منظم سروس کے طور پر، AWS بیچ آپ کو کسی بھی پیمانے کے بیچ کمپیوٹنگ ورک بوجھ چلانے میں مدد کرتا ہے۔ AWS بیچ خود کار طریقے سے حسابی وسائل فراہم کرتا ہے اور کام کے بوجھ کی مقدار اور پیمانے کی بنیاد پر کام کے بوجھ کی تقسیم کو بہتر بناتا ہے۔ AWS بیچ کے ساتھ، بیچ کمپیوٹنگ سافٹ ویئر کو انسٹال کرنے یا ان کا انتظام کرنے کی ضرورت نہیں ہے، لہذا آپ اپنا وقت نتائج کا تجزیہ کرنے اور مسائل کو حل کرنے پر مرکوز کر سکتے ہیں۔ ہم نے GPU جابز کا استعمال کیا ہے جو ایسی جابز کو چلانے میں ہماری مدد کرتے ہیں جو مثال کے GPU استعمال کرتے ہیں۔

حل کا جائزہ

گیٹیر کی ڈیٹا سائنس ٹیم اور انفراسٹرکچر ٹیم کے پانچ افراد نے اس پروجیکٹ پر مل کر کام کیا۔ یہ منصوبہ ایک ماہ میں مکمل کیا گیا تھا اور ایک ہفتے کی جانچ کے بعد اسے پروڈکشن میں لگایا گیا تھا۔

مندرجہ ذیل خاکہ حل کے فن تعمیر کو ظاہر کرتا ہے۔

ماڈل پائپ لائن ہر ملک کے لیے الگ سے چلائی جاتی ہے۔ فن تعمیر میں ہر ملک کے لیے دو AWS بیچ GPU کرون جابز شامل ہیں، جو طے شدہ نظام الاوقات پر چل رہے ہیں۔

ہم نے SageMaker اور AWS Batch GPU وسائل کو حکمت عملی کے ساتھ تعینات کرکے کچھ چیلنجوں پر قابو پالیا۔ ہر مشکل کو حل کرنے کے لیے استعمال ہونے والے عمل کی تفصیل درج ذیل حصوں میں ہے۔

AWS Batch GPU جابز کے ساتھ ملٹی لسانی BERT ماڈلز کو فائن ٹیوننگ

ہم نے اپنے متنوع صارف کی بنیاد کے لیے متعدد زبانوں کو سپورٹ کرنے کا حل تلاش کیا۔ پیچیدہ قدرتی زبان کے کاموں کو مؤثر طریقے سے سنبھالنے کی ان کی قائم کردہ صلاحیت کی وجہ سے BERT ماڈل ایک واضح انتخاب تھے۔ ان ماڈلز کو اپنی ضروریات کے مطابق بنانے کے لیے، ہم نے سنگل نوڈ GPU مثال کے کاموں کا استعمال کرتے ہوئے AWS کی طاقت کا استعمال کیا۔ اس سے ہمیں ان سات زبانوں میں سے ہر ایک کے لیے پہلے سے تربیت یافتہ BERT ماڈلز کو ٹھیک کرنے کی اجازت ملی جن کے لیے ہمیں مدد درکار تھی۔ اس طریقہ کے ذریعے، ہم نے زبان کی کسی بھی ممکنہ رکاوٹوں پر قابو پاتے ہوئے، مصنوعات کے زمروں کی پیش گوئی کرنے میں اعلیٰ درستگی کو یقینی بنایا۔

ایمیزون S3 کا استعمال کرتے ہوئے موثر ماڈل اسٹوریج

ہمارا اگلا مرحلہ ماڈل اسٹوریج اور مینجمنٹ کو حل کرنا تھا۔ اس کے لیے، ہم نے Amazon S3 کو منتخب کیا، جو اس کی سکیل ایبلٹی اور سیکیورٹی کے لیے جانا جاتا ہے۔ Amazon S3 پر ہمارے فائن ٹیونڈ BERT ماڈلز کو ذخیرہ کرنے نے ہمیں اپنی تنظیم کے اندر مختلف ٹیموں تک آسان رسائی فراہم کرنے کے قابل بنایا، اس طرح ہمارے تعیناتی کے عمل کو نمایاں طور پر ہموار کیا گیا۔ یہ ہمارے کاموں میں چستی کو حاصل کرنے اور ہماری ایم ایل کی کوششوں کے بغیر کسی رکاوٹ کے انضمام کا ایک اہم پہلو تھا۔

ایک اختتام سے آخر تک پیشین گوئی پائپ لائن بنانا

ہمارے پہلے سے تربیت یافتہ ماڈلز کا بہترین استعمال کرنے کے لیے ایک موثر پائپ لائن کی ضرورت تھی۔ ہم نے سب سے پہلے ان ماڈلز کو SageMaker پر تعینات کیا، ایک ایسی کارروائی جس نے کم تاخیر کے ساتھ حقیقی وقت کی پیشین گوئیوں کی اجازت دی، اس طرح ہمارے صارف کے تجربے میں اضافہ ہوا۔ بڑے پیمانے پر بیچ کی پیشین گوئیوں کے لیے، جو ہمارے آپریشنز کے لیے یکساں اہم تھیں، ہم نے AWS Batch GPU جابز کا استعمال کیا۔ اس نے ہمارے وسائل کے بہترین استعمال کو یقینی بنایا، ہمیں کارکردگی اور کارکردگی کا کامل توازن فراہم کیا۔

SageMaker MMEs کے ساتھ مستقبل کے امکانات کو تلاش کرنا

جیسا کہ ہم اپنی ML پائپ لائن میں افادیت کو تیار کرنا اور تلاش کرنا جاری رکھتے ہیں، ایک ایسا راستہ جسے ہم دریافت کرنے کے خواہاں ہیں وہ ہے SageMaker ملٹی ماڈل اینڈ پوائنٹس (MMEs) کو اپنے عمدہ ماڈلز کی تعیناتی کے لیے استعمال کرنا۔ MMEs کے ساتھ، ہم ممکنہ طور پر مختلف فائن ٹیونڈ ماڈلز کی تعیناتی کو ہموار کر سکتے ہیں، موثر ماڈل مینجمنٹ کو یقینی بناتے ہوئے SageMaker کی مقامی صلاحیتوں جیسے شیڈو ویریئنٹس، آٹو سکیلنگ، اور ایمیزون کلاؤڈ واچ انضمام یہ ریسرچ ہماری پیشین گوئی کرنے والی تجزیاتی صلاحیتوں کو بڑھانے اور اپنے صارفین کو اعلیٰ تجربات فراہم کرنے کی ہماری مسلسل کوشش کے ساتھ ہم آہنگ ہے۔

نتیجہ

SageMaker اور AWS Batch کے ہمارے کامیاب انضمام نے نہ صرف ہمارے مخصوص چیلنجوں کو حل کیا ہے بلکہ ہماری آپریشنل کارکردگی کو بھی نمایاں طور پر بڑھایا ہے۔ ایک نفیس پروڈکٹ کیٹیگری کی پیشن گوئی پائپ لائن کے نفاذ کے ذریعے، ہم اپنی تجارتی ٹیموں کو ڈیٹا سے چلنے والی بصیرت کے ساتھ بااختیار بنانے کے قابل ہیں، اس طرح زیادہ موثر فیصلہ سازی کی سہولت فراہم کرتے ہیں۔

ہمارے نتائج ہمارے نقطہ نظر کی تاثیر کے بارے میں بولتے ہیں۔ ہم نے کیٹیگری گرینولریٹی کی تمام چار سطحوں پر 80% پیشین گوئی کی درستگی حاصل کی ہے، جو ہر اس ملک کے لیے جس کی ہم خدمت کرتے ہیں مصنوعات کی درجہ بندی کو تشکیل دینے میں اہم کردار ادا کرتے ہیں۔ درستگی کی یہ سطح ہماری رسائی کو زبان کی رکاوٹوں سے آگے بڑھاتی ہے اور اس بات کو یقینی بناتی ہے کہ ہم اپنے متنوع صارف کی بنیاد کو انتہائی درستگی کے ساتھ پورا کریں۔

مزید برآں، طے شدہ AWS بیچ GPU جابز کو حکمت عملی کے ساتھ استعمال کرتے ہوئے، ہم اپنے ماڈل ٹریننگ کے دورانیے کو 90% تک کم کرنے میں کامیاب ہو گئے ہیں۔ اس کارکردگی نے ہمارے عمل کو مزید ہموار کیا ہے اور ہماری آپریشنل چستی کو تقویت دی ہے۔ ایمیزون S3 کا استعمال کرتے ہوئے موثر ماڈل اسٹوریج نے اس کامیابی میں ایک اہم کردار ادا کیا ہے، جو حقیقی وقت اور بیچ کی پیشین گوئی دونوں میں توازن رکھتا ہے۔

سیج میکر کے ساتھ اپنی ایم ایل پائپ لائنیں بنانا شروع کرنے کے بارے میں مزید معلومات کے لیے، دیکھیں ایمیزون سیج میکر کے وسائل. AWS بیچ ایک بہترین آپشن ہے اگر آپ کم آپریشنل اوور ہیڈ کے ساتھ بیچ کی ملازمتیں چلانے کے لیے کم لاگت، توسیع پذیر حل تلاش کر رہے ہیں۔ شروع کرنے کے لیے، دیکھیں AWS بیچ کے ساتھ شروعات کرنا.

---

مصنفین کے بارے میں

نافی احمد ترگت الیکٹریکل اور الیکٹرانکس انجینئرنگ میں ماسٹر ڈگری مکمل کی اور گریجویٹ ریسرچ سائنسدان کے طور پر کام کیا۔ اس کی توجہ اعصابی نیٹ ورک کی بے ضابطگیوں کی تقلید کے لیے مشین لرننگ الگورتھم بنا رہی تھی۔ اس نے 2019 میں گیٹیر میں شمولیت اختیار کی اور فی الحال ایک سینئر ڈیٹا سائنس اور تجزیات مینیجر کے طور پر کام کرتا ہے۔ اس کی ٹیم گیٹیر کے لیے مشین لرننگ الگورتھم اور ڈیٹا سے چلنے والے حل کو ڈیزائن کرنے، نافذ کرنے اور برقرار رکھنے کے لیے ذمہ دار ہے۔

حسن برق ییل Boğaziçi یونیورسٹی میں الیکٹریکل اور الیکٹرانکس انجینئرنگ میں بیچلر کی ڈگری حاصل کی۔ اس نے ترک سیل میں کام کیا، بنیادی طور پر ٹائم سیریز کی پیشن گوئی، ڈیٹا ویژولائزیشن، اور نیٹ ورک آٹومیشن پر توجہ مرکوز کی۔ اس نے 2021 میں گیٹیر میں شمولیت اختیار کی اور فی الحال تلاش، سفارش، اور گروتھ ڈومینز کی ذمہ داری کے ساتھ ڈیٹا سائنس اور تجزیات مینیجر کے طور پر کام کرتا ہے۔

Damla Şentürk Galatasaray یونیورسٹی سے کمپیوٹر انجینئرنگ کی بیچلر ڈگری حاصل کی۔ وہ Boğaziçi یونیورسٹی میں کمپیوٹر انجینئرنگ کی اپنی ماسٹر ڈگری جاری رکھے ہوئے ہے۔ اس نے 2022 میں گیٹیر میں شمولیت اختیار کی، اور بطور ڈیٹا سائنٹسٹ کام کر رہی ہیں۔ اس نے تجارتی، سپلائی چین، اور دریافت سے متعلق منصوبوں پر کام کیا ہے۔

Esra Kayabalı AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہے، جو تجزیاتی ڈومین میں مہارت رکھتا ہے، بشمول ڈیٹا ویئر ہاؤسنگ، ڈیٹا لیکس، بڑے ڈیٹا اینالیٹکس، بیچ اور ریئل ٹائم ڈیٹا اسٹریمنگ، اور ڈیٹا انٹیگریشن۔ اس کے پاس سافٹ ویئر ڈویلپمنٹ اور فن تعمیر کا 12 سال کا تجربہ ہے۔ وہ کلاؤڈ ٹیکنالوجیز سیکھنے اور سکھانے کا شوق رکھتی ہے۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/