کلاؤڈ میں رننگ مشین لرننگ (ML) کے تجربات بہت ساری خدمات اور اجزاء پر پھیل سکتے ہیں۔ ایم ایل ماڈلز کی تیز رفتار ترقی کو قابل بنانے کے لیے ایم ایل تجربات کی ساخت، خودکار، اور ٹریک کرنے کی صلاحیت ضروری ہے۔ آٹومیٹڈ مشین لرننگ (AutoML) کے میدان میں تازہ ترین پیشرفت کے ساتھ، یعنی ML کا علاقہ جو ML پروسیسز کے آٹومیشن کے لیے وقف ہے، آپ ML کی گہری معلومات کی ضرورت کے بغیر درست فیصلہ سازی کے ماڈل بنا سکتے ہیں۔ اس پوسٹ میں، ہم AutoGluon، ایک اوپن سورس AutoML فریم ورک پر نظر ڈالتے ہیں جو آپ کو Python کی صرف چند لائنوں کے ساتھ درست ML ماڈل بنانے کی اجازت دیتا ہے۔
AWS ML ورک فلوز کو منظم کرنے اور چلانے کے لیے خدمات کی ایک وسیع رینج پیش کرتا ہے، جس سے آپ اپنی مہارت اور درخواست کی بنیاد پر حل منتخب کر سکتے ہیں۔ مثال کے طور پر، اگر آپ پہلے ہی استعمال کرتے ہیں۔ AWS اسٹیپ فنکشنز تقسیم شدہ ایپلی کیشنز کے اجزاء کو ترتیب دینے کے لیے، آپ اپنے ML ورک فلوز کو بنانے اور خودکار کرنے کے لیے اسی سروس کا استعمال کر سکتے ہیں۔ AWS کی طرف سے پیش کردہ دیگر MLOps ٹولز میں شامل ہیں۔ ایمیزون سیج میکر پائپ لائنز، جو آپ کو ML ماڈل بنانے کے قابل بناتا ہے۔ ایمیزون سیج میکر اسٹوڈیو MLOps کی صلاحیتوں کے ساتھ (جیسے CI/CD مطابقت، ماڈل کی نگرانی، اور ماڈل کی منظوری)۔ اوپن سورس ٹولز، جیسے اپاچی ایئر فلو- AWS پر دستیاب ہے۔ Apache Airflow کے لیے Amazon کے زیر انتظام ورک فلوزاور کیوب فلوکے ساتھ ساتھ ہائبرڈ حل بھی تعاون یافتہ ہیں۔ مثال کے طور پر، آپ SageMaker Pipelines کے ساتھ اپنے ML ماڈلز کی تربیت اور تعیناتی کے دوران Step Functions کے ساتھ ڈیٹا کے ادخال اور پروسیسنگ کا انتظام کر سکتے ہیں۔
اس پوسٹ میں، ہم دکھاتے ہیں کہ ایم ایل کی مہارت کے بغیر ڈویلپر بھی آٹوگلون آن کا استعمال کرتے ہوئے کس طرح جدید ترین ایم ایل ماڈلز آسانی سے بنا اور برقرار رکھ سکتے ہیں۔ ایمیزون سیج میکر اور کام کے بہاؤ کے اجزاء کو آرکیسٹریٹ کرنے کے لیے مرحلہ وار افعال۔
AutoGluon الگورتھم کے ایک جائزہ کے بعد، ہم مثالوں اور a کے ساتھ ورک فلو کی تعریفیں پیش کرتے ہیں۔ کوڈ ٹیوٹوریل کہ آپ اپنے ڈیٹا پر اپلائی کر سکتے ہیں۔
آٹوگلون
AutoGluon ایک اوپن سورس AutoML فریم ورک ہے جو Python کوڈ کی صرف چند لائنوں کے ساتھ درست ML ماڈلز کی تربیت دے کر ML کو اپنانے کو تیز کرتا ہے۔ اگرچہ یہ پوسٹ ٹیبلولر ڈیٹا پر مرکوز ہے، آٹوگلون آپ کو تصویر کی درجہ بندی، آبجیکٹ کا پتہ لگانے، اور متن کی درجہ بندی کے لیے جدید ترین ماڈلز کی تربیت دینے کی بھی اجازت دیتا ہے۔ AutoGluon ٹیبلر بہترین حل تلاش کرنے کے لیے مختلف ماڈلز کو تخلیق اور یکجا کرتا ہے۔
AWS میں AutoGluon ٹیم نے ایک جاری کیا۔ کاغذ جو لائبریری کی تشکیل کے اصول پیش کرتا ہے:
- سادگی - آپ ڈیٹا کا تجزیہ کیے بغیر یا فیچر انجینئرنگ کیے بغیر براہ راست خام ڈیٹا سے درجہ بندی اور ریگریشن ماڈل بنا سکتے ہیں۔
- سختی - مجموعی تربیتی عمل کو کامیاب ہونا چاہیے چاہے کچھ انفرادی ماڈلز ناکام ہو جائیں۔
- متوقع وقت - آپ اس وقت کے اندر بہترین نتائج حاصل کر سکتے ہیں جب آپ تربیت کے لیے سرمایہ کاری کرنا چاہتے ہیں۔
- غلطی رواداری - آپ تربیت کو روک سکتے ہیں اور اسے کسی بھی وقت دوبارہ شروع کر سکتے ہیں، جو لاگت کو بہتر بناتا ہے اگر یہ عمل کلاؤڈ میں اسپاٹ امیجز پر چلتا ہے۔
الگورتھم کے بارے میں مزید تفصیلات کے لیے، دیکھیں کاغذ AWS پر AutoGluon ٹیم کے ذریعہ جاری کیا گیا۔
انسٹال کرنے کے بعد آٹو گلوون پیکیج اور اس کا انحصار، ماڈل کی تربیت اتنا ہی آسان ہے جتنا کوڈ کی تین لائنیں لکھنا:
AutoGluon ٹیم نے متعدد Kaggle مقابلوں میں ٹاپ 10 لیڈر بورڈ تک پہنچ کر فریم ورک کی مضبوطی کو ثابت کیا۔
حل جائزہ
ہم ایک ML ورک فلو کو نافذ کرنے کے لیے Step Functions کا استعمال کرتے ہیں جس میں تربیت، تشخیص، اور تعیناتی شامل ہوتی ہے۔ پائپ لائن ڈیزائن ان پٹ پیرامیٹرز میں ترمیم کرکے تیز اور قابل ترتیب تجربات کو قابل بناتا ہے جنہیں آپ رن ٹائم پر پائپ لائن میں فیڈ کرتے ہیں۔
آپ مختلف ورک فلو کو نافذ کرنے کے لیے پائپ لائن کو ترتیب دے سکتے ہیں، جیسے کہ درج ذیل:
- ایک نئے ایم ایل ماڈل کو تربیت دیں اور اسے سیج میکر ماڈل رجسٹری میں اسٹور کریں، اگر اس وقت کسی تعیناتی کی ضرورت نہیں ہے۔
- پہلے سے تربیت یافتہ ایم ایل ماڈل تعینات کریں، یا تو آن لائن (سیج میکر اینڈ پوائنٹ) یا آف لائن (سیج میکر بیچ ٹرانسفارم) اندازہ
- شروع سے ایک ML ماڈل کو تربیت دینے، جانچنے، اور تعینات کرنے کے لیے ایک مکمل پائپ لائن چلائیں۔
حل ایک جنرل پر مشتمل ہوتے ہیں۔ ریاستی مشین (مندرجہ ذیل خاکہ دیکھیں) جو ان پٹ پیرامیٹرز کے سیٹ کی بنیاد پر چلائے جانے والے اعمال کے سیٹ کو ترتیب دیتا ہے۔
ریاستی مشین کے اقدامات درج ذیل ہیں:
- پہلا قدم
IsTraining
فیصلہ کرتا ہے کہ آیا ہم پہلے سے تربیت یافتہ ماڈل استعمال کر رہے ہیں یا کسی ماڈل کو شروع سے تربیت دے رہے ہیں۔ اگر پہلے سے تربیت یافتہ ماڈل استعمال کرتے ہیں، تو ریاستی مشین مرحلہ 7 پر چلی جاتی ہے۔ - جب ایک نئے ML ماڈل کی ضرورت ہو،
TrainSteps
ایک دوسری ریاستی مشین کو متحرک کرتا ہے جو تمام ضروری اعمال انجام دیتا ہے اور نتیجہ موجودہ ریاستی مشین کو لوٹاتا ہے۔ ہم اگلے حصے میں ٹریننگ سٹیٹ مشین کی مزید تفصیل میں جائیں گے۔ - جب تربیت ختم ہو جائے،
PassModelName
مندرجہ ذیل ریاستوں میں دوبارہ استعمال کرنے کے لیے ریاستی مشین کے سیاق و سباق کے ایک مخصوص مقام پر تربیتی ملازمت کا نام ذخیرہ کرتا ہے۔ - اگر تشخیص کا مرحلہ منتخب کیا جاتا ہے،
IsEvaluation
ریاستی مشین کو تشخیصی شاخ کی طرف ری ڈائریکٹ کرتا ہے۔ بصورت دیگر، یہ مرحلہ 7 پر چلا جاتا ہے۔ - اس کے بعد تشخیص کا مرحلہ ایک کا استعمال کرتے ہوئے لاگو کیا جاتا ہے۔ او ڈبلیو ایس لامبڈا۔ فنکشن کے ذریعہ طلب کیا گیا ہے۔
ModelValidation
قدم لیمبڈا فنکشن ٹیسٹ سیٹ پر ماڈل کی کارکردگی کو بازیافت کرتا ہے اور اس کا موازنہ ان پٹ پیرامیٹرز میں مخصوص صارف کے قابل ترتیب حد سے کرتا ہے۔ درج ذیل کوڈ تشخیصی نتائج کی ایک مثال ہے: - اگر ماڈل کی تشخیص پر
EvaluationResults
کامیاب ہے، ریاستی مشین حتمی تعیناتی کے اقدامات کے ساتھ جاری ہے۔ اگر ماڈل صارف کے طے شدہ معیار کے نیچے کارکردگی کا مظاہرہ کر رہا ہے تو، ریاستی مشین رک جاتی ہے اور تعیناتی کو چھوڑ دیا جاتا ہے۔ - اگر تعیناتی کا انتخاب کیا جاتا ہے،
IsDeploy
کے ذریعے ایک تیسری ریاستی مشین شروع کرتا ہے۔DeploySteps
، جسے ہم بعد میں اس پوسٹ میں بیان کریں گے۔ اگر تعیناتی کی ضرورت نہ ہو تو ریاستی مشین یہاں رک جاتی ہے۔
ان پٹ پیرامیٹر کے نمونوں کا ایک سیٹ پر دستیاب ہے۔ GitHub repo.
تربیتی ریاستی مشین
آٹوگلون کا استعمال کرتے ہوئے ایک نئے ایم ایل ماڈل کی تربیت کے لیے ریاستی مشین دو مراحل پر مشتمل ہے، جیسا کہ مندرجہ ذیل خاکہ میں دکھایا گیا ہے۔ پہلا قدم SageMaker تربیتی کام ہے جو ماڈل تخلیق کرتا ہے۔ دوسرا سیج میکر ماڈل رجسٹری میں اندراجات کو محفوظ کرتا ہے۔
آپ ان اقدامات کو یا تو خود بخود مین سٹیٹ مشین کے حصے کے طور پر، یا اسٹینڈ اکیلے عمل کے طور پر چلا سکتے ہیں۔
تعیناتی ریاستی مشین
آئیے اب تعیناتی کے مرحلے کے لیے وقف ریاستی مشین کو دیکھتے ہیں (مندرجہ ذیل خاکہ دیکھیں)۔ جیسا کہ پہلے ذکر کیا گیا ہے، فن تعمیر دونوں آن لائن اور آف لائن تعیناتی کی حمایت کرتا ہے۔ سابقہ سیج میکر اینڈ پوائنٹ کی تعیناتی پر مشتمل ہے، جب کہ بعد والا سیج میکر بیچ ٹرانسفارم جاب چلاتا ہے۔
عمل درآمد کے اقدامات درج ذیل ہیں:
ChoiceDeploymentMode
ان پٹ پیرامیٹرز کو دیکھتا ہے تاکہ یہ تعین کیا جا سکے کہ کس تعیناتی موڈ کی ضرورت ہے اور ریاستی مشین کو متعلقہ برانچ کی طرف لے جاتا ہے۔- اگر ایک اختتامی نقطہ منتخب کیا جاتا ہے،
EndpointConfig
قدم اس کی ترتیب کی وضاحت کرتا ہے، جبکہCreateEndpoint
مطلوبہ کمپیوٹنگ وسائل مختص کرنے کا عمل شروع کرتا ہے۔ اس مختص میں کئی منٹ لگ سکتے ہیں، اس لیے ریاستی مشین رک جاتی ہے۔WaitForEndpoint
اور اختتامی نقطہ کی حیثیت کو پول کرنے کے لئے لیمبڈا فنکشن کا استعمال کرتا ہے۔ - جب اختتامی نقطہ ترتیب دیا جا رہا ہے،
ChoiceEndpointStatus
واپسWaitForEndpoint
ریاست، ورنہ یہ یا تو جاری رہتا ہے۔DeploymentFailed
orDeploymentSucceeded
. - اگر آف لائن تعیناتی کا انتخاب کیا جاتا ہے، تو ریاستی مشین SageMaker بیچ ٹرانسفارم جاب چلاتی ہے، جس کے بعد ریاستی مشین رک جاتی ہے۔
نتیجہ
یہ پوسٹ آٹو ایم ایل ورک فلوز کو آرکیسٹریٹ کرنے اور کلاؤڈ میں تیز تجربات کو قابل بنانے کے لیے استعمال میں آسان پائپ لائن پیش کرتی ہے، جس سے ایم ایل کے جدید علم کی ضرورت کے بغیر درست ML حل حاصل کیے جا سکتے ہیں۔
ہم ایک عام پائپ لائن کے ساتھ ساتھ دو ماڈیولر بھی فراہم کرتے ہیں جو ضرورت پڑنے پر آپ کو الگ الگ تربیت اور تعیناتی انجام دینے کی اجازت دیتے ہیں۔ مزید یہ کہ، حل مکمل طور پر سیج میکر کے ساتھ مربوط ہے، اس کی خصوصیات اور کمپیوٹیشنل وسائل سے مستفید ہوتا ہے۔
اب اس کے ساتھ شروع کریں۔ کوڈ ٹیوٹوریل اس پوسٹ میں پیش کردہ وسائل کو اپنے AWS اکاؤنٹ میں تعینات کرنے اور اپنے پہلے AutoML تجربات کو چلانے کے لیے۔
مصنفین کے بارے میں
Federico Piccinini ایمیزون مشین لرننگ سلوشنز لیب کے لیے ڈیپ لرننگ آرکیٹیکٹ ہے۔ وہ مشین لرننگ، قابل وضاحت AI، اور MLOps کے بارے میں پرجوش ہے۔ وہ AWS صارفین کے لیے ML پائپ لائنز ڈیزائن کرنے پر توجہ مرکوز کرتا ہے۔ کام سے باہر، وہ کھیلوں اور پیزا سے لطف اندوز ہوتا ہے۔
پاولو ایریرا ایمیزون مشین لرننگ سلوشنز لیب میں ڈیٹا سائنٹسٹ ہے، جہاں وہ ایم ایل اور کلاؤڈ صلاحیتوں کے ساتھ کاروباری مسائل کو حل کرنے میں صارفین کی مدد کرتا ہے۔ انہوں نے ٹیلی کام پیرس ٹیک، پیرس سے کمپیوٹر وژن میں پی ایچ ڈی کی ہے۔
- "
- 10
- 100
- 7
- a
- کی صلاحیت
- ہمارے بارے میں
- اکاؤنٹ
- درست
- کے پار
- اعمال
- پتہ
- منہ بولابیٹا بنانے
- اعلی درجے کی
- ترقی
- AI
- یلگورتم
- تمام
- تین ہلاک
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- پہلے ہی
- اگرچہ
- ایمیزون
- تجزیے
- درخواست
- ایپلی کیشنز
- کا اطلاق کریں
- فن تعمیر
- رقبہ
- خود کار طریقے سے
- آٹومیٹڈ
- خود کار طریقے سے
- میشن
- دستیاب
- AWS
- کیا جا رہا ہے
- نیچے
- تعمیر
- کاروبار
- حاصل کر سکتے ہیں
- صلاحیتوں
- منتخب کیا
- درجہ بندی
- بادل
- کوڈ
- مطابقت
- مقابلے
- مکمل
- اجزاء
- کمپیوٹر
- کمپیوٹنگ
- ترتیب
- جاری ہے
- اسی کے مطابق
- اخراجات
- تخلیق
- پیدا
- معیار
- موجودہ
- موجودہ حالت
- گاہکوں
- اعداد و شمار
- ڈیٹا سائنسدان
- وقف
- گہری
- تعیناتی
- تعینات
- تعیناتی
- بیان
- ڈیزائن
- ڈیزائننگ
- تفصیل
- تفصیلات
- کھوج
- ڈویلپرز
- ترقی
- مختلف
- براہ راست
- تقسیم کئے
- آسانی سے
- استعمال میں آسان
- کو چالو کرنے کے
- کے قابل بناتا ہے
- اختتام پوائنٹ
- ضروری
- اندازہ
- تشخیص
- مثال کے طور پر
- مثال کے طور پر
- مہارت
- فاسٹ
- نمایاں کریں
- خصوصیات
- پہلا
- توجہ مرکوز
- کے بعد
- مندرجہ ذیل ہے
- فریم ورک
- سے
- تقریب
- افعال
- جنرل
- ہونے
- مدد کرتا ہے
- یہاں
- کی ڈگری حاصل کی
- کس طرح
- HTTPS
- ہائبرڈ
- تصویر
- تصاویر
- پر عملدرآمد
- نفاذ
- عملدرآمد
- شامل
- انفرادی
- ان پٹ
- انسٹال
- ضم
- IT
- ایوب
- علم
- لیب
- تازہ ترین
- سیکھنے
- لائبریری
- لائنوں
- محل وقوع
- دیکھو
- مشین
- مشین لرننگ
- برقرار رکھنے کے
- انتظام
- میں کامیاب
- ذکر کیا
- ML
- ماڈل
- ماڈل
- ماڈیولر
- نگرانی
- زیادہ
- ایک سے زیادہ
- یعنی
- ضروری
- ضرورت ہے
- اگلے
- کی پیشکش کی
- تجویز
- آف لائن
- آن لائن
- دیگر
- دوسری صورت میں
- مجموعی طور پر
- خود
- پیرس
- حصہ
- جذباتی
- پرفارمنس
- کارکردگی کا مظاہرہ
- مرحلہ
- پزا
- سروے
- حال (-)
- تحفہ
- مسائل
- عمل
- عمل
- پروسیسنگ
- فراہم
- رینج
- خام
- جاری
- ضرورت
- وسائل
- نتائج کی نمائش
- تجربے کی فہرست
- واپسی
- رن
- اسی
- سائنسدان
- منتخب
- سروس
- سروسز
- مقرر
- کئی
- دکھائیں
- مہارت
- So
- حل
- حل
- کچھ
- اسپورٹس
- کمرشل
- اسٹینڈ
- شروع
- شروع ہوتا ہے
- حالت
- ریاستی آرٹ
- امریکہ
- درجہ
- ذخیرہ
- پردہ
- طاقت
- کامیاب
- تائید
- کی حمایت کرتا ہے
- ٹیم
- ٹیلی کام
- ٹیسٹ
- ۔
- تین
- حد
- کے ذریعے
- وقت
- اوزار
- سب سے اوپر
- کی طرف
- ٹریک
- ٹرین
- ٹریننگ
- تبدیل
- استعمال کی شرائط
- نقطہ نظر
- چاہے
- جبکہ
- کے اندر
- بغیر
- کام
- کام کے بہاؤ
- تحریری طور پر
- اور