Amazon SageMaker JumpStart ماڈلز اور الگورتھم اب API کے ذریعے دستیاب ہیں۔

دسمبر 2020 میں، AWS نے عام دستیابی کا اعلان کیا۔ of ایمیزون سیج میکر جمپ اسٹارٹکی صلاحیت ایمیزون سیج میکر جو آپ کو مشین لرننگ (ML) کے ساتھ جلدی اور آسانی سے شروع کرنے میں مدد کرتا ہے۔ جمپ سٹارٹ مقبول ML ٹاسک میں پہلے سے تربیت یافتہ ماڈلز کی وسیع اقسام کی ایک کلک فائن ٹیوننگ اور تعیناتی فراہم کرتا ہے، ساتھ ہی ساتھ اختتام سے آخر تک حل کا انتخاب جو عام کاروباری مسائل کو حل کرتا ہے۔ یہ خصوصیات ML عمل کے ہر مرحلے سے بھاری اٹھانے کو ہٹا دیتی ہیں، جس سے اعلیٰ معیار کے ماڈلز تیار کرنا آسان ہو جاتا ہے اور تعیناتی میں وقت کم ہوتا ہے۔

پہلے، تمام جمپ سٹارٹ مواد صرف کے ذریعے دستیاب تھا۔ ایمیزون سیج میکر اسٹوڈیو، جو ایک فراہم کرتا ہے صارف دوست گرافیکل انٹرفیس خصوصیت کے ساتھ تعامل کرنے کے لیے۔ آج، ہم استعمال میں آسان کے آغاز کا اعلان کرتے ہوئے پرجوش ہیں۔ جمپ اسٹارٹ APIs SageMaker Python SDK کی توسیع کے طور پر۔ یہ APIs آپ کو اپنے ڈیٹا سیٹس پر JumpStart کے تعاون یافتہ پہلے سے تربیت یافتہ ماڈلز کے ایک وسیع انتخاب کو پروگرامی طور پر تعینات کرنے اور ٹھیک کرنے کی اجازت دیتے ہیں۔ یہ لانچ آپ کے کوڈ ورک فلوز، MLOps پائپ لائنز، اور کہیں بھی آپ SageMaker کے ساتھ SDK کے ذریعے بات چیت کر رہے ہیں میں جمپ اسٹارٹ صلاحیتوں کے استعمال کو کھول دیتا ہے۔

اس پوسٹ میں، ہم جمپ اسٹارٹ کی صلاحیتوں کی موجودہ حالت کے بارے میں ایک اپ ڈیٹ فراہم کرتے ہیں اور مثال کے استعمال کے کیس کے ساتھ جمپ اسٹارٹ API کے استعمال کے بہاؤ میں آپ کی رہنمائی کرتے ہیں۔

جمپ اسٹارٹ کا جائزہ

JumpStart ایک کثیر جہتی پروڈکٹ ہے جس میں SageMaker پر ML کے ساتھ جلدی شروع کرنے میں مدد کرنے کے لیے مختلف صلاحیتیں شامل ہیں۔ لکھنے کے وقت، جمپ اسٹارٹ آپ کو درج ذیل کام کرنے کے قابل بناتا ہے:

• عام ایم ایل کاموں کے لیے پہلے سے تربیت یافتہ ماڈلز کا تعین کریں۔ - جمپ سٹارٹ آپ کو عوامی طور پر دستیاب بڑے ڈیٹا سیٹس پر پہلے سے تربیت یافتہ ماڈلز کی آسانی سے تعیناتی فراہم کرکے بغیر کسی ترقیاتی کوشش کے عام ML کاموں کو حل کرنے کے قابل بناتا ہے۔ ایم ایل ریسرچ کمیونٹی نے حال ہی میں تیار کردہ زیادہ تر ماڈلز کو عوامی طور پر استعمال کے لیے دستیاب کرنے کے لیے بہت زیادہ کوششیں کی ہیں۔ جمپ سٹارٹ 300 سے زیادہ ماڈلز کے مجموعے کی میزبانی کرتا ہے، جس میں 15 مقبول ترین ML کاموں جیسے آبجیکٹ کا پتہ لگانا، ٹیکسٹ کی درجہ بندی، اور ٹیکسٹ جنریشن شامل ہے، جس سے ابتدائی افراد کے لیے انہیں استعمال کرنا آسان ہو جاتا ہے۔ یہ ماڈل مشہور ماڈل ہب، جیسے TensorFlow، PyTorch، Hugging Face، اور MXNet Hub سے تیار کیے گئے ہیں۔
• پہلے سے تربیت یافتہ ماڈلز کو ٹھیک بنائیں - جمپ سٹارٹ آپ کو پہلے سے تربیت یافتہ ماڈلز کو ٹھیک کرنے کی اجازت دیتا ہے اور آپ کو اپنا تربیتی الگورتھم لکھنے کی ضرورت نہیں ہے۔ ایم ایل میں، ایک ڈومین میں سیکھے گئے علم کو دوسرے ڈومین میں منتقل کرنے کی صلاحیت کو کہا جاتا ہے۔ منتقلی سیکھنے. آپ اپنے چھوٹے ڈیٹا سیٹس پر درست ماڈلز تیار کرنے کے لیے ٹرانسفر لرننگ کا استعمال کر سکتے ہیں، اصل ماڈل کو شروع سے تربیت دینے والے اخراجات سے بہت کم تربیتی لاگت کے ساتھ۔ JumpStart میں LightGBM، CatBoost، XGBoost، اور Scikit-learn پر مبنی مشہور ٹریننگ الگورتھم بھی شامل ہیں جنہیں آپ ٹیبلر ڈیٹا ریگریشن اور درجہ بندی کے لیے شروع سے تربیت دے سکتے ہیں۔
• پہلے سے تیار کردہ حل استعمال کریں۔ - جمپ اسٹارٹ کا ایک سیٹ فراہم کرتا ہے۔ 17 پہلے سے تیار کردہ حل عام ML استعمال کے معاملات کے لیے، جیسے ڈیمانڈ کی پیشن گوئی اور صنعتی اور مالیاتی ایپلی کیشنز، جنہیں آپ صرف چند کلکس کے ساتھ تعینات کر سکتے ہیں۔ حل اختتام سے آخر تک ML ایپلی کیشنز ہیں جو مختلف AWS سروسز کو ایک ساتھ جوڑ کر کسی خاص کاروباری استعمال کے معاملے کو حل کرتی ہیں۔ وہ استعمال کرتے ہیں AWS کلاؤڈ فارمیشن فوری تعیناتی کے لیے ٹیمپلیٹس اور ریفرنس آرکیٹیکچرز، جس کا مطلب ہے کہ وہ مکمل طور پر حسب ضرورت ہیں۔
• SageMaker الگورتھم کے لیے نوٹ بک کی مثالیں استعمال کریں۔ - سیج میکر کا ایک سوٹ فراہم کرتا ہے۔ بلٹ ان الگورتھم ڈیٹا سائنسدانوں اور ایم ایل پریکٹیشنرز کو ایم ایل ماڈلز کو تیزی سے تربیت اور تعینات کرنے میں مدد کرنے کے لیے۔ جمپ سٹارٹ نمونہ نوٹ بک فراہم کرتا ہے جسے آپ ان الگورتھم کو تیزی سے استعمال کرنے کے لیے استعمال کر سکتے ہیں۔
• تربیتی ویڈیوز اور بلاگز سے فائدہ اٹھائیں۔ - جمپ سٹارٹ متعدد بلاگ پوسٹس اور ویڈیوز بھی فراہم کرتا ہے جو آپ کو سیج میکر کے اندر مختلف فنکشنلٹیز کو استعمال کرنے کا طریقہ سکھاتے ہیں۔

جمپ سٹارٹ اپنی مرضی کے مطابق VPC سیٹنگز اور KMS انکرپشن کیز کو قبول کرتا ہے، تاکہ آپ اپنے انٹرپرائز ماحول میں دستیاب ماڈلز اور حل کو محفوظ طریقے سے استعمال کر سکیں۔ آپ SageMaker سٹوڈیو کے اندر یا SageMaker Python SDK کے ذریعے اپنی حفاظتی ترتیبات کو جمپ سٹارٹ میں منتقل کر سکتے ہیں۔

جمپ اسٹارٹ سے تعاون یافتہ ML ٹاسک اور API مثال نوٹ بک

جمپ سٹارٹ فی الحال 15 مقبول ترین ML کاموں کو سپورٹ کرتا ہے۔ ان میں سے 13 وژن اور NLP پر مبنی کام ہیں، جن میں سے 8 بغیر کوڈ فائن ٹیوننگ کی حمایت کرتے ہیں۔ یہ ٹیبلر ڈیٹا ماڈلنگ کے لیے چار مشہور الگورتھم کو بھی سپورٹ کرتا ہے۔ ان کے نمونے والی نوٹ بک کے کاموں اور لنکس کا خلاصہ درج ذیل جدول میں دیا گیا ہے۔

کام پر منحصر ہے، پچھلے جدول میں منسلک نمونہ نوٹ بک مندرجہ ذیل عمل کے تمام یا ذیلی سیٹ پر آپ کی رہنمائی کر سکتے ہیں:

• اپنے مخصوص کام کے لیے جمپ اسٹارٹ سپورٹ شدہ پری ٹرینڈ ماڈل منتخب کریں۔
• پہلے سے تربیت یافتہ ماڈل کی میزبانی کریں، اس سے حقیقی وقت میں پیشین گوئیاں حاصل کریں، اور نتائج کو مناسب طریقے سے ڈسپلے کریں۔
• پہلے سے تربیت یافتہ ماڈل کو اپنے ہائپر پیرامیٹر کے اپنے انتخاب کے ساتھ ٹھیک بنائیں اور اسے اندازہ لگانے کے لیے لگائیں۔

جمپ سٹارٹ APIs کے ساتھ آبجیکٹ کا پتہ لگانے والے ماڈل کو ٹھیک کریں اور تعینات کریں۔

مندرجہ ذیل حصوں میں، ہم ایک قدم بہ قدم واک تھرو فراہم کرتے ہیں کہ نئے جمپ سٹارٹ APIs کو آبجیکٹ کا پتہ لگانے کے نمائندہ کام پر کیسے استعمال کیا جائے۔ ہم دکھاتے ہیں کہ باؤنڈنگ بکس والی تصویر میں کلاسوں کے پہلے سے طے شدہ سیٹ سے اشیاء کی شناخت کے لیے پہلے سے تربیت یافتہ آبجیکٹ کا پتہ لگانے کا ماڈل کیسے استعمال کیا جائے۔ آخر میں، ہم دکھاتے ہیں کہ آپ کے اپنے ڈیٹاسیٹ پر پہلے سے تربیت یافتہ ماڈل کو کس طرح ٹھیک کرنا ہے تاکہ تصاویر میں ایسی اشیاء کا پتہ لگایا جا سکے جو آپ کی کاروباری ضروریات کے لیے مخصوص ہیں، صرف اپنا ڈیٹا لا کر۔ ہم ایک فراہم کرتے ہیں اس واک تھرو کے لیے ساتھ والی نوٹ بک.

ہم درج ذیل اعلیٰ سطحی مراحل سے گزرتے ہیں:

1. پہلے سے تربیت یافتہ ماڈل پر تخمینہ چلائیں۔
   1. جمپ سٹارٹ نمونے بازیافت کریں اور ایک اختتامی نقطہ تعینات کریں۔
   2. اختتامی نقطہ سے استفسار کریں، جواب کو پارس کریں، اور ماڈل کی پیشین گوئیاں دکھائیں۔
2. اپنے ڈیٹا سیٹ پر پہلے سے تربیت یافتہ ماڈل کو ٹھیک بنائیں۔
   1. تربیتی نمونے بازیافت کریں۔
   2. ٹریننگ چلائیں۔

پہلے سے تربیت یافتہ ماڈل پر تخمینہ چلائیں۔

اس سیکشن میں، ہم جمپ سٹارٹ میں ایک مناسب پہلے سے تربیت یافتہ ماڈل کا انتخاب کرتے ہیں، اس ماڈل کو SageMaker اینڈ پوائنٹ پر تعینات کرتے ہیں، اور دکھاتے ہیں کہ تعیناتی اختتامی نقطہ پر کیسے اندازہ لگایا جائے۔ تمام مراحل میں دستیاب ہیں۔ Jupyter نوٹ بک کے ساتھ.

جمپ سٹارٹ نمونے بازیافت کریں اور ایک اختتامی نقطہ تعینات کریں۔

سیج میکر ڈوکر کنٹینرز پر مبنی ایک پلیٹ فارم ہے۔ JumpStart دستیاب فریم ورک مخصوص استعمال کرتا ہے۔ سیج میکر ڈیپ لرننگ کنٹینرز (DLCs)۔ ہم کسی بھی اضافی پیکجز کے ساتھ ساتھ منتخب کردہ کام کے لیے تربیت اور تخمینہ کو سنبھالنے کے لیے اسکرپٹس لاتے ہیں۔ آخر میں، پہلے سے تربیت یافتہ ماڈل کے نمونے الگ سے لائے جاتے ہیں۔ model_uris، جو پلیٹ فارم کو لچک فراہم کرتا ہے۔ آپ ایک ہی ٹریننگ یا انفرنس اسکرپٹ کے ساتھ ایک ہی کام کے لیے پہلے سے تربیت یافتہ ماڈلز کی تعداد استعمال کر سکتے ہیں۔ درج ذیل کوڈ دیکھیں:

infer_model_id, infer_model_version = "pytorch-od-nvidia-ssd", "*" # Retrieve the inference docker container uri. This is the base container PyTorch image for the model selected above. deploy_image_uri = image_uris.retrieve(region=None, framework=None, image_scope="inference",model_id=infer_model_id, model_version=infer_model_version, instance_type=inference_instance_type) # Retrieve the inference script uri. This includes all dependencies and scripts for model loading, inference handling etc.
deploy_source_uri = script_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, script_scope="inference") # Retrieve the base model uri. This includes the pre-trained nvidia-ssd model and parameters.
base_model_uri = model_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, model_scope="inference")

اگلا، ہم وسائل کو a میں فیڈ کرتے ہیں۔ سیج میکر ماڈل مثال کے طور پر اور ایک اختتامی نقطہ تعینات کریں:

# Create the SageMaker model instance
model = Model(image_uri=deploy_image_uri, source_dir=deploy_source_uri, model_data=base_model_uri, entry_point="inference.py", role=aws_role, predictor_cls=Predictor, name=endpoint_name) # deploy the Model. Note that we need to pass Predictor class when we deploy model through Model class for being able to run inference through the sagemaker API.
base_model_predictor = model.deploy(initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=endpoint_name)

اینڈ پوائنٹ کی تعیناتی مکمل ہونے میں چند منٹ لگ سکتے ہیں۔

اختتامی نقطہ سے استفسار کریں، جواب کو پارس کریں، اور پیشین گوئیاں دکھائیں۔

تعینات کردہ ماڈل سے نتائج حاصل کرنے کے لیے، ایک ان پٹ امیج کو قبول قسم کے ساتھ بائنری فارمیٹ میں فراہم کرنے کی ضرورت ہے۔ جمپ سٹارٹ میں، آپ واپس کیے گئے باؤنڈنگ خانوں کی تعداد کی وضاحت کر سکتے ہیں۔ مندرجہ ذیل کوڈ کے ٹکڑوں میں، ہم شامل کر کے فی تصویر دس باؤنڈنگ بکس کی پیشین گوئی کرتے ہیں۔ ;n_predictions=10 کرنے کے لئے Accept. xx بکس کی پیشن گوئی کرنے کے لیے، آپ اسے تبدیل کر سکتے ہیں۔ ;n_predictions=xx ، یا چھوڑ کر تمام پیشین گوئی شدہ بکس حاصل کریں۔ ;n_predictions=xx مکمل.

def query(model_predictor, image_file_name): with open(image_file_name, "rb") as file: input_img_rb = file.read() return model_predictor.predict(input_img_rb,{ "ContentType": "application/x-image", "Accept": "application/json;verbose;n_predictions=10"}) query_response = query(base_model_predictor, Naxos_Taverna)

مندرجہ ذیل کوڈ کا ٹکڑا آپ کو ایک جھلک دیتا ہے کہ آبجیکٹ کا پتہ لگانے کا طریقہ کیسا لگتا ہے۔ ہر آبجیکٹ کلاس کے لیے پیش گوئی کی گئی امکان کو اس کے باؤنڈنگ باکس کے ساتھ تصور کیا جاتا ہے۔ ہم استعمال کرتے ہیں parse_response اور display_predictions مددگار افعال، جو ساتھ میں بیان کیے گئے ہیں۔ نوٹ بک.

normalized_boxes, classes_names, confidences = parse_response(query_response)
display_predictions(Naxos_Taverna, normalized_boxes, classes_names, confidences)

مندرجہ ذیل اسکرین شاٹ پیشین گوئی لیبلز اور باؤنڈنگ بکس کے ساتھ ایک تصویر کا آؤٹ پٹ دکھاتا ہے۔

اپنے ڈیٹا سیٹ پر پہلے سے تربیت یافتہ ماڈل کو ٹھیک بنائیں

جمپ سٹارٹ میں آبجیکٹ کا پتہ لگانے کے موجودہ ماڈل یا تو COCO یا VOC ڈیٹا سیٹس پر پہلے سے تربیت یافتہ ہیں۔ تاہم، اگر آپ کو ایسی آبجیکٹ کلاسز کی نشاندہی کرنے کی ضرورت ہے جو اصل پری ٹریننگ ڈیٹاسیٹ میں موجود نہیں ہیں، تو آپ کو ایک نئے ڈیٹاسیٹ پر ماڈل کو ٹھیک کرنا ہوگا جس میں یہ نئی آبجیکٹ اقسام شامل ہوں۔ مثال کے طور پر، اگر آپ کو باورچی خانے کے برتنوں کی شناخت کرنے اور پہلے سے تربیت یافتہ SSD ماڈل پر اندازہ لگانے کی ضرورت ہے، تو ماڈل تصویر کی نئی اقسام کی کسی بھی خصوصیت کو نہیں پہچانتا اور اس لیے آؤٹ پٹ غلط ہے۔

اس حصے میں، ہم یہ ظاہر کرتے ہیں کہ JumpStart APIs کا استعمال کرتے ہوئے نئی آبجیکٹ کلاسز کا پتہ لگانے کے لیے پہلے سے تربیت یافتہ ماڈل کو ٹھیک کرنا کتنا آسان ہے۔ مزید تفصیلات کے ساتھ مکمل کوڈ کی مثال میں دستیاب ہے۔ ساتھ والی نوٹ بک.

تربیتی نمونے بازیافت کریں۔

تربیتی نمونے پچھلے حصے میں زیر بحث آنے والے نمونے کی طرح ہیں۔ ٹریننگ کے لیے بیس ڈوکر کنٹینر کی ضرورت ہوتی ہے، یعنی درج ذیل مثال کے کوڈ میں MXNet کنٹینر۔ تربیت کے لیے درکار کوئی بھی اضافی پیکج تربیتی اسکرپٹ کے ساتھ شامل ہیں۔ train_sourcer_uri. پہلے سے تربیت یافتہ ماڈل اور اس کے پیرامیٹرز کو الگ سے پیک کیا گیا ہے۔

train_model_id, train_model_version, train_scope = "mxnet-od-ssd-512-vgg16-atrous-coco","*","training"
training_instance_type = "ml.p2.xlarge" # Retrieve the docker image. This is the base container MXNet image for the model selected above. train_image_uri = image_uris.retrieve(region=None, framework=None, model_id=train_model_id, model_version=train_model_version, image_scope=train_scope,instance_type=training_instance_type) # Retrieve the training script and dependencies. This contains all the necessary files including data processing, model training etc.
train_source_uri = script_uris.retrieve(model_id=train_model_id, model_version=train_model_version, script_scope=train_scope) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve(
model_id=train_model_id, model_version=train_model_version, model_scope=train_scope)

ٹریننگ چلائیں۔

ٹریننگ چلانے کے لیے، ہم کچھ اضافی پیرامیٹرز کے ساتھ صرف مطلوبہ نمونے فیڈ کرتے ہیں۔ سیج میکر تخمینہ لگانے والا اور کال کریں .fit فنکشن:

# Create SageMaker Estimator instance
od_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", # Entry-point file in source_dir and present in train_source_uri. instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location,
) # Launch a SageMaker Training job by passing s3 path of the training data
od_estimator.fit({"training": training_dataset_s3_path}, logs=True)

الگورتھم کی تربیت کے دوران، آپ SageMaker نوٹ بک میں اس کی پیشرفت کی نگرانی کر سکتے ہیں جہاں آپ خود کوڈ چلا رہے ہیں، یا آن ایمیزون کلاؤڈ واچ. جب تربیت مکمل ہو جاتی ہے، ٹھیک ٹیونڈ ماڈل کے نمونے اپ لوڈ کیے جاتے ہیں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) آؤٹ پٹ لوکیشن ٹریننگ کنفیگریشن میں بتائی گئی ہے۔ اب آپ ماڈل کو پہلے سے تربیت یافتہ ماڈل کی طرح ہی تعینات کر سکتے ہیں۔ آپ باقی عمل کی پیروی کر سکتے ہیں۔ ساتھ والی نوٹ بک.

نتیجہ

اس پوسٹ میں، ہم نے نئے جاری کیے گئے JumpStart APIs کی قدر اور انہیں استعمال کرنے کا طریقہ بیان کیا۔ ہم نے جمپ سٹارٹ میں تعاون یافتہ مختلف ML کاموں کے لیے 17 مثالی نوٹ بک کے لنکس فراہم کیے، اور آپ کو آبجیکٹ کا پتہ لگانے والی نوٹ بک سے آگاہ کیا۔

جب آپ جمپ اسٹارٹ کے ساتھ تجربہ کریں گے تو ہم آپ سے سننے کے منتظر ہیں۔

مصنفین کے بارے میں

ڈاکٹر وویک مدن Amazon SageMaker جمپ سٹارٹ ٹیم کے ساتھ ایک اپلائیڈ سائنٹسٹ ہے۔ انہوں نے Urbana-Champaign میں یونیورسٹی آف الینوائے سے پی ایچ ڈی کی اور جارجیا ٹیک میں پوسٹ ڈاکٹریٹ محقق تھے۔ وہ مشین لرننگ اور الگورتھم ڈیزائن میں ایک فعال محقق ہے، اور اس نے EMNLP، ICLR، COLT، FOCS، اور SODA کانفرنسوں میں مقالے شائع کیے ہیں۔

جواؤ مورا ایمیزون ویب سروسز میں ایک AI/ML ماہر حل آرکیٹیکٹ ہے۔ وہ زیادہ تر NLP کے استعمال کے معاملات پر توجہ مرکوز کرتا ہے اور صارفین کو ڈیپ لرننگ ماڈل کی تربیت اور تعیناتی کو بہتر بنانے میں مدد کرتا ہے۔

ڈاکٹر آشیش کھیتان کے ساتھ ایک سینئر اپلائیڈ سائنٹسٹ ہے۔ ایمیزون سیج میکر جمپ اسٹارٹ اور ایمیزون سیج میکر بلٹ ان الگورتھم اور مشین لرننگ الگورتھم تیار کرنے میں مدد کرتا ہے۔ وہ مشین لرننگ اور شماریاتی اندازہ میں ایک فعال محقق ہے اور اس نے NeurIPS، ICML، ICLR، JMLR، اور ACL کانفرنسوں میں بہت سے مقالے شائع کیے ہیں۔

• سکے سمارٹ۔ یورپ کا بہترین بٹ کوائن اور کرپٹو ایکسچینج۔
• پلیٹو بلاک چین۔ Web3 Metaverse انٹیلی جنس۔ علم میں اضافہ۔ مفت رسائی۔
• کرپٹو ہاک۔ Altcoin ریڈار. مفت جانچ.
• ماخذ: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-jumpstart-models-and-algorithms-now-available-via-api/