ایمیزون سیج میکر سرور لیس انفرنس بینچ مارکنگ ٹول کٹ کا تعارف

ایمیزون سیج میکر سرور لیس انفرنس ایک مقصد سے بنایا گیا انفرنس آپشن ہے جو آپ کے لیے مشین لرننگ (ML) ماڈلز کی تعیناتی اور اسکیل کرنا آسان بناتا ہے۔ یہ ایک ادائیگی فی استعمال ماڈل فراہم کرتا ہے، جو ان خدمات کے لیے مثالی ہے جہاں اختتامی نقطہ کی درخواستیں کبھی کبھار اور غیر متوقع ہوتی ہیں۔ ریئل ٹائم ہوسٹنگ اینڈ پوائنٹ کے برعکس، جسے ایک طویل عرصے سے چلنے والی مثال کی حمایت حاصل ہے، سرور لیس اینڈ پوائنٹس کے لیے کمپیوٹ وسائل طلب کے مطابق فراہم کیے جاتے ہیں، اس طرح مثال کی اقسام کو منتخب کرنے یا اسکیلنگ کی پالیسیوں کو منظم کرنے کی ضرورت کو ختم کر دیا جاتا ہے۔

درج ذیل اعلیٰ سطحی فن تعمیر کی وضاحت کرتا ہے کہ سرور لیس اینڈ پوائنٹ کیسے کام کرتا ہے۔ ایک کلائنٹ ایک اختتامی نقطہ کی درخواست کرتا ہے، جسے AWS کے زیر انتظام انفراسٹرکچر کی حمایت حاصل ہے۔

تاہم، سرور لیس اینڈ پوائنٹس سیکنڈ کی ترتیب میں سرد آغاز کا شکار ہوتے ہیں، اور اس لیے وقفے وقفے سے یا غیر متوقع کام کے بوجھ کے لیے زیادہ موزوں ہیں۔

اس بات کا تعین کرنے میں مدد کرنے کے لیے کہ آیا لاگت اور کارکردگی کے نقطہ نظر سے سرور لیس اینڈ پوائنٹ درست تعیناتی کا اختیار ہے، ہم نے تیار کیا ہے سیج میکر سرور لیس انفرنس بینچ مارکنگ ٹول کٹ، جو مختلف اینڈ پوائنٹ کنفیگریشنز کی جانچ کرتا ہے اور سب سے زیادہ بہترین کا موازنہ ریئل ٹائم ہوسٹنگ مثال سے کرتا ہے۔

اس پوسٹ میں، ہم ٹول کٹ کو متعارف کراتے ہیں اور اس کی ترتیب اور آؤٹ پٹس کا ایک جائزہ فراہم کرتے ہیں۔

حل جائزہ

آپ ٹول کٹ کو ڈاؤن لوڈ کر سکتے ہیں اور اسے سے انسٹال کر سکتے ہیں۔ GitHub repo. شروع کرنا آسان ہے: بس لائبریری انسٹال کریں، تخلیق کریں۔ سیج میکر ماڈل، اور اپنے ماڈل کا نام JSON لائنوں کی فارمیٹ شدہ فائل کے ساتھ فراہم کریں جس میں پے لوڈ باڈی اور مواد کی قسم سمیت درخواست کے پیرامیٹرز کا ایک نمونہ سیٹ شامل ہو۔ نمونہ کی درخواست کے دلائل کی فہرست کو JSON لائنز فائل میں یا بائنری پے لوڈز جیسے امیجز، ویڈیو یا آڈیو کے لیے ایک اچار فائل میں تبدیل کرنے کے لیے ایک سہولت فنکشن فراہم کیا جاتا ہے۔

ٹول کٹ انسٹال کریں۔

پہلے پائپ کا استعمال کرتے ہوئے اپنے ازگر کے ماحول میں بینچ مارکنگ لائبریری انسٹال کریں:

pip install sm-serverless-benchmarking

آپ درج ذیل کوڈ کو ایک سے چلا سکتے ہیں۔ ایمیزون سیج میکر اسٹوڈیو مثال، سیج میکر نوٹ بک مثال، یا کسی بھی مثال کے ساتھ پروگرامی رسائی AWS اور مناسب AWS شناخت اور رسائی کا انتظام (IAM) کی اجازت۔ مطلوبہ IAM اجازتیں اس میں دستاویزی ہیں۔ GitHub repo. IAM کے لیے اضافی رہنمائی اور مثال کی پالیسیوں کے لیے، رجوع کریں۔ ایمیزون سیج میکر IAM کے ساتھ کیسے کام کرتا ہے۔. یہ کوڈ ایک ایسے ماڈل پر پیرامیٹرز کے ڈیفالٹ سیٹ کے ساتھ ایک بینچ مارک چلاتا ہے جو دو مثال کے ریکارڈ کے ساتھ CSV ان پٹ کی توقع کرتا ہے۔ مختلف ان پٹ پے لوڈز کے ساتھ اختتامی نقطہ کی کارکردگی کا تجزیہ کرنے کے لیے مثالوں کا نمائندہ سیٹ فراہم کرنا ایک اچھا عمل ہے۔

from sm_serverless_benchmarking import benchmark
from sm_serverless_benchmarking.utils import convert_invoke_args_to_jsonl
model_name = ""
example_invoke_args = [
        {'Body': '1,2,3,4,5', "ContentType": "text/csv"},
        {'Body': '6,7,8,9,10', "ContentType": "text/csv"}
        ]
example_args_file = convert_invoke_args_to_jsonl(example_invoke_args,
output_path=".")
r = benchmark.run_serverless_benchmarks(model_name, example_args_file)

مزید برآں، آپ بینچ مارک کو سیج میکر پروسیسنگ جاب کے طور پر چلا سکتے ہیں، جو بڑی تعداد میں درخواستوں کے ساتھ طویل عرصے تک چلنے والے بینچ مارکس کے لیے زیادہ قابل اعتماد آپشن ہو سکتا ہے۔ درج ذیل کوڈ دیکھیں:

from sm_serverless_benchmarking.sagemaker_runner import run_as_sagemaker_job
run_as_sagemaker_job(
                    role="",
                    model_name="",
                    invoke_args_examples_file="",
                    )

نوٹ کریں کہ اس سے بینچ مارک کی مدت کے لیے ml.m5.large SageMaker پروسیسنگ مثال چلانے کی اضافی لاگت آئے گی۔

دونوں طریقے ترتیب دینے کے لیے متعدد پیرامیٹرز کو قبول کرتے ہیں، جیسے کہ بینچ مارک کے لیے میموری کنفیگریشنز کی فہرست اور ہر کنفیگریشن کو کتنی بار طلب کیا جائے گا۔ زیادہ تر معاملات میں، پہلے سے طے شدہ اختیارات ایک نقطہ آغاز کے طور پر کافی ہوں گے، لیکن حوالہ دیں۔ GitHub repo ہر پیرامیٹر کی مکمل فہرست اور وضاحت کے لیے۔

بینچ مارکنگ کنفیگریشن

بینچ مارک کیا کرتا ہے اور اس سے کیا نتائج برآمد ہوتے ہیں اس کے بارے میں جاننے سے پہلے، جب سرور لیس اینڈ پوائنٹس کو ترتیب دینے کی بات آتی ہے تو چند کلیدی تصورات کو سمجھنا ضروری ہے۔

وہاں ہے ترتیب کے دو اہم اختیارات: MemorySizeInMB اور MaxConcurrency. MemorySizeInMB میموری کی مقدار کو ترتیب دیتا ہے جو مثال کے لیے مختص کی گئی ہے، اور یہ 1024 MB، 2048 MB، 3072 MB، 4096 MB، 5120 MB، یا 6144 MB ہو سکتی ہے۔ vCPUs کی تعداد بھی مختص میموری کی مقدار کے متناسب پیمانے پر ہوتی ہے۔ دی MaxConcurrency پیرامیٹر ایڈجسٹ کرتا ہے کہ کتنی سمورتی درخواستیں ایک اینڈ پوائنٹ سروس کرنے کے قابل ہے۔ کے ساتھ MaxConcurrency 1 کا، ایک سرور لیس اینڈ پوائنٹ ایک وقت میں صرف ایک درخواست پر کارروائی کر سکتا ہے۔

خلاصہ کرنے کے لئے ، MemorySizeInMB پیرامیٹر عمودی اسکیل ایبلٹی کے لیے ایک طریقہ کار فراہم کرتا ہے، جس سے آپ کو میموری کو ایڈجسٹ کرنے اور بڑے ماڈلز کی خدمت کے لیے وسائل کی گنتی کرنے کی اجازت ملتی ہے، جبکہ MaxConcurrency افقی اسکیل ایبلٹی کے لیے ایک طریقہ کار فراہم کرتا ہے، جس سے آپ کے اختتامی نقطہ کو مزید سمورتی درخواستوں پر کارروائی کرنے کی اجازت ملتی ہے۔

اختتامی نقطہ کو چلانے کی لاگت زیادہ تر میموری کے سائز سے طے ہوتی ہے، اور زیادہ سے زیادہ ہم آہنگی کو بڑھانے سے کوئی لاگت وابستہ نہیں ہوتی ہے۔ تاہم، تمام اینڈ پوائنٹس پر زیادہ سے زیادہ ہم آہنگی کے لیے فی ریجن اکاؤنٹ کی حد ہے۔ کا حوالہ دیتے ہیں سیج میکر کے اختتامی نکات اور کوٹے تازہ ترین حدود کے لیے۔

بینچ مارکنگ آؤٹ پٹس

اس کو دیکھتے ہوئے، بغیر سرور کے اختتامی نقطہ کو بینچ مارک کرنے کا مقصد سب سے زیادہ لاگت سے موثر اور قابل اعتماد میموری سائز کی ترتیب، اور کم از کم زیادہ سے زیادہ ہم آہنگی کا تعین کرنا ہے جو آپ کے متوقع ٹریفک پیٹرن کو سنبھال سکے۔

بطور ڈیفالٹ، ٹول دو بینچ مارکس چلاتا ہے۔ پہلا استحکام کا بینچ مارک ہے، جو ہر ایک مخصوص میموری کنفیگریشن کے لیے ایک اختتامی نقطہ تعینات کرتا ہے اور فراہم کردہ نمونے کے پے لوڈز کے ساتھ ہر اختتامی نقطہ کو طلب کرتا ہے۔ اس بینچ مارک کا ہدف سب سے موثر اور مستحکم MemorySizeInMB ترتیب کا تعین کرنا ہے۔ بینچ مارک درخواست میں تاخیر کو پکڑتا ہے اور ہر اختتامی نقطہ کے لیے متوقع فی انووکیشن لاگت کا حساب لگاتا ہے۔ اس کے بعد یہ اسی طرح کی اصل وقت کی ہوسٹنگ مثال سے لاگت کا موازنہ کرتا ہے۔

بینچ مارکنگ مکمل ہونے پر، ٹول مخصوص میں کئی آؤٹ پٹ تیار کرتا ہے۔ result_save_path مندرجہ ذیل ڈائریکٹری ڈھانچے کے ساتھ ڈائریکٹری:

├── benchmarking_report
├── concurrency_benchmark_raw_results
├── concurrency_benchmark_summary_results
├── cost_analysis_summary_results
├── stability_benchmark_raw_results
├── stability_benchmark_summary_results

۔ benchmarking_report ڈائریکٹری تمام سمری آؤٹ پٹ کے ساتھ ایک جامع رپورٹ پر مشتمل ہے جسے ہم اس پوسٹ میں بیان کرتے ہیں۔ اضافی ڈائریکٹریوں میں خام اور درمیانی آؤٹ پٹ ہوتے ہیں جنہیں آپ اضافی تجزیوں کے لیے استعمال کر سکتے ہیں۔ سے رجوع کریں۔ GitHub repo ہر آؤٹ پٹ آرٹفیکٹ کی مزید تفصیلی وضاحت کے لیے۔

آئیے کمپیوٹر وژن MobileNetV2 TensorFlow ماڈل کو پیش کرنے والے اینڈ پوائنٹ کے لیے چند حقیقی بینچ مارکنگ آؤٹ پٹس کا جائزہ لیں۔ اگر آپ اس مثال کو دوبارہ پیش کرنا چاہتے ہیں تو دیکھیں مثال کے طور پر نوٹ بک GitHub ریپو میں ڈائریکٹری۔

جامع رپورٹ کے اندر پہلا آؤٹ پٹ ایک خلاصہ جدول ہے جو ہر ایک کے لیے کم از کم، اوسط، درمیانی، اور زیادہ سے زیادہ تاخیر کی پیمائش فراہم کرتا ہے۔ MemorySizeInMB کامیاب میموری سائز کنفیگریشن۔ جیسا کہ درج ذیل جدول میں دکھایا گیا ہے، اوسط درخواست میں تاخیر (invocation_latency_mean) میں بہتری آتی رہی کیونکہ میموری کنفیگریشن کو 3072 MB تک بڑھا دیا گیا تھا، لیکن اس کے بعد بہتری آنا بند ہو گئی۔

اعلی درجے کے وضاحتی اعدادوشمار کے علاوہ، ایک چارٹ فراہم کیا جاتا ہے جس میں تاخیر کی تقسیم کو دکھایا جاتا ہے جیسا کہ کلائنٹ کی طرف سے میموری کی ہر ترتیب کے لیے مشاہدہ کیا گیا ہے۔ ایک بار پھر، ہم دیکھ سکتے ہیں کہ 1024 MB کنفیگریشن دیگر آپشنز کی طرح پرفارمنس نہیں ہے، لیکن 2048 اور اس سے اوپر کی کنفیگریشنز میں کارکردگی میں کوئی خاص فرق نہیں ہے۔

ایمیزون کلاؤڈ واچ ہر اینڈ پوائنٹ کنفیگریشن سے وابستہ میٹرکس بھی فراہم کیے گئے ہیں۔ یہاں ایک کلیدی میٹرک ہے۔ ModelSetupTime، جو اس بات کی پیمائش کرتا ہے کہ جب اختتامی نقطہ کو سرد حالت میں شروع کیا گیا تو ماڈل کو لوڈ کرنے میں کتنا وقت لگا۔ ہو سکتا ہے کہ میٹرک ہمیشہ رپورٹ میں ظاہر نہ ہو کیونکہ اختتامی نقطہ گرم حالت میں شروع ہوتا ہے۔ اے cold_start_delay پیرامیٹر ایک تعینات اختتامی نقطہ پر بینچ مارک شروع کرنے سے پہلے سونے کے لیے سیکنڈوں کی تعداد بتانے کے لیے دستیاب ہے۔ اس پیرامیٹر کو زیادہ تعداد جیسے 600 سیکنڈز پر سیٹ کرنے سے سرد حالت کی درخواست کے امکانات بڑھ جائیں گے اور اس میٹرک کو حاصل کرنے کے امکانات بہتر ہوں گے۔ مزید برآں، اس میٹرک کو کنکرنٹ انوکیشن بینچ مارک کے ساتھ پکڑے جانے کا امکان بہت زیادہ ہے، جس پر ہم بعد میں اس سیکشن میں بات کریں گے۔

مندرجہ ذیل جدول ہر میموری کی ترتیب کے لیے CloudWatch کے ذریعے کیپچر کیے گئے میٹرکس کو دکھاتا ہے۔

اگلا چارٹ مختلف میموری کنفیگریشنز کی کارکردگی اور لاگت کی تجارت کو دکھاتا ہے۔ ایک لائن اختتامی نقطہ کو 1 ملین بار استعمال کرنے کی تخمینی لاگت کو ظاہر کرتی ہے، اور دوسری اوسط جواب میں تاخیر کو ظاہر کرتی ہے۔ یہ میٹرکس آپ کے اس فیصلے سے آگاہ کر سکتے ہیں کہ کون سی اینڈ پوائنٹ کنفیگریشن سب سے زیادہ سرمایہ کاری مؤثر ہے۔ اس مثال میں، ہم دیکھتے ہیں کہ اوسط لیٹنسی 2048 MB کے بعد کم ہو جاتی ہے، جب کہ لاگت میں مسلسل اضافہ ہوتا رہتا ہے، جس سے ظاہر ہوتا ہے کہ اس ماڈل کے لیے 2048 کی میموری سائز کی ترتیب سب سے زیادہ بہتر ہوگی۔

لاگت اور استحکام کے بینچ مارک کا حتمی آؤٹ پٹ ایک تجویز کردہ میموری کنفیگریشن ہے، جس میں ایک میز کے ساتھ ایک موازنہ SageMaker ہوسٹنگ مثال کے مقابلے میں سرور لیس اینڈ پوائنٹ کو چلانے کی لاگت کا موازنہ کیا گیا ہے۔ جمع کیے گئے ڈیٹا کی بنیاد پر، ٹول نے طے کیا کہ اس ماڈل کے لیے 2048 MB کنفیگریشن سب سے زیادہ موزوں ہے۔ اگرچہ 3072 کنفیگریشن تقریباً 10 ملی سیکنڈ بہتر تاخیر فراہم کرتی ہے، جو کہ لاگت میں 30% اضافے کے ساتھ آتی ہے، فی 4.55 ملین درخواستوں پر $5.95 سے $1 تک۔ مزید برآں، آؤٹ پٹ سے پتہ چلتا ہے کہ سرور لیس اینڈ پوائنٹ 88.72% تک کی بچت فراہم کرے گا جب کہ 1 لاکھ سے کم ماہانہ درخواستیں ہوں، اور 8.5 ملین درخواستوں کے بعد ریئل ٹائم اینڈ پوائنٹ کے ساتھ بھی بریک ہو جائے۔

بینچ مارک کی دوسری قسم اختیاری ہے اور مختلف ٹیسٹ کرتی ہے۔ MaxConcurency مختلف ٹریفک پیٹرن کے تحت ترتیبات. یہ بینچ مارک عام طور پر بہترین کا استعمال کرتے ہوئے چلایا جاتا ہے۔ MemorySizeInMB استحکام بینچ مارک سے ترتیب۔ اس بینچ مارک کے دو کلیدی پیرامیٹرز کی ایک فہرست ہے۔ MaxConcurency کلائنٹ ملٹی پلائرز کی ایک فہرست کے ساتھ جانچنے کے لیے سیٹنگز، جو سمیلیٹڈ کنکرنٹ کلائنٹس کی تعداد کا تعین کرتی ہیں جن کے ساتھ اینڈ پوائنٹ کا تجربہ کیا جاتا ہے۔

مثال کے طور پر، ترتیب دے کر concurrency_benchmark_max_conc parameter [4، 8] اور concurrency_num_clients_multiplier [1، 1.5، 2] تک، دو اختتامی نقطے شروع کیے گئے ہیں: ایک کے ساتھ MaxConcurency 4 کا اور دوسرا 8۔ ہر اختتامی نقطہ پھر ایک (MaxConcurency x ضرب) نقلی کنکرنٹ کلائنٹس کی تعداد، جو 4 کی ہم آہنگی کے ساتھ اختتامی نقطہ کے لیے 4، 6، اور 8 کنکرنٹ کلائنٹس کے ساتھ ٹیسٹ بینچ مارکس لوڈ کرنے کا ترجمہ کرتا ہے۔

اس بینچ مارک کا پہلا آؤٹ پٹ ایک ٹیبل ہے جو لیٹنسی میٹرکس، تھروٹلنگ مستثنیات، اور ہر ایک سے وابستہ لین دین فی سیکنڈ میٹرکس (TPS) دکھاتا ہے۔ MaxConcurrency کنکرنٹ کلائنٹس کی مختلف تعداد کے ساتھ ترتیب۔ یہ میٹرکس مناسب کا تعین کرنے میں مدد کرتے ہیں۔ MaxConcurrency متوقع ٹریفک بوجھ کو سنبھالنے کی ترتیب۔ مندرجہ ذیل جدول میں، ہم دیکھ سکتے ہیں کہ 8 کی زیادہ سے زیادہ ہم آہنگی کے ساتھ کنفیگر کردہ ایک اینڈ پوائنٹ 16 لین دین فی سیکنڈ کی اوسط سے کی گئی 2,500 درخواستوں میں سے صرف دو تھروٹلنگ مستثنیات کے ساتھ 24 کنکرنٹ کلائنٹس کو ہینڈل کرنے کے قابل تھا۔

آؤٹ پٹ کا اگلا سیٹ ہر ایک کے لیے ایک چارٹ فراہم کرتا ہے۔ MaxConcurrency ترتیب مختلف بوجھ کے تحت تاخیر کی تقسیم کو ظاہر کرتی ہے۔ اس مثال میں، ہم دیکھ سکتے ہیں کہ ایک اختتامی نقطہ a کے ساتھ MaxConcurrency 4 کی ترتیب درخواست میں تاخیر میں کم سے کم اضافے کے ساتھ 8 سمورتی کلائنٹس کے ساتھ تمام درخواستوں پر کامیابی کے ساتھ کارروائی کرنے کے قابل تھی۔

حتمی آؤٹ پٹ ہر ایک کے لیے CloudWatch میٹرکس کے ساتھ ایک ٹیبل فراہم کرتا ہے۔ MaxConcurrency ترتیب پچھلی جدول کے برعکس جو ہر میموری کی ترتیب کے لیے تاخیر کی تقسیم کو ظاہر کرتی ہے، جو شاید ہمیشہ کولڈ اسٹارٹ کو ظاہر نہیں کرتی ہے۔ ModelSetupTime میٹرک، درخواست کی درخواستوں کی بڑی تعداد اور اس سے زیادہ کی وجہ سے یہ میٹرک اس جدول میں ظاہر ہونے کا زیادہ امکان ہے MaxConcurrency.

نتیجہ

اس پوسٹ میں، ہم نے سیج میکر سرور لیس انفرنس بینچ مارکنگ ٹول کٹ متعارف کرایا اور اس کی ترتیب اور آؤٹ پٹس کا جائزہ فراہم کیا۔ یہ ٹول آپ کو حقیقت پسندانہ ٹریفک پیٹرن کے ساتھ مختلف کنفیگریشنز کو لوڈ کر کے سرور لیس انفرنس کے حوالے سے زیادہ باخبر فیصلہ کرنے میں مدد کر سکتا ہے۔ اپنے ماڈلز کے ساتھ بینچ مارکنگ ٹول کٹ کو آزمائیں تاکہ وہ کارکردگی اور لاگت کی بچت کو دیکھ سکیں جس کی آپ سرور لیس اینڈ پوائنٹ کو تعینات کرکے توقع کر سکتے ہیں۔ براہ کرم کا حوالہ دیں۔ GitHub repo اضافی دستاویزات اور مثالی نوٹ بک کے لیے۔

اضافی وسائل

مصنفین کے بارے میں

سائمن زمرین ایک AI/ML سلوشنز آرکیٹیکٹ ہے جس کی بنیادی توجہ صارفین کو ان کے ڈیٹا اثاثوں سے قیمت نکالنے میں مدد کرنا ہے۔ اپنے فارغ وقت میں، سائمن کو فیملی کے ساتھ وقت گزارنے، سائنس فائی پڑھنے، اور مختلف DIY ہاؤس پروجیکٹس پر کام کرنا پسند ہے۔

دھول پٹیل AWS میں پرنسپل مشین لرننگ آرکیٹیکٹ ہے۔ انہوں نے تقسیم شدہ کمپیوٹنگ اور مصنوعی ذہانت سے متعلق مسائل پر بڑے اداروں سے لے کر درمیانے درجے کے اسٹارٹ اپس تک کی تنظیموں کے ساتھ کام کیا ہے۔ وہ گہری سیکھنے پر توجہ مرکوز کرتا ہے، بشمول NLP اور کمپیوٹر ویژن ڈومینز۔ وہ صارفین کو SageMaker پر اعلیٰ کارکردگی کے ماڈل کا اندازہ حاصل کرنے میں مدد کرتا ہے۔

رشبھ رے چودھری ایمیزون سیج میکر کے ساتھ ایک سینئر پروڈکٹ مینیجر ہے، جو مشین لرننگ انفرنس پر توجہ مرکوز کرتا ہے۔ وہ AWS پر مشین لرننگ صارفین کے کام کے بوجھ کو کم کرنے میں مدد کرنے کے لیے ان کے لیے اختراعات کرنے اور نئے تجربات بنانے کا پرجوش ہے۔ اپنے فارغ وقت میں، وہ سفر اور کھانا پکانے سے لطف اندوز ہوتا ہے۔ آپ اسے تلاش کر سکتے ہیں۔ لنکڈ.