How CCC Intelligent Solutions Created A Custom Approach For Hosting Complex AI Models Using Amazon SageMaker

افلاطون کے ذریعہ دوبارہ شائع کیا گیا۔

فالونگ: 0

یہ پوسٹ کرسٹوفر ڈیاز، سیم کنارڈ، جیم ہڈالگو اور ڈینیئل سوریز نے CCC انٹیلیجنٹ سلوشنز سے مل کر تحریر کی ہے۔

اس پوسٹ میں، ہم کس طرح بات چیت کرتے ہیں سی سی سی ذہین حل (CCC) مشترکہ ایمیزون سیج میکر دیگر AWS خدمات کے ساتھ ایک حسب ضرورت حل تیار کرنے کے لیے جو پیچیدہ مصنوعی ذہانت (AI) ماڈلز کی اقسام کی میزبانی کرنے کے قابل ہو۔ CCC ملٹی ٹریلین ڈالر کی پراپرٹی اور کیزولٹی انشورنس اکانومی کے لیے ایک سرکردہ سافٹ ویئر کے طور پر سروس (ساس) پلیٹ فارم ہے جو بیمہ کنندگان، مرمت کرنے والوں، کار سازوں، حصہ فراہم کرنے والوں، قرض دہندگان اور مزید کے لیے آپریشنز کو طاقت فراہم کرتا ہے۔ CCC کلاؤڈ ٹکنالوجی 30,000 سے زیادہ کاروباروں کو ڈیجیٹائز کرنے کے مشن کے اہم ورک فلوز، کامرس اور کسٹمر کے تجربات کو جوڑتی ہے۔ AI، انٹرنیٹ آف تھنگز (IoT)، کسٹمر کا تجربہ، اور نیٹ ورک اور ورک فلو مینجمنٹ میں ایک قابل اعتماد لیڈر، CCC ایسی اختراعات پیش کرتا ہے جو لوگوں کی زندگیوں کو اس وقت آگے بڑھاتی رہتی ہے جب یہ سب سے اہم ہو۔

للکار

CCC سالانہ $1 ٹریلین سے زیادہ دعووں کے لین دین پر کارروائی کرتا ہے۔ جیسا کہ کمپنی اپنے موجودہ اور نئے پروڈکٹ کیٹلاگ میں AI کو ضم کرنے کے لیے تیار ہوتی جارہی ہے، اس کے لیے پیچیدہ کاروباری ضروریات کو حل کرنے کے لیے ملٹی ماڈل مشین لرننگ (ML) کے جوڑ ماڈل کی تربیت اور تعیناتی کے لیے جدید ترین طریقوں کی ضرورت ہے۔ یہ ماڈلز کا ایک طبقہ ہے جو ملکیتی الگورتھم اور موضوعی ڈومین کی مہارت کو سمیٹتا ہے جسے CCC نے گزشتہ برسوں میں اعزاز بخشا ہے۔ ان ماڈلز کو واحد پیشن گوئی کے نتائج پیدا کرنے کے لیے nuanced ڈیٹا اور کسٹمر کے قواعد کی نئی تہوں کو شامل کرنے کے قابل ہونا چاہیے۔ اس بلاگ پوسٹ میں، ہم یہ سیکھیں گے کہ کس طرح CCC نے Amazon SageMaker ہوسٹنگ اور دیگر AWS سروسز کا فائدہ اٹھایا تاکہ ایک سے زیادہ ملٹی موڈل ماڈلز کو ایک اینسبل انفرنس پائپ لائن میں تعینات یا ہوسٹ کیا جا سکے۔

جیسا کہ مندرجہ ذیل خاکہ میں دکھایا گیا ہے، ایک جوڑا دو یا دو سے زیادہ ماڈلز کا مجموعہ ہے جو ایک ہی پیشین گوئی پیدا کرنے کے لیے لکیری یا غیر لکیری انداز میں چلانے کے لیے ترتیب دیا گیا ہے۔ جب لکیری طور پر اسٹیک کیا جاتا ہے تو، ایک جوڑ کے انفرادی ماڈلز کو براہ راست پیشین گوئیوں کے لیے طلب کیا جا سکتا ہے اور بعد میں یکجا کرنے کے لیے اکٹھا کیا جا سکتا ہے۔ بعض اوقات، جوڑ ماڈل کو سیریل انفرنس پائپ لائن کے طور پر بھی لاگو کیا جا سکتا ہے۔

ہمارے استعمال کے معاملے کے لیے، جوڑا پائپ لائن سختی سے غیر لکیری ہے، جیسا کہ درج ذیل خاکہ میں دکھایا گیا ہے۔ غیر لکیری جوڑ والی پائپ لائنیں نظریاتی طور پر براہ راست ایسکلک گرافس (DAGs) ہیں۔ ہمارے استعمال کے معاملے کے لیے، اس ڈی اے جی پائپ لائن میں دونوں آزاد ماڈل تھے جو متوازی طور پر چلائے جاتے ہیں (سروسز بی، سی) اور دوسرے ماڈلز جو پچھلے مراحل (سروس ڈی) سے پیشین گوئیاں استعمال کرتے ہیں۔

ایک مشق جو CCC میں تحقیق پر مبنی ثقافت سے نکلتی ہے وہ ٹیکنالوجیز کا مسلسل جائزہ ہے جن کا فائدہ صارفین کو زیادہ اہمیت دینے کے لیے لیا جا سکتا ہے۔ جیسا کہ CCC کو اس ملبوس چیلنج کا سامنا کرنا پڑا، قیادت نے AWS کی جانب سے پیش کشوں کا بخوبی جائزہ لینے کے لیے ایک پروف-آف-کانسیپٹ (POC) اقدام شروع کیا، خاص طور پر، آیا Amazon SageMaker اور دیگر AWS ٹولز پیچیدہ، نان لائنر میں انفرادی AI ماڈلز کی میزبانی کا انتظام کر سکتے ہیں۔ ensembles

انسمبل نے وضاحت کی: اس تناظر میں، ایک جوڑا 2 یا اس سے زیادہ AI ماڈلز کا ایک گروپ ہے جو 1 مجموعی پیشین گوئی پیدا کرنے کے لیے مل کر کام کرتا ہے۔

تحقیق کو آگے بڑھانے والے سوالات

کیا Amazon SageMaker کو AI ماڈلز کے پیچیدہ جوڑ کی میزبانی کرنے کے لیے استعمال کیا جا سکتا ہے جو ایک مجموعی پیشن گوئی فراہم کرنے کے لیے مل کر کام کرتے ہیں؟ اگر ایسا ہے تو، کیا سیج میکر باکس سے باہر دیگر فوائد پیش کر سکتا ہے، جیسے کہ آٹومیشن میں اضافہ، بھروسے، نگرانی، خودکار اسکیلنگ، اور لاگت کی بچت کے اقدامات؟

کلاؤڈ فراہم کنندگان کی تکنیکی ترقی کا استعمال کرتے ہوئے CCC کے AI ماڈلز کو تعینات کرنے کے متبادل طریقے تلاش کرنا CCC کو اپنے مقابلے کے مقابلے میں تیزی سے مارکیٹ میں AI سلوشنز لانے کی اجازت دے گا۔ مزید برآں، کاروباری ترجیحات کی بنیاد پر لاگت اور کارکردگی کے درمیان توازن تلاش کرتے وقت ایک سے زیادہ تعیناتی فن تعمیر لچک فراہم کرتا ہے۔

اپنی ضروریات کی بنیاد پر، ہم نے مندرجہ ذیل خصوصیات کی فہرست کو پروڈکشن گریڈ تعیناتی آرکیٹیکچر کے لیے چیک لسٹ کے طور پر حتمی شکل دی:

پیچیدہ ensembles کے لئے سپورٹ
تمام اجزاء کے لیے گارنٹی شدہ اپ ٹائم
تعینات کردہ AI ماڈلز کے لیے حسب ضرورت خودکار اسکیلنگ
AI ماڈل ان پٹ اور آؤٹ پٹ کا تحفظ
تمام اجزاء کے لیے استعمال میٹرکس اور لاگز
لاگت کی بچت کا طریقہ کار

کمپیوٹر ویژن ماڈلز پر انحصار کرنے والے CCC کے AI حلوں کی اکثریت کے ساتھ، تصویر اور ویڈیو فائلوں کو سپورٹ کرنے کے لیے ایک نئے فن تعمیر کی ضرورت تھی جو ریزولوشن میں مسلسل بڑھ رہی ہیں۔ اس فن تعمیر کو ایک غیر مطابقت پذیر ماڈل کے طور پر ڈیزائن اور نافذ کرنے کی سخت ضرورت تھی۔

تحقیق کے چکروں اور بینچ مارکنگ کی ابتدائی کوششوں کے بعد، سی سی سی نے طے کیا کہ سیج میکر اپنی پیداواری ضروریات کی اکثریت کو پورا کرنے کے لیے بالکل موزوں ہے، خاص طور پر گارنٹی شدہ اپ ٹائم سیج میکر اپنے زیادہ تر قیاس اجزاء کے لیے فراہم کرتا ہے۔ Amazon SageMaker Asynchronous Inference endpoints کی ڈیفالٹ خصوصیت Amazon S3 میں ان پٹ/آؤٹ پٹ کو محفوظ کرتی ہے، پیچیدہ جوڑ سے تیار کردہ ڈیٹا کو محفوظ کرنے کے کام کو آسان بناتی ہے۔ مزید برآں، ہر AI ماڈل کے اپنے اینڈ پوائنٹ کے ذریعے میزبانی کیے جانے کے ساتھ، ماڈل یا اینڈ پوائنٹ کی سطح پر خودکار پیمانے کی پالیسیوں کا انتظام آسان ہو جاتا ہے۔ انتظام کو آسان بنا کر، اس سے لاگت کی بچت کا ایک ممکنہ فائدہ یہ ہے کہ ترقیاتی ٹیمیں کمپیوٹ وسائل کی ضرورت سے زیادہ فراہمی کو کم کرنے کے لیے فائن ٹیوننگ اسکیلنگ پالیسیوں کے لیے زیادہ وقت مختص کر سکتی ہیں۔

SageMaker کو فن تعمیر کے اہم جزو کے طور پر استعمال کرنے کے ساتھ آگے بڑھنے کا فیصلہ کرنے کے بعد، ہم نے یہ بھی محسوس کیا کہ SageMaker ایک اور بھی بڑے فن تعمیر کا حصہ ہو سکتا ہے، جو کہ بہت سی دیگر سرور کے بغیر AWS کے زیر انتظام خدمات کے ساتھ مکمل ہے۔ اس انتخاب کی ضرورت اس پیچیدہ فن تعمیر کی اعلیٰ ترتیب آرکیسٹریشن اور مشاہداتی ضروریات کو پورا کرنے کے لیے تھی۔

سب سے پہلے، پے لوڈ کے سائز کی حدود کو دور کرنے اور ہائی ٹریفک منظرناموں کے دوران ٹائم آؤٹ کے خطرے کو بہت حد تک کم کرنے کے لیے، سی سی سی نے ایک ایسا فن تعمیر نافذ کیا جو پیشین گوئیوں کو غیر مطابقت پذیر طریقے سے چلاتا ہے۔ سیج میکر اسینکرونوس انفرنس اینڈ پوائنٹس بنیادی عمارت کے بلاکس کے طور پر دیگر AWS کے زیر انتظام خدمات کے ساتھ مل کر۔ مزید برآں، سسٹم کے لیے یوزر انٹرفیس فائر اینڈ فرجٹ ڈیزائن پیٹرن کی پیروی کرتا ہے۔ دوسرے لفظوں میں، ایک بار جب صارف اپنا ان پٹ سسٹم پر اپ لوڈ کر دیتا ہے، تو مزید کچھ کرنے کی ضرورت نہیں ہے۔ پیشین گوئی دستیاب ہونے پر انہیں مطلع کیا جائے گا۔ ذیل کی تصویر ہمارے غیر مطابقت پذیر واقعہ سے چلنے والے فن تعمیر کا ایک اعلیٰ سطحی جائزہ پیش کرتی ہے۔ آنے والے حصے میں، آئیے ہم ڈیزائن کردہ فن تعمیر کے عمل کے بہاؤ میں گہرا غوطہ لگائیں۔

مرحلہ وار حل

مرحلہ 1

ایک کلائنٹ سے درخواست کرتا ہے۔ AWS API گیٹ وے اختتامی نقطہ درخواست کے مواد میں AI سروس کا نام ہے جس سے انہیں پیشن گوئی اور اطلاع کے مطلوبہ طریقہ کی ضرورت ہے۔

یہ درخواست ایک کو دی گئی ہے۔ لامڈا فنکشن کہا جاتا ہے۔ نئی پیشین گوئی، جن کے اہم کام یہ ہیں:

چیک کریں کہ آیا کلائنٹ کی درخواست کردہ سروس دستیاب ہے۔
درخواست کے لیے ایک منفرد پیشن گوئی ID تفویض کریں۔ اس پیشین گوئی ID کو صارف پورے عمل میں پیشین گوئی کی حیثیت کو جانچنے کے لیے استعمال کر سکتا ہے۔
ایک پیدا کریں۔ ایمیزون S3 پہلے سے دستخط شدہ URL جسے صارف کو اگلے مرحلے میں پیشین گوئی کی درخواست کے ان پٹ مواد کو اپ لوڈ کرنے کے لیے استعمال کرنے کی ضرورت ہوگی۔
اندراج بنائیں ایمیزون ڈائنومو ڈی بی موصولہ درخواست کی معلومات کے ساتھ۔

Lambda فنکشن پھر API گیٹ وے اینڈ پوائنٹ کے ذریعے ایک پیغام کے ساتھ جواب واپس کرے گا جس میں درخواست کو تفویض کردہ پیشن گوئی ID اور Amazon S3 پہلے سے دستخط شدہ URL شامل ہے۔

مرحلہ 2

کلائنٹ پچھلے مرحلے میں تیار کردہ پہلے سے دستخط شدہ URL کا استعمال کرتے ہوئے پیشین گوئی کے ان پٹ مواد کو محفوظ طریقے سے S3 بالٹی میں اپ لوڈ کرتا ہے۔ ان پٹ مواد کا انحصار AI سروس پر ہوتا ہے اور یہ تصاویر، ٹیبلر ڈیٹا، یا دونوں کے امتزاج پر مشتمل ہو سکتا ہے۔

مرحلہ 3

جب صارف ان پٹ مواد اپ لوڈ کرتا ہے تو S3 بالٹی ایونٹ کو متحرک کرنے کے لیے ترتیب دی جاتی ہے۔ یہ اطلاع Amazon SQS قطار میں بھیجی جاتی ہے اور اسے Lambda فنکشن کے ذریعے ہینڈل کیا جاتا ہے۔ پروسیس ان پٹ. پروسیس ان پٹ Lambda اس پیشن گوئی ID سے متعلق معلومات DynamoDB سے حاصل کرے گا تاکہ اس سروس کا نام حاصل کیا جا سکے جس سے درخواست کی جانی ہے۔

یہ سروس یا تو سنگل AI ماڈل ہو سکتی ہے، اس صورت میں پروسیس ان پٹ Lambda SageMaker اینڈ پوائنٹ سے ایک درخواست کرے گا جو اس ماڈل (مرحلہ 3-A) کی میزبانی کرتا ہے، یا یہ ایک جوڑا AI سروس ہو سکتی ہے جس صورت میں پروسیس ان پٹ لیمبڈا سٹیٹ مشین سے سٹیپ فنکشنز کی درخواست کرے گا جو اینسبل منطق (مرحلہ 3-B) کی میزبانی کرتی ہے۔

کسی بھی آپشن میں (سنگل AI ماڈل یا جوڑا AI سروس)، جب حتمی پیشین گوئی تیار ہو جائے گی، اسے مناسب S3 بالٹی میں محفوظ کر لیا جائے گا، اور کال کرنے والے کو مرحلہ 1 میں بیان کردہ طریقہ کے ذریعے مطلع کیا جائے گا (مرحلہ میں اطلاعات کے بارے میں مزید تفصیلات 4)۔

مرحلہ 3-A

اگر پیشن گوئی ID کسی ایک AI ماڈل سے وابستہ ہے، پروسیس ان پٹ لیمبڈا سیج میکر اینڈ پوائنٹ سے درخواست کرے گا جو ماڈل کی خدمت کرتا ہے۔ اس نظام میں، دو قسم کے سیج میکر اینڈ پوائنٹس کی حمایت کی جاتی ہے:

غیر عارضی طور پر: پروسیس ان پٹ لیمبڈا سیج میکر غیر مطابقت پذیر اختتامی نقطہ سے درخواست کرتا ہے۔ فوری جواب میں S3 مقام شامل ہے جہاں SageMaker پیشین گوئی کے آؤٹ پٹ کو محفوظ کرے گا۔ یہ درخواست غیر مطابقت پذیر ہے، فائر اینڈ فرجٹ پیٹرن کی پیروی کرتے ہوئے، اور لیمبڈا فنکشن کے عمل کو روکتی نہیں ہے۔
تلیکالک: پروسیس ان پٹ لیمبڈا سیج میکر کے مطابقت پذیر اختتامی نقطہ سے درخواست کرتا ہے۔ چونکہ یہ ایک ہم وقت ساز درخواست ہے، اس لیے پروسیس ان پٹ جواب کا انتظار کرتا ہے، اور ایک بار حاصل ہوجانے کے بعد، یہ اسے S3 میں اسی طرح اسٹور کرتا ہے جس طرح SageMaker غیر مطابقت پذیر اختتامی پوائنٹس کرتے ہیں۔

دونوں صورتوں میں (مطابقت پذیر یا غیر مطابقت پذیر اختتامی پوائنٹس)، پیشین گوئی پر مساوی طریقے سے کارروائی کی جاتی ہے، آؤٹ پٹ کو S3 بالٹی میں اسٹور کرتے ہوئے۔ جب غیر مطابقت پذیر SageMaker اینڈ پوائنٹ ایک پیشین گوئی مکمل کرتا ہے، تو ایک Amazon SNS ایونٹ کو متحرک کیا جاتا ہے۔ یہ رویہ لیمبڈا فنکشن میں اضافی منطق کے ساتھ مطابقت پذیر اختتامی پوائنٹس کے لیے بھی نقل کیا جاتا ہے۔

مرحلہ 3-بی

اگر پیشن گوئی ID کسی AI جوڑ سے وابستہ ہے، پروسیس ان پٹ Lambda اس AI Ensemble سے وابستہ سٹیپ فنکشن سے درخواست کرے گا۔ جیسا کہ اوپر ذکر کیا گیا ہے، ایک AI Ensemble ایک فن تعمیر ہے جس کی بنیاد AI ماڈلز کے ایک گروپ پر ہے جو ایک ہی مجموعی پیشین گوئی پیدا کرنے کے لیے مل کر کام کرتے ہیں۔ ایک AI جوڑ کی آرکیسٹریشن ایک سٹیپ فنکشن کے ذریعے کی جاتی ہے۔

سٹیپ فنکشن میں فی AI سروس ایک سٹیپ ہے جس میں جوڑا شامل ہے۔ ہر قدم ایک لیمبڈا فنکشن کا آغاز کرے گا جو پچھلے مراحل کی پچھلی AI سروس کالز سے آؤٹ پٹ مواد کے مختلف امتزاج کا استعمال کرتے ہوئے اس سے متعلقہ AI سروس کے ان پٹ کو تیار کرے گا۔ اس کے بعد یہ ہر AI سروس کو کال کرتا ہے جو اس تناظر میں، ایک واحد AI ماڈل یا کوئی اور AI جوڑا ہو سکتا ہے۔

اسی لیمبڈا فنکشن کو کہا جاتا ہے۔ GetTransformCall AI Ensemble کی انٹرمیڈیٹ پیشین گوئیوں کو ہینڈل کرنے کے لیے استعمال کیا جاتا ہے جو پورے سٹیپ فنکشن میں استعمال ہوتا ہے، لیکن ہر قدم کے لیے مختلف ان پٹ پیرامیٹرز کے ساتھ۔ اس ان پٹ میں کال کی جانے والی AI سروس کا نام شامل ہے۔ اس میں مخصوص AI سروس کے لیے ان پٹ کی تعمیر کے لیے میپنگ کی تعریف بھی شامل ہے۔ یہ ایک حسب ضرورت نحو کا استعمال کرتے ہوئے کیا جاتا ہے جسے لیمبڈا ڈی کوڈ کر سکتا ہے، جو خلاصہ یہ ہے کہ ایک JSON لغت ہے جہاں قدروں کو پچھلی AI پیشین گوئیوں کے مواد سے تبدیل کیا جانا چاہیے۔ Lambda ان پچھلی پیشین گوئیوں کو Amazon S3 سے ڈاؤن لوڈ کرے گا۔

ہر قدم میں، GetTransformCall Lambda Amazon S3 سے پچھلے آؤٹ پٹ پڑھتا ہے جو مخصوص AI سروس کے ان پٹ کو بنانے کے لیے درکار ہیں۔ اس کے بعد یہ درخواست کرے گا۔ نئی پیشین گوئی لیمبڈا کوڈ پہلے مرحلہ 1 میں استعمال کیا گیا تھا اور سروس کا نام، کال بیک طریقہ ("اسٹیپ فنکشن")، اور درخواست پے لوڈ میں کال بیک کے لیے درکار ٹوکن فراہم کرتا ہے، جسے پھر ایک نئے پیشین گوئی ریکارڈ کے طور پر DynamoDB میں محفوظ کیا جاتا ہے۔ لیمبڈا اس مرحلے کے تخلیق کردہ ان پٹ کو S3 بالٹی میں بھی محفوظ کرتا ہے۔ اس بات پر منحصر ہے کہ آیا وہ مرحلہ ایک واحد AI ماڈل ہے یا ایک AI جوڑا، Lambda ایک SageMaker اینڈ پوائنٹ یا ایک مختلف سٹیپ فنکشن سے درخواست کرتا ہے جو ایک AI جوڑے کا انتظام کرتا ہے جو والدین کے جوڑے کا انحصار ہے۔

درخواست کیے جانے کے بعد، سٹیپ فنکشن ایک زیر التواء حالت میں داخل ہو جاتا ہے جب تک کہ اسے کال بیک ٹوکن موصول نہ ہو جائے جس سے ظاہر ہوتا ہے کہ یہ اگلے مرحلے میں جا سکتا ہے۔ کال بیک ٹوکن بھیجنے کی کارروائی لیمبڈا فنکشن کے ذریعہ انجام دی جاتی ہے جسے کہا جاتا ہے۔ اطلاعات (مرحلہ 4 میں مزید تفصیلات) جب انٹرمیڈیٹ پیشین گوئی تیار ہو۔ اس عمل کو مرحلہ وار فنکشن میں بیان کردہ ہر مرحلے کے لیے دہرایا جاتا ہے جب تک کہ حتمی پیشین گوئی تیار نہ ہو جائے۔

مرحلہ 4

جب کوئی پیشین گوئی تیار ہو جاتی ہے اور S3 بالٹی میں محفوظ ہو جاتی ہے، تو SNS نوٹیفکیشن کو متحرک کیا جاتا ہے۔ اس واقعہ کو بہاؤ کے لحاظ سے مختلف طریقوں سے متحرک کیا جا سکتا ہے:

خودکار طور پر جب ایک SageMaker غیر مطابقت پذیر اختتامی نقطہ پیشین گوئی مکمل کرتا ہے۔
سٹیپ فنکشن کے آخری قدم کے طور پر۔
By پروسیس ان پٹ or GetTransformCall لیمبڈا جب ایک مطابقت پذیر سیج میکر اینڈ پوائنٹ نے پیشین گوئی واپس کردی ہے۔

B اور C کے لیے، ہم ایک SNS پیغام بناتے ہیں جیسا کہ A خود بخود بھیجتا ہے۔

ایک لیمبڈا فنکشن جسے نوٹیفیکیشن کہتے ہیں اس SNS موضوع پر سبسکرائب کیا جاتا ہے۔ اطلاعات Lambda DynamoDB سے پیشین گوئی ID سے متعلق معلومات حاصل کرے گی، اسٹیٹس ویلیو کے ساتھ اندراج کو "مکمل" یا "خرابی" میں اپ ڈیٹ کرے گی اور ڈیٹا بیس ریکارڈ میں محفوظ کردہ کال بیک موڈ کے لحاظ سے ضروری کارروائی کرے گی۔

اگر یہ پیشین گوئی AI کے جوڑے کی درمیانی پیشین گوئی ہے، جیسا کہ مرحلہ 3-B میں بیان کیا گیا ہے، تو اس پیشین گوئی سے منسلک کال بیک موڈ "اسٹیپ فنکشن" ہوگا اور ڈیٹا بیس ریکارڈ میں مخصوص قدم سے وابستہ کال بیک ٹوکن ہوگا۔ قدم کی تقریب. اطلاعات Lambda "SendTaskSuccess" یا "SendTaskFailure" کا طریقہ استعمال کرتے ہوئے AWS Step Functions API کو کال کرے گی۔ یہ اسٹیپ فنکشن کو اگلے مرحلے تک جاری رکھنے یا باہر نکلنے کی اجازت دے گا۔

اگر پیشن گوئی سٹیپ فنکشن کا حتمی آؤٹ پٹ ہے اور کال بیک موڈ "ویب ہُک" [یا ای میل، میسج بروکرز (کافکا) وغیرہ] ہے، تو لیمبڈا کلائنٹ کو مخصوص طریقے سے مطلع کرے گا۔ کسی بھی وقت، صارف اپنی پیشین گوئی کی حیثیت کی درخواست کر سکتا ہے۔ درخواست میں پیشین گوئی کی وہ ID شامل ہونی چاہیے جو مرحلہ 1 میں تفویض کی گئی تھی اور درخواست کو لیمبڈا فنکشن کے لیے روٹ کرنے کے لیے API گیٹ وے کے اندر درست URL کی طرف اشارہ کرنا چاہیے نتائج.

نتائج Lambda DynamoDB سے درخواست کرے گا، درخواست کی حیثیت حاصل کرے گا اور صارف کو معلومات واپس کرے گا۔ اگر پیشگوئی کا درجہ ہے۔ خرابی، پھر ناکامی پر متعلقہ تفصیلات جواب میں شامل کی جائیں گی۔ اگر پیشگوئی کا درجہ ہے۔ کامیابی، صارف کو پیشن گوئی کے مواد کو ڈاؤن لوڈ کرنے کے لیے ایک S3 پہلے سے دستخط شدہ URL واپس کر دیا جائے گا۔

نتائج

ابتدائی کارکردگی کی جانچ کے نتائج امید افزا ہیں اور CCC کے لیے اس نئے تعیناتی فن تعمیر کے نفاذ کو بڑھانے کے لیے اس معاملے کی حمایت کرتے ہیں۔

قابل ذکر مشاہدات:

ٹیسٹ اعلی ٹریفک کے حالات کے دوران اعلی تھرو پٹ اور 0 فیصد ناکامی کی شرح کے ساتھ بیچ یا سمورتی درخواستوں پر کارروائی کرنے میں طاقت کو ظاہر کرتے ہیں۔
پیغام کی قطاریں درخواستوں کی اچانک آمد کے دوران سسٹم کے اندر استحکام فراہم کرتی ہیں جب تک کہ اسکیلنگ ٹرگرز اضافی کمپیوٹ وسائل فراہم نہ کر سکیں۔ ٹریفک میں 3x اضافہ کرتے وقت، اوسط درخواست میں تاخیر میں صرف 5 فیصد اضافہ ہوا۔
نظام کے مختلف اجزاء کے درمیان کمیونیکیشن اوور ہیڈ کی وجہ سے استحکام کی قیمت میں تاخیر میں اضافہ ہوتا ہے۔ جب صارف کی ٹریفک بیس لائن کی حد سے اوپر ہوتی ہے، اگر کارکردگی کو لاگت سے زیادہ ترجیح دی جائے تو مزید کمپیوٹ وسائل فراہم کر کے اضافی تاخیر کو جزوی طور پر کم کیا جا سکتا ہے۔
سیج میکر کے غیر مطابقت پذیر انفرنس اینڈ پوائنٹس درخواستوں کو موصول کرنے کے لیے اینڈ پوائنٹ کو فعال رکھتے ہوئے مثال کی گنتی کو صفر تک پھیلانے کی اجازت دیتے ہیں۔ یہ فعالیت تقرریوں کو کمپیوٹ لاگت کے بغیر چلتے رہنے کے قابل بناتی ہے اور دو حالات میں ضرورت پڑنے پر صفر سے پیمانہ بڑھاتی ہے: نچلے ٹیسٹ والے ماحول میں استعمال ہونے والی سروس کی تعیناتی اور جن میں فوری پروسیسنگ کی ضرورت کے بغیر کم سے کم ٹریفک ہے۔

نتیجہ

جیسا کہ POC عمل کے دوران مشاہدہ کیا گیا ہے، CCC اور AWS کا مشترکہ طور پر تخلیق کردہ جدید ڈیزائن Amazon SageMaker کو دیگر AWS کے زیر انتظام خدمات کے ساتھ استعمال کرنے کے لیے ایک ٹھوس بنیاد فراہم کرتا ہے تاکہ پیچیدہ ملٹی ماڈل AI ensembles اور آرکیسٹریٹ انفرنس پائپ لائنوں کو مؤثر طریقے سے اور بغیر کسی رکاوٹ کے ہوسٹ کیا جا سکے۔ Asynchronous Inference جیسی Amazon SageMaker کی آؤٹ آف دی باکس فنکشنلٹیز کا فائدہ اٹھا کر، CCC کے پاس خصوصی کاروباری اہم کاموں پر توجہ مرکوز کرنے کے مزید مواقع ہیں۔ CCC کی تحقیق سے چلنے والی ثقافت کی روح میں، یہ نیا فن تعمیر ترقی کرتا رہے گا کیونکہ CCC کلائنٹس کے لیے طاقتور نئے AI حل پیش کرنے میں AWS کے ساتھ ساتھ آگے بڑھتا ہے۔

غیر مطابقت پذیر انفرنس اینڈ پوائنٹس کو بنانے، ان کو چلانے اور مانیٹر کرنے کے بارے میں تفصیلی اقدامات کے لیے، ملاحظہ کریں دستاویزات، جس میں ایک بھی شامل ہے۔ نمونہ نوٹ بک شروع کرنے میں آپ کی مدد کرنے کے لیے۔ قیمتوں کی معلومات کے لیے، ملاحظہ کریں۔ ایمیزون سیج میکر قیمتوں کا تعین.

کمپیوٹر ویژن اور نیچرل لینگویج پروسیسنگ (NLP) جیسے غیر ساختہ ڈیٹا کے ساتھ غیر مطابقت پذیر تخمینہ استعمال کرنے کی مثالوں کے لیے، دیکھیں ایمیزون سیج میکر غیر مطابقت پذیر اختتامی پوائنٹس کے ساتھ بڑی ویڈیوز پر کمپیوٹر وژن کا اندازہ چلائیں۔ اور Hugging Face اور Amazon SageMaker کے ساتھ اعلیٰ قدر کی تحقیق کو بہتر بنائیںبالترتیب.

مصنفین کے بارے میں

کرسٹوفر ڈیاز CCC Intelligent Solutions میں ایک لیڈ R&D انجینئر ہے۔ R&D ٹیم کے ایک رکن کے طور پر، اس نے ETL ٹولنگ، بیک اینڈ ویب ڈویلپمنٹ، تقسیم شدہ نظاموں پر AI ماڈلز کی تربیت کے لیے محققین کے ساتھ تعاون، اور تحقیق اور آپریشنز ٹیموں کے درمیان نئی AI خدمات کی فراہمی میں سہولت فراہم کرنے سے لے کر مختلف منصوبوں پر کام کیا ہے۔ اس کی حالیہ توجہ کمپنی کے AI ماڈل ڈیولپمنٹ لائف سائیکل کے مختلف پہلوؤں کو بڑھانے کے لیے کلاؤڈ ٹولنگ حل کی تحقیق پر مرکوز ہے۔ اپنے فارغ وقت میں، وہ اپنے آبائی شہر شکاگو میں نئے ریستوران آزمانے اور اپنے گھر میں فٹ ہونے کے لیے زیادہ سے زیادہ LEGO سیٹ جمع کرنے میں لطف اندوز ہوتے ہیں۔ کرسٹوفر نے نارتھ ایسٹرن الینوائے یونیورسٹی سے کمپیوٹر سائنس میں بیچلر آف سائنس حاصل کیا۔

ایمی ایوارڈ یافتہ سیم کنارڈ CCC Intelligent Solutions میں سافٹ ویئر انجینئرنگ کے سینئر مینیجر ہیں۔ آسٹن، ٹیکساس میں مقیم، وہ AI رن ٹائم ٹیم سے جھگڑا کرتا ہے، جو CCC کی AI مصنوعات کو اعلیٰ دستیابی اور بڑے پیمانے پر پیش کرنے کے لیے ذمہ دار ہے۔ اپنے فارغ وقت میں، سام اپنے دو شاندار بچوں کی وجہ سے نیند سے محروم رہنے سے لطف اندوز ہوتا ہے۔ سام نے کمپیوٹر سائنس میں بیچلر آف سائنس اور آسٹن کی یونیورسٹی آف ٹیکساس سے ریاضی میں بیچلر آف سائنس کیا ہے۔

جیمے ہیڈلگو CCC Intelligent Solutions میں ایک سینئر سسٹم انجینئر ہے۔ AI ریسرچ ٹیم میں شامل ہونے سے پہلے، اس نے کمپنی کی مائیکرو سروسز آرکیٹیکچر کی طرف عالمی منتقلی کی قیادت کی، AWS میں بنیادی ڈھانچے کی ڈیزائننگ، تعمیر اور خود کار طریقے سے کلاؤڈ مصنوعات اور خدمات کی تعیناتی میں مدد کی۔ فی الحال، وہ AI ٹریننگ کے لیے بنایا گیا آن پریمیسس ڈیٹا سینٹر کلسٹر بناتا اور اس کی حمایت کرتا ہے اور کمپنی کے مستقبل کے AI ریسرچ اور تعیناتی کے لیے کلاؤڈ سلوشنز بھی ڈیزائن اور بناتا ہے۔

ڈینیل سواریز CCC Intelligent Solutions میں ڈیٹا سائنس انجینئر ہے۔ AI انجینئرنگ ٹیم کے ایک رکن کے طور پر، وہ میٹرکس اور ایم ایل آپریشنز کے دیگر پہلوؤں کی پیداوار، تشخیص، اور نگرانی میں AI ماڈلز کی آٹومیشن اور تیاری پر کام کرتا ہے۔ ڈینیئل نے الینوائے انسٹی ٹیوٹ آف ٹیکنالوجی سے کمپیوٹر سائنس میں ماسٹرز اور Universidad Politecnica de Madrid سے ٹیلی کمیونیکیشن انجینئرنگ میں ماسٹرز اور بیچلر کی ڈگری حاصل کی۔

ارون پرستھ شنکر AWS کے ساتھ ایک سینئر AI/ML سپیشلسٹ سولیوشنز آرکیٹیکٹ ہے، جو عالمی صارفین کو اپنے AI سلوشنز کو کلاؤڈ میں موثر اور مؤثر طریقے سے سکیل کرنے میں مدد کرتا ہے۔ اپنے فارغ وقت میں، ارون کو سائنس فائی فلمیں دیکھنا اور کلاسیکی موسیقی سننا پسند ہے۔

جسٹن میک وائرٹر AWS میں ایک حل آرکیٹیکٹ مینیجر ہے۔ وہ حیرت انگیز حل آرکیٹیکٹس کی ایک ٹیم کے ساتھ کام کرتا ہے جو AWS پلیٹ فارم کو اپناتے ہوئے صارفین کو مثبت تجربہ حاصل کرنے میں مدد کرتا ہے۔ جب کام پر نہیں ہوتا ہے، جسٹن کو اپنے دو لڑکوں کے ساتھ ویڈیو گیمز کھیلنے، آئس ہاکی، اور اپنی جیپ میں آف روڈنگ سے لطف اندوز ہوتا ہے۔