یہ پوسٹ Booking.com سے Kostia Kofman اور Jenny Tokar کے ساتھ مل کر لکھی گئی ہے۔
آن لائن ٹریول انڈسٹری میں عالمی رہنما کے طور پر، Booking.com ہمیشہ اپنی خدمات کو بڑھانے اور صارفین کو موزوں اور ہموار تجربات فراہم کرنے کے لیے جدید طریقوں کی تلاش میں رہتا ہے۔ Booking.com پر رینکنگ ٹیم اس بات کو یقینی بنانے میں اہم کردار ادا کرتی ہے کہ تلاش اور سفارش کے الگورتھم اپنے صارفین کے لیے بہترین نتائج فراہم کرنے کے لیے بہتر بنائے گئے ہیں۔
دیگر اندرونی ٹیموں کے ساتھ اندرون خانہ وسائل کا اشتراک کرتے ہوئے، رینکنگ ٹیم مشین لرننگ (ML) کے سائنسدانوں کو اکثر ماڈل ٹریننگ اور تجربات کے لیے وسائل تک رسائی کے لیے طویل انتظار کے اوقات کا سامنا کرنا پڑتا ہے – جس میں تیزی سے تجربہ کرنے اور اختراع کرنے کی ان کی صلاحیت کو چیلنج کرنا پڑتا ہے۔ جدید ایم ایل انفراسٹرکچر کی ضرورت کو تسلیم کرتے ہوئے، رینکنگ ٹیم نے طاقت کو استعمال کرنے کے لیے سفر شروع کیا۔ ایمیزون سیج میکر پیمانے پر ایم ایل ماڈلز کی تعمیر، تربیت اور تعیناتی کے لیے۔
Booking.com کے ساتھ تعاون کیا۔ AWS پروفیشنل سروسز درج ذیل اصلاحات کے ذریعے بہتر ایم ایل ماڈلز کے لیے ٹائم ٹو مارکیٹ کو تیز کرنے کے لیے حل تیار کرنا:
- تربیت اور تجربات کے لیے وسائل کے انتظار کے اوقات میں کمی
- ضروری ایم ایل صلاحیتوں کا انضمام جیسے ہائپر پیرامیٹر ٹیوننگ
- ML ماڈلز کے لیے ایک کم ترقیاتی سائیکل
کم انتظار کے اوقات کا مطلب یہ ہوگا کہ ٹیم بہت تیز رفتاری سے بصیرت حاصل کرتے ہوئے ماڈلز کے ساتھ تیزی سے تکرار اور تجربہ کر سکتی ہے۔ سیج میکر کا استعمال آن ڈیمانڈ دستیاب مثالوں سے دس گنا انتظار کے وقت میں کمی کی اجازت ہے۔ ایم ایل کی ضروری صلاحیتیں جیسے ہائپر پیرامیٹر ٹیوننگ اور ماڈل کی وضاحت کی اہلیت کا احاطے میں فقدان تھا۔ ٹیم کے جدیدیت کے سفر نے ان خصوصیات کو متعارف کرایا ایمیزون سیج میکر آٹومیٹک ماڈل ٹیوننگ اور ایمیزون سیج میکر واضح کریں۔. آخر میں، ٹیم کی خواہش یہ تھی کہ کوڈ میں کی گئی ہر تبدیلی پر فوری فیڈ بیک حاصل کیا جائے، فیڈ بیک لوپ کو منٹوں سے ایک لمحے تک کم کیا جائے، اور اس طرح ایم ایل ماڈلز کے ترقیاتی دور کو کم کیا جائے۔
اس پوسٹ میں، ہم Booking.com پر رینکنگ ٹیم کے ذریعے کیے گئے سفر کا جائزہ لیتے ہیں کیونکہ انہوں نے اپنے ML تجرباتی فریم ورک کو جدید بنانے کے لیے SageMaker کی صلاحیتوں کو بروئے کار لایا۔ ایسا کرنے سے، انہوں نے نہ صرف اپنے موجودہ چیلنجوں پر قابو پایا، بلکہ اپنے تلاش کے تجربے کو بھی بہتر بنایا، بالآخر دنیا بھر کے لاکھوں مسافروں کو فائدہ پہنچا۔
جدیدیت کا نقطہ نظر
رینکنگ ٹیم کئی ایم ایل سائنسدانوں پر مشتمل ہے جن میں سے ہر ایک کو اپنے ماڈل کو آف لائن تیار کرنے اور جانچنے کی ضرورت ہے۔ جب کسی ماڈل کو آف لائن تشخیص کے مطابق کامیاب سمجھا جاتا ہے، تو اسے پروڈکشن A/B ٹیسٹنگ میں منتقل کیا جا سکتا ہے۔ اگر یہ آن لائن بہتری دکھاتا ہے، تو اسے تمام صارفین کے لیے تعینات کیا جا سکتا ہے۔
اس پروجیکٹ کا مقصد ایم ایل سائنسدانوں کے لیے صارف دوست ماحول بنانا تھا تاکہ آسانی سے حسب ضرورت چل سکے۔ ایمیزون سیج میکر ماڈل بلڈنگ پائپ لائنز طویل اور پیچیدہ ماڈیولز کو کوڈ کرنے کی ضرورت کے بغیر ان کے مفروضوں کو جانچنے کے لیے۔
درپیش متعدد چیلنجوں میں سے ایک موجودہ آن پریمیسس پائپ لائن حل کو AWS پر استعمال کے لیے ڈھالنا تھا۔ حل میں دو اہم اجزاء شامل تھے:
- موجودہ کوڈ میں ترمیم اور توسیع - ہمارے حل کے پہلے حصے میں ہمارے موجودہ کوڈ میں ترمیم اور توسیع شامل ہے تاکہ اسے AWS انفراسٹرکچر کے ساتھ ہم آہنگ بنایا جا سکے۔ یہ آن پریمیسس سے کلاؤڈ بیسڈ پروسیسنگ میں ہموار منتقلی کو یقینی بنانے کے لیے اہم تھا۔
- کلائنٹ پیکج کی ترقی - ایک کلائنٹ پیکج تیار کیا گیا تھا جو SageMaker APIs اور پہلے سے موجود کوڈ کے گرد ریپر کے طور پر کام کرتا ہے۔ یہ پیکیج دونوں کو یکجا کرتا ہے، ML سائنسدانوں کو آسانی سے ML پائپ لائنوں کو بغیر کوڈنگ کے ترتیب دینے اور تعینات کرنے کے قابل بناتا ہے۔
سیج میکر پائپ لائن کنفیگریشن
حسب ضرورت ماڈل بلڈنگ پائپ لائن کی کلید ہے، اور یہ اس کے ذریعے حاصل کیا گیا تھا۔ config.ini
، ایک وسیع کنفیگریشن فائل۔ یہ فائل پائپ لائن کے تمام ان پٹ اور رویے کے لیے کنٹرول سینٹر کے طور پر کام کرتی ہے۔
اندر دستیاب کنفیگریشنز config.ini
میں شامل ہیں:
- پائپ لائن کی تفصیلات - پریکٹیشنر پائپ لائن کے نام کی وضاحت کر سکتا ہے، یہ بتا سکتا ہے کہ کون سے مراحل کو چلنا چاہیے، اس بات کا تعین کر سکتا ہے کہ آؤٹ پٹ کو کہاں ذخیرہ کیا جانا چاہیے۔ ایمیزون سادہ اسٹوریج سروس (Amazon S3)، اور منتخب کریں کہ کون سا ڈیٹا سیٹ استعمال کرنا ہے۔
- AWS اکاؤنٹ کی تفصیلات - آپ فیصلہ کر سکتے ہیں کہ پائپ لائن کو کس علاقے میں چلنا چاہیے اور کون سا کردار استعمال کیا جانا چاہیے۔
- مرحلہ وار ترتیب - پائپ لائن میں ہر ایک قدم کے لیے، آپ متعلقہ پیرامیٹرز کے ساتھ تفصیلات کی وضاحت کر سکتے ہیں جیسے کہ تعداد اور مثالوں کی قسم
مندرجہ ذیل کوڈ ایک مثال کنفیگریشن فائل دکھاتا ہے:
config.ini
ایک ورژن کے زیر انتظام فائل ہے جو Git کے زیر انتظام ہے، جو کامیاب ٹریننگ پائپ لائن چلانے کے لیے درکار کم سے کم کنفیگریشن کی نمائندگی کرتی ہے۔ ترقی کے دوران، مقامی کنفیگریشن فائلوں کو استعمال کیا جا سکتا ہے جو ورژن کے زیر کنٹرول نہیں ہیں۔ ان مقامی کنفیگریشن فائلوں میں صرف ایک مخصوص رن سے متعلقہ ترتیبات پر مشتمل ہونا ضروری ہے، جس میں پیچیدگی کے بغیر لچک متعارف کروائی جائے۔ پائپ لائن تخلیق کلائنٹ کو ایک سے زیادہ کنفیگریشن فائلوں کو ہینڈل کرنے کے لیے ڈیزائن کیا گیا ہے، جس میں تازہ ترین فائل کو پچھلی ترتیبات پر فوقیت حاصل ہے۔
سیج میکر پائپ لائن کے اقدامات
پائپ لائن کو درج ذیل مراحل میں تقسیم کیا گیا ہے۔
- ٹرین اور ٹیسٹ ڈیٹا کی تیاری - خام ڈیٹا کے ٹیرا بائٹس کو S3 بالٹی میں کاپی کیا جاتا ہے، اس کا استعمال کرتے ہوئے کارروائی کی جاتی ہے۔ AWS گلو اسپارک پروسیسنگ کے لیے ملازمتیں، جس کے نتیجے میں ڈیٹا کا ڈھانچہ اور مطابقت کے لیے فارمیٹ کیا جاتا ہے۔
- ٹرین - تربیتی مرحلہ SageMaker تربیتی ملازمتوں کے لیے TensorFlow تخمینہ کار کا استعمال کرتا ہے۔ تربیت Horovod کا استعمال کرتے ہوئے تقسیم شدہ انداز میں ہوتی ہے، اور اس کے نتیجے میں ماڈل کے نمونے Amazon S3 میں محفوظ کیے جاتے ہیں۔ ہائپر پیرامیٹر ٹیوننگ کے لیے، ایک ہائپر پیرامیٹر آپٹیمائزیشن (HPO) کام شروع کیا جا سکتا ہے، مقصدی میٹرک کی بنیاد پر بہترین ماڈل کا انتخاب کرنا۔
- پیش گوئ کرنا۔ - اس مرحلے میں، سیج میکر پروسیسنگ کا کام پیشین گوئیاں کرنے کے لیے ذخیرہ شدہ نمونے کا استعمال کرتا ہے۔ یہ عمل دستیاب مشینوں پر متوازی طور پر چلتا ہے، اور پیشین گوئی کے نتائج Amazon S3 میں محفوظ کیے جاتے ہیں۔
- اندازہ - PySpark پروسیسنگ کا کام حسب ضرورت اسپارک اسکرپٹ کا استعمال کرتے ہوئے ماڈل کا جائزہ لیتا ہے۔ اس کے بعد تشخیصی رپورٹ Amazon S3 میں محفوظ کی جاتی ہے۔
- شرط - تشخیص کے بعد، ماڈل کے معیار کے بارے میں فیصلہ کیا جاتا ہے۔ یہ فیصلہ کنفیگریشن فائل میں بیان کردہ کنڈیشن میٹرک پر مبنی ہے۔ اگر تشخیص مثبت ہے، تو ماڈل کو منظور شدہ کے طور پر رجسٹر کیا جاتا ہے۔ دوسری صورت میں، یہ مسترد شدہ کے طور پر رجسٹرڈ ہے۔ دونوں صورتوں میں، تشخیص اور وضاحت کی رپورٹ، اگر تیار کی جاتی ہے، ماڈل رجسٹری میں ریکارڈ کی جاتی ہے۔
- اندازہ کے لیے پیکیج ماڈل - پروسیسنگ جاب کا استعمال کرتے ہوئے، اگر تشخیص کے نتائج مثبت ہیں، تو ماڈل کو پیک کیا جاتا ہے، Amazon S3 میں اسٹور کیا جاتا ہے، اور اندرونی ML پورٹل پر اپ لوڈ کرنے کے لیے تیار کیا جاتا ہے۔
- وضاحت - سیج میکر کلیرائف وضاحتی رپورٹ تیار کرتا ہے۔
دو الگ الگ ذخیرے استعمال کیے جاتے ہیں۔ پہلی ذخیرہ ML پائپ لائن کے لیے تعریف اور تعمیراتی کوڈ پر مشتمل ہے، اور دوسرے ذخیرہ میں وہ کوڈ ہوتا ہے جو ہر قدم کے اندر چلتا ہے، جیسے پروسیسنگ، تربیت، پیشین گوئی، اور تشخیص۔ یہ دوہری ذخیرے کا نقطہ نظر زیادہ ماڈیولریٹی کی اجازت دیتا ہے، اور سائنس اور انجینئرنگ ٹیموں کو ML کوڈ اور ML پائپ لائن کے اجزاء پر آزادانہ طور پر اعادہ کرنے کے قابل بناتا ہے۔
مندرجہ ذیل خاکہ حل ورک فلو کی وضاحت کرتا ہے۔
خودکار ماڈل ٹیوننگ
ایم ایل ماڈلز کی تربیت کے لیے کاروباری استعمال کے لیے ایک مضبوط اور پرفارمنس حتمی ماڈل بنانے کے لیے متعدد تربیتی تجربات کی تکراری نقطہ نظر کی ضرورت ہوتی ہے۔ ایم ایل سائنسدانوں کو مناسب ماڈل کی قسم کا انتخاب کرنا ہوگا، صحیح ان پٹ ڈیٹا سیٹس بنانا ہوں گے، اور ہائپر پیرامیٹرس کے سیٹ کو ایڈجسٹ کرنا ہوگا جو ٹریننگ کے دوران ماڈل سیکھنے کے عمل کو کنٹرول کرتے ہیں۔
ماڈل ٹریننگ کے عمل کے لیے ہائپر پیرامیٹر کے لیے مناسب اقدار کا انتخاب ماڈل کی حتمی کارکردگی کو نمایاں طور پر متاثر کر سکتا ہے۔ تاہم، اس بات کا تعین کرنے کا کوئی انوکھا یا متعین طریقہ نہیں ہے کہ مخصوص استعمال کے معاملے کے لیے کون سی اقدار مناسب ہیں۔ زیادہ تر وقت، ML سائنسدانوں کو ہائپر پیرامیٹر کے تھوڑا مختلف سیٹوں کے ساتھ متعدد تربیتی جاب چلانے کی ضرورت ہوگی، ماڈل ٹریننگ میٹرکس کا مشاہدہ کریں، اور پھر اگلی تکرار کے لیے مزید امید افزا اقدار کو منتخب کرنے کی کوشش کریں۔ ماڈل کی کارکردگی کو ٹیوننگ کرنے کے اس عمل کو ہائپر پیرامیٹر آپٹیمائزیشن (HPO) کے نام سے بھی جانا جاتا ہے، اور بعض اوقات سینکڑوں تجربات کی ضرورت پڑ سکتی ہے۔
رینکنگ ٹیم اپنے آن پریمیسس ماحول میں HPO کو دستی طور پر انجام دیتی تھی کیونکہ وہ متوازی طور پر صرف ایک بہت ہی محدود تعداد میں تربیتی ملازمتیں شروع کر سکتی تھی۔ لہذا، انہیں HPO کو ترتیب وار چلانا تھا، دستی طور پر ہائپر پیرامیٹر اقدار کے مختلف امتزاج کی جانچ اور انتخاب کرنا تھا، اور باقاعدگی سے پیشرفت کی نگرانی کرنی تھی۔ اس نے ماڈل کی نشوونما اور ٹیوننگ کے عمل کو طول دیا اور HPO تجربات کی مجموعی تعداد کو محدود کر دیا جو ایک قابل عمل وقت میں چل سکتے تھے۔
AWS میں منتقل ہونے کے ساتھ، رینکنگ ٹیم SageMaker کی آٹومیٹک ماڈل ٹیوننگ (AMT) فیچر استعمال کرنے کے قابل ہوگئی۔ AMT درجہ بندی کرنے والے ML سائنسدانوں کو خودکار طور پر سود کی ہائپر پیرامیٹر رینج کے اندر سینکڑوں تربیتی جابز شروع کرنے کے قابل بناتا ہے تاکہ منتخب میٹرک کے مطابق فائنل ماڈل کا بہترین کارکردگی کا مظاہرہ کیا جا سکے۔ رینکنگ ٹیم اب اپنے ہائپر پیرامیٹر کے انتخاب کے لیے چار مختلف خودکار ٹیوننگ حکمت عملیوں میں سے انتخاب کر سکتی ہے:
- گرڈ کی تلاش - AMT توقع کرے گا کہ تمام ہائپر پیرامیٹر کی قدریں واضح ہوں گی، اور یہ ہر ایک الگ الگ زمرہ کے امتزاج کے لیے تربیتی ملازمتیں شروع کرے گی، پورے ہائپر پیرامیٹر کی جگہ کو تلاش کرے گی۔
- بے ترتیب تلاش - AMT فراہم کردہ حدود کے اندر تصادفی طور پر ہائپر پیرامیٹر اقدار کے امتزاج کا انتخاب کرے گا۔ چونکہ مختلف تربیتی ملازمتوں اور پیرامیٹر کی قدر کے انتخاب کے درمیان کوئی انحصار نہیں ہے، اس طریقہ کار کے ساتھ متعدد متوازی تربیتی ملازمتیں شروع کی جا سکتی ہیں، جس سے پیرامیٹر کے انتخاب کے بہترین عمل کو تیز کیا جا سکتا ہے۔
- Bayesian اصلاح - AMT ہائپر پیرامیٹر اقدار کے بہترین سیٹ کا اندازہ لگانے کے لیے Bayesian آپٹیمائزیشن کا استعمال کرتا ہے، اسے رجعت کا مسئلہ سمجھ کر۔ یہ پہلے ٹیسٹ شدہ ہائپر پیرامیٹر کے امتزاج اور نئے پیرامیٹر کے انتخاب کے ساتھ ماڈل ٹریننگ کی ملازمتوں پر اس کے اثرات پر غور کرے گا، کم تجربات کے ساتھ بہتر پیرامیٹر انتخاب کے لیے بہتر بنائے گا، لیکن یہ تربیتی ملازمتیں بھی شروع کرے گا تاکہ پچھلی تربیتوں سے ہمیشہ سیکھنے کے قابل ہو۔
- ہائپر بینڈ - AMT ان تربیتی ملازمتوں کے درمیانی اور حتمی نتائج کا استعمال کرے گا جو یہ ہائیپر پیرامیٹر کنفیگریشنز کے ساتھ تربیتی ملازمتوں کے لیے وسائل کو متحرک طور پر دوبارہ مختص کرنے کے لیے چلا رہے ہیں جو کہ زیادہ امید افزا نتائج دکھاتے ہیں جبکہ کم کارکردگی کا مظاہرہ کرنے والوں کو خود بخود روکتے ہیں۔
سیج میکر پر اے ایم ٹی نے رینکنگ ٹیم کو ان کے ماڈل کی ترقی کے لیے ہائپر پیرامیٹر ٹیوننگ کے عمل پر خرچ ہونے والے وقت کو کم کرنے کے لیے پہلی بار ایک سے زیادہ متوازی تجربات چلانے، خودکار ٹیوننگ کی حکمت عملیوں کا استعمال کرنے، اور دنوں کے اندر دوہرے ہندسے کی تربیتی جاب کو انجام دینے کے قابل بنایا، ایسی چیز جو احاطے میں ممکن نہیں تھی۔
SageMaker Clarify کے ساتھ ماڈل کی وضاحت
ماڈل کی وضاحت کی اہلیت ایم ایل پریکٹیشنرز کو فیچر انجینئرنگ اور انتخاب کے فیصلوں کے لیے قابل قدر بصیرت فراہم کر کے اپنے ایم ایل ماڈلز کی نوعیت اور طرز عمل کو سمجھنے کے قابل بناتی ہے، جس کے نتیجے میں ماڈل کی پیشین گوئیوں کے معیار میں بہتری آتی ہے۔ رینکنگ ٹیم اپنی وضاحتی بصیرت کا دو طریقوں سے جائزہ لینا چاہتی تھی: یہ سمجھیں کہ فیچر ان پٹس اپنے پورے ڈیٹاسیٹ (عالمی تشریح) پر ماڈل آؤٹ پٹس کو کس طرح متاثر کرتے ہیں، اور دلچسپی کے ڈیٹا پوائنٹ پر مخصوص ماڈل کی پیشن گوئی کے لیے ان پٹ فیچر کے اثر کو دریافت کرنے کے قابل بھی ہوں گے۔ مقامی تشریح)۔ اس ڈیٹا کے ساتھ، درجہ بندی کرنے والے ML سائنسدان اپنے ماڈل کی کارکردگی کو مزید بہتر بنانے کے بارے میں باخبر فیصلے کر سکتے ہیں اور ان چیلنجنگ پیشین گوئی کے نتائج کا حساب لگا سکتے ہیں جو ماڈل کبھی کبھار فراہم کرے گا۔
SageMaker Clarify آپ کو اس قابل بناتا ہے کہ آپ ماڈل کی وضاحت کے قابل رپورٹیں استعمال کر سکیں شیپلی اضافی وضاحتیں (SHAP) SageMaker پر اپنے ماڈلز کی تربیت کرتے وقت، عالمی اور مقامی ماڈل دونوں کی تشریح کی حمایت کرتے ہوئے۔ ماڈل وضاحتی رپورٹس کے علاوہ، SageMaker Clarify پری ٹریننگ بائیس میٹرکس، پوسٹ ٹریننگ بائیس میٹرکس، اور جزوی انحصاری پلاٹوں کے لیے چلائے جانے والے تجزیوں کی حمایت کرتا ہے۔ یہ کام AWS اکاؤنٹ میں SageMaker پروسیسنگ جاب کے طور پر چلایا جائے گا اور یہ سیج میکر پائپ لائنز کے ساتھ براہ راست ضم ہو جائے گا۔
عالمی تشریحی رپورٹ جاب آؤٹ پٹ میں خود بخود تیار ہو جائے گی اور میں ڈسپلے ہو جائے گی۔ ایمیزون سیج میکر اسٹوڈیو تربیتی تجربے کے حصے کے طور پر ماحول۔ اگر یہ ماڈل پھر SageMaker ماڈل رجسٹری میں رجسٹرڈ ہے، تو رپورٹ کو اضافی طور پر ماڈل آرٹفیکٹ سے منسلک کر دیا جائے گا۔ ان دونوں اختیارات کا استعمال کرتے ہوئے، رینکنگ ٹیم مختلف ماڈل ورژنز اور ان کے طرز عمل میں ہونے والی تبدیلیوں کو آسانی سے ٹریک کرنے میں کامیاب رہی۔
کسی ایک پیشین گوئی (مقامی تشریحی اقدار) پر ان پٹ فیچر کے اثرات کو دریافت کرنے کے لیے، رینکنگ ٹیم نے پیرامیٹر کو فعال کیا save_local_shap_values
سیج میکر کلیرائف جابز میں اور سیج میکر اسٹوڈیو میں جوپیٹر نوٹ بک میں مزید تجزیوں کے لیے انہیں S3 بالٹی سے لوڈ کرنے کے قابل تھا۔
پچھلی تصاویر اس بات کی ایک مثال دکھاتی ہیں کہ ایک ماڈل کی وضاحت کی اہلیت کسی صوابدیدی ML ماڈل کے لیے کیسی ہوگی۔
تربیت کی اصلاح
ڈیپ لرننگ (DL) کے عروج نے ML کو کمپیوٹیشنل پاور اور ڈیٹا کی وسیع مقدار پر تیزی سے انحصار کیا ہے۔ ML پریکٹیشنرز کو عام طور پر ان پیچیدہ ماڈلز کی تربیت کرتے وقت وسائل کو مؤثر طریقے سے استعمال کرنے میں رکاوٹ کا سامنا کرنا پڑتا ہے۔ جب آپ بڑے کمپیوٹ کلسٹرز پر ٹریننگ چلاتے ہیں تو وسائل کے استعمال کو بہتر بنانے میں مختلف چیلنجز پیدا ہوتے ہیں، بشمول I/O رکاوٹیں، کرنل لانچ میں تاخیر، میموری کی رکاوٹیں، اور کم استعمال شدہ وسائل۔ اگر تربیتی کام کی ترتیب کو کارکردگی کے لیے ٹھیک نہیں بنایا گیا ہے، تو ان رکاوٹوں کے نتیجے میں ہارڈ ویئر کے سب سے زیادہ استعمال، طویل تربیتی دورانیے، یا یہاں تک کہ نامکمل تربیتی دوڑ بھی ہو سکتی ہے۔ یہ عوامل پروجیکٹ کی لاگت میں اضافہ کرتے ہیں اور ٹائم لائنز میں تاخیر کرتے ہیں۔
CPU اور GPU کے استعمال کی پروفائلنگ ان ناکاریوں کو سمجھنے، آپ کے ماڈل میں مختلف TensorFlow آپریشنز کے ہارڈویئر وسائل کی کھپت (وقت اور میموری) کا تعین کرنے، کارکردگی کی رکاوٹوں کو دور کرنے، اور بالآخر، ماڈل کو تیزی سے چلانے میں مدد کرتی ہے۔
رینکنگ ٹیم نے فریم ورک پروفائلنگ فیچر کا استعمال کیا۔ ایمیزون سیج میکر ڈیبگر (اب کے حق میں فرسودہ ایمیزون سیج میکر پروفائلران تربیتی ملازمتوں کو بہتر بنانے کے لیے۔ یہ آپ کو CPUs اور GPUs پر تمام سرگرمیوں کو ٹریک کرنے کی اجازت دیتا ہے، جیسے CPU اور GPU استعمال، کرنل GPUs پر چلتا ہے، CPUs پر کرنل لانچ ہوتا ہے، Sync آپریشنز، GPUs میں میموری آپریشنز، کرنل لانچوں اور متعلقہ رنز کے درمیان تاخیر، اور CPUs کے درمیان ڈیٹا کی منتقلی اور GPUs۔
رینکنگ ٹیم نے بھی استعمال کیا۔ ٹینسر فلو پروفائلر کی خصوصیت ٹینسر بورڈ، جس نے TensorFlow ماڈل کی تربیت کو مزید پروفائل کرنے میں مدد کی۔ سیج میکر اب ہے۔ TensorBoard کے ساتھ مزید مربوط اور TensorBoard کے ویژولائزیشن ٹولز کو SageMaker پر لاتا ہے، جو SageMaker ٹریننگ اور ڈومینز کے ساتھ مربوط ہے۔ TensorBoard آپ کو TensorBoard ویژولائزیشن پلگ ان کا استعمال کرتے ہوئے ماڈل ڈیبگنگ کے کام انجام دینے کی اجازت دیتا ہے۔
ان دو ٹولز کی مدد سے، رینکنگ ٹیم نے اپنے TensorFlow ماڈل کو بہتر بنایا اور رکاوٹوں کی نشاندہی کرنے اور سی پی یو پر ٹریننگ کے اوسط مرحلہ کو 350 ملی سیکنڈ سے کم کر کے 140 ملی سیکنڈ اور GPU پر 170 ملی سیکنڈ سے 70 ملی سیکنڈ تک کم کرنے میں کامیاب رہی، 60 فیصد کی رفتار اور بالترتیب 59٪۔
کاروباری نتائج
نقل مکانی کی کوششیں دستیابی، اسکیل ایبلٹی، اور لچک کو بڑھانے کے ارد گرد مرکوز تھیں، جس نے مجموعی طور پر ML ماحول کو آپریشنل عمدگی کی ایک نئی سطح تک پہنچایا، جس کی مثال ماڈل ٹریننگ فریکوئنسی میں اضافہ اور ناکامیوں میں کمی، بہتر تربیت کے اوقات، اور اعلی درجے کی ML صلاحیتوں سے ملتی ہے۔
ماڈل ٹریننگ فریکوئنسی اور ناکامیاں
ماہانہ ماڈل ٹریننگ کی ملازمتوں کی تعداد میں پانچ گنا اضافہ ہوا، جس کی وجہ سے ماڈل کی اصلاح میں نمایاں اضافہ ہوا۔ مزید برآں، نئے ایم ایل ماحول نے پائپ لائن چلانے کی ناکامی کی شرح میں کمی کا باعث بنی، تقریباً 50% سے 20% تک گر گئی۔ ناکام کام کی کارروائی کے وقت میں زبردست کمی واقع ہوئی، اوسطاً ایک گھنٹے سے نہ ہونے کے برابر 5 سیکنڈ تک۔ اس سے آپریشنل کارکردگی میں زبردست اضافہ ہوا ہے اور وسائل کے ضیاع میں کمی آئی ہے۔
بہتر تربیت کا وقت
SageMaker پر مبنی GPU ٹریننگ کے ذریعے اس کے ساتھ لائی گئی ہجرت کی کارکردگی میں اضافہ ہوتا ہے۔ اس شفٹ نے ماڈل ٹریننگ کے وقت کو اس کی پچھلی مدت کے پانچویں حصے تک کم کر دیا۔ پہلے، ڈیپ لرننگ ماڈلز کے لیے تربیتی عمل تقریباً 60 گھنٹے CPU پر استعمال ہوتے تھے۔ اسے GPU پر تقریباً 12 گھنٹے تک ہموار کیا گیا تھا۔ یہ بہتری نہ صرف وقت کی بچت کرتی ہے بلکہ ترقی کے چکر کو تیز کرتی ہے، جس سے تیز تر تکرار اور ماڈل میں بہتری آتی ہے۔
اعلی درجے کی ML صلاحیتیں۔
ہجرت کی کامیابی کا مرکز سیج میکر فیچر سیٹ کا استعمال ہے، جس میں ہائپر پیرامیٹر ٹیوننگ اور ماڈل کی وضاحت شامل ہے۔ مزید برآں، نقل مکانی کو استعمال کرتے ہوئے ہموار تجربہ سے باخبر رہنے کی اجازت دی گئی۔ ایمیزون سیج میکر کے تجرباتمزید بصیرت انگیز اور نتیجہ خیز تجربہ کو قابل بنانا۔
سب سے اہم بات، نئے ML تجرباتی ماحول نے ایک نئے ماڈل کی کامیاب ترقی کی حمایت کی جو اب پیداوار میں ہے۔ یہ ماڈل درختوں پر مبنی ہونے کی بجائے گہری سیکھنے والا ہے اور اس نے آن لائن ماڈل کی کارکردگی میں نمایاں بہتری متعارف کرائی ہے۔
نتیجہ
اس پوسٹ نے AWS پروفیشنل سروسز اور Booking.com کے تعاون کا ایک جائزہ فراہم کیا جس کے نتیجے میں قابل توسیع ML فریم ورک کا نفاذ ہوا اور ان کی رینکنگ ٹیم کے ML ماڈلز کے ٹائم ٹو مارکیٹ کو کامیابی سے کم کر دیا۔
Booking.com کی رینکنگ ٹیم نے سیکھا کہ کلاؤڈ اور سیج میکر پر منتقل ہونا فائدہ مند ثابت ہوا ہے، اور یہ کہ مشین لرننگ آپریشنز (MLOps) کے طریقوں کو اپنانے سے ان کے ML انجینئرز اور سائنسدانوں کو اپنے ہنر پر توجہ مرکوز کرنے اور ترقی کی رفتار بڑھانے کی اجازت ملتی ہے۔ ٹیم Booking.com پر پوری ML کمیونٹی کے ساتھ سیکھنے اور کام کا اشتراک کر رہی ہے، ML پریکٹیشنرز کے ساتھ بات چیت اور وقف سیشنز کے ذریعے جہاں وہ کوڈ اور صلاحیتوں کا اشتراک کرتے ہیں۔ ہمیں امید ہے کہ یہ پوسٹ علم کو بانٹنے کے ایک اور طریقے کے طور پر کام کر سکتی ہے۔
AWS پروفیشنل سروسز آپ کی ٹیم کو AWS میں توسیع پذیر اور پروڈکشن کے لیے تیار ML تیار کرنے میں مدد کرنے کے لیے تیار ہے۔ مزید معلومات کے لیے دیکھیں AWS پروفیشنل سروسز یا رابطہ کرنے کے لیے اپنے اکاؤنٹ مینیجر کے ذریعے رابطہ کریں۔
مصنفین کے بارے میں
لارنس وین ڈیر ماس AWS پروفیشنل سروسز میں مشین لرننگ انجینئر ہے۔ وہ AWS پر اپنے مشین لرننگ سلوشنز بنانے والے صارفین کے ساتھ مل کر کام کرتا ہے، تقسیم شدہ تربیت، تجربات اور ذمہ دار AI میں مہارت رکھتا ہے، اور اس بارے میں پرجوش ہے کہ مشین لرننگ دنیا کو کیسے بدل رہی ہے جیسا کہ ہم جانتے ہیں۔
ڈینیئل زگیوا AWS پروفیشنل سروسز میں ڈیٹا سائنٹسٹ ہے۔ وہ AWS صارفین کے لیے قابل توسیع، پروڈکشن گریڈ مشین لرننگ سلوشنز تیار کرنے میں مہارت رکھتا ہے۔ اس کا تجربہ مختلف شعبوں میں پھیلا ہوا ہے، بشمول قدرتی زبان کی پروسیسنگ، تخلیقی AI اور مشین لرننگ آپریشنز۔
کوسٹیا کوف مین Booking.com پر ایک سینئر مشین لرننگ مینیجر ہے، جو Search Ranking ML ٹیم کی قیادت کرتا ہے، Booking.com کے سب سے وسیع ML سسٹم کی نگرانی کرتا ہے۔ پرسنلائزیشن اور رینکنگ میں مہارت کے ساتھ، وہ گاہک کے تجربات کو بڑھانے کے لیے جدید ٹیکنالوجی سے فائدہ اٹھاتا ہے۔
جینی ٹوکر Booking.com کی سرچ رینکنگ ٹیم میں ایک سینئر مشین لرننگ انجینئر ہے۔ وہ اینڈ ٹو اینڈ ایم ایل پائپ لائنز تیار کرنے میں مہارت رکھتی ہے جس کی خصوصیات کارکردگی، قابل اعتمادی، اسکیل ایبلٹی، اور جدت ہے۔ جینی کی مہارت اس کی ٹیم کو جدید ترین درجہ بندی کے ماڈل بنانے کے لیے بااختیار بناتی ہے جو روزانہ لاکھوں صارفین کی خدمت کرتے ہیں۔
الیگزینڈرا ڈوک AWS پروفیشنل سروسز میں ایک سینئر ڈیٹا سائنٹسٹ ہے۔ وہ AWS پر اختراعی AI/ML حل تیار کرنے کے لیے صارفین کی مدد سے لطف اندوز ہوتی ہے اور وہ ڈیٹا کی طاقت کے ذریعے کاروباری تبدیلیوں کے لیے پرجوش ہے۔
لوبا پروٹسیوا AWS پروفیشنل سروسز میں انگیجمنٹ مینیجر ہے۔ وہ ڈیٹا اور GenAI/ML حل فراہم کرنے میں مہارت رکھتی ہے جو AWS صارفین کو اپنی کاروباری قدر کو زیادہ سے زیادہ کرنے اور اختراع کی رفتار کو تیز کرنے کے قابل بناتی ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/how-booking-com-modernized-its-ml-experimentation-framework-with-amazon-sagemaker/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 1
- 100
- 12
- 130
- 140
- 16
- 350
- 60
- 7
- 70
- a
- کی صلاحیت
- قابلیت
- ہمارے بارے میں
- رفتار کو تیز تر
- تک رسائی حاصل
- کے مطابق
- اکاؤنٹ
- حاصل کیا
- کے پار
- سرگرمیوں
- کام کرتا ہے
- اپنانے
- اس کے علاوہ
- اس کے علاوہ
- اعلی درجے کی
- پر اثر انداز
- کے بعد
- AI
- AI / ML
- یلگوردمز
- تمام
- کی اجازت
- کی اجازت دیتا ہے
- ساتھ
- بھی
- ہمیشہ
- ایمیزون
- ایمیزون سیج میکر
- ایمیزون ویب سروسز
- رقم
- مقدار
- an
- تجزیہ
- اور
- ایک اور
- APIs
- نقطہ نظر
- مناسب
- کی منظوری دے دی
- تقریبا
- صوابدیدی
- کیا
- علاقوں
- اٹھتا
- ارد گرد
- AS
- تمنا
- At
- خودکار
- خود کار طریقے سے
- دستیابی
- دستیاب
- اوسط
- AWS
- AWS پروفیشنل سروسز
- واپس
- کی بنیاد پر
- Bayesian
- BE
- کیونکہ
- بننے
- رویے
- رویے
- رویے
- فائدہ مند
- فائدہ مند
- BEST
- کے درمیان
- تعصب
- بکنگ
- Booking.com
- دونوں
- رکاوٹیں
- لاتا ہے
- لایا
- تعمیر
- عمارت
- کاروبار
- لیکن
- by
- کر سکتے ہیں
- صلاحیتوں
- کیس
- مقدمات
- سینٹر
- مرکوز
- چیلنجوں
- چیلنج
- تبدیل
- تبدیلیاں
- تبدیل کرنے
- خصوصیات
- میں سے انتخاب کریں
- منتخب کیا
- کلائنٹ
- قریب سے
- بادل
- کوڈ
- کوڈنگ
- تعاون کیا
- تعاون
- اجتماعی طور پر
- COM
- مجموعہ
- کے مجموعے
- یکجا
- عام طور پر
- کمیونٹی
- مطابقت
- ہم آہنگ
- پیچیدہ
- پیچیدگی
- پیچیدہ
- اجزاء
- کمپیوٹیشنل
- کمپیوٹیشنل طاقت
- کمپیوٹنگ
- شرط
- ترتیب
- غور کریں
- مشتمل
- رکاوٹوں
- بسم
- کھپت
- پر مشتمل ہے
- پر مشتمل ہے
- کنٹرول
- درست
- اسی کے مطابق
- اخراجات
- سکتا ہے
- شلپ
- تخلیق
- مخلوق
- اہم
- اپنی مرضی کے
- گاہک
- گاہکوں
- مرضی کے مطابق
- جدید
- جدید ٹیکنالوجی
- سائیکل
- اعداد و شمار
- ڈیٹا کی تیاری
- ڈیٹا سائنسدان
- ڈیٹاسیٹس
- دن
- دن
- فیصلہ کرنا
- فیصلہ
- فیصلے
- کمی
- وقف
- سمجھا
- گہری
- گہری سیکھنے
- وضاحت
- کی وضاحت
- تعریف
- تاخیر
- تاخیر
- نجات
- ترسیل
- ڈیلے
- انحصار
- انحصار
- تعیناتی
- تعینات
- خراب ہے
- ڈیزائن
- تفصیلات
- اس بات کا تعین
- ترقی
- ترقی یافتہ
- ترقی
- ترقی
- آریھ
- مختلف
- براہ راست
- دریافت
- ظاہر
- مختلف
- تقسیم کئے
- تقسیم کی تربیت
- تقسیم
- کر
- ڈومینز
- کیا
- کافی
- چھوڑنا
- مدت
- کے دوران
- متحرک طور پر
- ہر ایک
- آسانی سے
- کارکردگی
- مؤثر طریقے سے
- کوششوں
- شروع کیا
- بااختیار بنانا
- کو چالو کرنے کے
- چالو حالت میں
- کے قابل بناتا ہے
- کو فعال کرنا
- احاطہ کرتا ہے
- آخر سے آخر تک
- مصروفیت
- انجینئر
- انجنیئرنگ
- انجینئرز
- بڑھانے کے
- بڑھانے
- کو یقینی بنانے ہے
- پوری
- ماحولیات
- زمانے
- ضروری
- اندازہ
- تشخیص
- بھی
- ہر کوئی
- ہر روز
- مثال کے طور پر
- ایکسیلنس
- بہت پرجوش
- مثال کے طور پر
- موجودہ
- توقع ہے
- تیزیاں
- تجربہ
- تجربات
- تجربہ
- تجربات
- مہارت
- وضاحت
- تلاش
- ایکسپلور
- توسیع
- توسیع
- مدت ملازمت میں توسیع
- وسیع
- چہرہ
- سامنا
- عوامل
- ناکام
- ناکامی
- ناکامیوں
- جھوٹی
- تیز تر
- کی حمایت
- ممکن
- نمایاں کریں
- خصوصیات
- آراء
- کم
- فائل
- فائلوں
- فائنل
- آخر
- مل
- پہلا
- پہلی بار
- لچک
- توجہ مرکوز
- کے بعد
- کے لئے
- چار
- فریم ورک
- فرکوےنسی
- بار بار اس
- سے
- مزید
- مزید برآں
- حاصل کرنا
- پیدا
- پیدا
- پیدا ہوتا ہے
- پیداواری
- پیداواری AI۔
- حاصل
- جاؤ
- گلوبل
- مقصد
- GPU
- GPUs
- زیادہ سے زیادہ
- اندازہ ہے
- تھا
- ہینڈل
- ہارڈ ویئر
- استعمال کیا جاتا ہے
- ہے
- he
- مدد
- مدد
- مدد کرتا ہے
- اس کی
- ان
- امید ہے کہ
- گھنٹہ
- HOURS
- کس طرح
- کیسے
- تاہم
- HTML
- HTTP
- HTTPS
- سینکڑوں
- رکاوٹ
- ہائپر پیرامیٹر کی اصلاح
- ہائپر پیرامیٹر ٹیوننگ
- شناخت
- if
- وضاحت کرتا ہے
- تصاویر
- فوری طور پر
- اثر
- نفاذ
- اہم بات
- کو بہتر بنانے کے
- بہتر
- بہتری
- بہتری
- بہتر ہے
- in
- شامل
- سمیت
- اضافہ
- اضافہ
- اضافہ
- دن بدن
- آزادانہ طور پر
- صنعت
- ناکارہیاں
- اثر و رسوخ
- معلومات
- مطلع
- انفراسٹرکچر
- شروع ہوا
- اختراعات
- جدت طرازی
- جدید
- ان پٹ
- آدانوں
- کے اندر
- بصیرت انگیز۔
- بصیرت
- فوری
- ضم
- انٹیگریٹٹس
- دلچسپی
- اندرونی
- میں
- متعارف
- متعارف کرانے
- ملوث
- مسائل
- IT
- تکرار
- تکرار
- میں
- ایوب
- نوکریاں
- سفر
- فوٹو
- کلیدی
- جان
- علم
- جانا جاتا ہے
- کمی
- زبان
- بڑے
- تازہ ترین
- شروع
- شروع
- آغاز
- رہنما
- معروف
- جانیں
- سیکھا ہے
- سیکھنے
- قیادت
- سطح
- لیورنگنگ
- کی طرح
- لمیٹڈ
- منسلک
- لوڈ
- مقامی
- لانگ
- دیکھو
- کی طرح دیکھو
- مشین
- مشین لرننگ
- مشینیں
- بنا
- بنا
- میں کامیاب
- مینیجر
- انداز
- دستی طور پر
- زیادہ سے زیادہ
- مطلب
- یاد داشت
- طریقہ
- میٹرک۔
- پیمائش کا معیار
- ہجرت کرنا
- منتقلی
- لاکھوں
- ملیسیکنڈ
- کم سے کم
- منٹ
- ML
- ایم ایل اوپس
- ماڈل
- ماڈل
- جدید خطوط پر استوار
- ماڈیولز
- کی نگرانی
- ماہانہ
- زیادہ
- سب سے زیادہ
- منتقل
- منتقل ہوگیا
- بہت
- ایک سے زیادہ
- نام
- قدرتی
- قدرتی زبان عملیات
- فطرت، قدرت
- ضرورت ہے
- نئی
- اگلے
- نہیں
- اب
- تعداد
- مقصد
- مشاہدہ
- راہ میں حائل رکاوٹیں
- of
- آف لائن
- اکثر
- on
- ڈیمانڈ
- ایک
- آن لائن
- صرف
- آپریشنل
- آپریشنز
- زیادہ سے زیادہ
- اصلاح کے
- اصلاح
- کی اصلاح کریں
- اصلاح
- اصلاح
- آپشنز کے بھی
- or
- دیگر
- دوسری صورت میں
- ہمارے
- باہر
- پیداوار
- نتائج
- پر
- مجموعی طور پر
- نگرانی
- مجموعی جائزہ
- خود
- امن
- پیکج
- پیک۔
- متوازی
- پیرامیٹر
- حصہ
- جذباتی
- انجام دیں
- کارکردگی
- کارکردگی کا مظاہرہ
- شخصی
- پائپ لائن
- اہم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- ادا کرتا ہے
- پلگ ان
- پوائنٹ
- پورٹل
- مثبت
- پوسٹ
- طاقت
- طریقوں
- پہلے
- پیشن گوئی
- کی پیشن گوئی
- پیشن گوئی
- تیاری
- پچھلا
- پہلے
- مسئلہ
- عمل
- عملدرآمد
- عمل
- پروسیسنگ
- پیداوار
- پیداواری
- پیشہ ورانہ
- پروفائل
- پروفائلنگ
- پیش رفت
- منصوبے
- وعدہ
- ثابت ہوا
- فراہم
- فراہم
- فراہم کرنے
- معیار
- جلدی سے
- حدود
- رینکنگ
- میں تیزی سے
- شرح
- بلکہ
- خام
- تک پہنچنے
- تیار
- وصول
- تسلیم کرنا
- سفارش
- درج
- کو کم
- کم
- کو کم کرنے
- کمی
- کے بارے میں
- خطے
- رجسٹر
- رجسٹرڈ
- رجسٹری
- باقاعدگی سے
- مسترد..
- متعلقہ
- وشوسنییتا
- رپورٹ
- رپورٹیں
- ذخیرہ
- نمائندگی
- کی ضرورت
- ضرورت
- کی ضرورت ہے
- حل
- وسائل
- وسائل
- بالترتیب
- ذمہ دار
- نتیجہ
- نتیجے
- نتائج کی نمائش
- اضافہ
- مضبوط
- کردار
- رن
- چل رہا ہے
- چلتا ہے
- sagemaker
- سیج میکر پائپ لائنز
- اسکیل ایبلٹی
- توسیع پذیر
- پیمانے
- سائنس
- سائنسدان
- سائنسدانوں
- اسکرپٹ
- ہموار
- تلاش کریں
- دوسری
- سیکنڈ
- دیکھنا
- کی تلاش
- منتخب
- منتخب
- انتخاب
- سینئر
- خدمت
- کام کرتا ہے
- سروسز
- سیشن
- مقرر
- سیٹ
- ترتیبات
- کئی
- سیکنڈ اور
- اشتراک
- وہ
- منتقل
- ہونا چاہئے
- دکھائیں
- شوز
- نمایاں طور پر
- سادہ
- ایک
- تھوڑا سا مختلف
- ہوشیار
- ہموار
- So
- حل
- حل
- کچھ
- خلا
- چنگاری
- مہارت دیتا ہے
- مخصوص
- تیزی
- خرچ
- مرحلہ
- مراحل
- روکنا
- ذخیرہ
- ذخیرہ
- حکمت عملیوں
- سویوستیت
- سختی
- منظم
- سٹوڈیو
- سب سے زیادہ
- کامیابی
- کامیاب
- کامیابی کے ساتھ
- اس طرح
- تائید
- امدادی
- کی حمایت کرتا ہے
- ہم آہنگی
- کے نظام
- موزوں
- لینے
- مذاکرات
- کاموں
- ٹیم
- ٹیموں
- ٹیکنالوجی
- ٹیسسرور
- ٹیسٹ
- تجربہ
- ٹیسٹنگ
- سے
- کہ
- ۔
- دنیا
- ان
- ان
- تو
- وہاں.
- اس طرح
- لہذا
- یہ
- وہ
- اس
- ان
- پنپتا ہے
- کے ذریعے
- وقت
- ٹائم لائنز
- اوقات
- کرنے کے لئے
- اوزار
- چھو
- کی طرف
- ٹریک
- ٹریکنگ
- ٹرین
- ٹریننگ
- تربیتوں
- منتقل
- تبدیلی
- منتقلی
- سفر
- ٹریول انڈسٹری
- مسافر
- علاج
- سچ
- کوشش
- ٹیوننگ
- ٹرن
- دو
- قسم
- آخر میں
- سمجھ
- منفرد
- استعمال
- استعمال کی شرائط
- استعمال کیس
- استعمال کیا جاتا ہے
- صارف دوست
- صارفین
- استعمال
- کا استعمال کرتے ہوئے
- استعمال کیا
- قیمتی
- قیمت
- اقدار
- مختلف
- وسیع
- VeloCity
- ورژن
- ورژن
- بہت
- تصور
- انتظار
- چاہتے تھے
- تھا
- راستہ..
- طریقوں
- we
- ویب
- ویب خدمات
- تھے
- جب
- جس
- جبکہ
- ڈبلیو
- گے
- ساتھ
- کے اندر
- بغیر
- کام
- کام کا بہاؤ
- کام کرتا ہے
- دنیا
- دنیا بھر
- گا
- تم
- اور
- زیفیرنیٹ