اس پوسٹ میں، ہم مظاہرہ کرتے ہیں۔ AWS پر Kubeflow (Kubeflow کی AWS-مخصوص تقسیم) اور وہ قدر جو یہ اوپن سورس Kubeflow پر انتہائی بہتر، کلاؤڈ-نیٹیو، انٹرپرائز کے لیے تیار AWS سروسز کے انضمام کے ذریعے اضافہ کرتی ہے۔
Kubeflow ایک اوپن سورس مشین لرننگ (ML) پلیٹ فارم ہے جو Kubernetes پر ML ورک فلو کی تعیناتیوں کو آسان، پورٹیبل اور قابل توسیع بنانے کے لیے وقف ہے۔ Kubeflow بہت سے اجزاء فراہم کرتا ہے، بشمول ایک سنٹرل ڈیش بورڈ، ملٹی یوزر Jupyter نوٹ بکس، Kubeflow Pipelines، KFServing، اور Katib کے ساتھ ساتھ TensorFlow، PyTorch، MXNet، اور XGBoost کے لیے تقسیم شدہ ٹریننگ آپریٹرز، سادہ، توسیع پذیر، اور پورٹیبل ML ورک فلو بنانے کے لیے۔ .
AWS نے حال ہی میں اپنی Kubeflow ڈسٹری بیوشن (جسے AWS پر Kubeflow کہا جاتا ہے) کے حصے کے طور پر Kubeflow v1.4 لانچ کیا ہے، جو ڈیٹا سائنس کے کاموں کو ہموار کرتا ہے اور AWS کے زیر انتظام خدمات کے ساتھ انضمام کے ذریعے کم آپریشنل اوور ہیڈز کے ساتھ انتہائی قابل اعتماد، محفوظ، پورٹیبل، اور توسیع پذیر ML سسٹم بنانے میں مدد کرتا ہے۔ . آپ اس Kubeflow ڈسٹری بیوشن کو سب سے اوپر ML سسٹم بنانے کے لیے استعمال کر سکتے ہیں۔ ایمیزون لچکدار کبیرنیٹس سروس (Amazon EKS) کمپیوٹر ویژن، قدرتی لینگویج پروسیسنگ، اسپیچ ٹرانسلیشن، اور فنانشل ماڈلنگ سمیت وسیع اقسام کے استعمال کے معاملات کے لیے ایم ایل ماڈلز کی تعمیر، تربیت، ٹیون، اور تعیناتی کے لیے۔
اوپن سورس کیوب فلو کے ساتھ چیلنجز
جب آپ اوپن سورس Kubeflow پروجیکٹ استعمال کرتے ہیں، تو یہ Kubernetes ورکر نوڈس پر تمام Kubeflow کنٹرول جہاز اور ڈیٹا جہاز کے اجزاء کو تعینات کرتا ہے۔ Kubeflow کے اجزاء کی خدمات Kubeflow کنٹرول طیارے کے حصے کے طور پر تعینات کی جاتی ہیں، اور Jupyter، ماڈل ٹریننگ، ٹیوننگ، اور ہوسٹنگ سے متعلق تمام وسائل کی تعیناتیاں Kubeflow ڈیٹا جہاز پر تعینات کی جاتی ہیں۔ Kubeflow کنٹرول طیارہ اور ڈیٹا طیارہ ایک ہی یا مختلف Kubernetes ورکر نوڈس پر چل سکتا ہے۔ یہ پوسٹ Kubeflow کنٹرول طیارے کے اجزاء پر مرکوز ہے، جیسا کہ مندرجہ ذیل خاکہ میں واضح کیا گیا ہے۔
یہ تعیناتی ماڈل درج ذیل وجوہات کی بنا پر انٹرپرائز کے لیے تیار تجربہ فراہم نہیں کر سکتا:
- تمام Kubeflow کنٹرول ہوائی جہاز کے ہیوی لفٹنگ انفراسٹرکچر کے اجزاء، بشمول ڈیٹا بیس، اسٹوریج، اور تصدیق، خود Kubernetes کلسٹر ورکر نوڈ میں تعینات ہیں۔ یہ ورکر نوڈ کی ناکامی کی صورت میں مستقل حالت کے ساتھ انتہائی دستیاب کیوب فلو کنٹرول ہوائی جہاز کے ڈیزائن کے فن تعمیر کو لاگو کرنا مشکل بناتا ہے۔
- کیوب فلو کنٹرول ہوائی جہاز کے تیار کردہ نمونے (جیسے MySQL مثالیں، پوڈ لاگ، یا MinIO اسٹوریج) وقت کے ساتھ ساتھ بڑھتے ہیں اور اسٹوریج کی بڑھتی ہوئی طلب کو پورا کرنے کے لیے مسلسل نگرانی کی صلاحیتوں کے ساتھ دوبارہ قابل سائز اسٹوریج والیوم کی ضرورت ہوتی ہے۔ چونکہ Kubeflow کنٹرول طیارہ Kubeflow ڈیٹا پلین ورک بوجھ کے ساتھ وسائل کا اشتراک کرتا ہے (مثال کے طور پر تربیتی ملازمتوں، پائپ لائنوں اور تعیناتیوں کے لیے)، Kubernetes کلسٹر اور سٹوریج والیوم کو دائیں سائز اور اسکیل کرنا مشکل ہو سکتا ہے اور اس کے نتیجے میں آپریشنل لاگت میں اضافہ ہو سکتا ہے۔
- Kubernetes لاگ فائل کے سائز کو محدود کرتا ہے، زیادہ تر تنصیبات 10 MB کی حالیہ حد رکھتی ہیں۔ پہلے سے طے شدہ طور پر، پوڈ لاگ اس اوپری حد تک پہنچنے کے بعد ناقابل رسائی ہو جاتے ہیں۔ اگر پوڈز کو بے دخل، کریش، حذف، یا کسی دوسرے نوڈ پر شیڈول کیا جاتا ہے تو لاگز بھی ناقابل رسائی ہو سکتے ہیں، جو آپ کے ایپلیکیشن لاگ کی دستیابی اور نگرانی کی صلاحیتوں کو متاثر کر سکتا ہے۔
AWS پر Kubeflow
AWS پر Kubeflow درج ذیل AWS سروسز کے ساتھ Kubeflow کو استعمال کرنے کے لیے ایک واضح راستہ فراہم کرتا ہے:
- ایپلیکیشن لوڈ بیلنسر for secure external traffic management over HTTPS
- ایمیزون کلاؤڈ واچ for persistent log management
- AWS کاگنیٹو for user authentication with Transport Layer Security (TLS)
- AWS ڈیپ لرننگ کنٹینرز for highly optimized Jupyter notebook server images
- ایمیزون لچکدار فائل سسٹم (ایمیزون ای ایف ایس) یا ایمیزون ایف ایس ایکس لسٹر for a simple, scalable, and serverless file storage solution for increased training performance
- Amazon EKS for managed Kubernetes clusters
- ایمیزون متعلقہ ڈیٹا بیس سروس (Amazon RDS) for highly scalable pipelines and a metadata store
- AWS سیکرٹس مینیجر to protect secrets needed to access your applications
- ایمیزون سادہ اسٹوریج سروس (Amazon S3) for an easy-to-use pipeline artifacts store
Kubeflow کے ساتھ یہ AWS سروس انٹیگریشنز (جیسا کہ مندرجہ ذیل خاکہ میں دکھایا گیا ہے) ہمیں Kubernetes سے Kubeflow کنٹرول طیارے کے اہم حصوں کو الگ کرنے کی اجازت دیتا ہے، جو ایک محفوظ، توسیع پذیر، لچکدار، اور لاگت کے لحاظ سے بہتر ڈیزائن فراہم کرتا ہے۔
آئیے ہر سروس انٹیگریشن کے فوائد اور سیکیورٹی، ایم ایل پائپ لائنز چلانے، اور اسٹوریج کے بارے میں ان کے حل پر بات کرتے ہیں۔
Amazon Cognito کے ساتھ Kubeflow کے صارفین کی محفوظ تصدیق
AWS پر کلاؤڈ سیکیورٹی سب سے زیادہ ترجیح ہے، اور ہم Kubeflow سیکیورٹی کو براہ راست AWS مشترکہ ذمہ داری سیکیورٹی سروسز میں مضبوطی سے ضم کرنے میں سرمایہ کاری کر رہے ہیں، جیسے کہ درج ذیل:
- Application Load Balancer (ALB) for external traffic management
- AWS سرٹیفکیٹ مینیجر (ACM) to support TLS
- سروس اکاؤنٹس کے لیے IAM کے کردار (IRSA) for fine-grained access control at the Kubernetes Pod level
- AWS کلیدی انتظام کی خدمت (AWS KMS) for data encryption key management
- AWS شیلڈ for DDoS protection
اس سیکشن میں، ہم Amazon Cognito کے ساتھ AWS Kubeflow کنٹرول جہاز کے انضمام پر توجہ مرکوز کرتے ہیں۔ ایمیزون کوگنیٹو صارف کی توثیق کے لیے مقامی ڈیکس (اوپن سورس اوپن آئی ڈی کنیکٹ (OIDC) فراہم کنندہ کی حمایت یافتہ مقامی LDAP) کے حل کو منظم اور برقرار رکھنے کی ضرورت کو دور کرتا ہے اور خفیہ انتظام کو آسان بناتا ہے۔
آپ اپنے Kubeflow UI میں صارف کے سائن اپ، سائن ان، اور رسائی کنٹرول کو جلدی اور آسانی سے شامل کرنے کے لیے Amazon Cognito کا استعمال بھی کر سکتے ہیں۔ Amazon Cognito لاکھوں صارفین تک پیمانہ کرتا ہے اور SAML 2.0 کے ذریعے سماجی شناخت فراہم کنندگان (IdPs)، جیسے Facebook، Google، اور Amazon، اور انٹرپرائز IdPs کے ساتھ سائن ان کی حمایت کرتا ہے۔ یہ آپ کے Kubeflow سیٹ اپ میں پیچیدگی کو کم کر دیتا ہے، جس سے یہ ایک سے زیادہ صارف کی تنہائی حاصل کرنے کے لیے آپریٹنگ طور پر دبلا اور آسان کام کرتا ہے۔
آئیے AWS پر Kubeflow کے ساتھ Amazon Cognito، ALB، اور ACM انضمام کے ساتھ ملٹی یوزر توثیق کے بہاؤ کو دیکھتے ہیں۔ اس انضمام کے حصے کے طور پر کئی اہم اجزاء ہیں۔ ایمیزون کوگنیٹو کو ایک آئی ڈی پی کے طور پر کنفیگر کیا گیا ہے جس میں ایک تصدیقی کال بیک کو کنفیگر کیا گیا ہے تاکہ صارف کی توثیق کے بعد کوبی فلو کی درخواست کو روٹ کیا جا سکے۔ کیوب فلو سیٹ اپ کے حصے کے طور پر، اسٹیو گیٹ وے سروس کے لیے بیرونی ٹریفک کو منظم کرنے کے لیے ایک Kubernetes انگریس ریسورس بنایا گیا ہے۔ AWS ALB انگریس کنٹرولر اس داخلے کے لیے لوڈ بیلنس کا انتظام کرتا ہے۔ ہم استعمال کرتے ہیں ایمیزون روٹ 53 رجسٹرڈ ڈومین کے لیے عوامی DNS کنفیگر کرنے اور ACM کا استعمال کرتے ہوئے سرٹیفکیٹ تخلیق کرنے کے لیے لوڈ بیلنسر پر TLS کی تصدیق کو فعال کرنا۔
مندرجہ ذیل خاکہ Amazon Cognito میں لاگ ان کرنے اور ان کے متعلقہ نام کی جگہ میں Kubeflow پر ری ڈائریکٹ ہونے کے عام صارف کے ورک فلو کو دکھاتا ہے۔
ورک فلو میں درج ذیل مراحل شامل ہیں:
- صارف لوڈ بیلنسر کے پیچھے میزبان کیوب فلو سنٹرل ڈیش بورڈ کو HTTPS درخواست بھیجتا ہے۔ روٹ 53 FQDN کو ALB عرف ریکارڈ میں حل کرتا ہے۔
- اگر کوکی موجود نہیں ہے، لوڈ بیلنسر صارف کو ایمیزون کوگنیٹو کی اجازت کے اختتامی نقطہ پر بھیج دیتا ہے تاکہ ایمیزون کوگنیٹو صارف کی تصدیق کر سکے۔
- صارف کی توثیق کے بعد، ایمیزون کوگنیٹو صارف کو اجازت دینے والے گرانٹ کوڈ کے ساتھ لوڈ بیلنسر پر واپس بھیجتا ہے۔
- لوڈ بیلنسر ایمیزون کوگنیٹو ٹوکن اینڈ پوائنٹ کو اجازت دینے کا کوڈ پیش کرتا ہے۔
- ایک درست اجازت گرانٹ کوڈ موصول ہونے پر، Amazon Cognito ID ٹوکن اور بیلنس لوڈ کرنے کے لیے رسائی ٹوکن فراہم کرتا ہے۔
- جب آپ کا لوڈ بیلنس صارف کو کامیابی کے ساتھ تصدیق کرتا ہے، تو یہ ایمیزون کوگنیٹو صارف کی معلومات کے اختتامی نقطہ پر رسائی ٹوکن بھیجتا ہے اور صارف کے دعوے وصول کرتا ہے۔ لوڈ بیلنسر HTTP ہیڈر میں صارف کے دعووں کی نشانیاں اور اضافہ کرتا ہے۔
x-amzn-oidc-*
JSON ویب ٹوکن (JWT) درخواست کی شکل میں۔ - لوڈ بیلنسر سے درخواست اسٹیو انگریس گیٹ وے کے پوڈ کو بھیجی جاتی ہے۔
- ایلچی فلٹر کا استعمال کرتے ہوئے، اسٹیو گیٹ وے ڈی کوڈ کرتا ہے۔
x-amzn-oidc-data
قدر، ای میل فیلڈ کو بازیافت کرتا ہے، اور حسب ضرورت HTTP ہیڈر شامل کرتا ہے۔kubeflow-userid
، جو Kubeflow کی اجازت کی پرت کے ذریعہ استعمال ہوتی ہے۔ - اسٹیو ریسورس پر مبنی رسائی کنٹرول پالیسیاں کوبی فلو ڈیش بورڈ تک رسائی کی توثیق کرنے کے لیے آنے والی درخواست پر لاگو ہوتی ہیں۔ اگر ان میں سے کوئی بھی صارف کے لیے ناقابل رسائی ہے، تو غلطی کا جواب واپس بھیجا جاتا ہے۔ اگر درخواست کی توثیق ہو جاتی ہے، تو اسے مناسب Kubeflow سروس کو بھیج دیا جاتا ہے اور Kubeflow ڈیش بورڈ تک رسائی فراہم کرتا ہے۔
Amazon RDS اور Amazon S3 کے ساتھ Kubeflow جزو میٹا ڈیٹا اور آرٹفیکٹ اسٹوریج کو برقرار رکھنا
AWS پر Kubeflow انضمام فراہم کرتا ہے۔ ایمیزون متعلقہ ڈیٹا بیس سروس (ایمیزون آر ڈی ایس) کیوب فلو پائپ لائنز اور آٹو ایم ایل (کاتب) مستقل میٹا ڈیٹا اسٹوریج کے لیے، اور مستقل آرٹفیکٹ اسٹوریج کے لیے Kubeflow پائپ لائنز میں Amazon S3۔ آئیے مزید تفصیل سے کیوب فلو پائپ لائنز پر بات کرتے رہیں۔
کیوب فلو پائپ لائنز پورٹیبل، قابل توسیع ML ورک فلو کی تعمیر اور تعیناتی کا ایک پلیٹ فارم ہے۔ یہ ورک فلو بلٹ ان اور حسب ضرورت کیوب فلو اجزاء کا استعمال کرتے ہوئے پیچیدہ ML پائپ لائنوں کو خودکار بنانے میں مدد کر سکتے ہیں۔ Kubeflow پائپ لائنز میں Python SDK، Python کوڈ کو جامد کنفیگریشن میں تبدیل کرنے کے لیے ایک DSL مرتب کرنے والا، ایک پائپ لائن سروس جو جامد ترتیب سے پائپ لائنز چلاتی ہے، اور پائپ لائن کو مکمل کرنے کے لیے درکار Kubernetes Pods کے اندر کنٹینرز کو چلانے کے لیے کنٹرولرز کا ایک سیٹ شامل ہے۔
پائپ لائن کے تجربات اور رنز کے لیے Kubeflow Pipelines کا میٹا ڈیٹا MySQL میں ذخیرہ کیا جاتا ہے، اور پائپ لائن پیکجز اور میٹرکس سمیت نمونے MinIO میں محفوظ کیے جاتے ہیں۔
جیسا کہ درج ذیل خاکہ میں دکھایا گیا ہے، AWS پر Kubeflow آپ کو AWS کے زیر انتظام خدمات کے ساتھ درج ذیل اجزاء کو ذخیرہ کرنے دیتا ہے۔
- ایمیزون آر ڈی ایس میں پائپ لائن میٹا ڈیٹا - Amazon RDS ایک قابل توسیع، انتہائی دستیاب، اور قابل اعتماد ملٹی-AZ تعیناتی فن تعمیر فراہم کرتا ہے جس میں ایک بلٹ ان خودکار فیل اوور میکانزم اور صنعت کے معیاری رشتہ دار ڈیٹا بیس جیسے MySQL کے لیے قابل سائز صلاحیت ہے۔ یہ بنیادی ڈھانچے کی فراہمی یا سافٹ ویئر کو برقرار رکھنے کی ضرورت کے بغیر عام ڈیٹا بیس انتظامیہ کے کاموں کا انتظام کرتا ہے۔
- ایمیزون S3 میں پائپ لائن کے نمونے - Amazon S3 صنعت کی معروف اسکیل ایبلٹی، ڈیٹا کی دستیابی، سیکورٹی اور کارکردگی پیش کرتا ہے، اور آپ کو پورا کرنے کے لیے استعمال کیا جا سکتا ہے۔ تعمیل کی ضروریات.
یہ انضمام میٹا ڈیٹا اور آرٹفیکٹ سٹوریج کے انتظام اور دیکھ بھال کو خود سے منظم Kubeflow سے AWS مینیجڈ سروسز تک آف لوڈ کرنے میں مدد کرتے ہیں، جو ترتیب دینے، چلانے اور پیمانے پر آسان ہے۔
Amazon EFS اور Amazon FSx کے ساتھ تقسیم شدہ فائل سسٹم کے لیے سپورٹ
Kubeflow Kubernetes پر تعمیر کرتا ہے، جو بڑے پیمانے پر تقسیم شدہ ڈیٹا پروسیسنگ کے لیے ایک بنیادی ڈھانچہ فراہم کرتا ہے، جس میں لاکھوں یا اربوں پیرامیٹرز والے گہرے نیٹ ورک کے ساتھ بڑے ماڈلز کی تربیت اور ٹیوننگ بھی شامل ہے۔ اس طرح کے تقسیم شدہ ڈیٹا پروسیسنگ ایم ایل سسٹمز کو سپورٹ کرنے کے لیے، AWS پر Kubeflow درج ذیل اسٹوریج سروسز کے ساتھ انضمام فراہم کرتا ہے:
- ایمیزون ای ایف ایس - ایک اعلی کارکردگی، کلاؤڈ-آبائی، تقسیم شدہ فائل سسٹم، جسے آپ ایک کے ذریعے منظم کر سکتے ہیں۔ ایمیزون ای ایف ایس سی ایس آئی ڈرائیور. ایمیزون ای ایف ایس فراہم کرتا ہے۔
ReadWriteMany
ایکسیس موڈ، اور اب آپ اسے کوبی فلو ڈیٹا ہوائی جہاز میں چلنے والے پوڈز (Jupyter، ماڈل ٹریننگ، ماڈل ٹیوننگ) میں ماؤنٹ کرنے کے لیے استعمال کر سکتے ہیں تاکہ ایک مستقل، توسیع پذیر، اور قابل اشتراک کام کی جگہ فراہم کی جا سکے جو آپ کے فائلوں کو شامل کرنے اور ہٹانے کے ساتھ خود بخود بڑھتا اور سکڑ جاتا ہے۔ انتظام کی ضرورت نہیں ہے. - ایمیزون ایف ایس ایکس لسٹر - کمپیوٹ کے لحاظ سے کام کے بوجھ کے لیے ایک بہتر فائل سسٹم، جیسے کہ اعلی کارکردگی والے کمپیوٹنگ اور ایم ایل، جس کا انتظام آپ اس کے ذریعے کر سکتے ہیں۔ ایمیزون FSx CSI ڈرائیور. FSx لسٹر فراہم کرتا ہے۔
ReadWriteMany
ایکسیس موڈ کے ساتھ ساتھ، اور آپ اسے بیکنگ اسٹور کے طور پر Amazon S3 سے براہ راست کنیکٹیویٹی کے ساتھ تربیتی ڈیٹا کو کیش کرنے کے لیے استعمال کر سکتے ہیں، جسے آپ Jupyter نوٹ بک سرورز یا کوبی فلو ڈیٹا جہاز میں چلنے والی تقسیم شدہ تربیت کو سپورٹ کرنے کے لیے استعمال کر سکتے ہیں۔ اس کنفیگریشن کے ساتھ، آپ کو حجم استعمال کرنے سے پہلے فائل سسٹم میں ڈیٹا منتقل کرنے کی ضرورت نہیں ہے۔ FSx برائے Luster مسلسل ذیلی ملی سیکنڈ کی تاخیر اور اعلی ہم آہنگی فراہم کرتا ہے، اور TB/s تھرو پٹ اور لاکھوں IOPS تک پیمانہ کر سکتا ہے۔
کیوب فلو تعیناتی کے اختیارات
AWS مختلف Kubeflow تعیناتی کے اختیارات فراہم کرتا ہے:
- Amazon Cognito کے ساتھ تعیناتی۔
- Amazon RDS اور Amazon S3 کے ساتھ تعیناتی۔
- Amazon Cognito، Amazon RDS، اور Amazon S3 کے ساتھ تعیناتی۔
- ونیلا کی تعیناتی۔
ان اختیارات میں سے ہر ایک کے لیے سروس انٹیگریشن اور دستیاب ایڈ آنز کی تفصیلات کے لیے، ملاحظہ کریں۔ تعیناتی کے اختیارات۔. آپ اس اختیار کو فٹ کر سکتے ہیں جو آپ کے استعمال کے معاملے میں بہترین فٹ بیٹھتا ہے۔
مندرجہ ذیل سیکشن میں، ہم Amazon EKS پر AWS Kubeflow v1.4 ڈسٹری بیوشن انسٹال کرنے کے مراحل سے گزرتے ہیں۔ پھر ہم AWS Kubeflow کے Amazon Cognito، Amazon RDS، اور Amazon S3 کے ساتھ انضمام اور استعمال کو ظاہر کرنے کے لیے Kubeflow سنٹرل UI ڈیش بورڈ پر دستیاب XGBoost پائپ لائن کی موجودہ مثال استعمال کرتے ہیں، جس میں سیکرٹس مینیجر بطور ایڈ آن ہے۔
شرائط
اس واک تھرو کے لیے، آپ کے پاس درج ذیل شرائط ہونی چاہئیں:
- An AWS اکاؤنٹ.
- An existing Amazon EKS cluster. It should be Kubernetes version 1.19 or higher. For automated cluster creation using eksctlدیکھ، Create an Amazon EKS Cluster and use the eksctl option.
اپنے Kubernetes کلسٹر تک رسائی کے لیے استعمال ہونے والی کلائنٹ مشین پر درج ذیل ٹولز انسٹال کریں۔ آپ استعمال کر سکتے ہیں AWS کلاؤڈ 9, Kubernetes کلسٹر سیٹ اپ کے لیے کلاؤڈ پر مبنی مربوط ترقیاتی ماحول (IDE)۔
- AWS کمانڈ لائن انٹرفیس (AWS CLI) – AWS سروسز کے ساتھ تعامل کے لیے ایک کمانڈ لائن ٹول۔ تنصیب کی ہدایات کے لیے، رجوع کریں۔ AWS CLI کو انسٹال کرنا، اپ ڈیٹ کرنا اور ان انسٹال کرنا.
- eksctl > 0.56 – A command line tool for working with Amazon EKS clusters that automates many individual tasks.
- کیوبیکٹل - Kubernetes کلسٹرز کے ساتھ کام کرنے کے لیے ایک کمانڈ لائن ٹول۔
- گٹ – A distributed version control software.
- ازگر 3.8+ – The Python programming environment.
- PIP – The package manager for Python.
- kustomize version 3.2.0 – A command line tool to customize Kubernetes objects through a kustomization file.
AWS پر Kubeflow انسٹال کریں۔
kubectl کو ترتیب دیں تاکہ آپ Amazon EKS کلسٹر سے جڑ سکیں:
Kubeflow کی تعیناتی میں مختلف کنٹرولرز استعمال کرتے ہیں۔ سروس اکاؤنٹس کے لیے IAM کے کردار (IRSA)۔ IRSA استعمال کرنے کے لیے آپ کے کلسٹر کے لیے ایک OIDC فراہم کنندہ کا ہونا ضروری ہے۔ ایک OIDC فراہم کنندہ بنائیں اور درج ذیل کمانڈ کو چلا کر اسے اپنے Amazon EKS کلسٹر کے ساتھ منسلک کریں، اگر آپ کے کلسٹر میں پہلے سے کوئی نہیں ہے:
AWS manifests repo اور Kubeflow manifests repo کو کلون کریں، اور متعلقہ ریلیز برانچوں کو چیک آؤٹ کریں:
ان ورژنز کے بارے میں مزید معلومات کے لیے رجوع کریں۔ ریلیز اور ورژننگ.
Amazon RDS، Amazon S3، اور Secrets Manager سیٹ اپ کریں۔
آپ Kubeflow مینی فیسٹ کو تعینات کرنے سے پہلے Amazon RDS اور Amazon S3 وسائل بناتے ہیں۔ ہم خودکار Python اسکرپٹس استعمال کرتے ہیں جو S3 بالٹی، RDS ڈیٹا بیس، اور Secrets Manager میں مطلوبہ راز بنانے کا خیال رکھتے ہیں۔ یہ Kubeflow کی تنصیب کے دوران RDS ڈیٹا بیس اور S3 بالٹی کے لیے مناسب طریقے سے ترتیب دینے کے لیے Kubeflow پائپ لائن اور AutoML کے لیے مطلوبہ کنفیگریشن فائلوں میں ترمیم کرتا ہے۔
ایک IAM صارف بنائیں اجازت دینے کی اجازت کے ساتھ GetBucketLocation
اور ایک S3 بالٹی میں اشیاء تک رسائی کو پڑھیں اور لکھیں جہاں آپ Kubeflow نمونے کو ذخیرہ کرنا چاہتے ہیں۔ کا استعمال کرتے ہیں AWS_ACCESS_KEY_ID
اور AWS_SECRET_ACCESS_KEY
درج ذیل کوڈ میں IAM صارف کا:
توثیق فراہم کنندہ کے طور پر Amazon Cognito کو سیٹ اپ کریں۔
اس سیکشن میں، ہم روٹ 53 اور ALB میں ایک کسٹم ڈومین بناتے ہیں تاکہ بیرونی ٹریفک کو کیوب فلو اسٹیو گیٹ وے تک لے جا سکیں۔ ہم ALB اور Amazon Cognito پر TLS تصدیق کو فعال کرنے کے لیے ایک سرٹیفکیٹ بنانے کے لیے ACM کا استعمال کرتے ہیں تاکہ صارف پول کو برقرار رکھا جا سکے اور صارف کی توثیق کا نظم کیا جا سکے۔
میں درج ذیل اقدار کو تبدیل کریں۔
- route53.rootDomain.name - رجسٹرڈ ڈومین۔ آئیے فرض کریں کہ یہ ڈومین ہے۔
example.com
. - route53.rootDomain.hostedZoneId – اگر آپ کا ڈومین Route53 میں مینیج کیا جاتا ہے، تو میزبان زون کی تفصیلات کے نیچے موجود ہوسٹڈ زون ID درج کریں۔ اگر آپ کے ڈومین کا نظم کسی دوسرے ڈومین فراہم کنندہ کے ذریعے کیا جاتا ہے تو اس مرحلے کو چھوڑ دیں۔
- route53.subDomain.name - ذیلی ڈومین کا نام جہاں آپ Kubeflow کی میزبانی کرنا چاہتے ہیں (مثال کے طور پر،
platform.example.com
)۔ ذیلی ڈومینز کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ Kubeflow کو AWS Cognito کے ساتھ بطور IDP تعینات کرنا. - cluster.name - کلسٹر کا نام اور جہاں Kubeflow تعینات ہے۔
- cluster.region - کلسٹر کا علاقہ جہاں کیوب فلو تعینات ہے (مثال کے طور پر،
us-west-2
). - cognitoUserpool.name - Amazon Cognito صارف پول کا نام (مثال کے طور پر،
kubeflow-users
).
config فائل کچھ درج ذیل کوڈ کی طرح نظر آتی ہے:
وسائل بنانے کے لیے اسکرپٹ چلائیں:
اسکرپٹ کو اپ ڈیٹ کرتا ہے۔ config.yaml
وسائل کے ناموں، IDs، اور ARNs کے ساتھ فائل جو اس نے بنائی ہے۔ یہ کچھ درج ذیل کوڈ کی طرح لگتا ہے:
مینی فیسٹ بنائیں اور کیوب فلو کو تعینات کریں۔
درج ذیل کمانڈ کا استعمال کرتے ہوئے Kubeflow کو تعینات کریں:
ALB ایڈریس کے ساتھ ڈومین کو اپ ڈیٹ کریں۔
تعیناتی ایک داخلی انتظام شدہ AWS ایپلیکیشن لوڈ بیلنس تخلیق کرتی ہے۔ ہم روٹ 53 میں ذیلی ڈومین کے لیے DNS اندراجات کو لوڈ بیلنسر کے DNS کے ساتھ اپ ڈیٹ کرتے ہیں۔ یہ چیک کرنے کے لیے درج ذیل کمانڈ کو چلائیں کہ آیا لوڈ بیلنس کا انتظام ہے (اس میں تقریباً 3-5 منٹ لگتے ہیں):
اگر ADDRESS
چند منٹوں کے بعد فیلڈ خالی ہے، کے لاگز کو چیک کریں۔ alb-ingress-controller
. ہدایات کے لیے رجوع کریں۔ ALB فراہمی میں ناکام ہے۔.
جب لوڈ بیلنسر کا انتظام کیا جاتا ہے، تو لوڈ بیلنسر کا DNS نام کاپی کریں اور ایڈریس کو تبدیل کریں kubeflow.alb.dns
in ${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
. تشکیل فائل کا کوبی فلو سیکشن درج ذیل کوڈ کی طرح لگتا ہے۔
روٹ 53 میں ذیلی ڈومین کے لیے DNS اندراجات کو پروویژنڈ لوڈ بیلنسر کے DNS کے ساتھ اپ ڈیٹ کرنے کے لیے درج ذیل اسکرپٹ کو چلائیں:
خرابیوں کا سراغ لگانا
اگر آپ کو انسٹالیشن کے دوران کوئی مسئلہ درپیش ہے، تو دیکھیں خرابیوں کا سراغ لگانا گائیڈ۔ یا اس بلاگ میں "کلین اپ" سیکشن کی پیروی کرکے نئے سرے سے شروعات کریں۔
کیس واک تھرو استعمال کریں۔
اب جب کہ ہم نے مطلوبہ Kubeflow اجزاء کو انسٹال کرنا مکمل کر لیا ہے، آئیے ڈیش بورڈ پر Kubeflow Pipelines کی فراہم کردہ موجودہ مثالوں میں سے ایک کا استعمال کرتے ہوئے انہیں عمل میں دیکھتے ہیں۔
Amazon Cognito کا استعمال کرتے ہوئے Kubeflow ڈیش بورڈ تک رسائی حاصل کریں۔
شروع کرنے کے لیے، آئیے Kubeflow ڈیش بورڈ تک رسائی حاصل کریں۔ چونکہ ہم نے Amazon Cognito کو IDP کے طور پر استعمال کیا ہے، اس لیے میں فراہم کردہ معلومات کا استعمال کریں۔ سرکاری README فائل. ہم سب سے پہلے Amazon Cognito کنسول پر کچھ صارفین بناتے ہیں۔ یہ وہ صارفین ہیں جو مرکزی ڈیش بورڈ میں لاگ ان ہوں گے۔ اگلے، ایک پروفائل بنائیں آپ کے تخلیق کردہ صارف کے لیے۔ پھر آپ کو لاگ ان پیج کے ذریعے ڈیش بورڈ تک رسائی حاصل کرنے کے قابل ہونا چاہئے۔ https://kubeflow.platform.example.com.
درج ذیل اسکرین شاٹ ہمارا کیوب فلو ڈیش بورڈ دکھاتا ہے۔
پائپ لائن چلائیں۔
کیوب فلو ڈیش بورڈ پر، منتخب کریں۔ پائپ لائنز نیویگیشن کے نام میں آپ کو کیوب فلو پائپ لائنز کے ذریعہ فراہم کردہ چار مثالیں دیکھیں جو آپ پائپ لائنز کی مختلف خصوصیات کو دریافت کرنے کے لیے براہ راست چلا سکتے ہیں۔
اس پوسٹ کے لیے، ہم XGBoost کا نمونہ استعمال کرتے ہیں جسے [Demo] XGBoost - تکراری ماڈل ٹریننگ کہتے ہیں۔ آپ سورس کوڈ پر تلاش کر سکتے ہیں۔ GitHub کے. یہ ایک سادہ پائپ لائن ہے جو موجودہ استعمال کرتی ہے۔ XGBoost/Train
اور XGBoost/Predict
کیوب فلو پائپ لائن کے اجزاء ایک ماڈل کو دوبارہ تربیت دینے کے لیے جب تک میٹرکس کو مخصوص میٹرکس کی بنیاد پر اچھا نہیں سمجھا جاتا۔
پائپ لائن کو چلانے کے لیے، درج ذیل مراحل کو مکمل کریں:
- پائپ لائن کو منتخب کریں اور منتخب کریں۔ تجربہ بنائیں.
- کے تحت تجرباتی تفصیلاتایک نام درج کریں (اس پوسٹ کے لیے،
demo-blog
) اور اختیاری وضاحت۔ - میں سے انتخاب کریں اگلے.
- کے تحت تفصیلات چلائیں۔اپنی پائپ لائن اور پائپ لائن ورژن کا انتخاب کریں۔
- کے لئے چلائیں نام، ایک نام درج کریں۔
- کے لئے آزما کرآپ نے جو تجربہ بنایا ہے اسے منتخب کریں۔
- کے لئے رن کی قسممنتخب ایک دفعہ.
- میں سے انتخاب کریں آغاز.
پائپ لائن چلنے کے بعد، آپ کو اجزاء مکمل ہوتے ہوئے نظر آنے چاہئیں (چند سیکنڈوں میں)۔ اس مرحلے پر، آپ مزید تفصیلات دیکھنے کے لیے مکمل شدہ اجزاء میں سے کسی کا انتخاب کر سکتے ہیں۔
Amazon S3 میں نمونے تک رسائی حاصل کریں۔
Kubeflow کی تعیناتی کے دوران، ہم نے واضح کیا کہ Kubeflow پائپ لائنز کو Amazon S3 استعمال کرنا چاہیے تاکہ وہ اپنے نمونے کو محفوظ کرے۔ اس میں تمام پائپ لائن آؤٹ پٹ آرٹفیکٹس، کیشڈ رنز، اور پائپ لائن گرافس شامل ہیں— ان سبھی کو پھر بھرپور تصورات اور کارکردگی کی جانچ کے لیے استعمال کیا جا سکتا ہے۔
جب پائپ لائن رن مکمل ہو جائے تو، آپ کو S3 بالٹی میں نمونے دیکھنے کے قابل ہونا چاہیے جو آپ نے انسٹالیشن کے دوران بنایا تھا۔ اس کی تصدیق کرنے کے لیے، پائپ لائن کا کوئی بھی مکمل جزو منتخب کریں اور چیک کریں۔ ان پٹ / آؤٹ پٹ ڈیفالٹ پر سیکشن گراف ٹیب آرٹفیکٹ URLs کو S3 بالٹی کی طرف اشارہ کرنا چاہیے جو آپ نے تعیناتی کے دوران بیان کیا تھا۔
اس بات کی تصدیق کرنے کے لیے کہ وسائل Amazon S3 میں شامل کیے گئے ہیں، ہم Amazon S3 کنسول کے ذریعے اپنے AWS اکاؤنٹ میں S3 بالٹی بھی چیک کر سکتے ہیں۔
درج ذیل اسکرین شاٹ ہماری فائلوں کو دکھاتا ہے۔
ایمیزون آر ڈی ایس میں ایم ایل میٹا ڈیٹا کی تصدیق کریں۔
ہم نے تعیناتی کے دوران Amazon RDS کے ساتھ Kubeflow Pipelines کو بھی ضم کیا، جس کا مطلب ہے کہ کوئی بھی پائپ لائن میٹا ڈیٹا Amazon RDS میں اسٹور کیا جانا چاہیے۔ اس میں رن ٹائم کی کوئی بھی معلومات شامل ہوتی ہے جیسے کسی کام کی حیثیت، نمونے کی دستیابی، رن یا نمونے سے وابستہ حسب ضرورت خصوصیات وغیرہ۔
Amazon RDS انضمام کی تصدیق کرنے کے لیے، میں فراہم کردہ مراحل پر عمل کریں۔ سرکاری README فائل. خاص طور پر، درج ذیل مراحل کو مکمل کریں:
- ایمیزون آر ڈی ایس صارف کا نام اور پاس ورڈ اس راز سے حاصل کریں جو انسٹالیشن کے دوران بنایا گیا تھا:
- کلسٹر کے اندر سے Amazon RDS سے جڑنے کے لیے ان اسناد کا استعمال کریں:
- جب MySQL پرامپٹ کھلتا ہے، تو ہم تصدیق کر سکتے ہیں۔
mlpipelines
مندرجہ ذیل ڈیٹا بیس: - اب ہم مخصوص جدولوں کے مواد کو پڑھ سکتے ہیں، اس بات کو یقینی بنانے کے لیے کہ ہم پائپ لائنوں کو چلانے والے تجربات کے بارے میں میٹا ڈیٹا کی معلومات دیکھ سکتے ہیں:
صاف کرو
Kubeflow کو اَن انسٹال کرنے اور آپ کے بنائے ہوئے AWS وسائل کو حذف کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:
- درج ذیل کمانڈ کو چلا کر اندراج اور اندراج کے زیر انتظام لوڈ بیلنس کو حذف کریں:
- Kubeflow کے باقی اجزاء کو حذف کریں:
- اسکرپٹ کے ذریعہ بنائے گئے AWS وسائل کو حذف کریں:
- Amazon RDS اور Amazon S3 انضمام کے لیے بنائے گئے وسائل۔ یقینی بنائیں کہ آپ کے پاس اسکرپٹ کے ذریعہ تشکیل کردہ کنفیگریشن فائل ہے۔
${kubeflow_manifest_dir}/tests/e2e/utils/rds-s3/metadata.yaml
: - ایمیزون کوگنیٹو انضمام کے لیے بنائے گئے وسائل۔ یقینی بنائیں کہ آپ کے پاس اسکرپٹ کے ذریعہ تشکیل کردہ کنفیگریشن فائل ہے۔
${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
:
- Amazon RDS اور Amazon S3 انضمام کے لیے بنائے گئے وسائل۔ یقینی بنائیں کہ آپ کے پاس اسکرپٹ کے ذریعہ تشکیل کردہ کنفیگریشن فائل ہے۔
- اگر آپ نے eksctl کا استعمال کرتے ہوئے Kubeflow کے لیے ایک وقف شدہ Amazon EKS کلسٹر بنایا ہے، تو آپ اسے درج ذیل کمانڈ سے حذف کر سکتے ہیں۔
خلاصہ
اس پوسٹ میں، ہم نے اس قدر کو اجاگر کیا جو AWS پر Kubeflow محفوظ، توسیع پذیر، اور انٹرپرائز کے لیے تیار AI اور ML ورک بوجھ کے لیے مقامی AWS کے زیر انتظام سروس انٹیگریشنز کے ذریعے فراہم کرتا ہے۔ آپ مختلف خدمات کے انضمام کے ساتھ AWS پر Kubeflow کو انسٹال کرنے کے لیے تعیناتی کے کئی اختیارات میں سے انتخاب کر سکتے ہیں۔ اس پوسٹ میں استعمال کے کیس نے Amazon Cognito، Secrets Manager، Amazon RDS، اور Amazon S3 کے ساتھ Kubeflow کے انضمام کا مظاہرہ کیا۔ AWS پر Kubeflow کے ساتھ شروع کرنے کے لیے، دستیاب AWS- مربوط تعیناتی کے اختیارات دیکھیں AWS پر Kubeflow.
v1.3 سے شروع کرتے ہوئے، آپ اس کی پیروی کر سکتے ہیں۔ AWS لیبز کا ذخیرہ Kubeflow میں AWS کی تمام شراکتوں کو ٹریک کرنے کے لیے۔ آپ ہمیں پر بھی تلاش کر سکتے ہیں۔ Kubeflow #AWS سلیک چینل; وہاں آپ کے تاثرات ہمیں Kubeflow پروجیکٹ میں تعاون کرنے کے لیے اگلی خصوصیات کو ترجیح دینے میں مدد کریں گے۔
مصنفین کے بارے میں
کنولجیت خرمی ایمیزون ویب سروسز میں ایک AI/ML ماہر حل آرکیٹیکٹ ہے۔ وہ AWS پروڈکٹ، انجینئرنگ اور صارفین کے ساتھ رہنمائی اور تکنیکی مدد فراہم کرنے کے لیے کام کرتا ہے تاکہ وہ AWS استعمال کرتے وقت ان کے ہائبرڈ ML سلوشنز کی قدر کو بہتر بنا سکے۔ کنولجیت کنٹینرائزڈ اور مشین لرننگ ایپلی کیشنز کے ساتھ صارفین کی مدد کرنے میں مہارت رکھتا ہے۔
میگھنا بیجل AWS AI کے ساتھ ایک سافٹ ویئر انجینئر ہے جو صارفین کے لیے ML پروڈکٹس اور پلیٹ فارمز جیسے ڈیپ لرننگ کنٹینرز، دی ڈیپ لرننگ AMIs، AWS کنٹرولرز فار Kubernetes (ACK) اور Kubeflow کو AWS پر بنا کر AWS پر اپنے مشین لرننگ ورک بوجھ کو آسان بناتا ہے۔ . کام سے باہر اسے پڑھنے، سفر کرنے اور پینٹنگ میں مزہ آتا ہے۔
سورج کوٹا ایک سافٹ ویئر انجینئر ہے جو مشین لرننگ انفراسٹرکچر میں مہارت رکھتا ہے۔ وہ آسانی سے شروع کرنے کے لیے ٹولز بناتا ہے اور AWS پر مشین لرننگ کے کام کا بوجھ پیمانہ کرتا ہے۔ اس نے AWS ڈیپ لرننگ کنٹینرز، ڈیپ لرننگ AMI، SageMaker آپریٹرز برائے Kubernetes، اور Kubeflow جیسے دیگر اوپن سورس انٹیگریشنز پر کام کیا۔
- "
- 10
- 100
- 420
- 7
- ہمارے بارے میں
- تک رسائی حاصل
- اکاؤنٹ
- عمل
- اضافت
- پتہ
- منتظم
- انتظامیہ
- ملحقہ
- AI
- تمام
- پہلے ہی
- ایمیزون
- ایمیزون ویب سروسز
- ایک اور
- درخواست
- ایپلی کیشنز
- مناسب
- فن تعمیر
- ارد گرد
- ایسوسی ایٹ
- تصدیق شدہ
- توثیق کرتا ہے
- کی توثیق
- اجازت
- خود کار طریقے سے
- آٹومیٹڈ
- خودکار
- دستیابی
- دستیاب
- AWS
- بن
- فوائد
- BEST
- اربوں
- بلاگ
- سرحد
- تعمیر
- عمارت
- بناتا ہے
- تعمیر میں
- صلاحیتوں
- اہلیت
- پرواہ
- مقدمات
- CD
- سرٹیفکیٹ
- سرٹیفکیٹ
- چیلنج
- اس کو دیکھو
- میں سے انتخاب کریں
- دعوے
- طبقے
- کوڈ
- کامن
- مکمل کرنا
- پیچیدہ
- جزو
- کمپیوٹر
- کمپیوٹنگ
- ترتیب
- رابطہ قائم کریں
- رابطہ
- کنسول
- کنٹینر
- پر مشتمل ہے
- مواد
- جاری
- شراکت
- کنٹرول
- کنٹرولر
- کاپی رائٹ
- سکتا ہے
- تخلیق
- بنائی
- پیدا
- تخلیق
- مخلوق
- اسناد
- اہم
- اپنی مرضی کے
- گاہکوں
- ڈیش بورڈ
- اعداد و شمار
- ڈیٹا پروسیسنگ
- ڈیٹا سائنس
- ڈیٹا بیس
- DDoS
- وقف
- ڈیمانڈ
- مظاہرہ
- demonstrated,en
- تعیناتی
- تعینات
- تعینات
- تعیناتی
- تعینات
- تعینات کرتا ہے
- ڈیزائن
- تفصیل
- تفصیلات
- ترقی
- اس Dex
- مختلف
- براہ راست
- براہ راست
- بات چیت
- تقسیم کئے
- تقسیم
- DNS
- نہیں کرتا
- ڈومین
- آسانی سے
- استعمال میں آسان
- یاد آتی ہے
- ای میل
- کو چالو کرنے کے
- خفیہ کاری
- اختتام پوائنٹ
- انجینئر
- انجنیئرنگ
- درج
- انٹرپرائز
- ماحولیات
- تشخیص
- واقعہ
- مثال کے طور پر
- موجودہ
- تجربہ
- تجربہ
- تلاش
- فیس بک
- ناکامی
- خصوصیات
- آراء
- مالی
- پہلا
- فٹ
- بہاؤ
- توجہ مرکوز
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- فارمیٹ
- ملا
- تازہ
- حاصل کرنے
- جاؤ
- GitHub کے
- اچھا
- گوگل
- بڑھائیں
- بڑھتے ہوئے
- مدد
- مدد
- مدد کرتا ہے
- یہاں
- ہائی
- اعلی
- روشنی ڈالی گئی
- انتہائی
- ہوسٹنگ
- HTTPS
- ہائبرڈ
- شناختی
- اثر
- پر عملدرآمد
- کو بہتر بنانے کے
- انکارپوریٹڈ
- شامل ہیں
- سمیت
- اضافہ
- انفرادی
- صنعت کے معروف
- معلومات
- معلومات
- انفراسٹرکچر
- انسٹال
- ضم
- انضمام
- انضمام
- سرمایہ کاری
- تنہائی
- مسائل
- IT
- خود
- نوکریاں
- رکھتے ہوئے
- کلیدی
- لیبز
- زبان
- بڑے
- شروع
- سیکھنے
- اٹھانے
- لائن
- لوڈ
- مقامی
- مشین
- مشین لرننگ
- برقرار رکھنے کے
- بناتا ہے
- بنانا
- انتظام
- میں کامیاب
- انتظام
- مینیجر
- پیمائش کا معیار
- لاکھوں
- ML
- ماڈل
- ماڈل
- نگرانی
- زیادہ
- سب سے زیادہ
- نام
- قدرتی
- سمت شناسی
- خالص
- نیٹ ورک
- نوڈس
- نوٹ بک
- تعداد
- تجویز
- کھول
- اوپن سورس
- کھولتا ہے
- آپریٹرز
- اصلاح
- اختیار
- آپشنز کے بھی
- دیگر
- خود
- پاس ورڈ
- کارکردگی
- پلیٹ فارم
- پلیٹ فارم
- پوائنٹ
- پالیسیاں
- پول
- حال (-)
- ترجیح
- پروسیسنگ
- مصنوعات
- حاصل
- پروگرامنگ
- منصوبے
- حفاظت
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- عوامی
- جلدی سے
- تک پہنچنے
- پڑھنا
- وجوہات
- ریکارڈ
- رجسٹرڈ
- جاری
- درخواست
- ضرورت
- ضروریات
- وسائل
- وسائل
- جواب
- باقی
- روٹ
- رن
- چل رہا ہے
- اسکیل ایبلٹی
- توسیع پذیر
- پیمانے
- سکیلنگ
- سائنس
- sdk
- SEC
- سیکنڈ
- محفوظ بنانے
- سیکورٹی
- بے سرور
- سروس
- سروسز
- مقرر
- سیٹ اپ
- حصص
- نشانیاں
- سادہ
- سائز
- سست
- سو
- So
- سماجی
- سافٹ ویئر کی
- سافٹ ویئر انجنیئر
- ٹھوس
- حل
- حل
- کچھ
- کچھ
- ماخذ کوڈ
- ماہر
- خصوصی
- مہارت دیتا ہے
- خاص طور پر
- اسٹیج
- شروع کریں
- شروع
- شروع ہوتا ہے
- حالت
- درجہ
- ذخیرہ
- ذخیرہ
- کامیابی کے ساتھ
- حمایت
- کی حمایت کرتا ہے
- کے نظام
- سسٹمز
- کاموں
- ٹیکنیکل
- ماخذ
- کے ذریعے
- وقت
- ٹوکن
- کے آلے
- اوزار
- سب سے اوپر
- ٹریک
- ٹریفک
- ٹریننگ
- منتقل
- ترجمہ
- نقل و حمل
- سفر
- ui
- اپ ڈیٹ کریں
- تازہ ترین معلومات
- us
- استعمال کی شرائط
- صارفین
- توثیقی
- قیمت
- مختلف اقسام کے
- مختلف
- اس بات کی تصدیق
- نقطہ نظر
- حجم
- ویب
- ویب خدمات
- ڈبلیو
- کے اندر
- بغیر
- کام
- کام کیا
- کام کر
- کام کرتا ہے