ایمیزون سیج میکر گراؤنڈ ٹروتھ پلس کے ساتھ نئے بلٹ ان انٹرفیس استعمال کرکے پروڈکشن گریڈ ڈیٹا کو تیزی سے حاصل کریں۔

AWS re:Invent 2021 پر لانچ کیا گیا، ایمیزون سیج میکر گراؤنڈ ٹروتھ پلس ڈیٹا لیبلنگ ایپلی کیشنز بنانے اور لیبلنگ ورک فورس کا انتظام کرنے سے وابستہ غیر متفاوت بھاری لفٹنگ کو ہٹا کر آپ کو اعلیٰ معیار کے تربیتی ڈیٹا سیٹس بنانے میں مدد کرتا ہے۔ آپ صرف لیبلنگ کی ضروریات کے ساتھ ڈیٹا کا اشتراک کرنا کرتے ہیں، اور گراؤنڈ ٹروتھ پلس ان تقاضوں کی بنیاد پر آپ کے ڈیٹا لیبلنگ ورک فلو کو ترتیب دیتا ہے اور اس کا انتظام کرتا ہے۔ وہاں سے، ایک ماہر افرادی قوت جو مختلف قسم کے مشین لرننگ (ML) کاموں پر تربیت یافتہ ہے آپ کے ڈیٹا کو لیبل کرتی ہے۔ گراؤنڈ ٹروتھ پلس استعمال کرنے کے لیے آپ کو گہری ایم ایل مہارت یا ورک فلو ڈیزائن اور کوالٹی مینجمنٹ کے علم کی بھی ضرورت نہیں ہے۔

آج، ہم گراؤنڈ ٹروتھ پلس پر نئے بلٹ ان انٹرفیس کے آغاز کا اعلان کرتے ہوئے پرجوش ہیں۔ اس نئی صلاحیت کے ساتھ، متعدد گراؤنڈ ٹروتھ پلس صارفین اب ایک نیا بنا سکتے ہیں۔ منصوبے اور بیچ، ڈیٹا کا اشتراک کریں، اور سیلف سرو انٹرفیس کے ذریعے اسی AWS اکاؤنٹ کا استعمال کرتے ہوئے ڈیٹا وصول کریں۔ یہ آپ کو پروجیکٹ کے سیٹ اپ ٹائم کو کم کرکے اعلیٰ معیار کے تربیتی ڈیٹاسیٹس کی ترقی کو تیز کرنے کے قابل بناتا ہے۔ مزید برآں، آپ اسکوپ کرکے اپنے ڈیٹا تک عمدہ رسائی کو کنٹرول کرسکتے ہیں۔ AWS شناخت اور رسائی کا انتظام (IAM) آپ کی انفرادی سطح سے ملنے کے لیے کردار کی اجازت ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) تک رسائی، اور آپ کے پاس ہمیشہ مخصوص بالٹی تک رسائی کو منسوخ کرنے کا اختیار ہوتا ہے۔

اب تک، آپ کو نیا ڈیٹا لیبلنگ بنانے کے لیے اپنے گراؤنڈ ٹروتھ پلس آپریشنز پروگرام مینیجر (OPM) سے رابطہ کرنا پڑتا تھا۔ منصوبوں اور بیچوں. اس عمل میں کچھ پابندیاں تھیں کیونکہ اس نے صرف ایک صارف کو نئے پروجیکٹ اور بیچ کی درخواست کرنے کی اجازت دی تھی — اگر تنظیم کے اندر متعدد صارفین ایک ہی AWS اکاؤنٹ استعمال کر رہے تھے، تو صرف ایک صارف گراؤنڈ ٹروتھ پلس کا استعمال کرتے ہوئے نئے ڈیٹا لیبلنگ پروجیکٹ اور بیچ کی درخواست کر سکتا ہے۔ تسلی. مزید برآں، اس عمل نے متعدد دستی ٹچ پوائنٹس اور مسائل کی صورت میں درکار ٹربل شوٹنگ کی وجہ سے لیبلنگ کے عمل کو شروع کرنے میں مصنوعی تاخیر پیدا کی۔ علیحدہ طور پر، تمام پروجیکٹس نے ڈیٹا تک رسائی کے لیے ایک ہی IAM کردار کا استعمال کیا۔ اس لیے، ایسے پروجیکٹس اور بیچز کو چلانے کے لیے جن کے لیے مختلف ڈیٹا ذرائع جیسے مختلف Amazon S3 بکٹس تک رسائی کی ضرورت ہوتی ہے، آپ کو اپنے اکاؤنٹ کی مخصوص S3 پالیسیاں فراہم کرنے کے لیے اپنے Ground Truth Plus OPM پر انحصار کرنا پڑتا تھا، جو آپ کو اپنی S3 بالٹیوں پر دستی طور پر لاگو کرنا پڑتی تھیں۔ یہ پورا آپریشن دستی طور پر شدید تھا جس کے نتیجے میں آپریشنل اوور ہیڈز تھے۔

یہ پوسٹ آپ کو لیبلنگ کے عمل کو مؤثر طریقے سے کِک سٹارٹ کرنے کے لیے نئے سیلف سرو انٹرفیس کا استعمال کرتے ہوئے ایک نیا پروجیکٹ اور بیچ بنانے، ڈیٹا شیئر کرنے، اور ڈیٹا حاصل کرنے کے لیے اقدامات کے ذریعے لے جاتی ہے۔ یہ پوسٹ فرض کرتی ہے کہ آپ گراؤنڈ ٹروتھ پلس سے واقف ہیں۔ مزید معلومات کے لیے دیکھیں ایمیزون سیج میکر گراؤنڈ ٹروتھ پلس - کوڈ یا اندرون ملک وسائل کے بغیر ٹریننگ ڈیٹا سیٹس بنائیں.

حل جائزہ

ہم یہ ظاہر کرتے ہیں کہ درج ذیل کام کیسے کریں:

• موجودہ منصوبوں کو اپ ڈیٹ کریں۔
• ایک نئے منصوبے کی درخواست کریں۔
• ایک پروجیکٹ ٹیم قائم کریں۔
• ایک بیچ بنائیں

شرائط

شروع کرنے سے پہلے، یقینی بنائیں کہ آپ کے پاس درج ذیل شرائط ہیں:

• An AWS اکاؤنٹ
• IAM کردار بنانے کے لیے رسائی کے ساتھ ایک IAM صارف
• ۔ ایمیزون S3 URI اس بالٹی کی جہاں آپ کی لیبلنگ اشیاء محفوظ ہیں۔

موجودہ منصوبوں کو اپ ڈیٹ کریں۔

اگر آپ کے پاس اس پوسٹ میں بیان کردہ نئی خصوصیات کے لانچ (9 دسمبر 2022) سے پہلے گراؤنڈ ٹروتھ پلس پروجیکٹ ہے، تو آپ کو IAM رول بنانے اور اس کا اشتراک کرنے کی ضرورت ہے تاکہ آپ ان خصوصیات کو اپنے موجودہ گراؤنڈ ٹروتھ پلس پروجیکٹ کے ساتھ استعمال کرسکیں۔ . اگر آپ گراؤنڈ ٹروتھ پلس کے نئے صارف ہیں، تو آپ اس سیکشن کو چھوڑ سکتے ہیں۔

IAM کردار بنانے کے لیے، درج ذیل مراحل کو مکمل کریں:

1. IAM کنسول پر، منتخب کریں۔ کردار بنائیں.
2. منتخب کریں اپنی مرضی کے اعتماد کی پالیسی.
3. کردار کے لیے درج ذیل اعتماد کے رشتے کی وضاحت کریں:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. میں سے انتخاب کریں اگلے.
5. میں سے انتخاب کریں پالیسی بنائیں.
6. JSON ٹیب پر، درج ذیل پالیسی کی وضاحت کریں۔ ہر بالٹی کے لیے دو اندراجات بتا کر ریسورس پراپرٹی کو اپ ڈیٹ کریں: ایک صرف بالٹی ARN کے ساتھ، اور دوسری بالٹی ARN کے ساتھ /*. مثال کے طور پر، تبدیل کریں ساتھ arn:aws:s3:::my-bucket/myprefix/ اور /* ساتھ arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. میں سے انتخاب کریں اگلا: ٹیگز اور اگلا: جائزہ لیں.
8. پالیسی کا نام اور اختیاری تفصیل درج کریں۔
9. میں سے انتخاب کریں پالیسی بنائیں.
10. اس ٹیب کو بند کریں اور اپنا کردار بنانے کے لیے پچھلے ٹیب پر واپس جائیں۔

اجازتیں شامل کریں ٹیب پر، آپ کو اپنی بنائی ہوئی نئی پالیسی نظر آنی چاہیے (اگر آپ اسے نہیں دیکھتے ہیں تو صفحہ کو ریفریش کریں)۔

11. نئی بنائی گئی پالیسی کو منتخب کریں اور منتخب کریں۔ اگلے.
12. ایک نام درج کریں (مثال کے طور پر، GTPlusExecutionRole) اور اختیاری طور پر کردار کی وضاحت۔
13. میں سے انتخاب کریں کردار بنائیں.
14. اپنے گراؤنڈ ٹروتھ پلس OPM کو ARN کا کردار فراہم کریں، جو اس کے بعد آپ کے موجودہ پروجیکٹ کو اس نئے بنائے گئے کردار کے ساتھ اپ ڈیٹ کرے گا۔

ایک نئے منصوبے کی درخواست کریں۔

نئے پروجیکٹ کی درخواست کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:

1. پر گراؤنڈ ٹروتھ پلس کنسول، پر جائیں منصوبوں کی تفصیل سیکشن پر ایک اقتصادی کینڈر سکین کر لیں۔

یہ وہ جگہ ہے جہاں آپ کے تمام پروجیکٹ درج ہیں۔

2. میں سے انتخاب کریں پروجیکٹ کی درخواست کریں۔.

۔ پروجیکٹ کی درخواست کریں۔ صفحہ آپ کے لیے تفصیلات فراہم کرنے کا موقع ہے جس سے ہمیں ابتدائی مشاورتی کال کا شیڈول بنانے اور آپ کے پروجیکٹ کو ترتیب دینے میں مدد ملے گی۔

3. پروجیکٹ کا نام اور تفصیل جیسی عمومی معلومات کی وضاحت کرنے کے علاوہ، آپ کو پروجیکٹ کی ٹاسک کی قسم اور یہ بھی بتانا چاہیے کہ آیا اس میں ذاتی طور پر قابل شناخت معلومات (PII) شامل ہیں۔

آپ کے ڈیٹا کو لیبل کرنے کے لیے، گراؤنڈ ٹروتھ پلس کو S3 بالٹی میں آپ کے خام ڈیٹا تک عارضی رسائی کی ضرورت ہے۔ جب لیبلنگ کا عمل مکمل ہو جاتا ہے، گراؤنڈ ٹروتھ پلس لیبلنگ آؤٹ پٹ کو واپس آپ کے S3 بالٹی میں فراہم کرتا ہے۔ یہ ایک IAM کردار کے ذریعے کیا جاتا ہے۔ آپ یا تو ایک نیا کردار بنا سکتے ہیں، یا آپ نیا کردار بنانے کے لیے IAM کنسول پر جا سکتے ہیں (ہدایات کے لیے پچھلے حصے کو دیکھیں)۔

4. اگر آپ کردار بنانے کا انتخاب کرتے ہیں، تو منتخب کریں۔ اپنی مرضی کے مطابق IAM رول ARN درج کریں۔ اور اپنا IAM رول ARN درج کریں، جو کہ کی شکل میں ہے۔ arn:aws:iam:::role/.
5. بلٹ ان ٹول استعمال کرنے کے لیے، نیچے ڈراپ ڈاؤن مینو پر آئی اے ایم کا کردارمنتخب کریں ایک نیا کردار بنائیں.
6. اپنے لیبلنگ ڈیٹا کی بالٹی کی جگہ کی وضاحت کریں۔ اگر آپ کو اپنے لیبلنگ ڈیٹا کا مقام معلوم نہیں ہے یا اگر آپ کے پاس کوئی لیبلنگ ڈیٹا اپ لوڈ نہیں ہے، تو منتخب کریں کوئی بھی S3 بالٹی، جو گراؤنڈ ٹروتھ پلس کو آپ کے اکاؤنٹ کی تمام بالٹی تک رسائی دے گا۔
7. میں سے انتخاب کریں تخلیق کریں کردار بنانے کے لیے۔

آپ کا IAM کردار گراؤنڈ ٹروتھ پلس کی اجازت دے گا، جس کی شناخت کی گئی ہے۔ sagemaker-ground-truth-plus.amazonaws.com کردار میں اعتماد کی پالیسی، اپنی S3 بالٹیوں پر درج ذیل اعمال کو چلانے کے لیے:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. میں سے انتخاب کریں پروجیکٹ کی درخواست کریں۔ درخواست کو مکمل کرنے کے لیے۔

گراؤنڈ ٹروتھ پلس او پی ایم آپ کے ڈیٹا لیبلنگ پروجیکٹ کی ضروریات اور قیمتوں کے بارے میں بات کرنے کے لیے آپ کے ساتھ ایک ابتدائی مشاورتی کال طے کرے گا۔

ایک پروجیکٹ ٹیم قائم کریں۔

ایک پروجیکٹ کی درخواست کرنے کے بعد، آپ کو اپنے پروجیکٹ پورٹل میں لاگ ان کرنے کے لیے ایک پروجیکٹ ٹیم بنانا ہوگی۔ پروجیکٹ ٹیم آپ کی تنظیم یا ٹیم کے اراکین کو پروجیکٹس کو ٹریک کرنے، میٹرکس دیکھنے اور لیبلز کا جائزہ لینے کے لیے رسائی فراہم کرتی ہے۔ آپ اختیار استعمال کر سکتے ہیں۔ ای میل کے ذریعے نئے اراکین کو مدعو کریں۔ or موجودہ سے ممبران درآمد کریں۔ ایمیزون کاگنیٹو صارف گروپس. اس پوسٹ میں، ہم دکھاتے ہیں کہ موجودہ سے ممبران کو کیسے درآمد کیا جائے۔ ایمیزون کاگنیٹو آپ کے پروجیکٹ ٹیم میں صارفین کو شامل کرنے کے لیے صارف گروپس۔

1. پر گراؤنڈ ٹروتھ پلس کنسول، پر جائیں منصوبے کی جماعت سیکشن پر ایک اقتصادی کینڈر سکین کر لیں۔
2. میں سے انتخاب کریں پروجیکٹ ٹیم بنائیں۔
3. میں سے انتخاب کریں موجودہ ایمیزون کوگنیٹو صارف گروپس سے ممبران درآمد کریں۔
4. ایک Amazon Cognito صارف پول کا انتخاب کریں۔

یوزر پولز کو ایک ڈومین اور ایک موجودہ صارف گروپ کی ضرورت ہوتی ہے۔

5. ایک ایپ کلائنٹ کا انتخاب کریں۔

ہم کی طرف سے پیدا ایک کلائنٹ کا استعمال کرنے کی سفارش ایمیزون سیج میکر.

6. اراکین کو درآمد کرنے کے لیے اپنے پول سے صارف گروپ کا انتخاب کریں۔
7. میں سے انتخاب کریں پروجیکٹ ٹیم بنائیں.
   

آپ منتخب کرکے پراجیکٹ ٹیم بنانے کے بعد ٹیم کے مزید ارکان شامل کرسکتے ہیں۔ نئے اراکین کو مدعو کریں۔ پر اراکین گراؤنڈ ٹروتھ پلس کنسول کا صفحہ۔

ایک بیچ بنائیں

پروجیکٹ کی درخواست کامیابی کے ساتھ جمع کرانے اور پروجیکٹ ٹیم بنانے کے بعد، آپ گراؤنڈ ٹروتھ پلس پروجیکٹ پورٹل پر کلک کرکے رسائی حاصل کرسکتے ہیں۔ پروجیکٹ پورٹل کھولیں۔ گراؤنڈ ٹروتھ پلس کنسول پر۔

آپ پروجیکٹ کے لیے بیچز بنانے کے لیے پروجیکٹ پورٹل کا استعمال کر سکتے ہیں، لیکن صرف اس کے بعد جب پروجیکٹ کی حیثیت تبدیل ہو جائے۔ Request approved.

1. پروجیکٹ کا نام منتخب کرکے پروجیکٹ کی تفصیلات اور بیچز دیکھیں۔
   پروجیکٹ کے نام کے ساتھ ایک صفحہ کھلتا ہے۔
2. میں بیچز سیکشن کا انتخاب کریں، بیچ بنائیں.
   
3. بیچ کا نام اور اختیاری تفصیل درج کریں۔
4. ان پٹ اور آؤٹ پٹ ڈیٹاسیٹس کے S3 مقامات درج کریں۔

اس بات کو یقینی بنانے کے لیے کہ بیچ کو کامیابی سے بنایا گیا ہے، آپ کو درج ذیل ضروریات کو پورا کرنا ہوگا:

4. • S3 بالٹی اور سابقہ ​​موجود ہونا چاہیے، اور فائلوں کی کل تعداد 0 سے زیادہ ہونی چاہیے۔
   • اشیاء کی کل تعداد 10,000 سے کم ہونی چاہیے۔
   • ہر چیز کا سائز 2 جی بی سے کم ہونا چاہیے۔
   • تمام اشیاء کا کل سائز 100 GB سے کم ہے۔
   • پروجیکٹ بنانے کے لیے فراہم کردہ IAM رول میں ان پٹ بالٹی، آؤٹ پٹ بالٹی، اور S3 فائلوں تک رسائی کی اجازت ہوتی ہے جو بیچ بنانے کے لیے استعمال ہوتی ہیں۔
   • ان پٹ ڈیٹاسیٹس کے لیے فراہم کردہ S3 مقام کے تحت فائلوں کو انکرپٹ نہیں کیا جانا چاہیے۔ AWS کلیدی انتظام کی خدمت (AWS KMS)
5. میں سے انتخاب کریں جمع کرائیں.

آپ کے بیچ کی حیثیت بطور ظاہر ہوگی۔ Request submitted. گراؤنڈ ٹروتھ پلس کو آپ کے ڈیٹا تک عارضی رسائی حاصل کرنے کے بعد، AWS ماہرین ڈیٹا لیبلنگ ورک فلوز ترتیب دیں گے اور انہیں آپ کی جانب سے آپریٹ کریں گے، جو بیچ کی حیثیت کو تبدیل کر دے گا۔ In-progress. جب لیبلنگ مکمل ہو جاتی ہے، بیچ کی حیثیت سے بدل جاتی ہے۔ In-progress کرنے کے لئے Ready for review. اگر آپ لیبل وصول کرنے سے پہلے اپنے لیبلز کا جائزہ لینا چاہتے ہیں تو منتخب کریں۔ بیچ کا جائزہ لیں۔ وہاں سے، آپ کے پاس انتخاب کرنے کا اختیار ہے۔ بیچ قبول کریں۔ اپنے لیبل شدہ ڈیٹا کو حاصل کرنے کے لیے۔

نتیجہ

اس پوسٹ نے آپ کو دکھایا کہ کس طرح متعدد گراؤنڈ ٹروتھ پلس صارفین اب ایک نیا پروجیکٹ بنا سکتے ہیں اور نئے سیلف سرو انٹرفیس کے ذریعے اسی AWS اکاؤنٹ کا استعمال کرتے ہوئے ڈیٹا بیچ سکتے ہیں، ڈیٹا کا اشتراک کر سکتے ہیں اور ڈیٹا وصول کر سکتے ہیں۔ یہ نئی صلاحیت آپ کو اپنے لیبلنگ پروجیکٹس کو تیزی سے کِک اسٹارٹ کرنے کی اجازت دیتی ہے اور آپریشنل اوور ہیڈ کو کم کرتی ہے۔ ہم نے یہ بھی دکھایا کہ آپ کس طرح اپنی انفرادی سطح تک رسائی کے لیے اپنی IAM کردار کی اجازتوں کو اسکوپ کرکے ڈیٹا تک عمدہ رسائی کو کنٹرول کرسکتے ہیں۔

ہم آپ کو اس نئی فعالیت کو آزمانے کی ترغیب دیتے ہیں، اور اس سے جڑیں۔ مشین لرننگ اور اے آئی کمیونٹی اگر آپ کے پاس کوئی سوال یا رائے ہے!

مصنفین کے بارے میں

منیش گوئل Amazon SageMaker Ground Truth Plus کے پروڈکٹ مینیجر ہیں۔ اس کی توجہ ایسی مصنوعات بنانے پر ہے جو صارفین کے لیے مشین لرننگ کو اپنانا آسان بناتی ہیں۔ اپنے فارغ وقت میں، وہ سڑک کے سفر اور کتابیں پڑھنے سے لطف اندوز ہوتے ہیں۔

کارتک گندوری Amazon AWS میں سافٹ ویئر ڈویلپمنٹ انجینئر ہے، جہاں وہ صارفین کے لیے ML ٹولز بنانے اور اندرونی حل پر کام کرتا ہے۔ کام سے باہر، وہ تصویریں کلک کرنے سے لطف اندوز ہوتا ہے۔  

زولنگ بائی Amazon AWS میں سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ وہ مشین لرننگ کے مسائل کو حل کرنے کے لیے بڑے پیمانے پر تقسیم شدہ نظام تیار کرنے پر کام کرتی ہے۔

عاطف بارنسی Amazon AWS میں فرنٹ اینڈ انجینئر ہے۔ وہ صنعت کی سب سے جدید ترین AI ایپلی کیشنز کو پروان چڑھانے اور بڑھانے کے لیے تیز، قابل بھروسہ، اور اچھی طرح سے تجربہ شدہ سافٹ ویئر لکھتا ہے۔

محمد عدنان AWS میں AI اور ML کے سینئر انجینئر ہیں۔ وہ بہت سے AWS سروس کے آغاز کا حصہ تھا، خاص طور پر Amazon Lookout for Metrics اور AWS Panorama۔ فی الحال، وہ AWS ہیومن ان دی لوپ پیشکش (AWS SageMaker's Ground Truth, Ground Truth Plus اور Augmented AI) پر توجہ مرکوز کر رہا ہے۔ وہ کلین کوڈ کے وکیل اور سرور سے کم اور واقعہ سے چلنے والے فن تعمیر کے موضوع کے ماہر ہیں۔ آپ اسے LinkedIn، mohammad-adnan-6a99a829 پر فالو کر سکتے ہیں۔