با استفاده از رابط های داخلی جدید با Amazon SageMaker Ground Truth Plus سریعتر به داده های درجه تولید برسید

در AWS re:Invent 2021 راه اندازی شد، Amazon SageMaker Ground Truth Plus به شما کمک می‌کند تا مجموعه داده‌های آموزشی با کیفیت بالا را با حذف کارهای سنگین غیرمتمایز مرتبط با ساخت برنامه‌های برچسب‌گذاری داده و مدیریت نیروی کار برچسب‌گذاری ایجاد کنید. تنها کاری که انجام می دهید این است که داده ها را همراه با الزامات برچسب گذاری به اشتراک بگذارید، و Ground Truth Plus گردش کار برچسب گذاری داده های شما را بر اساس این الزامات تنظیم و مدیریت می کند. از آنجا، یک نیروی کار متخصص که در زمینه انواع وظایف یادگیری ماشینی (ML) آموزش دیده اند، داده های شما را برچسب گذاری می کنند. برای استفاده از Ground Truth Plus حتی به تخصص عمیق ML یا دانش طراحی گردش کار و مدیریت کیفیت نیاز ندارید.

امروز، ما هیجان زده هستیم که راه اندازی رابط های داخلی جدید در Ground Truth Plus را اعلام کنیم. با این قابلیت جدید، چندین کاربر Ground Truth Plus اکنون می توانند یک جدید ایجاد کنند پروژه و دسته، داده ها را به اشتراک بگذارید و داده ها را با استفاده از همان حساب AWS از طریق رابط های خود سرویس دریافت کنید. این به شما امکان می دهد با کاهش زمان راه اندازی پروژه، توسعه مجموعه داده های آموزشی با کیفیت بالا را تسریع کنید. به‌علاوه، می‌توانید دسترسی دقیق به داده‌های خود را با محدوده‌بندی خود کنترل کنید هویت AWS و مدیریت دسترسی (IAM) مجوزهای نقش برای مطابقت با سطح فردی شما سرویس ذخیره سازی ساده آمازون (Amazon S3) دسترسی داشته باشید و همیشه این گزینه را دارید که دسترسی به سطل های خاصی را لغو کنید.

تا به حال، برای ایجاد برچسب‌گذاری داده‌های جدید باید با مدیر برنامه عملیات Ground Truth Plus خود (OPM) تماس می‌گرفتید. پروژه ها و دسته. این فرآیند دارای محدودیت‌هایی بود زیرا تنها به یک کاربر اجازه می‌داد پروژه و دسته جدیدی را درخواست کند—اگر چندین کاربر در سازمان از یک حساب AWS استفاده می‌کردند، آنگاه فقط یک کاربر می‌توانست با استفاده از Ground Truth Plus پروژه برچسب‌گذاری داده جدید و دسته‌ای را درخواست کند. کنسول. علاوه بر این، این فرآیند به دلیل چندین نقطه لمس دستی و عیب‌یابی مورد نیاز در صورت بروز مشکلات، تاخیرهای مصنوعی در شروع فرآیند برچسب‌گذاری ایجاد کرد. به طور جداگانه، همه پروژه ها از نقش IAM یکسان برای دسترسی به داده ها استفاده می کردند. بنابراین، برای اجرای پروژه‌ها و دسته‌هایی که نیاز به دسترسی به منابع داده مختلف مانند سطل‌های مختلف آمازون S3 دارند، باید به Ground Truth Plus OPM خود برای ارائه خط‌مشی‌های خاص S3 حساب خود تکیه می‌کردید، که باید به صورت دستی در سطل‌های S3 خود اعمال می‌کردید. کل این عملیات به صورت دستی فشرده بود که منجر به سربار عملیاتی شد.

این پست شما را در مراحل ایجاد یک پروژه جدید و دسته‌بندی، اشتراک‌گذاری داده‌ها و دریافت داده‌ها با استفاده از رابط‌های جدید خود سرویس برای شروع کارآمد فرآیند برچسب‌گذاری راهنمایی می‌کند. در این پست فرض بر این است که شما با Ground Truth Plus آشنا هستید. برای اطلاعات بیشتر ببین Amazon SageMaker Ground Truth Plus – ایجاد مجموعه داده های آموزشی بدون کد یا منابع داخلی.

بررسی اجمالی راه حل

ما نحوه انجام کارهای زیر را نشان می دهیم:

• به روز رسانی پروژه های موجود
• درخواست پروژه جدید
• یک تیم پروژه راه اندازی کنید
• یک دسته ایجاد کنید

پیش نیازها

قبل از شروع، مطمئن شوید که پیش نیازهای زیر را دارید:

• An حساب AWS
• یک کاربر IAM با دسترسی به ایجاد نقش های IAM
• La آمازون S3 URI از سطلی که اشیاء برچسب‌گذاری شما در آن ذخیره می‌شوند

به روز رسانی پروژه های موجود

اگر یک پروژه Ground Truth Plus قبل از راه اندازی (9 دسامبر 2022) ویژگی های جدید توضیح داده شده در این پست دارید، باید یک نقش IAM ایجاد و به اشتراک بگذارید تا بتوانید از این ویژگی ها با پروژه Ground Truth Plus موجود خود استفاده کنید. . اگر کاربر جدید Ground Truth Plus هستید، می توانید از این بخش صرف نظر کنید.

برای ایجاد نقش IAM، مراحل زیر را انجام دهید:

1. در کنسول IAM، را انتخاب کنید نقش ایجاد کنید.
2. انتخاب کنید خط مشی اعتماد سفارشی.
3. رابطه اعتماد زیر را برای نقش مشخص کنید:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. را انتخاب کنید بعدی.
5. را انتخاب کنید ایجاد خط مشی.
6. در تب JSON، خط مشی زیر را مشخص کنید. با مشخص کردن دو ورودی برای هر سطل، ویژگی Resource را به روز کنید: یکی با سطل ARN و دیگری با سطل ARN و به دنبال آن /*. به عنوان مثال جایگزین کنید با arn:aws:s3:::my-bucket/myprefix/ و /* با arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. را انتخاب کنید بعدی: برچسب ها و بعدی: مرور کنید.
8. نام خط مشی و توضیحات اختیاری را وارد کنید.
9. را انتخاب کنید ایجاد خط مشی.
10. این تب را ببندید و به تب قبلی برگردید تا نقش خود را ایجاد کنید.

در برگه افزودن مجوزها، باید خط مشی جدیدی را که ایجاد کرده اید مشاهده کنید (اگر آن را نمی بینید، صفحه را بازخوانی کنید).

11. خط مشی جدید ایجاد شده را انتخاب کرده و انتخاب کنید بعدی.
12. یک نام وارد کنید (به عنوان مثال، GTPlusExecutionRole) و به صورت اختیاری شرح نقش.
13. را انتخاب کنید نقش ایجاد کنید.
14. نقش ARN را به Ground Truth Plus OPM خود ارائه دهید، که سپس پروژه موجود شما را با این نقش تازه ایجاد شده به روز می کند.

درخواست پروژه جدید

برای درخواست پروژه جدید مراحل زیر را انجام دهید:

1. بر کنسول Ground Truth Plus، به مسیر پروژه ها بخش.

اینجا جایی است که تمام پروژه های شما لیست می شوند.

2. را انتخاب کنید درخواست پروژه.

La درخواست پروژه صفحه فرصت شما برای ارائه جزئیاتی است که به ما در برنامه ریزی تماس اولیه مشاوره و راه اندازی پروژه شما کمک می کند.

3. علاوه بر مشخص کردن اطلاعات عمومی مانند نام و توضیحات پروژه، باید نوع کار پروژه و اینکه آیا اطلاعات شخصی قابل شناسایی (PII) در آن وجود دارد را مشخص کنید.

برای برچسب گذاری داده های خود، Ground Truth Plus نیاز به دسترسی موقت به داده های خام شما در یک سطل S3 دارد. هنگامی که فرآیند برچسب‌گذاری کامل شد، Ground Truth Plus خروجی برچسب‌گذاری را به سطل S3 شما برمی‌گرداند. این کار از طریق نقش IAM انجام می شود. می توانید یک نقش جدید ایجاد کنید یا می توانید برای ایجاد یک نقش جدید به کنسول IAM بروید (برای دستورالعمل ها به بخش قبلی مراجعه کنید).

4. اگر تصمیم به ایجاد نقش دارید، انتخاب کنید نقش ARN سفارشی IAM را وارد کنید و نقش IAM خود را ARN که در قالب است وارد کنید arn:aws:iam:::role/.
5. برای استفاده از ابزار داخلی، در منوی کشویی زیر نقش IAM، انتخاب کنید یک نقش جدید ایجاد کنید.
6. محل سطل داده های برچسب گذاری خود را مشخص کنید. اگر مکان داده‌های برچسب‌گذاری خود را نمی‌دانید یا اگر داده‌های برچسب‌گذاری بارگذاری نشده‌اید، را انتخاب کنید هر سطل S3، که به Ground Truth Plus امکان دسترسی به تمام سطل های حساب شما را می دهد.
7. را انتخاب کنید ساختن برای خلق نقش

نقش IAM شما اجازه می دهد تا Ground Truth Plus، شناسایی شده به عنوان sagemaker-ground-truth-plus.amazonaws.com در نقش سیاست اعتماد، برای اجرای اقدامات زیر در سطل های S3 خود:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. را انتخاب کنید درخواست پروژه برای تکمیل درخواست

یک Ground Truth Plus OPM یک تماس مشاوره اولیه با شما برنامه ریزی می کند تا در مورد الزامات پروژه برچسب گذاری داده ها و قیمت گذاری صحبت کنید.

یک تیم پروژه راه اندازی کنید

پس از درخواست پروژه، باید یک تیم پروژه ایجاد کنید تا به پورتال پروژه خود وارد شوید. یک تیم پروژه دسترسی به اعضای سازمان یا تیم شما را برای ردیابی پروژه ها، مشاهده معیارها و بررسی برچسب ها فراهم می کند. می توانید از گزینه استفاده کنید از طریق ایمیل اعضای جدید را دعوت کنید or اعضای موجود را وارد کنید Cognito آمازون گروه های کاربری. در این پست نحوه وارد کردن اعضا از موجود را نشان می دهیم Cognito آمازون گروه های کاربری برای اضافه کردن کاربران به تیم پروژه خود.

1. بر کنسول Ground Truth Plus، به مسیر تیم پروژه بخش.
2. را انتخاب کنید ایجاد تیم پروژه
3. را انتخاب کنید اعضا را از گروه های کاربری موجود آمازون Cognito وارد کنید.
4. یک مجموعه کاربری آمازون Cognito را انتخاب کنید.

مجموعه های کاربر به یک دامنه و یک گروه کاربری موجود نیاز دارند.

5. یک کلاینت برنامه را انتخاب کنید.

توصیه می کنیم از یک کلاینت تولید شده توسط آمازون SageMaker.

6. یک گروه کاربری از استخر خود برای وارد کردن اعضا انتخاب کنید.
7. را انتخاب کنید ایجاد تیم پروژه.
   

پس از ایجاد تیم پروژه با انتخاب می توانید اعضای تیم بیشتری را اضافه کنید دعوت از اعضای جدید در اعضا صفحه کنسول Ground Truth Plus.

یک دسته ایجاد کنید

پس از ارسال موفقیت آمیز درخواست پروژه و ایجاد یک تیم پروژه، می توانید با کلیک کردن بر روی پورتال پروژه Ground Truth Plus دسترسی داشته باشید. پورتال پروژه را باز کنید در کنسول Ground Truth Plus.

می‌توانید از پورتال پروژه برای ایجاد دسته‌هایی برای یک پروژه استفاده کنید، اما تنها پس از تغییر وضعیت پروژه به Request approved.

1. با انتخاب نام پروژه، جزئیات و دسته های پروژه را مشاهده کنید.
   صفحه ای با عنوان نام پروژه باز می شود.
2. در دسته ها بخش، را انتخاب کنید دسته ایجاد کنید.
   
3. نام دسته و توضیحات اختیاری را وارد کنید.
4. مکان های S3 مجموعه داده های ورودی و خروجی را وارد کنید.

برای اطمینان از ایجاد موفقیت آمیز دسته، باید شرایط زیر را رعایت کنید:

4. • سطل و پیشوند S3 باید وجود داشته باشد و تعداد کل فایل ها باید بیشتر از 0 باشد
   • تعداد کل اشیا باید کمتر از 10,000 باشد
   • اندازه هر شی باید کمتر از 2 گیگابایت باشد
   • حجم کل همه اشیا با هم کمتر از 100 گیگابایت است
   • نقش IAM ارائه شده برای ایجاد یک پروژه دارای مجوز دسترسی به سطل ورودی، سطل خروجی و فایل‌های S3 است که برای ایجاد دسته استفاده می‌شوند.
   • فایل های تحت مکان S3 ارائه شده برای مجموعه داده های ورودی نباید توسط رمزگذاری شوند سرویس مدیریت کلید AWS (AWS KMS)
5. را انتخاب کنید ارسال.

وضعیت دسته شما به صورت نمایش داده می شود Request submitted. پس از اینکه Ground Truth Plus به طور موقت به داده‌های شما دسترسی پیدا کرد، کارشناسان AWS گردش‌های کاری برچسب‌گذاری داده را راه‌اندازی می‌کنند و آنها را از طرف شما اجرا می‌کنند که وضعیت دسته‌ای را به تغییر می‌دهد. In-progress. وقتی برچسب‌گذاری کامل شد، وضعیت دسته تغییر می‌کند In-progress به Ready for review. اگر می‌خواهید برچسب‌های خود را قبل از دریافت برچسب‌ها بررسی کنید، انتخاب کنید دسته را مرور کنید. از آنجا، شما یک گزینه برای انتخاب دارید دسته را قبول کنید برای دریافت داده های برچسب گذاری شده شما

نتیجه

این پست به شما نشان داد که چگونه چندین کاربر Ground Truth Plus اکنون می‌توانند با استفاده از یک حساب کاربری AWS از طریق رابط‌های سلف سرویس جدید، یک پروژه جدید ایجاد کنند، داده‌ها را به اشتراک بگذارند، و داده‌ها را دریافت کنند. این قابلیت جدید به شما امکان می دهد پروژه های برچسب گذاری خود را سریعتر شروع کنید و هزینه های عملیاتی را کاهش دهید. ما همچنین نشان دادیم که چگونه می‌توانید دسترسی دقیق به داده‌ها را با تعیین محدوده مجوزهای نقش IAM خود برای مطابقت با سطح دسترسی فردی خود کنترل کنید.

ما شما را تشویق می کنیم که این عملکرد جدید را امتحان کنید و با آن ارتباط برقرار کنید جامعه یادگیری ماشین و هوش مصنوعی اگر سوال یا بازخوردی دارید!

درباره نویسندگان

مانیش گوئل مدیر محصول Amazon SageMaker Ground Truth Plus است. او بر ساخت محصولاتی تمرکز دارد که استفاده از یادگیری ماشین را برای مشتریان آسان‌تر می‌کند. در اوقات فراغت از سفرهای جاده ای و خواندن کتاب لذت می برد.

کارتیک گندوری مهندس توسعه نرم افزار در آمازون AWS است، جایی که در ساخت ابزارهای ML برای مشتریان و راه حل های داخلی کار می کند. خارج از محل کار، او از کلیک کردن روی عکس ها لذت می برد.  

ژولینگ بای مهندس توسعه نرم افزار در آمازون AWS است. او روی توسعه سیستم های توزیع شده در مقیاس بزرگ برای حل مشکلات یادگیری ماشین کار می کند.

عاطف بارانسی یک مهندس Frontend در Amazon AWS است. او نرم‌افزاری سریع، قابل اعتماد و کاملاً آزمایش‌شده می‌نویسد تا پیشرفته‌ترین برنامه‌های هوش مصنوعی صنعت را پرورش دهد و رشد دهد.

محمد عدنان مهندس ارشد هوش مصنوعی و ML در AWS است. او بخشی از راه اندازی بسیاری از سرویس های AWS، به ویژه Amazon Lookout for Metrics و AWS Panorama بود. در حال حاضر، او بر روی پیشنهادات انسان در حلقه AWS (AWS SageMaker's Ground true، Ground true plus و Augmented AI) تمرکز کرده است. او یک مدافع کد پاک و متخصص در زمینه معماری بدون سرور و رویداد محور است. می توانید او را در لینکدین، mohammad-adnan-6a99a829 دنبال کنید.