احصل على بيانات مستوى الإنتاج بشكل أسرع باستخدام واجهات مضمنة جديدة مع Amazon SageMaker Ground Truth Plus

تم إطلاقه في AWS re: Invent 2021 ، أمازون سيج ميكر جراوند تروث بلس يساعدك على إنشاء مجموعات بيانات تدريبية عالية الجودة عن طريق إزالة الرفع الثقيل غير المتمايز المرتبط بإنشاء تطبيقات وسم البيانات وإدارة القوى العاملة الملصقة. كل ما تفعله هو مشاركة البيانات جنبًا إلى جنب مع متطلبات وضع العلامات ، وتقوم Ground Truth Plus بإعداد وإدارة سير عمل وضع العلامات على البيانات بناءً على هذه المتطلبات. من هناك ، تقوم قوة عاملة خبيرة تم تدريبها على مجموعة متنوعة من مهام التعلم الآلي (ML) بتسمية بياناتك. لا تحتاج حتى إلى خبرة عميقة في تعلم الآلة أو معرفة بتصميم سير العمل وإدارة الجودة لاستخدام Ground Truth Plus.

اليوم ، نحن متحمسون للإعلان عن إطلاق واجهات مدمجة جديدة على Ground Truth Plus. مع هذه الإمكانية الجديدة ، يمكن الآن للعديد من مستخدمي Ground Truth Plus إنشاء ملف تنفيذ المشاريع  و  دفعةومشاركة البيانات وتلقي البيانات باستخدام نفس حساب AWS من خلال واجهات الخدمة الذاتية. يمكّنك هذا من تسريع تطوير مجموعات بيانات التدريب عالية الجودة عن طريق تقليل وقت إعداد المشروع. بالإضافة إلى ذلك ، يمكنك التحكم في الوصول الدقيق إلى بياناتك من خلال تحديد نطاق إدارة الهوية والوصول AWS (IAM) أذونات الدور لمطابقة مستواك الفردي لـ خدمة تخزين أمازون البسيطة (Amazon S3) ، ولديك دائمًا خيار إبطال الوصول إلى حاويات معينة.

حتى الآن ، كان عليك التواصل مع مدير برنامج عمليات جراوند تروث بلس (OPM) الخاص بك لإنشاء تسمية بيانات جديدة مشروع ناجح و دفعات. كانت لهذه العملية بعض القيود لأنها سمحت لمستخدم واحد فقط بطلب مشروع جديد ومجموعة جديدة - إذا كان العديد من المستخدمين داخل المؤسسة يستخدمون نفس حساب AWS ، فيمكن لمستخدم واحد فقط أن يطلب مشروعًا جديدًا لتسمية البيانات ودُفعة باستخدام Ground Truth Plus وحدة التحكم. بالإضافة إلى ذلك ، خلقت العملية تأخيرات مصطنعة في بدء عملية وضع العلامات بسبب نقاط الاتصال اليدوية المتعددة واستكشاف الأخطاء وإصلاحها المطلوبة في حالة حدوث مشكلات. بشكل منفصل ، استخدمت جميع المشاريع نفس دور IAM للوصول إلى البيانات. لذلك ، لتشغيل المشاريع والدُفعات التي تحتاج إلى الوصول إلى مصادر بيانات مختلفة مثل حاويات Amazon S3 المختلفة ، كان عليك الاعتماد على Ground Truth Plus OPM لتوفير سياسات S3 الخاصة بحسابك ، والتي كان عليك تطبيقها يدويًا على حاويات S3 الخاصة بك. كانت هذه العملية بأكملها مكثفة يدويًا مما أدى إلى نفقات تشغيلية.

يرشدك هذا المنشور عبر خطوات إنشاء مشروع جديد ودفعة جديدة ، ومشاركة البيانات ، وتلقي البيانات باستخدام واجهات الخدمة الذاتية الجديدة لبدء عملية وضع العلامات بكفاءة. يفترض هذا المنشور أنك على دراية بـ Ground Truth Plus. لمزيد من المعلومات، راجع Amazon SageMaker Ground Truth Plus - إنشاء مجموعات بيانات تدريبية بدون رمز أو موارد داخلية.

حل نظرة عامة

نوضح كيفية القيام بما يلي:

• تحديث المشاريع الحالية
• طلب مشروع جديد
• قم بإعداد فريق المشروع
• قم بإنشاء دفعة

المتطلبات الأساسية المسبقة

قبل أن تبدأ ، تأكد من توفر المتطلبات الأساسية التالية لديك:

• An حساب AWS
• مستخدم IAM لديه حق الوصول لإنشاء أدوار IAM
• • عنوان URL الخاص بأمازون S3 من الدلو حيث يتم تخزين كائنات الوسم الخاصة بك

تحديث المشاريع الحالية

إذا كان لديك مشروع Ground Truth Plus قبل إطلاق الميزات الجديدة الموضحة في هذا المنشور (9 ديسمبر 2022) ، فأنت بحاجة إلى إنشاء دور IAM ومشاركته حتى تتمكن من استخدام هذه الميزات مع مشروع Ground Truth Plus الحالي الخاص بك . إذا كنت مستخدمًا جديدًا لـ Ground Truth Plus ، فيمكنك تخطي هذا القسم.

لإنشاء دور IAM ، أكمل الخطوات التالية:

1. في وحدة تحكم IAM ، اختر خلق دور.
2. أختار سياسة الثقة المخصصة.
3. حدد علاقة الثقة التالية للدور:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. اختار التالى.
5. اختار إنشاء سياسة.
6. في علامة التبويب JSON ، حدد السياسة التالية. قم بتحديث خاصية Resource من خلال تحديد إدخالين لكل مجموعة: أحدهما يحتوي فقط على ARN للحاوية والآخر بحاوية ARN متبوعًا بـ /*. على سبيل المثال ، استبدل مع arn:aws:s3:::my-bucket/myprefix/ و /* مع arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. اختار التالي: العلامات و التالي: مراجعة.
8. أدخل اسم السياسة ووصفًا اختياريًا.
9. اختار إنشاء سياسة.
10. أغلق علامة التبويب هذه وارجع إلى علامة التبويب السابقة لإنشاء دورك.

في علامة التبويب إضافة أذونات ، من المفترض أن ترى السياسة الجديدة التي أنشأتها (قم بتحديث الصفحة إذا كنت لا تراها).

11. حدد السياسة التي تم إنشاؤها حديثًا واختر التالى.
12. أدخل اسمًا (على سبيل المثال ، GTPlusExecutionRole) واختياريا وصف الدور.
13. اختار خلق دور.
14. وفر دور ARN إلى Ground Truth Plus OPM الخاص بك ، والذي سيقوم بعد ذلك بتحديث مشروعك الحالي بهذا الدور الذي تم إنشاؤه حديثًا.

طلب مشروع جديد

لطلب مشروع جديد أكمل الخطوات التالية:

1. على وحدة تحكم جراوند تروث بلس، انتقل إلى المشاريع والقسم الخاص به.

هذا هو المكان الذي يتم فيه سرد جميع مشاريعك.

2. اختار طلب مشروع.

• طلب مشروع الصفحة هي فرصتك لتقديم التفاصيل التي ستساعدنا في تحديد موعد مكالمة استشارية أولية وإعداد مشروعك.

3. بالإضافة إلى تحديد معلومات عامة مثل اسم المشروع ووصفه ، يجب تحديد نوع مهمة المشروع وما إذا كان يحتوي على معلومات تعريف شخصية (PII).

لتسمية بياناتك ، تحتاج Ground Truth Plus إلى وصول مؤقت إلى بياناتك الأولية في حاوية S3. عند اكتمال عملية وضع العلامات ، تقوم Ground Truth Plus بتسليم إخراج الملصقات مرة أخرى إلى دلو S3 الخاص بك. يتم ذلك من خلال دور IAM. يمكنك إما إنشاء دور جديد ، أو يمكنك الانتقال إلى وحدة تحكم IAM لإنشاء دور جديد (راجع القسم السابق للحصول على الإرشادات).

4. إذا اخترت إنشاء دور ، فاختر أدخل دور IAM المخصص ARN وأدخل دورك في IAM ARN ، والذي يكون بتنسيق arn:aws:iam:::role/.
5. لاستخدام الأداة المدمجة ، في القائمة المنسدلة أسفل دور IAM، اختر قم بإنشاء دور جديد.
6. حدد موقع الحاوية لبيانات التصنيف الخاصة بك. إذا كنت لا تعرف موقع بيانات التصنيف الخاصة بك أو إذا لم يتم تحميل أي بيانات تسمية ، فحدد أي دلو S3، والتي ستمنح Ground Truth Plus إمكانية الوصول إلى جميع مستودعات حسابك.
7. اختار إنشاء لخلق الدور.

سيسمح دور IAM الخاص بك بـ Ground Truth Plus ، والذي تم تحديده كـ sagemaker-ground-truth-plus.amazonaws.com في الدور سياسة الثقة، لتشغيل الإجراءات التالية على حاويات S3 الخاصة بك:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. اختار طلب مشروع لإكمال الطلب.

ستقوم شركة Ground Truth Plus OPM بجدولة مكالمة استشارية أولية معك لمناقشة متطلبات مشروع وسم البيانات والتسعير.

قم بإعداد فريق المشروع

بعد أن تطلب مشروعًا ، تحتاج إلى إنشاء فريق مشروع لتسجيل الدخول إلى بوابة المشروع. يوفر فريق المشروع الوصول إلى الأعضاء من مؤسستك أو فريقك لتتبع المشاريع وعرض المقاييس ومراجعة التسميات. يمكنك استخدام الخيار دعوة أعضاء جدد عن طريق البريد الإلكتروني or استيراد الأعضاء من القائمة أمازون كوجنيتو مجموعات الاعضاء. في هذا المنشور ، نعرض كيفية استيراد الأعضاء من القائمة أمازون كوجنيتو مجموعات المستخدمين لإضافة مستخدمين إلى فريق المشروع الخاص بك.

1. على وحدة تحكم جراوند تروث بلس، انتقل إلى فريق المشروع والقسم الخاص به.
2. اختار إنشاء فريق المشروع.
3. اختار استيراد الأعضاء من مجموعات مستخدمي Amazon Cognito الحالية.
4. اختر مجموعة مستخدمي Amazon Cognito.

تتطلب تجمعات المستخدمين مجالًا ومجموعة مستخدمين موجودة.

5. اختر عميل التطبيق.

نوصي باستخدام عميل تم إنشاؤه بواسطة الأمازون SageMaker.

6. اختر مجموعة مستخدمين من مجموعتك لاستيراد الأعضاء.
7. اختار إنشاء فريق المشروع.
   

يمكنك إضافة المزيد من أعضاء الفريق بعد إنشاء فريق المشروع عن طريق الاختيار قم بدعوة أعضاء جدد على الأعضاء صفحة وحدة التحكم Ground Truth Plus.

قم بإنشاء دفعة

بعد إرسال طلب المشروع بنجاح وإنشاء فريق المشروع ، يمكنك الوصول إلى بوابة مشروع Ground Truth Plus بالنقر فوق افتح بوابة المشروع على وحدة التحكم Ground Truth Plus.

يمكنك استخدام مدخل المشروع لإنشاء دفعات لمشروع ، ولكن فقط بعد تغيير حالة المشروع إلى Request approved.

1. اعرض تفاصيل المشروع ودُفعاته باختيار اسم المشروع.
   تفتح صفحة بعنوان المشروع.
2. في مجلة دفعات القسم، اختر إنشاء دفعة.
   
3. أدخل اسم الدفعة والوصف الاختياري.
4. أدخل مواقع S3 لمجموعات بيانات الإدخال والإخراج.

لضمان إنشاء الدُفعة بنجاح ، يجب أن تفي بالمتطلبات التالية:

4. • يجب وجود حاوية S3 والبادئة ، ويجب أن يكون العدد الإجمالي للملفات أكبر من 0
   • يجب أن يكون العدد الإجمالي للكائنات أقل من 10,000
   • يجب أن يكون حجم كل عنصر أقل من 2 جيجا بايت
   • الحجم الإجمالي لجميع الكائنات مجتمعة أقل من 100 جيجابايت
   • دور IAM المقدم لإنشاء مشروع لديه إذن للوصول إلى حاوية الإدخال وحاوية الإخراج وملفات S3 المستخدمة لإنشاء الدُفعة
   • لا ينبغي تشفير الملفات الموجودة ضمن موقع S3 المقدم لمجموعات بيانات الإدخال بواسطة خدمة إدارة مفتاح AWS (AWS KMS)
5. اختار تسجيل.

ستظهر حالة الدُفعة الخاصة بك كـ Request submitted. بعد حصول Ground Truth Plus على وصول مؤقت إلى بياناتك ، سيقوم خبراء AWS بإعداد تدفقات عمل تسمية البيانات وتشغيلها نيابةً عنك ، مما سيؤدي إلى تغيير حالة الدُفعة إلى In-progress. عند اكتمال وضع العلامات ، تتغير حالة الدُفعة من In-progress إلى Ready for review. إذا كنت ترغب في مراجعة ملصقاتك قبل استلامها ، فاختر مراجعة الدفعة. من هناك ، لديك خيار للاختيار قبول الدفعة لتلقي البيانات المصنفة الخاصة بك.

وفي الختام

أظهر لك هذا المنشور كيف يمكن الآن للعديد من مستخدمي Ground Truth Plus إنشاء مشروع جديد ودفعة جديدة ، ومشاركة البيانات ، وتلقي البيانات باستخدام نفس حساب AWS من خلال واجهات الخدمة الذاتية الجديدة. تتيح لك هذه الإمكانية الجديدة بدء مشاريع الملصقات بشكل أسرع وتقليل النفقات التشغيلية. لقد أوضحنا أيضًا كيف يمكنك التحكم في الوصول الدقيق إلى البيانات من خلال تحديد نطاق أذونات دور IAM الخاصة بك لمطابقة مستوى الوصول الفردي الخاص بك.

نحن نشجعك على تجربة هذه الوظيفة الجديدة والتواصل مع مجتمع التعلم الآلي والذكاء الاصطناعي إذا كان لديك أي أسئلة أو تعليقات!

عن المؤلفين

مانيش جويل هو مدير المنتج في Amazon SageMaker Ground Truth Plus. إنه يركز على بناء المنتجات التي تسهل على العملاء تبني التعلم الآلي. في أوقات فراغه ، يستمتع بالرحلات البرية وقراءة الكتب.

كارثيك غاندوري هو مهندس تطوير برمجيات في Amazon AWS ، حيث يعمل على بناء أدوات ML للعملاء والحلول الداخلية. خارج العمل ، يستمتع بالتقاط الصور.  

زولينغ باي هو مهندس تطوير برمجيات في Amazon AWS. تعمل على تطوير أنظمة موزعة على نطاق واسع لحل مشاكل التعلم الآلي.

عاطف برانسي هو مهندس الواجهة الأمامية في Amazon AWS. يكتب برمجيات سريعة وموثوقة ومُختبرة بدقة لرعاية وتنمية تطبيقات الذكاء الاصطناعي الأكثر تطورًا في الصناعة.

محمد عدنان هو مهندس أول للذكاء الاصطناعي والتعلم الآلي في AWS. كان جزءًا من إطلاق العديد من خدمات AWS ، لا سيما Amazon Lookout for Metrics و AWS Panorama. حاليًا ، يركز على عروض AWS البشرية في الحلقة (الحقيقة الأساسية لـ AWS SageMaker ، والحقيقة الأرضية بالإضافة إلى الذكاء الاصطناعي المعزز). إنه مدافع عن التعليمات البرمجية النظيفة وخبير في الموضوع في البنية التي تعتمد على عدم وجود خادم والتي تعتمد على الأحداث. يمكنك متابعته على LinkedIn ، mohammad-adnan-6a99a829.