استخدم ADFS OIDC باعتباره IdP للقوى العاملة الخاصة في Amazon SageMaker Ground Truth

لتدريب نموذج التعلم الآلي (ML) ، أنت بحاجة إلى مجموعة بيانات كبيرة ذات تصنيف عالي الجودة. الحقيقة الأمازون SageMaker الأرض تساعدك على بناء مجموعات بيانات تدريبية عالية الجودة لنماذج ML الخاصة بك. مع Ground Truth ، يمكنك استخدام عمال من أي منهما الأمازون ميكانيكي ترك، شركة موردة من اختيارك ، أو قوة عاملة داخلية خاصة لتمكينك من إنشاء مجموعة بيانات مصنفة. يمكنك استخدام ناتج مجموعة البيانات المصنفة من Ground Truth لتدريب النماذج الخاصة بك. يمكنك أيضًا استخدام الإخراج كمجموعة بيانات تدريب لملف الأمازون SageMaker نموذج.

باستخدام Ground Truth ، يمكنك إنشاء قوة عاملة خاصة من الموظفين أو المقاولين للتعامل مع بياناتك داخل مؤسستك. يتيح ذلك للعملاء الذين يرغبون في الاحتفاظ ببياناتهم داخل مؤسستهم استخدام قوة عاملة خاصة لدعم أعباء عمل التعليقات التوضيحية التي تحتوي على بيانات عمل حساسة أو معلومات تعريف شخصية (PII) لا يمكن للأطراف الخارجية معالجتها. بدلاً من ذلك ، إذا كان التعليق التوضيحي على البيانات يتطلب خبرة في موضوع معين ، فيمكنك استخدام قوة عاملة خاصة لتوجيه المهام إلى الموظفين أو المتعاقدين أو المعلقين التابعين لجهات خارجية ممن لديهم معرفة بهذا المجال المحدد. يمكن أن تكون هذه القوة العاملة موظفين في شركتك أو عاملين تابعين لجهات خارجية لديهم معرفة بالمجال والصناعة بمجموعات البيانات الخاصة بك. على سبيل المثال ، إذا كانت المهمة هي تسمية الصور الطبية ، فيمكنك إنشاء قوة عاملة خاصة من أشخاص على دراية بالصور المعنية.

يمكنك تكوين قوة عاملة خاصة للمصادقة باستخدام OpenID Connect (OIDC) مع موفر الهوية (IdP). في هذا المنشور ، نوضح كيفية تكوين OIDC مع Active Directory الداخلي باستخدام خدمة اتحاد الدليل النشط (ADFS). بمجرد إعداد التكوين ، يمكنك تكوين فرق العمل وإدارتها ، وتتبع أداء العمال ، وإعداد الإشعارات عندما تكون مهام وضع العلامات متاحة في Ground Truth.

حل نظرة عامة

عند استخدام بيانات اعتماد Active Directory المحلية الحالية لمصادقة قوة العمل الخاصة بك ، فلا داعي للقلق بشأن إدارة هويات متعددة في بيئات مختلفة. يستخدم العمال بيانات اعتماد Active Directory الحالية للتوحيد مع بوابة التسمية الخاصة بك.

المتطلبات الأساسية المسبقة

تأكد من توفر لديك المتطلبات الأساسية التالية:

• مجال عام مسجل
• بيئة ADFS موجودة أو تم نشرها حديثًا
• An إدارة الهوية والوصول AWS (IAM) لديه أذونات لتشغيل عمليات واجهة برمجة تطبيقات SageMaker

بالإضافة إلى ذلك ، تأكد من استخدام Ground Truth في منطقة مدعومة.

تكوين الدليل النشط

تتطلب تهيئة OIDC للقوى العاملة الخاصة في Ground Truth إرسال صانع سجل مخصص للمطالبة: مجموعات إلى Ground Truth من IdP الخاص بك.

1. أنشئ مجموعة إعلانية باسم sagemaker (تأكد من استخدام جميع الأحرف الصغيرة).
2. أضف المستخدمين الذين سيشكلون قوة العمل الخاصة بك إلى هذه المجموعة.

تكوين ADFS

تتمثل الخطوة التالية في تكوين تطبيق ADFS مع ادعاءات محددة تستخدمها Ground Truth للحصول على المُصدر ، و ClientId ، و ClientSecret ، والمطالبات الاختيارية الأخرى من IdP الخاص بك لمصادقة العمال عن طريق الحصول على رمز المصادقة من AuthorizationEndpoint الذي تم تكوينه في IdP الخاص بك.

لمزيد من المعلومات حول المطالبات التي يرسلها موفِّر الهوية (IdP) إلى Ground Truth ، يُرجى الرجوع إلى إرسال المطالبات المطلوبة والاختيارية إلى Ground Truth و Amazon A2I.

إنشاء مجموعة التطبيقات

لإنشاء مجموعة التطبيق الخاصة بك ، أكمل الخطوات التالية:

1. افتح وحدة إدارة ADFS
2. قم بتغيير معرف خدمة اتحاد ADFS من https://${HostName}/adfs/service/trust to https://${HostName}/adfs
3. اختار مجموعة التطبيقاتوانقر بزر الماوس الأيمن واختر أضف مجموعة التطبيقات.
4. أدخل اسمًا (على سبيل المثال ، SageMaker Ground Truth Workforce) ووصفًا.
5. تحت قالب، ل تطبيقات خادم العميل، اختر يقوم تطبيق الخادم بالوصول إلى واجهة برمجة تطبيقات الويب.
6. اختار التالى.
7. انسخ معرّف العميل واحفظه للرجوع إليه في المستقبل.
8. في حالة إعادة توجيه URI، استخدم عنصرًا نائبًا مثل https://privateworkforce.local.
9. اختار أضف، ثم اختر التالى.
10. أختار قم بإنشاء سر مشترك وحفظ القيمة المولدة لاستخدامها لاحقًا ، ثم اختر التالى.
11. In تكوين واجهة برمجة تطبيقات الويب ، أدخل معرّف العميل الذي تم الحصول عليه مسبقًا.
12. اختار أضف، ثم اختر التالى.
13. أختار السماح للجميع مع سياسة التحكم في الوصول، ثم اختر التالى.
14. تحت النطاقات المسموح بها، حدد رض، ثم اختر التالى.
15. راجع معلومات التكوين ، ثم اختر التالى و اغلاق.

تكوين أوصاف المطالبة

لتهيئة أوصاف مطالبتك ، أكمل الخطوات التالية:

1. في وحدة تحكم إدارة ADFS ، قم بتوسيع قسم الخدمة.
2. انقر بزر الماوس الأيمن وصف المطالبة واختر إضافة وصف المطالبة.
3. في حالة إسم المستخدم، أدخل معرف عميل SageMaker.
4. في حالة اسم قصير، أدخل sagemaker:client_id.
5. في حالة معرف المطالبة، أدخل sagemaker:client_id.
6. حدد الخيارات لنشر المطالبة إلى بيانات تعريف الاتحاد لكل من القبول والإرسال.
   
7. اختار OK.
8. كرر هذه الخطوات لمجموعات المطالبات المتبقية (Sagemaker Name و Sagemaker Sub و Sagemaker Groups) ، كما هو موضح في لقطة الشاشة التالية.

لاحظ أن معرف مطالبتك مدرج باسم نوع المطالبة.

تكوين قواعد مطالبة مجموعة التطبيق

لتكوين قواعد مطالبة مجموعة التطبيق الخاصة بك ، أكمل الخطوات التالية:

1. اختار مجموعات التطبيق، ثم اختر مجموعة التطبيق التي أنشأتها للتو.
2. تحت واجهة برمجة تطبيقات الويب، اختر الاسم المعروض ، والذي يفتح خصائص واجهة برمجة تطبيقات الويب.
3. اختيار قواعد تحويل الإصدار علامة التبويب واختيار أضف القاعدة.
4. اختار تحويل مطالبة واردة وتقديم المعلومات التالية:
   • في حالة اسم قاعدة المطالبة، أدخل sagemaker:client_id.
   • في حالة نوع المطالبة الواردة، اختر معرف عميل OAuth.
   • في حالة نوع المطالبة الصادرة، اختر معرّف عميل SageMaker الخاص بالمطالبة.
   • اترك القيم الأخرى كقيمة افتراضية.
   • اختار نهاية.
5. اختار أضف قاعدة جديدة.
6. اختار تحويل مطالبة واردة وتقديم المعلومات التالية:
   • في حالة اسم قاعدة المطالبة، أدخل sagemaker:sub.
   • في حالة نوع المطالبة الواردة، اختر الأساسي SID.
   • في حالة نوع المطالبة الصادرة، اختر مطالبة Sagemaker Sub.
   • اترك القيم الأخرى كقيمة افتراضية.
   • اختار نهاية.
7. اختار أضف قاعدة جديدة.
8. اختار تحويل مطالبة واردة وتقديم المعلومات التالية:
   • في حالة اسم قاعدة المطالبة، اختر sagemaker:name.
   • في حالة نوع المطالبة الواردة، اختر الاسم.
   • في حالة نوع المطالبة الصادرة، اختر مطالبة Sagemaker Name.
   • اترك القيم الأخرى كقيمة افتراضية.
   • اختار نهاية.
9. اختار أضف قاعدة جديدة.
10. اختار إرسال عضوية المجموعة كمطالبة وتقديم المعلومات التالية:
    • في حالة اسم قاعدة المطالبة، أدخل sagemaker:groups.
    • في حالة مجموعة المستخدم، اختر مجموعة sagemaker AD التي تم إنشاؤها مسبقًا.
    • في حالة نوع المطالبة الصادرة، اختر مطالبة مجموعات Sagemaker.
    • في حالة قيمة المطالبة الصادرة، أدخل sagemaker.
    • اختار نهاية.
11. اختار التقديم و OK.

يجب أن يكون لديك أربع قواعد ، كما هو موضح في لقطة الشاشة التالية.

قم بإنشاء وتكوين قوة عمل OIDC IdP باستخدام واجهة برمجة تطبيقات SageMaker

في هذه الخطوة ، تقوم بإنشاء قوة عاملة من واجهة سطر الأوامر AWS (AWS CLI) باستخدام مستخدم IAM أو دور له أذونات مناسبة.

1. قم بتشغيل أمر AWS CLI التالي لإنشاء قوة عاملة خاصة. ال oidc-config تحتوي المعلمة على معلومات يجب الحصول عليها من IdP. قدم القيم المناسبة التي حصلت عليها من IdP الخاص بك:
   1. client_id هو معرف العميل ، و client_secret هو سر العميل الذي حصلت عليه عند إنشاء مجموعة التطبيقات الخاصة بك.
   2. يمكنك إعادة البناء AuthorizationEndpoint, TokenEndpoint, UserInfoEndpoint, LogoutEndpointو JwksUri عن طريق استبدال فقط sts.example.com جزء مع نقطة نهاية ADFS الخاصة بك.

      aws sagemaker create-workforce --oidc-config "ClientId="9b123069-0afc-56f2-a7ce-bd8e4dc705gh",ClientSecret="vtMG9fz_D9W2Y6u4t390wQ4o-hr8VsdHxD294FsD",Issuer="https://sts.example.com/adfs",AuthorizationEndpoint="https://sts.example.com/adfs/oauth2/authorize/",TokenEndpoint="https://sts.example.com/adfs/oauth2/token/",UserInfoEndpoint="https://sts.example.com/adfs/userinfo",LogoutEndpoint="https://sts.example.com/adfs/oauth2/logout",JwksUri="https://sts.example.com/adfs/discovery/keys“ --workforce-name privatewf --region us-east-1

      يجب أن يقوم الأمر السابق بإرجاع WorkforceArn بنجاح. احفظ هذا الإخراج للرجوع إليه لاحقًا.

2. استخدم الكود التالي لوصف القوى العاملة التي تم إنشاؤها للحصول على المجال الفرعي.
   نستخدم هذا لتكوين URI لإعادة التوجيه في ADFS. بعد مصادقة Ground Truth للعامل ، يقوم URI هذا بإعادة توجيه العامل إلى بوابة العمال حيث يمكن للعمال الوصول إلى مهام التصنيف أو المراجعة البشرية.

   aws sagemaker describe-workforce --workforce-name "privatewf" --region us-east-1

   {
   		"Workforce": {
   			"WorkforceName": "privatewf",
   			"WorkforceArn": "arn:aws:sagemaker:us-east-1:206400014001:workforce/privatewf",
   			"LastUpdatedDate": "2022-03-20T11:45:57.916000-07:00",
   			"SourceIpConfig": {
   				"Cidrs": []
   			},
   			"SubDomain": "drxxxxxlf0.labeling.us-east-1.sagemaker.aws",
   			"OidcConfig": {
   				"ClientId": "9b123069-0afc-56f2-a7ce-bd8e4dc705gh",
   				"Issuer": "https://sts.example.com/adfs",
   				"AuthorizationEndpoint": "https://sts.example.com/adfs/oauth2/authorize/",
   				"TokenEndpoint": "https://sts.example.com/adfs/oauth2/token/",
   				"UserInfoEndpoint": "https://sts.example.com/adfs/userinfo",
   				"LogoutEndpoint": "https://sts.example.com/adfs/oauth2/logout",
   				"JwksUri": "https://sts.example.com/adfs/discovery/keys“"
   			},
   			"CreateDate": "2022-03-20T11:45:57.916000-07:00"
   		}
   	}

3. انسخ النطاق الفرعي وألحقه /oauth2/idpresponse إلى النهاية. على سبيل المثال ، يجب أن تبدو مثل https://drxxxxxlf0.labeling.us-east-1.sagemaker.aws/oauth2/idpresponseيمكنك استخدام عنوان URL هذا لتحديث URI لإعادة التوجيه في ADFS.
4. اختر التطبيق الذي قمت بإنشائه مسبقًا (SageMaker Ground Truth Private Workforce).
5. اختر الاسم أسفل تطبيق الخادم.
6. حدد عنوان URL للعنصر النائب المستخدم سابقًا واختر حذف.
7. أدخل قيمة النطاق الفرعي الملحقة.
8. اختار أضف.
9. اختار OK مرتين.

تحقق من صحة استجابة مصادقة القوى العاملة OIDC IdP

الآن بعد أن قمت بتكوين OIDC مع IdP الخاص بك ، حان الوقت لذلك التحقق من صحة سير عمل المصادقة باستخدام حليقة.

1. استبدل قيم العناصر النائبة بمعلوماتك ، ثم أدخل URI المعدل في متصفحك:

   https://sts.example.com/adfs/oauth2/authorize?client_id=9b123069-0afc-56f2-a7ce-bd8e4dc705gh&redirect_uri=https://drxxxxxlf0.labeling.us-east-1.sagemaker.aws/oauth2/idpresponse&scope=openid&response_type=code

   يجب أن يُطلب منك تسجيل الدخول باستخدام بيانات اعتماد AD. قد تتلقى خطأ 401 التفويض مطلوب.

2. انسخ معلمة الكود من استعلام المتصفح واستخدمها لإجراء تجعيد باستخدام الأمر التالي. الجزء الذي تريد نسخه يبدأ به code=. استبدل هذا الرمز بالرمز الذي نسخته. أيضًا ، لا تنس تغيير قيم url, client_id, client_secretو redirect_uri:
   1. url هي نقطة نهاية الرمز المميز من ADFS.
   2. client_id هو معرف العميل من مجموعة التطبيقات في ADFS.
   3. client_secret هو سر العميل من ADFS.

      curl -k --request POST 
      	  --url 'https://sts.example.com/adfs/oauth2/token/' 
      	  --header 'content-type: application/x-www-form-urlencoded' 
      	  --data grant_type=authorization_code 
      	  --data 'client_id=9b123069-0afc-56f2-a7ce-bd8e4dc705gh' 
      	  --data client_secret=vtMG9fz_D9W2Y6u4t390wQ4o-hr8VsdHxD294FsD 
      	  --data code=ZE-yvYF7GUmaFmAGAUdlcg.3Oy-_lPP2QgBAJxAW8uvXYgXojg.GXiaFggY5IdmrumD00cPkdjpABXTAG25YdXJxBr64HPwyl1WJDlcr1pqvURR1ZkBsBA1DxrloTQM4IGH1LcNVIzGcoynNm151leWXnIIP11JjOdl4Jt7tGyxyymll0c0IqfQcOk0w-oU9q2k-nx3jmAK4Pmw3D0Ghhm4jL6_15gBwvY4-mY6DVDg2sGQMELj-dNzfvMuMiLJQhX5XyUJcHjW69KX9xxnHfa3MCZbp2oF_41HBtMazPqKKC04TQPvTiAeMzUZ0-Z3IQhA9_mfv28JPdpGlPOxr8QM9vu9ANCbURimjPkmHA2Gm3df9QUbsIxEtQ-OuAPWlcg5MNbqGQ 
      	  --data 'redirect_uri=https://drxxxxxlf0.labeling.us-east-1.sagemaker.aws/oauth2/idpresponse'
      	

3. بعد إجراء التعديلات المناسبة ، انسخ الأمر بالكامل وقم بتشغيله من محطة طرفية.
   يُنشئ إخراج الأمر رمز وصول بتنسيق JWT.

4. انسخ هذا الإخراج إلى المربع المشفر وفك تشفيره باستخدام JWT.
   يجب أن تحتوي الرسالة التي تم فك ترميزها على المطالبات المطلوبة التي قمت بتكوينها. إذا كانت المطالبات موجودة ، فانتقل إلى الخطوة التالية ؛ إذا لم يكن الأمر كذلك ، فتأكد من اتباعك لجميع الخطوات الموضحة حتى الآن.

5. من الإخراج الذي تم الحصول عليه في الخطوة السابقة ، قم بتشغيل الأمر التالي من المحطة بعد إجراء التعديلات اللازمة. استبدل قيمة Bearer مع الالجائزة access_token تم الحصول عليها في إخراج الأمر السابق و userinfo بمفردك.

   curl -X POST -H 'Authorization: Bearer eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiIsIng1dCI6IkNLX2k1SEtOS1B2QVdGWnhCRkZ2T2NuVUhNQSIsImtpZCI6IkNLX2k1SEtOS1B2QVdGWnhCRkZ2T2NuVUhNQSJ9.eyJhdWQiOiJ1cm46bWljcm9zb2Z0OnVzZXJpbmZvIiwiaXNzIjoiaHR0cHM6Ly9mcy5hZC5nbWluZHByby5jb20vYWRmcyIsImlhdCI6MTY0OTE5NzYzMCwibmJmIjoxNjQ5MTk3NjMwLCJleHAiOjE2NDkyMDEyMzAsImFwcHR5cGUiOiJDb25maWRlbnRpYWwiLCJhcHBpZCI6IjBlZDQ0MDYzLTMzZDUtNGYxZi1hZTg4LTQ0OTgzZDRlN2E3MiIsImF1dGhtZXRob2QiOiJ1cm46b2FzaXM6bmFtZXM6dGM6U0FNTDoyLjA6YWM6Y2xhc3NlczpQYXNzd29yZFByb3RlY3RlZFRyYW5zcG9ydCIsImF1dGhfdGltZSI6IjIwMjItMDQtMDVUMjI6Mjc6MDkuOTcxWiIsInZlciI6IjEuMCIsInNjcCI6Im9wZW5pZCIsInN1YiI6ImV2MTdTQkRUWnFXd2NXR0R1Z2s1OHRXQm4wYkRKbDBvYnAzbU9sL1hVUlk9In0.hsED4iUlQPgiiLaCyrKTKg3aKQjsKsLKPusPncRz3rNCSTp5xh8APDo33hhBx5JK-Ie2FG9Pa78dHdY_U2UtGBl2IHKmIfPcBTdkLGc1a8PlSQLvManCcEwzxAaO5J_jGdbt_P3qvy3cA6YCgNUwV3Ex9VTySLK1r-gLvnWE4zEiz_QytdlXvwFDIZi94YTgGf8b5uOQieM9pgJ0D9d-HOUw7-sKMBbZLqeYh_heNekwV3p3FQAIQyqifzl5qaftMR_J6lpOINHPtSPbl80MwHpmoDPHa0emWg6wuSZa7gpDbqDGHmuwQfbVhBdNLY8v9Nm4MA5RbSWQmqZmwG0GkA' -d '' -k -v https://sts.example.com/adfs/userinfo

قد يبدو إخراج هذا الأمر مشابهًا للتعليمة البرمجية التالية:

{
    "sub":"122",
    "exp":"10000",
    "sagemaker-groups":["privateworkforce"]
    "sagemaker-name":"name",
    "sagemaker-sub":"122",
    "sagemaker-client_id":"123456"
}

الآن بعد أن نجحت في التحقق من صحة تكوين OIDC ، حان الوقت لإنشاء فرق العمل.

إنشاء فريق عمل خاص

لإنشاء فريق عمل خاص ، أكمل الخطوات التالية:

1. على وحدة التحكم في الحقيقة الأرضية ، اختر القوى العاملة وضع العلامات.
2. أختار خاص.
3. في مجلة فرق خاصة القسم، حدد إنشاء فريق خاص.
4. في مجلة تفاصيل الفريق قسم ، أدخل اسم الفريق.
5. في مجلة أضف عمال ، أدخل اسم مجموعة مستخدم واحدة.
   تتم إضافة جميع العاملين المرتبطين بهذه المجموعة في IdP إلى فريق العمل هذا.

6. لإضافة أكثر من مجموعة مستخدم ، اختر أضف مجموعة مستخدمين جديدة وأدخل أسماء مجموعات المستخدمين التي تريد إضافتها إلى فريق العمل هذا. أدخل مجموعة مستخدم واحدة في كل سطر.
7. اختياريًا ، بالنسبة لوظائف تصنيف Ground Truth ، إذا قدمت بريدًا إلكترونيًا للعاملين في JWT ، فإن Ground Truth تُعلم العمال عند توفر مهمة تصنيف جديدة إذا قمت بتحديد خدمة إعلام أمازون البسيطة موضوع (Amazon SNS).
8. اختار إنشاء فريق خاص.

اختبار الوصول إلى بوابة وضع العلامات الخاصة

لاختبار وصولك ، استعرض إلى https://console.aws.amazon.com/sagemaker/groundtruth#/labeling-workforces وافتح عنوان URL لتسجيل الدخول إلى البوابة الإلكترونية في نافذة متصفح جديدة أو في وضع التصفح المتخفي.

قم بتسجيل الدخول باستخدام بيانات اعتماد IdP الخاصة بك. في حالة نجاح المصادقة ، يجب إعادة توجيهك إلى البوابة الإلكترونية.

التكلفة

سيتم محاسبتك على عدد الوظائف التي تم تصنيفها من قبل موظفيك الداخليين. لمزيد من المعلومات ، يرجى الرجوع إلى تسعير تسمية بيانات Amazon SageMaker.

تنظيف

يمكنك حذف القوى العاملة الخاصة باستخدام SageMaker API ، حذف القوى العاملة. إذا كان لديك فرق عمل مرتبطة بالقوى العاملة الخاصة ، فيجب عليك حذفها قبل حذف قوة العمل. لمزيد من المعلومات، راجع حذف فريق العمل.

نبذة عامة

في هذا المنشور ، أوضحنا كيفية تكوين تطبيق OIDC مع خدمات اتحاد الدليل النشط واستخدام بيانات اعتماد Active Directory الحالية للمصادقة على بوابة تصنيف الحقيقة الأرضية.

نحب أن نسمع منك. أخبرنا برأيك في قسم التعليقات.

عن المؤلفين

أديليك كوكر هو مهندس حلول عالمي مع AWS. إنه يعمل مع العملاء على مستوى العالم لتقديم التوجيه والمساعدة الفنية في نشر أعباء عمل الإنتاج على نطاق واسع على AWS. في أوقات فراغه ، يستمتع بالتعلم والقراءة والألعاب ومشاهدة الأحداث الرياضية.

ايشواريا كوشال هو مهندس برمجيات أول في أمازون. ينصب تركيزها على حل المشكلات الصعبة باستخدام التعلم الآلي ، وبناء حلول ذكاء اصطناعي قابلة للتطوير باستخدام أنظمة موزعة ومساعدة العملاء على تبني الميزات / المنتجات الجديدة. في أوقات فراغها ، تستمتع Aishwarya بمشاهدة أفلام الخيال العلمي والاستماع إلى الموسيقى والرقص.