توفير وإدارة بيئات ML باستخدام Amazon SageMaker Canvas باستخدام AWS CDK و AWS Service Catalog

أصبح انتشار التعلم الآلي (ML) عبر مجموعة واسعة من حالات الاستخدام سائدًا في كل صناعة. ومع ذلك ، فإن هذا يتجاوز الزيادة في عدد ممارسي غسل الأموال الذين كانوا مسؤولين تقليديًا عن تنفيذ هذه الحلول التقنية لتحقيق نتائج الأعمال.

في مؤسسة اليوم ، هناك حاجة لاستخدام التعلم الآلي من قبل ممارسين غير متخصصين في تعلم الآلة والذين يتقنون التعامل مع البيانات ، وهو أساس تعلم الآلة. ولجعل ذلك حقيقة واقعة ، يتم إدراك قيمة ML عبر المؤسسة من خلال منصات ML بدون تعليمات برمجية. تتيح هذه الأنظمة الأساسية لشخصيات مختلفة ، على سبيل المثال محللي الأعمال ، استخدام ML دون كتابة سطر واحد من التعليمات البرمجية وتقديم حلول لمشاكل العمل بطريقة سريعة وبسيطة وبديهية. قماش أمازون سيج ميكر هي خدمة التوجيه والنقر المرئية التي تمكن محللي الأعمال من استخدام ML لحل مشاكل الأعمال من خلال إنشاء تنبؤات دقيقة بأنفسهم - دون الحاجة إلى أي خبرة في تعلم الآلة أو الحاجة إلى كتابة سطر واحد من التعليمات البرمجية. قامت Canvas بتوسيع استخدام ML في المؤسسة بواجهة سهلة الاستخدام سهلة الاستخدام تساعد الشركات على تنفيذ الحلول بسرعة.

على الرغم من أن Canvas قد مكنت من إضفاء الطابع الديمقراطي على ML ، إلا أن التحدي المتمثل في توفير ونشر بيئات ML بطريقة آمنة لا يزال قائماً. عادةً ما تكون هذه مسؤولية فرق تقنية المعلومات المركزية في معظم المؤسسات الكبيرة. في هذا المنشور ، نناقش كيف يمكن لفرق تكنولوجيا المعلومات إدارة وتوفير وإدارة بيئات ML الآمنة باستخدام قماش أمازون سيج ميكر, مجموعة تطوير سحابة AWS (AWS CDK) و كتالوج خدمة AWS. يقدم المنشور دليلاً مفصلاً خطوة بخطوة لمسؤولي تكنولوجيا المعلومات لتحقيق ذلك بسرعة وعلى نطاق واسع.

نظرة عامة على AWS CDK وكتالوج خدمة AWS

AWS CDK عبارة عن إطار عمل لتطوير البرامج مفتوح المصدر لتحديد موارد تطبيقات السحابة الخاصة بك. يستخدم الإلمام والقوة التعبيرية للغات البرمجة لنمذجة تطبيقاتك ، مع توفير الموارد بطريقة آمنة وقابلة للتكرار.

يتيح لك AWS Service Catalog إدارة خدمات تكنولوجيا المعلومات والتطبيقات والموارد والبيانات الوصفية المنشورة مركزيًا. باستخدام AWS Service Catalog ، يمكنك إنشاء موارد السحابة ومشاركتها وتنظيمها وإدارتها باستخدام البنية التحتية كقوالب رمز (IaC) وتمكين التزويد السريع والمباشر.

حل نظرة عامة

نقوم بتمكين توفير بيئات تعلم الآلة باستخدام Canvas في ثلاث خطوات:

1. أولاً ، نشارك كيف يمكنك إدارة مجموعة من الموارد اللازمة للاستخدام المعتمد لـ Canvas باستخدام AWS Service Catalog.
2. بعد ذلك ، ننشر مثالاً لمجموعة كتالوج خدمات AWS لـ Canvas باستخدام AWS CDK.
3. أخيرًا ، نوضح كيف يمكنك توفير بيئات Canvas عند الطلب في غضون دقائق.

المتطلبات الأساسية المسبقة

لتزويد بيئات ML باستخدام Canvas و AWS CDK و AWS Service Catalog ، يلزمك القيام بما يلي:

1. الوصول إلى حساب AWS حيث سيتم نشر محفظة كتالوج الخدمة. تأكد من أن لديك بيانات الاعتماد والأذونات لنشر مكدس AWS CDK في حسابك. ال ورشة عمل AWS CDK هو مورد مفيد يمكنك الرجوع إليه إذا كنت بحاجة إلى دعم.
2. نوصي باتباع أفضل الممارسات المعينة التي تم إبرازها من خلال المفاهيم المفصلة في الموارد التالية:
3. استنساخ هذا مستودع جيثب في بيئتك.

قم بتوفير بيئات ML المعتمدة مع Amazon SageMaker Canvas باستخدام AWS Service Catalog

في الصناعات الخاضعة للتنظيم ومعظم المؤسسات الكبيرة ، تحتاج إلى الالتزام بالمتطلبات التي تفرضها فرق تكنولوجيا المعلومات لتوفير بيئات تعلم الآلة وإدارتها. قد تشمل هذه شبكة آمنة وخاصة ، وتشفير البيانات ، وعناصر التحكم للسماح فقط للمستخدمين المصرح لهم والمصادق عليهم مثل إدارة الهوية والوصول AWS (IAM) للوصول إلى حلول مثل Canvas ، والتسجيل الصارم والمراقبة لأغراض التدقيق.

بصفتك مسؤول تكنولوجيا المعلومات ، يمكنك استخدام AWS Service Catalog لإنشاء وتنظيم بيئات ML آمنة وقابلة للتكرار باستخدام SageMaker Canvas في مجموعة منتجات. تتم إدارة ذلك باستخدام عناصر تحكم IaC المضمنة لتلبية المتطلبات المذكورة سابقًا ، ويمكن توفيرها عند الطلب في غضون دقائق. يمكنك أيضًا التحكم في من يمكنه الوصول إلى هذه المحفظة لإطلاق المنتجات.

يوضح الرسم البياني التالي هذه العمارة.

مثال على التدفق

في هذا القسم ، نعرض مثالاً على مجموعة كتالوج خدمات AWS باستخدام SageMaker Canvas. تتكون الحافظة من جوانب مختلفة من بيئة Canvas التي تعد جزءًا من محفظة كتالوج الخدمة:

• مجال الاستوديو - Canvas هو أحد التطبيقات التي يتم تشغيلها من الداخل مجالات الاستوديو. المجال يتكون من نظام ملفات أمازون المرن حجم (Amazon EFS) ، وقائمة بالمستخدمين المصرح لهم ، ومجموعة من الأمان والتطبيقات والسياسة و سحابة أمازون الافتراضية الخاصة تكوينات (VPC). يرتبط حساب AWS بمجال واحد لكل منطقة.
• حاوية Amazon S3 - بعد إنشاء مجال Studio ، يتم إنشاء ملف خدمة تخزين أمازون البسيطة يتم توفير حاوية (Amazon S3) لـ Canvas للسماح باستيراد مجموعات البيانات من الملفات المحلية ، والمعروف أيضًا باسم تحميل الملفات المحلية. هذه الحاوية موجودة في حساب العميل وتم توفيرها مرة واحدة.
• مستخدم Canvas - SageMaker Canvas هو تطبيق يمكنك من خلاله إضافة ملفات تعريف المستخدمين داخل نطاق Studio لكل مستخدم Canvas ، والذي يمكنه متابعة استيراد مجموعات البيانات ، وبناء نماذج ML وتدريبها دون كتابة تعليمات برمجية ، وتشغيل التنبؤات على النموذج.
• الإغلاق المجدول لجلسات Canvas - يمكن لمستخدمي Canvas تسجيل الخروج من واجهة Canvas عند الانتهاء من مهامهم. بدلاً عن ذلك، يمكن للمسؤولين إغلاق جلسات Canvas من وحدة تحكم إدارة AWS كجزء من إدارة جلسات Canvas. في هذا الجزء من محفظة AWS Service Catalog ، يوجد ملف AWS لامدا وظيفة تم إنشاؤه وتوفيره لإغلاق جلسات Canvas تلقائيًا في فترات زمنية مجدولة محددة. يساعد ذلك في إدارة الجلسات المفتوحة وإغلاقها عندما لا تكون قيد الاستخدام.

يمكن العثور على هذا التدفق المثال في ملف مستودع جيثب للإشارة سريعة.

انشر التدفق باستخدام AWS CDK

في هذا القسم ، نقوم بنشر التدفق الموصوف سابقًا باستخدام AWS CDK. بعد نشره ، يمكنك أيضًا تتبع الإصدار وإدارة الحافظة.

يمكن العثور على مكدس المحفظة بتنسيق app.py وأكوام المنتج تحت products/ مجلد. يمكنك تكرار أدوار IAM ، خدمة إدارة مفتاح AWS (AWS KMS) وإعداد VPC في ملف studio_constructs/ مجلد. قبل نشر المكدس في حسابك ، يمكنك تحرير الأسطر التالية بتنسيق app.py ومنح حافظة الوصول إلى دور IAM من اختيارك.

يمكنك إدارة الوصول إلى الحافظة لمستخدمي ومجموعات وأدوار IAM ذات الصلة. نرى منح حق الوصول للمستخدمين لمزيد من التفاصيل.

انشر المحفظة في حسابك

يمكنك الآن تشغيل الأوامر التالية لتثبيت AWS CDK والتأكد من أن لديك التبعيات الصحيحة لنشر الحافظة:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

قم بتشغيل الأوامر التالية لنشر الحافظة في حسابك:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

يحصل أول أمرين على معرف حسابك والمنطقة الحالية باستخدام ملف واجهة سطر الأوامر AWS (AWS CLI) على جهاز الكمبيوتر الخاص بك. تتبع هذا، cdk bootstrap و cdk deploy بناء الأصول محليًا ونشر الحزمة في بضع دقائق.

يمكن الآن العثور على الحافظة في AWS Service Catalog ، كما هو موضح في لقطة الشاشة التالية.

التزويد عند الطلب

يمكن إطلاق المنتجات داخل المحفظة بسرعة وسهولة عند الطلب من تموين القائمة في وحدة تحكم AWS Service Catalog. يتمثل التدفق النموذجي في تشغيل مجال Studio والإغلاق التلقائي لـ Canvas أولاً لأن هذا عادةً ما يكون إجراءً لمرة واحدة. يمكنك بعد ذلك إضافة مستخدمي Canvas إلى المجال. يتم حفظ معرف المجال ودور IAM للمستخدم في مدير أنظمة AWS ويتم ملؤها تلقائيًا بمعلمات المستخدم كما هو موضح في لقطة الشاشة التالية.

يمكنك أيضًا استخدام علامات تخصيص التكلفة المرفقة بكل مستخدم. فمثلا، UserCostCenter هو نموذج لعلامة حيث يمكنك إضافة اسم كل مستخدم.

الاعتبارات الرئيسية للتحكم في بيئات تعلم الآلة باستخدام Canvas

الآن بعد أن قمنا بتوفير ونشر مجموعة كتالوج خدمة AWS التي تركز على Canvas ، نود تسليط الضوء على بعض الاعتبارات للتحكم في بيئات تعلم الآلة القائمة على Canvas والتي تركز على المجال وملف تعريف المستخدم.

فيما يلي اعتبارات تتعلق بمجال Studio:

• تتم إدارة Networking for Canvas على مستوى مجال Studio ، حيث يتم نشر المجال على شبكة VPC فرعية خاصة للاتصال الآمن. نرى تأمين اتصال Amazon SageMaker Studio باستخدام VPC خاص لتعلم المزيد.
• يتم تحديد دور تنفيذ IAM افتراضي على مستوى المجال. يتم تعيين هذا الدور الافتراضي لجميع مستخدمي Canvas في المجال.
• يتم التشفير باستخدام AWS KMS من خلال تشفير وحدة تخزين EFS في المجال. للحصول على عناصر تحكم إضافية ، يمكنك تحديد المفتاح المُدار الخاص بك ، والمعروف أيضًا باسم المفتاح المُدار بواسطة العميل (CMK). نرى حماية البيانات في حالة الراحة باستخدام التشفير لتعلم المزيد.
• تتم القدرة على تحميل الملفات من القرص المحلي الخاص بك عن طريق إرفاق سياسة مشاركة الموارد عبر الأصل (CORS) بحاوية S3 المستخدمة بواسطة Canvas. نرى امنح المستخدمين أذونات لتحميل الملفات المحلية لتعلم المزيد.

فيما يلي اعتبارات تتعلق بملف تعريف المستخدم:

• يمكن إجراء المصادقة في Studio من خلال تسجيل الدخول الأحادي (SSO) و IAM. إذا كان لديك موفر هوية موجود لتوحيد المستخدمين للوصول إلى وحدة التحكم ، يمكنك تعيين ملف تعريف مستخدم Studio لكل هوية متحدة باستخدام IAM. انظر القسم تعيين السياسة لمستخدمي الاستوديو in تكوين Amazon SageMaker Studio للفرق والمجموعات من خلال عزل كامل للموارد لتعلم المزيد.
• يمكنك تعيين أدوار تنفيذ IAM لكل ملف تعريف مستخدم. أثناء استخدام Studio ، يفترض المستخدم الدور المعين لملف تعريف المستخدم الخاص به والذي يتجاوز دور التنفيذ الافتراضي. يمكنك استخدام هذا للتحكم في الوصول الدقيق داخل الفريق.
• يمكنك تحقيق العزل باستخدام عناصر التحكم في الوصول المستندة إلى السمات (ABAC) للتأكد من أن المستخدمين يمكنهم فقط الوصول إلى الموارد لفريقهم. نرى تكوين Amazon SageMaker Studio للفرق والمجموعات من خلال عزل كامل للموارد لتعلم المزيد.
• يمكنك إجراء تتبع دقيق للتكلفة عن طريق تطبيق علامات تخصيص التكلفة على ملفات تعريف المستخدمين.

تنظيف

لتنظيف الموارد التي تم إنشاؤها بواسطة AWS CDK stack أعلاه ، انتقل إلى صفحة حزم AWS CloudFormation واحذف حزم Canvas. يمكنك أيضا الجري cdk destroy من داخل مجلد المستودع ، لفعل الشيء نفسه.

وفي الختام

في هذا المنشور ، شاركنا كيف يمكنك توفير بيئات تعلم الآلة بسرعة وسهولة باستخدام Canvas باستخدام AWS Service Catalog و AWS CDK. ناقشنا كيف يمكنك إنشاء محفظة على AWS Service Catalog وتوفير الحافظة ونشرها في حسابك. يمكن لمسؤولي تكنولوجيا المعلومات استخدام هذه الطريقة لنشر المستخدمين والجلسات والتكاليف المرتبطة بها وإدارتها أثناء توفير Canvas.

تعرف على المزيد حول Canvas on the صفحة المنتج و دليل المطور. لمزيد من القراءة ، يمكنك تعلم كيفية ذلك تمكين محللي الأعمال من الوصول إلى SageMaker Canvas باستخدام AWS SSO بدون وحدة التحكم. يمكنك أيضا أن تتعلم كيف يمكن لمحللي الأعمال وعلماء البيانات التعاون بشكل أسرع باستخدام Canvas و Studio.

حول المؤلف

دافيد جاليتيلي مهندس حلول متخصص للذكاء الاصطناعي / تعلم الآلة في منطقة أوروبا والشرق الأوسط وإفريقيا. يقيم في بروكسل ويعمل بشكل وثيق مع العملاء في جميع أنحاء البنلوكس. لقد كان مطورًا منذ أن كان صغيرًا جدًا ، حيث بدأ البرمجة في سن السابعة. بدأ تعلم الذكاء الاصطناعي / تعلم الآلة في الجامعة ، ووقع في حبها منذ ذلك الحين.

سفيان حميتي هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في AWS. إنه يساعد العملاء عبر الصناعات على تسريع رحلة الذكاء الاصطناعي / التعلم الآلي من خلال مساعدتهم على بناء حلول التعلم الآلي الشاملة وتشغيلها.

شيام سرينيفاسان هو مدير المنتج الرئيسي في فريق AWS AI / ML ، ويقود إدارة المنتجات في Amazon SageMaker Canvas. يهتم شيام بجعل العالم مكانًا أفضل من خلال التكنولوجيا وهو متحمس لكيفية أن يكون الذكاء الاصطناعي والتعلم الآلي حافزًا في هذه الرحلة.

آفي باتيل يعمل كمهندس برمجيات في فريق Amazon SageMaker Canvas. تتكون خلفيته من العمل الكامل مع التركيز على الواجهة الأمامية. في أوقات فراغه ، يحب المساهمة في مشاريع مفتوحة المصدر في مساحة التشفير والتعرف على بروتوكولات DeFi الجديدة.

جاريد هيوود هو مدير تطوير أعمال أول في AWS. وهو متخصص عالمي في الذكاء الاصطناعي / التعلم الآلي يساعد العملاء في التعلم الآلي بدون رمز. لقد عمل في مساحة AutoML على مدار السنوات الخمس الماضية وأطلق منتجات في Amazon مثل Amazon SageMaker JumpStart و Amazon SageMaker Canvas.