قم بتشغيل أجهزة الكمبيوتر المحمولة كوظائف مجمعة في Amazon SageMaker Studio Lab

في الآونة الأخيرة، أمازون ساجميكر ستوديو أطلق طريقة سهلة لتشغيل دفاتر الملاحظات كوظائف مجمعة يمكن تشغيلها وفقًا لجدول زمني متكرر. مختبر استوديو Amazon SageMaker يدعم أيضًا هذه الميزة ، مما يتيح لك تشغيل أجهزة الكمبيوتر المحمولة التي تقوم بتطويرها في SageMaker Studio Lab في حساب AWS الخاص بك. يمكّنك هذا من توسيع نطاق تجارب التعلم الآلي (ML) بسرعة باستخدام مجموعات بيانات أكبر وحالات أكثر قوة ، دون الحاجة إلى تعلم أي شيء جديد أو تغيير سطر واحد من التعليمات البرمجية.

في هذا المنشور ، نوجهك عبر المتطلب الأساسي لمرة واحدة لتوصيل بيئة Studio Lab الخاصة بك بحساب AWS. بعد ذلك ، نوجهك عبر خطوات تشغيل أجهزة الكمبيوتر المحمولة كوظيفة مجمعة من Studio Lab.

حل نظرة عامة

قام Studio Lab بتضمين نفس الامتداد مثل Studio ، والذي يعتمد على امتداد Jupyter مفتوح المصدر لـ دفاتر الملاحظات المجدولة. يحتوي هذا الامتداد على معلمات إضافية خاصة بـ AWS ، مثل نوع الحوسبة. في Studio Lab ، يتم أولاً نسخ دفتر ملاحظات مجدول إلى ملف خدمة تخزين أمازون البسيطة (Amazon S3) في حساب AWS الخاص بك ، ثم قم بتشغيله في الوقت المحدد بنوع الحوسبة المحدد. عند اكتمال المهمة ، تتم كتابة المخرجات في حاوية S3 ، ويتوقف حساب AWS تمامًا ، مما يمنع التكاليف المستمرة.

المتطلبات الأساسية المسبقة

لاستخدام وظائف دفتر Studio Lab ، تحتاج إلى وصول إداري إلى حساب AWS الذي ستتواصل معه (أو مساعدة من شخص لديه هذا الوصول). في بقية هذا المنشور ، نفترض أنك مسؤول AWS ، وإذا لم يكن الأمر كذلك ، اطلب من المسؤول أو مالك الحساب مراجعة هذه الخطوات معك.

قم بإنشاء دور تنفيذي لـ SageMaker

نحن بحاجة إلى التأكد من أن حساب AWS لديه ملف إدارة الهوية والوصول AWS (IAM) دور تنفيذ SageMaker. يتم استخدام هذا الدور بواسطة موارد SageMaker داخل الحساب ، ويوفر الوصول من SageMaker إلى الموارد الأخرى في حساب AWS. في حالتنا ، تعمل وظائف الكمبيوتر الدفتري لدينا بهذه الأذونات. إذا تم استخدام SageMaker مسبقًا في هذا الحساب ، فقد يكون هناك دور موجود بالفعل ، ولكن قد لا يحتوي على جميع الأذونات المطلوبة. لذلك دعونا نمضي قدمًا ونصنع واحدة جديدة.

يجب تنفيذ الخطوات التالية مرة واحدة فقط ، بغض النظر عن عدد بيئات SageMaker Studio Lab التي ستصل إلى حساب AWS هذا.

1. في وحدة تحكم IAM ، اختر الأدوار في جزء التنقل.
2. اختار خلق دور.
3. في حالة نوع الكيان الموثوق به، حدد خدمة AWS.
4. في حالة حالات الاستخدام لخدمات AWS الأخرى، اختر SageMaker.
5. أختار SageMaker - التنفيذ.
6. اختار التالى.
7. راجع الأذونات ، ثم اختر التالى.
8. في حالة اسم الدور، أدخل اسمًا (لهذا المنشور ، نستخدم sagemaker-execution-role-notebook-jobs).
9. اختار خلق دور.
10. قم بتدوين دور ARN.

سيكون دور ARN بتنسيق arn:aws:iam::[account-number]:role/service-role/[role-name] وهو مطلوب في إعداد Studio Lab.

إنشاء مستخدم IAM

لكي تتمكن بيئة Studio Lab من الوصول إلى AWS ، نحتاج إلى إنشاء مستخدم IAM داخل AWS ومنحه الأذونات اللازمة. نحتاج بعد ذلك إلى إنشاء مجموعة من مفاتيح الوصول لهذا المستخدم وتزويدها ببيئة Studio Lab.

يجب تكرار هذه الخطوة لكل بيئة SageMaker Studio Lab ستصل إلى حساب AWS هذا.

لاحظ أنه يجب على المسؤولين ومالكي حسابات AWS التأكد من اتباع ممارسات الأمان المصممة جيدًا إلى أقصى حد ممكن. على سبيل المثال ، يجب دائمًا تحديد نطاق أذونات المستخدم ، ويجب تدوير مفاتيح الوصول بانتظام لتقليل تأثير اختراق بيانات الاعتماد.

في هذه المدونة نعرض كيفية استخدام AmazonSageMakerFullAccess السياسة المدارة. توفر هذه السياسة وصولاً واسعًا إلى Amazon SageMaker قد يتجاوز ما هو مطلوب. تفاصيل حول AmazonSageMakerFullAccess ويمكن الاطلاع على هنا.

على الرغم من أن Studio Lab يستخدم أمان المؤسسة ، تجدر الإشارة إلى أن بيانات اعتماد مستخدم Studio Lab لا تشكل جزءًا من حساب AWS الخاص بك ، وبالتالي ، على سبيل المثال ، لا تخضع لكلمة مرور AWS أو سياسات MFA الخاصة بك.

لتحديد نطاق الأذونات قدر الإمكان ، نقوم بإنشاء ملف تعريف مستخدم خصيصًا لهذا الوصول.

1. في وحدة تحكم IAM ، اختر المستخدمين في جزء التنقل.
2. اختار أضف المستخدمين.
3. في حالة اسم المستخدم، أدخل اسمًا. من الممارسات الجيدة استخدام اسم مرتبط بشخص ما سيستخدم هذا الحساب ؛ هذا يساعد في حالة مراجعة سجلات التدقيق.
4. في حالة حدد نوع الوصول AWS، حدد مفتاح الوصول - الوصول الآلي.
5. اختار التالي: أذونات.
6. اختار إرفاق السياسات الحالية مباشرة.
7. ابحث عن واختر AmazonSageMakerFullAccess.
8. ابحث عن واختر AmazonEventBridgeFullAccess.
9. اختار التالي: العلامات.
10. اختار التالي: مراجعة.
11. قم بتأكيد سياساتك ، ثم اختر خلق المستخدم.يجب أن تُظهر لك الصفحة الأخيرة من عملية إنشاء المستخدم مفاتيح وصول المستخدم. اترك علامة التبويب هذه مفتوحة ، لأننا لا نستطيع العودة هنا ونحتاج إلى هذه التفاصيل.
12. افتح علامة تبويب متصفح جديدة في Studio Lab.
13. على قم بتقديم القائمة، اختر قاذفة جديدة، ثم اختر محطة.
14. في سطر الأوامر ، أدخل الرمز التالي:

    aws configure

15. أدخل الكود التالي:
    1. أدخل القيم من صفحة وحدة التحكم IAM لمعرف مفتاح الوصول ومفتاح الوصول السري.
    2. في حالة Default region name، أدخل us-west-2.
    3. يترك Default output format as text.

       (studiolab) studio-lab-user@default:~$ aws configure 
       AWS Access Key ID []: 01234567890
       AWS Secret Access Key []: ABCDEFG1234567890ABCDEFG
       Default region name []: us-west-2
       Default output format [text]: 
       
       (studiolab) studio-lab-user@default:~$

تهانينا ، يجب الآن تكوين بيئة Studio Lab الخاصة بك للوصول إلى حساب AWS. لاختبار الاتصال ، قم بإصدار الأمر التالي:

aws sts get-caller-identity

يجب أن يعرض هذا الأمر تفاصيل حول مستخدم IAM الذي قمت بتكوينه للاستخدام.

قم بإنشاء وظيفة دفتر ملاحظات

يتم إنشاء وظائف الكمبيوتر المحمول باستخدام دفاتر Jupyter داخل Studio Lab. إذا كان الكمبيوتر الدفتري الخاص بك يعمل في Studio Lab ، فيمكنه تشغيله كوظيفة دفتر ملاحظات (مع المزيد من الموارد والوصول إلى خدمات AWS). ومع ذلك ، هناك بعض الأشياء التي يجب مراقبتها.

إذا قمت بتثبيت حزم لتشغيل الكمبيوتر الدفتري ، فأضف أوامر لتحميل هذه الحزم في خلية أعلى الكمبيوتر الدفتري. باستخدام & رمز في بداية كل سطر ، سيتم إرسال الرمز إلى سطر الأوامر للتشغيل. في المثال التالي ، تستخدم الخلية الأولى pip لتثبيت مكتبات PyTorch:

%%capture
%pip install torch
%pip install torchvision

سيقوم الكمبيوتر الدفتري الخاص بنا بإنشاء نموذج PyTorch مدرب. باستخدام الكود العادي الخاص بنا ، نقوم بحفظ النموذج في نظام الملفات في Studio Labs.

عندما نقوم بتشغيل هذا كمهمة دفتر ملاحظات ، نحتاج إلى حفظ النموذج في مكان ما يمكننا الوصول إليه بعد ذلك. أسهل طريقة للقيام بذلك هي حفظ النموذج في Amazon S3. أنشأنا حاوية S3 لحفظ نماذجنا ، واستخدمنا خلية سطر أوامر أخرى لنسخ الكائن في الحاوية.

نستخدم واجهة سطر الأوامر AWS (AWS CLI) هنا لنسخ الكائن. يمكننا أيضًا استخدام AWS SDK لـ Python (Boto3) إذا أردنا الحصول على تحكم أكثر تعقيدًا أو آليًا في اسم الملف. في الوقت الحالي ، سنضمن تغيير اسم الملف في كل مرة نقوم فيها بتشغيل الكمبيوتر الدفتري حتى لا يتم الكتابة فوق النماذج.

نحن الآن جاهزون لإنشاء وظيفة الكمبيوتر المحمول.

1. اختر (انقر بزر الماوس الأيمن) اسم دفتر الملاحظات ، ثم اختر إنشاء وظيفة دفتر الملاحظات.
   إذا كان خيار القائمة هذا مفقودًا ، فقد تحتاج إلى تحديث بيئة Studio Lab الخاصة بك. للقيام بذلك ، افتح Terminal من المشغل وقم بتشغيل الكود التالي:

   conda deactivate && conda env remove —name studiolab

2. بعد ذلك ، أعد تشغيل مثيل JupyterLab عن طريق الاختيار مختبر استوديو Amazon SageMaker من القائمة العلوية ، ثم اختر أعد تشغيل JupyterLabأو بدلاً من ذلك ، انتقل إلى صفحة المشروع ، وأغلق وقت التشغيل وأعد تشغيله.
3. على خلق وظيفة صفحة ، لـ نوع الحساب، اختر نوع الحوسبة الذي يناسب وظيفتك.

   لمزيد من المعلومات حول الأنواع المختلفة لسعة الحوسبة ، بما في ذلك التكلفة ، راجع الأمازون SageMaker التسعير (يختار التسعير عند الطلب وانتقل الى قادة الإيمان التبويب. قد تحتاج أيضًا إلى التحقق من توفر الحصة لنوع الحوسبة في حساب AWS الخاص بك. لمزيد من المعلومات حول حصص الخدمة ، راجع: حصص خدمة AWSفي هذا المثال ، اخترنا مثيل ml.p3.2xlarge ، والذي يوفر 8 وحدات معالجة مركزية (vCPU) و 61 جيجابايت من الذاكرة ووحدة معالجة رسومات Tesla V100.

   إذا لم تكن هناك تحذيرات في هذه الصفحة ، فيجب أن تكون جاهزًا للانطلاق. إذا كانت هناك تحذيرات ، فتحقق للتأكد من الدور الصحيح المحدد في ARN خيارات اضافية. يجب أن يتطابق هذا الدور مع ARN لدور تنفيذ SageMaker الذي أنشأناه سابقًا. ARN في التنسيق arn:aws:iam::[account-number]:role/service-role/[role-name].

   هناك خيارات أخرى متاحة داخل خيارات اضافية؛ على سبيل المثال ، يمكنك تحديد صورة ونواة معينة قد تحتوي بالفعل على التكوين الذي تحتاجه دون الحاجة إلى تثبيت مكتبات إضافية.

4. إذا كنت تريد تشغيل دفتر الملاحظات هذا وفقًا لجدول زمني ، فحدد تشغيل وفقًا لجدول زمني وحدد عدد المرات التي تريد تشغيل الوظيفة.نريد تشغيل هذا الكمبيوتر الدفتري مرة واحدة ، لذلك نختار اركض الآن.
5. اختار إنشاء.
   

قائمة وظائف دفتر الملاحظات

• وظائف دفتر الملاحظات تسرد الصفحة جميع الوظائف قيد التشغيل حاليًا وتلك التي تم تشغيلها في الماضي. يمكنك العثور على هذه القائمة من المشغل (اختر ، قم بتقديم, قاذفة جديدة) ، ثم اختر وظائف دفتر الملاحظات في ال أخرى والقسم الخاص به.

عند اكتمال مهمة دفتر الملاحظات ، سترى تغيير الحالة إلى Completed (استخدم ال اعد تحميل الخيار إذا لزم الأمر). يمكنك بعد ذلك اختيار أيقونة التنزيل للوصول إلى الملفات الناتجة.

عندما يتم تنزيل الملفات ، يمكنك مراجعة دفتر الملاحظات مع إخراج الكود وسجل الإخراج. في حالتنا ، نظرًا لأننا أضفنا رمزًا إلى وقت تشغيل خلية التدريب ، يمكننا معرفة المدة التي استغرقتها مهمة التدريب —16 دقيقة و 21 ثانية ، وهي أسرع بكثير مما لو تم تشغيل الكود داخل Studio Lab (ساعة واحدة ، 1 دقيقة ، 38 ثانية). في الواقع ، تم تشغيل الكمبيوتر الدفتري بالكامل في 55 ثانية (ما يزيد قليلاً عن 1,231 دقيقة) بتكلفة أقل من 20 دولار (دولار أمريكي).

يمكن الآن لـ W زيادة عدد الحقب وضبط المعلمات الفائقة لتحسين قيمة الخسارة للنموذج ، وإرسال مهمة دفتر ملاحظات أخرى.

وفي الختام

في هذا المنشور ، أوضحنا كيفية استخدام وظائف دفتر Studio Lab لتوسيع نطاق الشفرة التي طورناها في Studio Lab وتشغيلها بمزيد من الموارد في حساب AWS.

من خلال إضافة بيانات اعتماد AWS إلى بيئة Studio Lab الخاصة بنا ، لا يمكننا فقط الوصول إلى وظائف الكمبيوتر المحمول ، ولكن يمكننا أيضًا الوصول إلى الموارد الأخرى من حساب AWS مباشرة من داخل دفاتر Studio Lab الخاصة بنا. ألق نظرة على AWS SDK لـ Python.

ترفع هذه القدرة الإضافية لـ Studio Lab حدود أنواع وأحجام المشاريع التي يمكنك تحقيقها. دعنا نعرف ما الذي تبنيه بهذه الإمكانية الجديدة!

عن المؤلفين

مايك تشامبرز هو مطور مؤيد للذكاء الاصطناعي والتعلم الآلي في AWS. لقد أمضى السنوات السبع الماضية في مساعدة المنشئين على تعلم السحابة والأمان وتعلم الآلة. أصلاً من المملكة المتحدة ، مايك هو شارب الشاي و Lego builder.

ميشيل مونكلوفا هو مدير المنتج الرئيسي في AWS ضمن فريق SageMaker. وهي من سكان نيويورك الأصليين ومحاربين سابقين في وادي السيليكون. إنها شغوفة بالابتكارات التي تعمل على تحسين نوعية حياتنا.