يفضل علماء البيانات دفاتر Jupyter بشكل كبير لقدرتها على معالجة البيانات بشكل تفاعلي ، وبناء نماذج ML ، واختبار هذه النماذج من خلال إجراء استنتاجات على البيانات. ومع ذلك ، هناك سيناريوهات قد يفضل فيها علماء البيانات الانتقال من التطوير التفاعلي على أجهزة الكمبيوتر المحمولة إلى الوظائف المجمعة. تتضمن أمثلة حالات الاستخدام هذه توسيع نطاق وظيفة هندسة الميزات التي تم اختبارها مسبقًا على مجموعة بيانات صغيرة على مثيل دفتر صغير ، وتشغيل تقارير ليلية لاكتساب رؤى حول مقاييس الأعمال ، وإعادة تدريب نماذج ML وفقًا لجدول زمني عندما تصبح البيانات الجديدة متاحة.
يتطلب الترحيل من التطوير التفاعلي على دفاتر الملاحظات إلى المهام المجمعة نسخ مقتطفات التعليمات البرمجية من دفتر الملاحظات إلى برنامج نصي ، وتعبئة البرنامج النصي بكل تبعياته في حاوية ، وجدولة الحاوية للتشغيل. لتشغيل هذه الوظيفة بشكل متكرر وفقًا لجدول زمني ، كان عليك إعداد البنية التحتية السحابية وتكوينها والإشراف عليها لأتمتة عمليات النشر ، مما يؤدي إلى تحويل الوقت الثمين بعيدًا عن أنشطة تطوير علوم البيانات الأساسية.
للمساعدة في تبسيط عملية الانتقال من أجهزة الكمبيوتر المحمولة التفاعلية إلى الوظائف المجمعة ، في ديسمبر 2022 ، أمازون ساجميكر ستوديو و معمل الاستوديو قدم القدرة على تشغيل أجهزة الكمبيوتر المحمولة كوظائف مجدولة ، باستخدام تدفقات العمل القائمة على الكمبيوتر الدفتري. يمكنك الآن استخدام نفس الإمكانية لتشغيل دفاتر Jupyter من أي بيئة JupyterLab مثل الأمازون SageMaker مثيلات دفتر الملاحظات و JupyterLab تعمل على جهازك المحلي. يوفر SageMaker امتدادًا مفتوح المصدر يمكن تثبيته على أي بيئة JupyterLab واستخدامها لتشغيل دفاتر الملاحظات كوظائف سريعة الزوال ووفقًا لجدول زمني.
في هذا المنشور ، نوضح لك كيفية تشغيل دفاتر ملاحظاتك من بيئة JupyterLab المحلية الخاصة بك كوظائف مجدولة في دفتر الملاحظات على SageMaker.
حل نظرة عامة
يتم عرض بنية الحل لجدولة وظائف دفتر الملاحظات من أي بيئة JupyterLab في الرسم التخطيطي التالي. يتوقع امتداد SageMaker أن يكون لبيئة JupyterLab بيانات اعتماد وأذونات AWS صالحة لجدولة مهام الكمبيوتر المحمول. نناقش خطوات إعداد بيانات الاعتماد و إدارة الهوية والوصول AWS (IAM) لاحقًا في هذا المنشور. بالإضافة إلى مستخدم IAM وجلسة الدور المفترضة لجدولة الوظيفة ، تحتاج أيضًا إلى توفير دور لمثيل مهمة دفتر الملاحظات لتفترض الوصول إلى بياناتك في خدمة تخزين أمازون البسيطة (Amazon S3) أو للاتصال بـ أمازون EMR مجموعات حسب الحاجة.
في الأقسام التالية ، نعرض كيفية إعداد البنية وتثبيت ملحق مفتوح المصدر ، وتشغيل جهاز كمبيوتر محمول مع التكوينات الافتراضية ، وكذلك استخدام المعلمات المتقدمة لتشغيل جهاز كمبيوتر محمول بإعدادات مخصصة.
المتطلبات الأساسية المسبقة
بالنسبة لهذا المنشور ، نفترض وجود بيئة JupyterLab مستضافة محليًا. يمكنك اتباع نفس خطوات التثبيت لبيئة مستضافة في السحابة أيضًا.
تفترض الخطوات التالية أن لديك بالفعل بيئة Python 3 و JupyterLab صالحة (يعمل هذا الامتداد مع JupyterLab v3.0 أو أعلى).
تثبيت واجهة سطر الأوامر AWS (AWS CLI) إذا لم يكن مثبتًا لديك بالفعل. يرى تثبيت أو تحديث أحدث إصدار من AWS CLI للحصول على تعليمات.
قم بإعداد بيانات اعتماد IAM
أنت بحاجة إلى مستخدم IAM أو جلسة دور IAM نشطة لإرسال وظائف دفتر ملاحظات SageMaker. لإعداد بيانات اعتماد IAM الخاصة بك ، يمكنك تكوين AWS CLI باستخدام بيانات اعتماد AWS الخاصة بك لمستخدم IAM الخاص بك ، أو تولي دور IAM. للحصول على إرشادات حول إعداد بيانات الاعتماد الخاصة بك ، راجع تكوين AWS CLI. يحتاج مدير IAM (المستخدم أو الدور المفترض) إلى الأذونات التالية لجدولة مهام دفتر الملاحظات. لإضافة السياسة إلى مديرك ، ارجع إلى إضافة أذونات هوية IAM.
إذا كانت مهام الكمبيوتر الدفتري الخاصة بك بحاجة إلى التشفير مع إدارة العميل خدمة إدارة مفتاح AWS (AWS KMS) ، أضف بيان السياسة الذي يسمح أيضًا بالوصول إلى AWS KMS. للحصول على نموذج للسياسة ، انظر تثبيت السياسات والأذونات لبيئات Jupyter المحلية.
قم بإعداد دور IAM لمثيل مهمة دفتر الملاحظات
يتطلب SageMaker دور IAM لتشغيل المهام نيابة عن المستخدم ، مثل تشغيل مهمة دفتر الملاحظات. يجب أن يتمتع هذا الدور بإمكانية الوصول إلى الموارد المطلوبة للكمبيوتر الدفتري لإكمال المهمة ، مثل الوصول إلى البيانات في Amazon S3.
يبحث امتداد المجدول تلقائيًا عن أدوار IAM في حساب AWS ، بالبادئة SagemakerJupyterScheduler
لتشغيل وظائف دفتر الملاحظات.
لإنشاء دور IAM ، إنشاء دور تنفيذي لـ Amazon SageMaker مع امتداد AmazonSageMakerFullAccess
سياسة. اسم الدور SagemakerJupyterSchedulerDemo
، أو أدخل اسمًا بالبادئة المتوقعة.
بعد إنشاء الدور ، على علاقات الثقة علامة التبويب، اختر تحرير نهج الثقة. استبدل سياسة الثقة الحالية بما يلي:
• AmazonSageMakerFullAccess
السياسة متساهلة إلى حد ما وهي مفضلة عمومًا للتجريب والبدء مع SageMaker. نحن نشجعك بشدة على إنشاء سياسة الحد الأدنى من النطاق لأية أعباء عمل مستقبلية وفقًا لأفضل الممارسات الأمنية في IAM. للحصول على الحد الأدنى من مجموعة الأذونات المطلوبة لوظيفة دفتر الملاحظات ، راجع تثبيت السياسات والأذونات لبيئات Jupyter المحلية.
قم بتثبيت الامتداد
افتح Terminal على جهازك المحلي وقم بتثبيت الامتداد عن طريق تشغيل الأمر التالي:
بعد تشغيل هذا الأمر ، يمكنك بدء JupyterLab عن طريق تشغيل jupyter lab.
إذا كنت تقوم بتثبيت الامتداد من داخل محطة JupyterLab ، فأعد تشغيل خادم Jupyter لتحميل الامتداد. يمكنك إعادة تشغيل خادم Jupyter باختيار إيقاف على قم بتقديم القائمة من JupyterLab الخاص بك ، وبدء JupyterLab من سطر الأوامر الخاص بك عن طريق التشغيل jupyter lab
.
إرسال وظيفة دفتر الملاحظات
بعد تثبيت الامتداد على بيئتك ، يمكنك تشغيل أي دفتر ملاحظات قائم بذاته كوظيفة سريعة الزوال. دعنا نرسل دفتر ملاحظات بسيط "Hello world" لتشغيله كوظيفة مجدولة.
- على قم بتقديم القائمة، اختر جديد و دفتر.
- أدخل المحتويات التالية:
بعد تثبيت الامتداد بنجاح ، سترى رمز جدولة دفتر الملاحظات على دفتر الملاحظات.
- اختر الرمز لإنشاء مهمة دفتر ملاحظات.
بدلاً من ذلك ، يمكنك النقر بزر الماوس الأيمن فوق دفتر الملاحظات في مستكشف الملفات والاختيار إنشاء وظيفة دفتر الملاحظات.
- قم بتوفير اسم الوظيفة وملف الإدخال ونوع الحساب والمعلمات الإضافية.
- اترك الإعدادات المتبقية على الإعدادات الافتراضية واختر خلق.
بعد جدولة الوظيفة ، تتم إعادة توجيهك إلى ملف وظائف دفتر الملاحظات علامة التبويب ، حيث يمكنك عرض قائمة مهام دفتر الملاحظات وحالتها ، وعرض إخراج دفتر الملاحظات والسجلات بعد اكتمال المهمة. يمكنك أيضًا الوصول إلى نافذة مهام دفتر الملاحظات هذه من المشغل ، كما هو موضح في لقطة الشاشة التالية.
التكوينات المتقدمة
من الحساب المحلي الخاص بك ، يتم تشغيل أجهزة الكمبيوتر المحمولة تلقائيًا على صورة SageMaker Base Python ، وهي صورة Python 3.8 الرسمية من Docker Hub مع Boto3 و AWS CLI المضمنة. في حالات العالم الحقيقي ، يحتاج علماء البيانات إلى تثبيت حزم أو أطر عمل معينة لأجهزة الكمبيوتر المحمولة الخاصة بهم. هناك ثلاث طرق لتحقيق بيئة قابلة للتكاثر:
- في أبسط خيار ، يمكنك تثبيت الحزم والأطر مباشرة على الخلية الأولى من الكمبيوتر الدفتري الخاص بك.
- يمكنك أيضًا توفير برنامج نصي للتهيئة بتنسيق خيارات اضافية ، مشيرًا إلى برنامج نصي bash على وحدة التخزين المحلية لديك يتم تشغيله بواسطة مهمة دفتر الملاحظات عند بدء تشغيل الكمبيوتر الدفتري. في القسم التالي ، نعرض مثالاً على استخدام البرامج النصية للتهيئة لتثبيت الحزم.
- أخيرًا ، إذا كنت تريد أقصى قدر من المرونة في تكوين بيئة التشغيل الخاصة بك ، فيمكنك إنشاء صورتك المخصصة باستخدام نواة Python3 ، ودفع الصورة إلى سجل الأمازون المرنة للحاويات (Amazon ECR) ، وقم بتوفير عنوان URI لصورة ECR لوظيفة الكمبيوتر المحمول الخاص بك تحت خيارات اضافية. يجب أن تتبع صورة ECR متطلبات صور SageMaker ، كما هو مدرج في مواصفات صورة SageMaker المخصصة.
بالإضافة إلى ذلك ، قد تقوم مؤسستك بإعداد حواجز حماية مثل تشغيل الوظائف في وضع عدم الاتصال بالإنترنت داخل Amazon VPC ، باستخدام دور مخصص ذي امتياز أقل للوظيفة ، وفرض التشفير. يمكنك تحديد مثل هذه التكوينات لمهام الكمبيوتر الدفتري في ملف خيارات اضافية قسم كذلك. للحصول على قائمة مفصلة بالتكوينات المتقدمة ، راجع خيارات اضافية.
قم بإضافة برنامج نصي للتهيئة
لعرض نص التهيئة ، نقوم الآن بتشغيل نموذج دفتر الملاحظات لوظائف دفتر الاستوديو المتوفرة على GitHub جيثب:. لتشغيل هذا الكمبيوتر الدفتري ، تحتاج إلى تثبيت الحزم المطلوبة من خلال برنامج نصي للتهيئة. أكمل الخطوات التالية:
- من محطة JupyterLab الخاصة بك ، قم بتشغيل الأمر التالي لتنزيل الملف:
- على قم بتقديم القائمة، اختر جديد و ملف نصي.
- أدخل المحتويات التالية إلى ملفك ، واحفظ الملف تحت الاسم
init-script.sh
: - اختار
scheduled-example.ipynb
من مستكشف الملفات لفتح دفتر الملاحظات. - اختر رمز مهمة الكمبيوتر الدفتري لجدولة دفتر الملاحظات ، وقم بتوسيع ملف خيارات اضافية والقسم الخاص به.
- في حالة موقع البرنامج النصي التهيئة، أدخل المسار الكامل للبرنامج النصي الخاص بك.
يمكنك أيضًا تخصيص مجلدات الإدخال والإخراج بشكل اختياري S3 لمهمة الكمبيوتر الدفتري الخاص بك. يقوم SageMaker بإنشاء مجلد إدخال في موقع S3 محدد لتخزين ملفات الإدخال ، ويقوم بإنشاء مجلد إخراج S3 حيث يتم تخزين مخرجات الكمبيوتر الدفتري. يمكنك تحديد تكوينات التشفير ودور IAM و VPC هنا. يرى القيود والاعتبارات للحصول على مواصفات مخصصة للصورة و VPC.
- في الوقت الحالي ، ما عليك سوى تحديث نص التهيئة واختيار اركض الآن للجدول الزمني ، واختر إنشاء.
عند اكتمال المهمة ، يمكنك عرض دفتر الملاحظات مع المخرجات وسجل الإخراج تحته ملفات الإخراج، كما هو موضح في الصورة التالية. في سجل الإخراج ، يجب أن تكون قادرًا على رؤية نص التهيئة قيد التشغيل قبل تشغيل دفتر الملاحظات.
لمزيد من التخصيص لبيئة عمل الكمبيوتر الدفتري لديك ، يمكنك استخدام صورتك الخاصة عن طريق تحديد ECR URI لصورتك المخصصة. إذا كنت تحضر صورتك الخاصة ، فتأكد من تثبيت Python3 kernel عند إنشاء صورتك. للحصول على نموذج Dockerfile يمكنه تشغيل دفتر ملاحظات باستخدام TensorFlow ، راجع التعليمات البرمجية التالية:
وفي الختام
في هذا المنشور ، أوضحنا لك كيفية تشغيل دفاتر ملاحظاتك من أي بيئة JupyterLab مستضافة محليًا كوظائف تدريب SageMaker ، باستخدام ملحق جدولة SageMaker Jupyter. القدرة على تشغيل دفاتر الملاحظات بطريقة مقطوعة الرأس ، وفقًا لجدول زمني ، تقلل إلى حد كبير الرفع الثقيل غير المتمايز لعلماء البيانات ، مثل إعادة هيكلة أجهزة الكمبيوتر المحمولة إلى نصوص Python ، والإعداد أمازون إيفينت بريدج مشغلات الحدث ، وخلق AWS لامدا وظائف أو خطوط أنابيب SageMaker لبدء وظائف التدريب. يتم تشغيل مهام دفتر ملاحظات SageMaker عند الطلب ، لذلك لا تدفع إلا مقابل الوقت الذي يتم فيه تشغيل الكمبيوتر الدفتري ، ويمكنك استخدام ملحق مهام الكمبيوتر الدفتري لعرض مخرجات الكمبيوتر المحمول في أي وقت من بيئة JupyterLab الخاصة بك. نحن نشجعك على تجربة وظائف دفتر الملاحظات المجدولة والتواصل مع مجتمع التعلم الآلي والذكاء الاصطناعي على إعادة: النشر للتعليق!
عن المؤلفين
بهادريناث باني هو مهندس تطوير برمجيات في Amazon Web Services ، ويعمل على منتجات Amazon SageMaker التفاعلية ML ، ولديه أكثر من 12 عامًا من الخبرة في تطوير البرامج عبر مجالات مثل السيارات ، وإنترنت الأشياء ، والواقع المعزز / الواقع الافتراضي ، ورؤية الكمبيوتر. في الوقت الحالي ، ينصب تركيزه الرئيسي على تطوير أدوات التعلم الآلي التي تهدف إلى تبسيط تجربة علماء البيانات. في أوقات فراغه ، يستمتع بقضاء الوقت مع عائلته واستكشاف جمال شمال غرب المحيط الهادئ.
دورجا سوري هو مهندس حلول ML في فريق Amazon SageMaker Service SA. إنها شغوفة بجعل التعلم الآلي في متناول الجميع. خلال السنوات الأربع التي قضتها في AWS ، ساعدت في إنشاء منصات AI / ML لعملاء المؤسسات. عندما لا تعمل ، تحب ركوب الدراجات النارية ، والروايات الغامضة ، والمشي لمسافات طويلة مع كلبها الهاسكي البالغ من العمر 4 سنوات.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/schedule-your-notebooks-from-any-jupyterlab-environment-using-the-amazon-sagemaker-jupyterlab-extension/
- :لديها
- :يكون
- :أين
- $ UP
- 100
- 12
- 202
- 2022
- 7
- 77
- 8
- a
- القدرة
- ماهرون
- من نحن
- الوصول
- الوصول إلى البيانات
- يمكن الوصول
- وفقا
- حسابي
- التأهيل
- في
- اكشن
- نشط
- أنشطة
- تضيف
- إضافة
- إضافي
- متقدم
- بعد
- AI
- AI / ML
- تهدف
- الكل
- السماح
- السماح
- سابقا
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- an
- و
- أي وقت
- AR / VR
- هندسة معمارية
- هي
- AS
- يفترض
- At
- أتمتة
- تلقائيا
- السيارات
- متاح
- بعيدا
- AWS
- قاعدة
- سحق
- BE
- مستحضرات التجميل
- يصبح
- قبل
- يجري
- أفضل
- أفضل الممارسات
- حظر
- وبذلك
- نساعدك في بناء
- ابني
- الأعمال
- by
- CAN
- الحالات
- اختار
- اختيار
- سحابة
- البنية التحتية السحابية
- الكود
- COM
- مجتمع
- إكمال
- إحصاء
- الكمبيوتر
- رؤية الكمبيوتر
- حالة
- التواصل
- وعاء
- محتويات
- جوهر
- خلق
- خلق
- يخلق
- خلق
- أوراق اعتماد
- حاليا
- على
- زبون
- العملاء
- تصميم
- البيانات
- علم البيانات
- ديسمبر
- الترتيب
- الطلب
- نشر
- مفصلة
- تطوير
- التطوير التجاري
- مباشرة
- بحث
- العرض
- تحويل
- عامل في حوض السفن
- المجالات
- لا
- إلى أسفل
- بإمكانك تحميله
- تأثير
- شجع
- مشفرة
- التشفير
- فرض
- مهندس
- الهندسة
- ضمان
- أدخل
- مشروع
- البيئة
- البيئات
- الحدث/الفعالية
- أحداث
- كل شخص
- مثال
- أمثلة
- القائمة
- وسع
- متوقع
- تتوقع
- الخبره في مجال الغطس
- مستكشف
- استكشاف
- تمديد
- بإنصاف
- للعائلات
- الميزات
- قم بتقديم
- ملفات
- الاسم الأول
- مرونة
- تركز
- اتباع
- متابعيك
- في حالة
- الأطر
- مجانا
- تبدأ من
- بالإضافة إلى
- وظائف
- إضافي
- مستقبل
- ربح
- على العموم
- الحصول على
- جدا
- كان
- يملك
- he
- ثقيل
- رفع أحمال ثقيلة
- مساعدة
- ساعد
- لها
- هنا
- أعلى
- جدا
- له
- استضافت
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- محور
- اي كون
- هوية
- if
- صورة
- صور
- استيراد
- in
- تتضمن
- شامل
- البنية التحتية
- إدخال
- رؤى
- تثبيت
- التركيب
- تثبيت
- تركيب
- مثل
- تعليمات
- التفاعلية
- إلى
- أدخلت
- قام المحفل
- IT
- انها
- وظيفة
- المشــاريــع
- القفل
- مفاتيح
- مختبر
- الى وقت لاحق
- آخر
- تعلم
- تجميل
- مثل
- خط
- قائمة
- المدرج
- تحميل
- محلي
- محليا
- موقع
- سجل
- طويل
- تبدو
- يحب
- آلة
- آلة التعلم
- الرئيسية
- القيام ب
- تمكن
- إدارة
- أسلوب
- matplotlib
- أقصى
- مايو..
- القائمة
- المقاييس
- ربما
- الحد الأدنى
- ML
- موضة
- عارضات ازياء
- دراجة نارية
- يتحرك
- سر
- الاسم
- حاجة
- بحاجة
- إحتياجات
- جديد
- مفكرة
- الآن
- نمباي
- of
- رسمي
- on
- فقط
- جاكيت
- المصدر المفتوح
- خيار
- or
- الناتج
- على مدى
- يشرف على
- الخاصة
- سلمي
- صفقة
- حزم
- الباندا
- المعلمات
- عاطفي
- مسار
- أذونات
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- سياسات الخصوصية والبيع
- سياسة
- منشور
- الممارسات
- تفضل
- المفضل
- سابقا
- رئيسي
- عملية المعالجة
- المنتجات
- تزود
- ويوفر
- دفع
- بايثون
- RE
- العالم الحقيقي
- يقلل
- العلاقات
- المتبقية
- مرارا وتكرارا
- يحل محل
- التقارير
- مطلوب
- المتطلبات الأساسية
- يتطلب
- مورد
- الموارد
- مما أدى
- انقر بزر الماوس الأيمن
- النوع
- الأدوار
- يجري
- تشغيل
- SA
- sagemaker
- خطوط الأنابيب SageMaker
- نفسه
- عينة مجموعة بيانات
- حفظ
- التحجيم
- سيناريوهات
- جدول
- المقرر
- الوظائف المجدولة
- جدولة
- علوم
- العلماء
- مخطوطات
- بحث
- القسم
- أقسام
- أمن
- انظر تعريف
- الخدمة
- خدماتنا
- الجلسة
- طقم
- ضبط
- إعدادات
- هي
- ينبغي
- إظهار
- عرض
- أظهرت
- أظهرت
- الاشارات
- تبسيط
- تبسيط
- ببساطة
- صغير
- So
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- محدد
- مواصفات
- محدد
- الإنفاق
- بداية
- بدأت
- ابتداء
- يبدأ
- ملخص الحساب
- الحالة
- خطوات
- تخزين
- متجر
- تخزين
- بقوة
- ستوديو
- تقدم
- بنجاح
- هذه
- فريق
- tensorflow
- محطة
- تجربه بالعربي
- أن
- •
- من مشاركة
- هناك.
- تشبه
- ثلاثة
- عبر
- الوقت
- إلى
- أدوات
- قادة الإيمان
- انتقال
- صحيح
- الثقة
- محاولة
- نوع
- مع
- تحديث
- تحديث
- تستخدم
- مستعمل
- مستخدم
- استخدام
- القيمة
- الإصدار
- المزيد
- رؤيتنا
- تريد
- وكان
- طرق
- we
- الويب
- خدمات ويب
- حسن
- متى
- التي
- مع
- في غضون
- سير العمل
- عامل
- أعمال
- سنوات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت