يحتاج علماء البيانات إلى بيئة متسقة وقابلة للتكرار للتعلم الآلي (ML) وأعباء عمل علوم البيانات التي تمكن من إدارة التبعيات وتكون آمنة. حاويات AWS Deep Learning يوفر بالفعل صور Docker سابقة الإنشاء للتدريب وتقديم النماذج في أطر عمل مشتركة مثل TensorFlow و PyTorch و MXNet. لتحسين هذه التجربة ، أعلنا عن إصدار تجريبي عام لتوزيع SageMaker مفتوح المصدر في 2023 JupyterCon. يوفر هذا تجربة ML موحدة شاملة عبر مطوري ML من مستويات مختلفة من الخبرة. لم يعد المطورون بحاجة إلى التبديل بين حاويات إطار العمل المختلفة للتجريب ، أو أثناء انتقالهم من بيئات JupyterLab المحلية ودفاتر SageMaker إلى وظائف الإنتاج على SageMaker. يدعم SageMaker Distribution مفتوح المصدر الحزم والمكتبات الأكثر شيوعًا لعلوم البيانات و ML والتصور ، مثل TensorFlow و PyTorch و Scikit-Learn و Pandas و Matplotlib. يمكنك البدء في استخدام الحاوية من ملف معرض أمازون ECR العام ابتداء من اليوم.
في هذا المنشور ، نوضح لك كيف يمكنك استخدام توزيع SageMaker مفتوح المصدر لإجراء تجربة سريعة على بيئتك المحلية وترقيتها بسهولة إلى وظائف على SageMaker.
حل نظرة عامة
على سبيل المثال ، نعرض تدريب نموذج تصنيف الصور باستخدام PyTorch. نحن نستخدم ال KMNIST مجموعة البيانات المتاحة للجمهور على PyTorch. نقوم بتدريب نموذج الشبكة العصبية ، ونختبر أداء النموذج ، وأخيراً نطبع التدريب وخسارة الاختبار. دفتر الملاحظات الكامل لهذا المثال متاح في مستودع أمثلة SageMaker Studio Lab. نبدأ التجريب على جهاز كمبيوتر محمول محلي باستخدام توزيع مفتوح المصدر ، ونقله إلى أمازون ساجميكر ستوديو لاستخدام مثال أكبر ، ثم جدولة دفتر الملاحظات كمهمة دفتر ملاحظات.
المتطلبات الأساسية المسبقة
أنت بحاجة إلى المتطلبات الأساسية التالية:
قم بإعداد بيئتك المحلية
يمكنك البدء مباشرة في استخدام التوزيع مفتوح المصدر على الكمبيوتر المحمول المحلي الخاص بك. لبدء JupyterLab ، قم بتشغيل الأوامر التالية على جهازك الطرفي:
يمكنك استبدال ECR_IMAGE_ID
مع أي من علامات الصور المتوفرة في ملف معرض أمازون ECR العام، أو اختر ملف latest-gpu
علامة إذا كنت تستخدم جهازًا يدعم GPU.
سيبدأ هذا الأمر JupyterLab ويوفر عنوان URL على الجهاز ، مثل http://127.0.0.1:8888/lab?token=<token>
. انسخ الرابط وأدخله في متصفحك المفضل لبدء JupyterLab.
قم بإعداد الاستوديو
Studio هو بيئة تطوير متكاملة (IDE) للتعلم الآلي تتيح للمطورين وعلماء البيانات بناء نماذج تعلم الآلة وتدريبها ونشرها ومراقبتها على نطاق واسع. يوفر Studio قائمة شاملة من صور الطرف الأول مع أطر وحزم مشتركة ، مثل Data Science و TensorFlow و PyTorch و Spark. تجعل هذه الصور من السهل على علماء البيانات البدء في استخدام التعلم الآلي ببساطة عن طريق اختيار إطار العمل ونوع المثيل الذي يختارونه للحوسبة.
يمكنك الآن استخدام توزيع SageMaker مفتوح المصدر على Studio باستخدام Studio أحضر صورتك الخاصة ميزة. لإضافة توزيع مفتوح المصدر إلى مجال SageMaker الخاص بك ، أكمل الخطوات التالية:
- أضف التوزيع مفتوح المصدر إلى حسابك سجل الأمازون المرنة للحاويات (Amazon ECR) عن طريق تشغيل الأوامر التالية على جهازك الطرفي:
- قم بإنشاء صورة SageMaker وأرفق الصورة بمجال الاستوديو:
- في وحدة تحكم SageMaker ، قم بتشغيل Studio باختيار المجال الخاص بك وملف تعريف المستخدم الحالي.
- اختياريًا ، أعد تشغيل Studio باتباع الخطوات الواردة في قم بإيقاف تشغيل برنامج SageMaker Studio وتحديثه.
قم بتنزيل دفتر الملاحظات
قم بتنزيل نموذج دفتر الملاحظات محليًا من ملف جيثب ريبو.
افتح دفتر الملاحظات الذي تختاره من IDE وأضف خلية إلى بداية دفتر الملاحظات لتثبيته torchsummary
. torchsummary
الحزمة ليست جزءًا من التوزيع ، وسيضمن تثبيتها على الكمبيوتر الدفتري تشغيل الكمبيوتر الدفتري من البداية إلى النهاية. نوصي باستخدام conda
or micromamba
لإدارة البيئات والتبعيات. أضف الخلية التالية إلى دفتر الملاحظات واحفظ دفتر الملاحظات:
جرب دفتر الملاحظات المحلي
قم بتحميل دفتر الملاحظات إلى JupyterLab UI التي قمت بتشغيلها عن طريق اختيار أيقونة التحميل كما هو موضح في لقطة الشاشة التالية.
عندما يتم تحميله ، قم بتشغيل ملف cv-kmnist.ipynb
دفتر. يمكنك بدء تشغيل الخلايا على الفور ، دون الحاجة إلى تثبيت أي تبعيات مثل torch أو matplotlib أو ipywidgets.
إذا اتبعت الخطوات السابقة ، يمكنك أن ترى أنه يمكنك استخدام التوزيع محليًا من الكمبيوتر المحمول الخاص بك. في الخطوة التالية ، نستخدم نفس التوزيع على Studio للاستفادة من ميزات Studio.
انقل التجربة إلى Studio (اختياري)
اختياريًا ، دعنا نروج للتجربة في Studio. تتمثل إحدى مزايا Studio في أن موارد الحوسبة الأساسية مرنة تمامًا ، لذا يمكنك بسهولة طلب الموارد المتاحة لأعلى أو لأسفل ، وتحدث التغييرات تلقائيًا في الخلفية دون مقاطعة عملك. إذا كنت ترغب في تشغيل نفس دفتر الملاحظات من وقت سابق على مجموعة بيانات أكبر ومثيل حساب ، فيمكنك الترحيل إلى Studio.
انتقل إلى Studio UI الذي قمت بتشغيله مسبقًا واختر أيقونة التحميل لتحميل دفتر الملاحظات.
بعد تشغيل الكمبيوتر الدفتري ، سيُطلب منك اختيار الصورة ونوع المثيل. في مشغل kernel ، اختر sagemaker-runtime
كالصورة و ml.t3.medium
على سبيل المثال ، ثم اختر أختار.
يمكنك الآن تشغيل الكمبيوتر الدفتري من البداية إلى النهاية دون الحاجة إلى أي تغييرات على الكمبيوتر المحمول من بيئة التطوير المحلية إلى أجهزة كمبيوتر Studio المحمولة!
جدولة دفتر الملاحظات كوظيفة
عندما تنتهي من تجربتك ، يوفر SageMaker خيارات متعددة لإنتاج دفتر ملاحظاتك ، مثل وظائف التدريب وخطوط أنابيب SageMaker. أحد هذه الخيارات هو تشغيل الكمبيوتر الدفتري نفسه مباشرةً كمهمة مجدولة غير تفاعلية باستخدام دفتر الملاحظات وظائف دفتر SageMaker. على سبيل المثال ، قد ترغب في إعادة تدريب النموذج الخاص بك بشكل دوري ، أو الحصول على استنتاجات حول البيانات الواردة بشكل دوري وإنشاء تقارير للاستهلاك من قبل المساهمين.
من Studio ، اختر رمز مهمة الكمبيوتر الدفتري لبدء مهمة الكمبيوتر الدفتري. إذا قمت بتثبيت ملحق وظائف الكمبيوتر المحمول محليًا على الكمبيوتر المحمول ، فيمكنك أيضًا جدولة الكمبيوتر الدفتري مباشرةً من الكمبيوتر المحمول. يرى دليل التثبيت لإعداد ملحق وظائف الكمبيوتر المحمول محليًا.
تستخدم مهمة الكمبيوتر الدفتري تلقائيًا عنوان URI لصورة ECR للتوزيع مفتوح المصدر ، بحيث يمكنك جدولة مهمة الكمبيوتر الدفتري مباشرةً.
اختار تشغيل في الموعد المحدد، اختر جدولاً ، على سبيل المثال كل أسبوع يوم السبت ، واختر خلق. يمكنك أيضا اختيار اركض الآن إذا كنت ترغب في عرض النتائج على الفور.
عند اكتمال مهمة الكمبيوتر الدفتري الأولى ، يمكنك عرض مخرجات الكمبيوتر الدفتري مباشرة من Studio UI عن طريق الاختيار دفتر مع ملفات الإخراج.
اعتبارات إضافية
بالإضافة إلى استخدام صورة ECR المتاحة للجمهور مباشرة لأحمال عمل ML ، يوفر التوزيع المفتوح المصدر المزايا التالية:
- ملف Dockerfile المستخدم لبناء الصورة متاح للعامة للمطورين لاستكشاف وبناء صورهم الخاصة. يمكنك أيضًا أن ترث هذه الصورة كصورة أساسية وتثبيت مكتباتك المخصصة للحصول على بيئة قابلة للتكرار.
- إذا لم تكن معتادًا على Docker وتفضل استخدام بيئات Conda في بيئة JupyterLab ، فنحن نقدم
env.out
ملف لكل من الإصدارات المنشورة. يمكنك استخدام الإرشادات الموجودة في الملف لإنشاء بيئة Conda الخاصة بك والتي ستحاكي نفس البيئة. على سبيل المثال ، راجع ملف بيئة وحدة المعالجة المركزية cpu.env.out. - يمكنك استخدام إصدارات GPU للصورة لتشغيل أحمال العمل المتوافقة مع GPU مثل التعلم العميق ومعالجة الصور.
تنظيف
أكمل الخطوات التالية لتنظيف مواردك:
- إذا قمت بجدولة دفتر الملاحظات الخاص بك للتشغيل وفقًا لجدول ، فقم بإيقاف الجدول مؤقتًا أو حذفه من تعريفات مهمة الكمبيوتر المحمول علامة التبويب لتجنب الدفع مقابل الوظائف المستقبلية.
- قم بإيقاف تشغيل جميع تطبيقات Studio لتجنب الدفع مقابل استخدام الحوسبة غير المستخدم. يرى قم بإيقاف تشغيل وتحديث تطبيقات الاستوديو للحصول على تعليمات.
- اختياريًا ، احذف مجال Studio إذا قمت بإنشاء واحد.
وفي الختام
يعد الحفاظ على بيئة قابلة للتكرار عبر مراحل مختلفة من دورة حياة ML أحد أكبر التحديات لعلماء البيانات والمطورين. من خلال توزيع SageMaker مفتوح المصدر ، نوفر صورة بإصدارات متوافقة بشكل متبادل من أطر عمل وحزم ML الأكثر شيوعًا. التوزيع أيضًا مفتوح المصدر ، مما يوفر للمطورين الشفافية في الحزم وبناء العمليات ، مما يسهل تخصيص التوزيع الخاص بهم.
في هذا المنشور ، أوضحنا لك كيفية استخدام التوزيع على بيئتك المحلية ، وعلى الاستوديو ، وكحاوية لوظائف التدريب الخاصة بك. هذه الميزة حاليًا في مرحلة تجريبية عامة. نحن نشجعك على تجربة ذلك ومشاركة ملاحظاتك ومشكلاتك على مستودع GitHub العام!
عن المؤلفين
دورجا سوري هو مهندس حلول ML في فريق Amazon SageMaker Service SA. إنها شغوفة بجعل التعلم الآلي في متناول الجميع. خلال السنوات الأربع التي قضتها في AWS ، ساعدت في إنشاء منصات AI / ML لعملاء المؤسسات. عندما لا تعمل ، تحب ركوب الدراجات النارية ، والروايات الغامضة ، والمشي لمسافات طويلة مع كلبها الهاسكي البالغ من العمر 4 سنوات.
كيتان فيجايفارجيا مهندس تطوير برمجيات أول في Amazon Web Services (AWS). مجالات تركيزه هي التعلم الآلي والأنظمة الموزعة والمصدر المفتوح. خارج العمل ، يحب قضاء وقته في الاستضافة الذاتية والاستمتاع بالطبيعة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- تمويل EVM. واجهة موحدة للتمويل اللامركزي. الوصول هنا.
- مجموعة كوانتوم ميديا. تضخيم IR / PR. الوصول هنا.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- من نحن
- يمكن الوصول
- في
- تضيف
- إضافة
- إضافي
- مميزات
- مزايا
- AI / ML
- الكل
- سابقا
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- أمازون ويب سيرفيسز (أوس)
- an
- و
- أعلن
- أي وقت
- التطبيق
- التطبيقات
- هي
- المناطق
- AS
- At
- يرفق
- تلقائيا
- متاح
- تجنب
- AWS
- خلفية
- قاعدة
- على أساس
- BE
- البداية
- بيتا
- ما بين
- أكبر
- المتصفح
- نساعدك في بناء
- by
- CAN
- قط
- خلايا
- التحديات
- التغييرات
- خيار
- اختار
- اختيار
- تصنيف
- COM
- مشترك
- متوافق
- إكمال
- إحصاء
- الاعداد
- ثابتة
- كنسولات
- استهلاك
- وعاء
- حاويات
- خلق
- خلق
- حاليا
- على
- العملاء
- تصميم
- البيانات
- علم البيانات
- قواعد البيانات
- عميق
- التعلم العميق
- الترتيب
- نشر
- وصف
- المطورين
- التطوير التجاري
- مختلف
- مباشرة
- وزعت
- الانظمة الموزعة
- توزيع
- عامل في حوض السفن
- نطاق
- فعل
- إلى أسفل
- كل
- في وقت سابق
- أسهل
- بسهولة
- تمكن
- شجع
- النهاية
- النهائي إلى نهاية
- مهندس
- ضمان
- أدخل
- مشروع
- البيئة
- البيئات
- كل
- كل شخص
- مثال
- أمثلة
- القائمة
- الخبره في مجال الغطس
- تجربة
- خبرة
- اكتشف
- تصدير
- تمديد
- واسع
- الميزات
- المميزات
- ردود الفعل
- قم بتقديم
- أخيرا
- الاسم الأول
- تركز
- يتبع
- متابعيك
- في حالة
- الإطار
- الأطر
- تبدأ من
- بالإضافة إلى
- تماما
- مستقبل
- توليد
- دولار فقط واحصل على خصم XNUMX% على جميع
- GitHub جيثب:
- وحدة معالجة الرسوميات:
- يملك
- وجود
- he
- ساعد
- لها
- له
- كيفية
- كيفية
- HTML
- HTTPS
- اي كون
- if
- صورة
- تصنيف الصورة
- صور
- فورا
- تحسن
- in
- الوارد
- تثبيت
- تثبيت
- تركيب
- مثل
- تعليمات
- المتكاملة
- إلى
- مسائل
- IT
- نفسها
- وظيفة
- المشــاريــع
- JPG
- جسون
- مختبر
- كمبيوتر محمول
- أكبر
- إطلاق
- أطلقت
- تعلم
- يتيح
- ومستوياتها
- المكتبات
- دورة حياة
- مثل
- الإعجابات
- LINK
- قائمة
- محلي
- محليا
- تسجيل الدخول
- طويل
- يعد
- خسارة
- يحب
- آلة
- آلة التعلم
- جعل
- القيام ب
- إدارة
- إدارة
- matplotlib
- ربما
- الهجرة
- ML
- نموذج
- عارضات ازياء
- مراقبة
- أكثر
- دراجة نارية
- خطوة
- متعدد
- متبادل
- سر
- الاسم
- الطبيعة
- حاجة
- الحاجة
- شبكة
- الشبكة العصبية
- جديد
- التالي
- لا
- مفكرة
- الآن
- of
- عروض
- on
- ONE
- جاكيت
- المصدر المفتوح
- خيار
- مزيد من الخيارات
- or
- لنا
- خارج
- في الخارج
- الخاصة
- صفقة
- حزم
- الباندا
- جزء
- عاطفي
- وقفة
- دفع
- أداء
- المكان
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- منشور
- تفضل
- المفضل
- الشروط
- طباعة
- خاص
- العمليات
- معالجة
- الإنتــاج
- ملفي الشخصي
- تعزيز
- تزود
- ويوفر
- توفير
- جمهور
- علانية
- نشرت
- دفع
- بايثون
- pytorch
- بسرعة
- نوصي
- يحل محل
- التقارير
- مستودع
- المتطلبات الأساسية
- الموارد
- النتائج
- يجري
- تشغيل
- s
- SA
- sagemaker
- خطوط الأنابيب SageMaker
- نفسه
- يوم السبت
- حفظ
- حجم
- جدول
- المقرر
- علوم
- العلماء
- تعلم الحروف
- تأمين
- انظر تعريف
- كبير
- الخدمة
- خدماتنا
- خدمة
- طقم
- إعدادات
- مشاركة
- هي
- إظهار
- عرض
- أظهرت
- أظهرت
- الاشارات
- ببساطة
- So
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- الحلول
- مصدر
- شرارة
- أنفق
- مراحل
- أصحاب المصلحة
- بداية
- بدأت
- ابتداء
- خطوة
- خطوات
- ستوديو
- هذه
- الدعم
- مفاتيح
- أنظمة
- TAG
- أخذ
- فريق
- tensorflow
- محطة
- تجربه بالعربي
- أن
- •
- من مشاركة
- منهم
- then
- تشبه
- هم
- الوقت
- إلى
- اليوم
- شعلة
- قطار
- قادة الإيمان
- الشفافية
- محاولة
- نوع
- ui
- التي تقوم عليها
- موحد
- غير المستخدمة
- تحديث
- تم التحميل
- URL
- الأستعمال
- تستخدم
- مستعمل
- مستخدم
- يستخدم
- استخدام
- الإصدار
- المزيد
- التصور
- تريد
- مطلوب
- we
- الويب
- خدمات ويب
- أسبوع
- متى
- سوف
- مع
- بدون
- للعمل
- عامل
- سنوات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت