نظرًا لأن المزيد والمزيد من العملاء يتطلعون إلى وضع أعباء عمل التعلم الآلي (ML) في الإنتاج ، فهناك دفعة كبيرة في المؤسسات لتقصير دورة حياة تطوير كود التعلم الآلي. تفضل العديد من المؤسسات كتابة كود ML الخاص بهم بأسلوب جاهز للإنتاج في شكل طرق وفئات Python بدلاً من الأسلوب الاستكشافي (كتابة التعليمات البرمجية دون استخدام الأساليب أو الفئات) لأن هذا يساعدهم على شحن كود جاهز للإنتاج بشكل أسرع.
بدافع الأمازون SageMaker، يمكنك استخدام ال @ مصمم الديكور عن بعد لتشغيل وظيفة تدريب على SageMaker ببساطة عن طريق إضافة تعليقات توضيحية إلى كود Python الخاص بك باستخدامremote decorator. ال SageMaker بيثون SDK سيقوم تلقائيًا بترجمة بيئة مساحة العمل الحالية وأي تعليمات برمجية ومجموعات بيانات مرتبطة بمعالجة البيانات إلى وظيفة تدريب SageMaker تعمل على منصة تدريب SageMaker.
غالبًا ما يتطلب تشغيل دالة Python محليًا العديد من التبعيات ، والتي قد لا تأتي مع بيئة وقت تشغيل Python المحلية. يمكنك تثبيتها عبر أدوات إدارة الحزمة والاعتماد مثل بذرة or كوندا.
ومع ذلك ، فإن المنظمات التي تعمل في الصناعات الخاضعة للتنظيم مثل البنوك والتأمين والرعاية الصحية تعمل في بيئات ذات ضوابط صارمة لخصوصية البيانات والشبكات. غالبًا ما تتطلب هذه الضوابط عدم توفر إمكانية الوصول إلى الإنترنت في أي من بيئاتها. والسبب في هذا التقييد هو السيطرة الكاملة على حركة مرور الخروج والدخول حتى يتمكنوا من تقليل فرص الجهات الفاعلة عديمة الضمير في إرسال أو تلقي معلومات غير مؤكدة عبر شبكتهم. غالبًا ما يُطلب أيضًا عزل الشبكة كجزء من قواعد الامتثال السمعي والصناعي. عندما يتعلق الأمر بـ ML ، فإن هذا يقيد علماء البيانات من تنزيل أي حزمة من مستودعات عامة مثل PyPI, الأناكندة أفعى ضخمةالطرق أو كوندا فورج.
لتزويد علماء البيانات بالوصول إلى الأدوات التي يختارونها مع احترام قيود البيئة أيضًا ، غالبًا ما تنشئ المؤسسات مستودع الحزم الخاص بها المستضاف في بيئتها الخاصة. يمكنك إعداد مستودعات الحزم الخاصة على AWS بعدة طرق:
في هذا المنشور ، نركز على الخيار الأول: استخدام CodeArtifact.
حل نظرة عامة
يوضح الرسم التخطيطي للهندسة المعمارية التالية بنية الحل.
الخطوات عالية المستوى لتنفيذ الحل هي كما يلي
- قم بإعداد سحابة خاصة افتراضية (VPC) بدون اتصال بالإنترنت باستخدام ملف تكوين سحابة AWS قالب.
- استخدم قالب CloudFormation ثانيًا لإعداد CodeArtifact كمستودع PyPI خاص وتوفير الاتصال بـ VPC ، وقم بإعداد أمازون ساجميكر ستوديو البيئة لاستخدام مستودع PyPI الخاص.
- تدريب نموذج التصنيف على أساس منيست مجموعة بيانات باستخدامremote decorator من SageMaker Python SDK مفتوح المصدر. سيتم تنزيل جميع التبعيات من مستودع PyPI الخاص.
لاحظ أن استخدام SageMaker Studio في هذا المنشور اختياري. يمكنك اختيار العمل في أي بيئة تطوير متكاملة (IDE) من اختيارك. تحتاج فقط إلى إعداد ملف واجهة سطر الأوامر AWS بيانات اعتماد (AWS CLI) بشكل صحيح. لمزيد من المعلومات ، يرجى الرجوع إلى قم بتكوين AWS CLI.
المتطلبات الأساسية المسبقة
أنت بحاجة إلى حساب AWS بامتداد إدارة الهوية والوصول AWS (انا) دور مع أذونات لإدارة الموارد التي تم إنشاؤها كجزء من الحل. لمزيد من التفاصيل ، يرجى الرجوع إلى إنشاء حساب AWS.
قم بإعداد VPC بدون اتصال بالإنترنت
إنشاء حزمة CloudFormation جديدة يستخدم ال vpc.yaml نموذج. يُنشئ هذا النموذج الموارد التالية:
- VPC مع شبكتين فرعيتين خاصتين عبر منطقتي توافر بدون اتصال بالإنترنت
- نقطة نهاية Gateway VPC للوصول إلى Amazon S3
- نقاط نهاية واجهة VPC لـ SageMaker و CodeArtifact وبعض الخدمات الأخرى للسماح للموارد في VPC بالاتصال بخدمات AWS عبر AWS الرابط الخاص
أدخل اسم مكدس ، مثل No-Internet
، وأكمل عملية إنشاء المكدس.
انتظر حتى تكتمل عملية إنشاء المكدس.
قم بإعداد مستودع خاص و SageMaker Studio باستخدام VPC
تتمثل الخطوة التالية في نشر حزمة CloudFormation أخرى باستخدام امتداد sagemaker_studio_codeartifact.yaml نموذج. يُنشئ هذا النموذج الموارد التالية:
أدخل اسمًا للمكدس واحتفظ بالقيم الافتراضية أو اضبط المعلمات لـ اسم المجال CodeArtifact, اسم المستودع الخاص, اسم ملف تعريف المستخدم لـ SageMaker Studio و اسم مستودع PyPI العام المنبع. أنت أيضًا بحاجة إلى توفير اسم مكدس VPC تم إنشاؤه في الخطوة السابقة.
عند اكتمال إنشاء المكدس ، يجب أن يكون مجال SageMaker مرئيًا على وحدة تحكم SageMaker.
للتحقق من عدم توفر اتصال بالإنترنت في SageMaker Studio ، إطلاق برنامج SageMaker Studio. أختر File
, New
و Terminal
لتشغيل محطة ومحاولة حليقة أي مصدر إنترنت. يجب أن يفشل الاتصال ، كما هو موضح في لقطة الشاشة التالية.
قم بتدريب مصنف الصور باستخدامremote decorator مع مستودع PyPI الخاص
في هذا القسم ، نستخدمremote decorator لتشغيل ملف PyTorch مهمة تدريبية تنتج نموذج تصنيف صور MNIST. لتحقيق ذلك ، قمنا بإعداد ملف التكوين وتطوير البرنامج النصي للتدريب وتشغيل رمز التدريب.
قم بإعداد ملف التكوين
أنشأنا config.yaml
ملف وتقديم التكوينات اللازمة للقيام بما يلي:
- تشغيل وظيفة تدريب SageMaker في VPC بدون الإنترنت الذي تم إنشاؤه مسبقًا
- قم بتنزيل الحزم المطلوبة عن طريق الاتصال بمستودع PyPI الخاص الذي تم إنشاؤه مسبقًا
الملف يشبه الكود التالي:
• Dependencies
يحتوي الحقل على المسار إلى requirements.txt
، والتي تحتوي على جميع التبعيات اللازمة. لاحظ أنه سيتم تنزيل جميع التبعيات من المستودع الخاص. ال requirements.txt
يحتوي الملف على الكود التالي:
• PreExecutionCommands
يحتوي القسم على أمر الاتصال بمستودع PyPI الخاص. للحصول على عنوان URL لنقطة نهاية CodeArtifact VPC ، استخدم الكود التالي:
بشكل عام ، نحصل على نقطتي نهاية VPC لـ CodeArtifact ، ويمكننا استخدام أي منهما في أوامر الاتصال. لمزيد من التفاصيل ، يرجى الرجوع إلى استخدم CodeArtifact من VPC.
بالإضافة إلى ذلك ، تكوينات مثل execution role
, output location
و VPC configurations
يتم توفيرها في ملف التكوين. هذه التكوينات مطلوبة لتشغيل وظيفة تدريب SageMaker. لمعرفة المزيد حول جميع التكوينات المدعومة ، ارجع إلى ملف الضبط.
ليس من الضروري استخدام ملف config.yaml
ملف للعمل مع @ remote decorator. هذه مجرد طريقة أنظف لتوفير جميع التكوينات لمصمم @ remote decorator. يمكن أيضًا توفير جميع التكوينات مباشرة في حجج مصمم الديكور ، ولكن هذا يقلل من قابلية القراءة وإمكانية الحفاظ على التغييرات على المدى الطويل. أيضًا ، يمكن إنشاء ملف التكوين بواسطة مسؤول ومشاركته مع جميع المستخدمين في بيئة ما.
تطوير البرنامج النصي للتدريب
بعد ذلك ، نقوم بإعداد كود التدريب في ملفات Python البسيطة. لقد قسمنا الكود إلى ثلاثة ملفات:
- Load_data.py - يحتوي على الكود الخاص بتنزيل مجموعة بيانات MNIST
- model.py - يحتوي على كود معمارية الشبكة العصبية للنموذج
- Train.py - يحتوي على كود تدريب النموذج باستخدام load_data.py و model.py
In train.py
، نحتاج إلى تزيين وظيفة التدريب الرئيسية على النحو التالي:
نحن الآن جاهزون لتشغيل كود التدريب.
قم بتشغيل رمز التدريب باستخدام @ remote decorator
يمكننا تشغيل الكود من محطة طرفية أو من أي موجه قابل للتنفيذ. في هذا المنشور ، نستخدم خلية دفتر ملاحظات SageMaker Studio لإثبات ذلك:
يؤدي تشغيل الأمر السابق إلى تشغيل وظيفة التدريب. في السجلات ، يمكننا أن نرى أنه يقوم بتنزيل الحزم من مستودع PyPI الخاص.
هذا يخلص إلى تنفيذremote decorator يعمل مع مستودع خاص في بيئة لا يوجد بها اتصال بالإنترنت.
تنظيف
لتنظيف الموارد ، اتبع التعليمات الموجودة في تنظيف.md.
وفي الختام
في هذا المنشور ، تعلمنا كيفية الاستخدام الفعال لقدراتremote decorator مع الاستمرار في العمل في بيئات مقيدة دون أي اتصال بالإنترنت. تعلمنا أيضًا كيف يمكننا دمج إمكانيات المستودع الخاص لـ CodeArtifact بمساعدة دعم ملف التكوين في SageMaker. هذا الحل يجعل التطوير التكراري أبسط وأسرع. ميزة أخرى إضافية هي أنه لا يزال بإمكانك الاستمرار في كتابة رمز التدريب بطريقة أكثر طبيعية وموجهة للكائنات مع الاستمرار في استخدام قدرات SageMaker لتشغيل وظائف التدريب على مجموعة بعيدة مع الحد الأدنى من التغييرات في التعليمات البرمجية الخاصة بك. جميع الكود المعروض كجزء من هذا المنشور متاح في مستودع جيثب.
كخطوة تالية ، نشجعك على التحقق من @ وظائف الديكور عن بعد و واجهة برمجة تطبيقات Python SDK واستخدامها في اختيارك للبيئة و IDE. تتوفر أمثلة إضافية في أمثلة الأمازون ساجيماكر المستودع لتبدأ بسرعة. يمكنك أيضا التحقق من المنشور قم بتشغيل كود التعلم الآلي المحلي الخاص بك كوظائف Amazon SageMaker Training مع الحد الأدنى من التغييرات في الكود لمزيد من التفاصيل.
عن المؤلف
فيكيش باندي هو مهندس حلول متخصص في التعلم الآلي في AWS ، يساعد العملاء من الصناعات المالية على تصميم وبناء حلول على الذكاء الاصطناعي التوليدي والتعلم الآلي. خارج العمل ، يستمتع Vikesh بتجربة المأكولات المختلفة وممارسة الرياضة في الهواء الطلق.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/access-private-repos-using-the-remote-decorator-for-amazon-sagemaker-training-workloads/
- :يكون
- :ليس
- $ UP
- 1
- 10
- 100
- 12
- 23
- 7
- 8
- a
- من نحن
- الوصول
- الوصول
- حسابي
- التأهيل
- في
- الجهات الفاعلة
- وأضاف
- إضافي
- مشرف
- مميزات
- AI
- الكل
- السماح
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- an
- و
- آخر
- أي وقت
- API
- هندسة معمارية
- هي
- الحجج
- AS
- أسوشيتد
- At
- تلقائيا
- توفر
- متاح
- AWS
- البنوك والمصارف
- على أساس
- BE
- لان
- نساعدك في بناء
- لكن
- by
- CAN
- قدرات
- فرص
- التغييرات
- التحقق
- خيار
- اختار
- فصول
- تصنيف
- سحابة
- كتلة
- الكود
- COM
- تأتي
- يأتي
- إكمال
- الالتزام
- الاعداد
- التواصل
- الرابط
- صلة
- الإتصال
- كنسولات
- يحتوي
- استمر
- مراقبة
- ضوابط
- استطاع
- خلق
- يخلق
- خلق
- أوراق اعتماد
- العملاء
- البيانات
- خصوصية البيانات
- معالجة المعلومات
- قواعد البيانات
- الترتيب
- شرح
- التبعية
- نشر
- تصميم
- تفاصيل
- تطوير
- التطوير التجاري
- مختلف
- مباشرة
- منقسم
- do
- نطاق
- بإمكانك تحميله
- على نحو فعال
- شجع
- نقطة النهاية
- البيئة
- البيئات
- عهود
- أمثلة
- القائمة
- يفشلون
- زائف
- أسرع
- قليل
- حقل
- قم بتقديم
- ملفات
- مالي
- الصناعات المالية
- الاسم الأول
- تطفو
- تركز
- اتباع
- متابعيك
- متابعات
- في حالة
- النموذج المرفق
- تبدأ من
- بالإضافة إلى
- وظيفة
- بوابة
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- تجمع
- يملك
- وجود
- الرعاية الصحية
- مساعدة
- مساعدة
- يساعد
- رفيع المستوى
- استضافت
- كيفية
- كيفية
- HTML
- HTTP
- HTTPS
- ID
- هوية
- صورة
- تصنيف الصورة
- تنفيذ
- التنفيذ
- in
- صناعي
- الصناعات
- معلومات
- تثبيت
- تعليمات
- التأمين
- دمج
- المتكاملة
- Internet
- الدخول إلى الإنترنت
- اتصال الانترنت
- إلى
- عزل
- IT
- وظيفة
- المشــاريــع
- JPG
- م
- احتفظ
- علم
- كبير
- إطلاق
- تعلم
- تعلم
- دورة حياة
- مثل
- خط
- محلي
- محليا
- تسجيل الدخول
- طويل
- أبحث
- تبدو
- آلة
- آلة التعلم
- الرئيسية
- يصنع
- إدارة
- إدارة
- أدوات إدارة
- تفويض
- إلزامي
- كثير
- مايو..
- طرق
- أدنى
- ML
- نموذج
- الوحدات
- الأكثر من ذلك
- كثيرا
- متعدد
- الاسم
- محلي
- طبيعي
- حاجة
- بحاجة
- شبكة
- الشبكات
- الشبكة العصبية
- جديد
- التالي
- لا
- مفكرة
- of
- غالبا
- on
- المصدر المفتوح
- طريقة التوسع
- تعمل
- معارض
- خيار
- or
- طلب
- المنظمات
- أخرى
- خارج
- في الخارج
- على مدى
- الخاصة
- صفقة
- حزم
- المعلمات
- جزء
- مسار
- أذونات
- المكان
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعب
- منشور
- تفضل
- إعداد
- سابق
- خصوصية
- خاص
- عملية المعالجة
- معالجة
- ينتج عنه
- الإنتــاج
- ملفي الشخصي
- تزود
- المقدمة
- جمهور
- دفع
- وضع
- بايثون
- pytorch
- بسرعة
- استعداد
- سبب
- يستلم
- تخفيض
- يقلل
- ما هو مقنن
- الصناعات المنظمة
- عن بعد
- مستودع
- مطلوب
- يتطلب
- مورد
- الموارد
- فيما يتعلق
- تقييد
- القيود
- تقييدي
- النوع
- القواعد
- يجري
- تشغيل
- يدير
- sagemaker
- العلماء
- الإستراحة
- الثاني
- القسم
- أمن
- انظر تعريف
- بذرة
- إرسال
- خدماتنا
- طقم
- عدة
- شاركت
- سفينة
- ينبغي
- أظهرت
- يظهر
- الاشارات
- بساطة
- ببساطة
- So
- حل
- الحلول
- متخصص
- رياضة
- كومة
- بدأت
- خطوة
- خطوات
- لا يزال
- متجر
- صارم
- ستوديو
- نمط
- الشبكة الفرعية
- الشبكات الفرعية
- هذه
- زودت
- تزويد
- الدعم
- مدعومة
- قالب
- محطة
- أن
- •
- من مشاركة
- منهم
- هناك.
- تشبه
- هم
- ثلاثة
- عبر
- إلى
- أدوات
- تورشفيجن
- حركة المرور
- قادة الإيمان
- ترجمه
- صحيح
- محاولة
- اثنان
- عديم الضمير
- URL
- تستخدم
- مستعمل
- المستخدمين
- استخدام
- القيم
- تحقق من
- بواسطة
- افتراضي
- مرئي
- طريق..
- طرق
- we
- الويب
- خدمات ويب
- متى
- التي
- في حين
- ويكيبيديا
- سوف
- مع
- بدون
- للعمل
- عامل
- اكتب
- جاري الكتابة
- يامل
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- المناطق