لا تعمل نماذج التعلم الآلي (ML) بمعزل عن غيرها. ولتقديم القيمة، يجب عليهم الاندماج في أنظمة الإنتاج والبنية التحتية الحالية، الأمر الذي يتطلب النظر في دورة حياة تعلم الآلة بأكملها أثناء التصميم والتطوير. تركز عمليات تعلم الآلة، المعروفة باسم MLOps، على تبسيط نماذج تعلم الآلة وأتمتتها ومراقبتها طوال دورة حياتها. يتطلب بناء خط أنابيب MLOps قوي تعاونًا متعدد الوظائف. يجب أن يعمل علماء البيانات ومهندسو تعلم الآلة وموظفو تكنولوجيا المعلومات وفرق DevOps معًا لتفعيل النماذج بدءًا من البحث وحتى النشر والصيانة. من خلال العمليات والأدوات المناسبة، تمكن MLOps المؤسسات من اعتماد تعلم الآلة بشكل موثوق وفعال عبر فرقها.
على الرغم من أن متطلبات التكامل المستمر وخطوط التسليم المستمر (CI/CD) يمكن أن تكون فريدة وتعكس احتياجات كل مؤسسة، إلا أنه يمكن تبسيط توسيع نطاق ممارسات MLOps عبر الفرق باستخدام التنسيقات والأدوات المُدارة التي يمكنها تسريع عملية التطوير وإزالة الأعباء الثقيلة غير المتمايزة .
Amazon SageMaker MLOps عبارة عن مجموعة من الميزات التي تتضمن مشاريع Amazon SageMaker (CI/CD)، خطوط أنابيب Amazon SageMaker و سجل نموذج Amazon SageMaker.
خطوط الأنابيب SageMaker يتيح إنشاء مسارات عمل تعلم الآلة وإدارتها بشكل مباشر، مع توفير إمكانات التخزين وإعادة الاستخدام لخطوات سير العمل. ال سجل نموذج SageMaker مركزية تتبع النموذج، وتبسيط نشر النموذج. مشاريع SageMaker يقدم ممارسات CI/CD لتعلم الآلة، بما في ذلك تكافؤ البيئة والتحكم في الإصدار والاختبار والأتمتة. يسمح ذلك بإنشاء CI/CD بسرعة في بيئة التعلم الآلي الخاصة بك، مما يسهل قابلية التوسع الفعالة في جميع أنحاء مؤسستك.
المدمج في قوالب المشروع التي تقدمها الأمازون SageMaker تضمين التكامل مع بعض أدوات الطرف الثالث، مثل Jenkins للتنسيق وGitHub للتحكم في المصدر، والعديد منها يستخدم أدوات CI/CD الأصلية من AWS مثل كود AWS, خط أنابيب AWSو AWS كود البناء. ومع ذلك، في العديد من السيناريوهات، يرغب العملاء في دمج SageMaker Pipelines مع أدوات CI/CD الموجودة الأخرى، وبالتالي إنشاء قوالب المشروع المخصصة الخاصة بهم.
في هذه المقالة، نعرض لك التنفيذ خطوة بخطوة لتحقيق ما يلي:
- قم بإنشاء قالب مشروع SageMaker MLOps مخصص يتكامل مع GitHub وGitHub Actions
- اجعل قوالب المشروع المخصصة الخاصة بك متاحة في أمازون ساجميكر ستوديو لفريق علوم البيانات لديك من خلال توفير الخدمة بنقرة واحدة
حل نظرة عامة
في هذه المقالة، نقوم ببناء البنية التالية. نقوم بإنشاء مسار إنشاء نموذج آلي يتضمن خطوات إعداد البيانات والتدريب على النموذج وتقييم النموذج وتسجيل النموذج المُدرب في سجل نماذج SageMaker. يتم بعد ذلك نشر نموذج ML المُدرب الناتج من SageMaker Model Registry إلى بيئات التدريج والإنتاج بناءً على الموافقة اليدوية.
دعونا نتعمق في عناصر هذه البنية لفهم التكوين الكامل.
إجراءات جيثب وجيثب
GitHub عبارة عن منصة على شبكة الإنترنت توفر التحكم في الإصدار وإدارة التعليمات البرمجية المصدر باستخدام Git. فهو يمكّن الفرق من التعاون في مشاريع تطوير البرمجيات وتتبع التغييرات وإدارة مستودعات التعليمات البرمجية. يعمل GitHub كموقع مركزي لتخزين قاعدة أكواد ML الخاصة بك وإصدارها وإدارتها. يضمن هذا أن يتم إصدار قاعدة أكواد ML وخطوط الأنابيب الخاصة بك وتوثيقها وإمكانية الوصول إليها من قبل أعضاء الفريق.
إجراءات جيثب هي أداة أتمتة قوية ضمن النظام البيئي GitHub. فهو يسمح لك بإنشاء مسارات عمل مخصصة تعمل على أتمتة عمليات دورة حياة تطوير البرامج، مثل إنشاء التعليمات البرمجية واختبارها ونشرها. يمكنك إنشاء مسارات عمل تعتمد على الأحداث والتي يتم تشغيلها بواسطة أحداث معينة، مثل عندما يتم دفع التعليمات البرمجية إلى مستودع تخزين أو يتم إنشاء طلب سحب. عند تنفيذ MLOps، يمكنك استخدام GitHub Actions لأتمتة مراحل مختلفة من مسار تعلم الآلة، مثل:
- التحقق من صحة البيانات والمعالجة المسبقة
- التدريب النموذجي والتقييم
- نشر النموذج ومراقبته
- CI/CD لنماذج ML
باستخدام GitHub Actions، يمكنك تبسيط سير عمل ML لديك والتأكد من إنشاء نماذجك واختبارها ونشرها بشكل متسق، مما يؤدي إلى عمليات نشر ML أكثر كفاءة وموثوقية.
في الأقسام التالية، نبدأ بإعداد المتطلبات الأساسية المتعلقة ببعض المكونات التي نستخدمها كجزء من هذه البنية:
- تكوين سحابة AWS - تكوين سحابة AWS يبدأ نشر النموذج ويحدد نقاط نهاية SageMaker بعد تنشيط مسار نشر النموذج من خلال الموافقة على النموذج المُدرب.
- اتصال AWS CodeStar - نحن نستخدم أوس كود ستار لإنشاء رابط مع مستودع GitHub واستخدامه كتكامل لمستودع التعليمات البرمجية مع موارد AWS، مثل SageMaker Studio.
- أمازون إيفينت بريدج - أمازون إيفينت بريدج يتتبع جميع التعديلات على السجل النموذجي. كما أنها تحتفظ بقاعدة تطالب وظيفة Lambda بنشر مسار النموذج عندما تتغير حالة إصدار حزمة النموذج من
PendingManualApproval
إلىApproved
ضمن السجل النموذجي. - AWS لامدا - نحن نستخدم ملف AWS لامدا وظيفة لبدء سير عمل نشر النموذج في إجراءات GitHub بعد تسجيل نموذج جديد في سجل النموذج.
- الأمازون SageMaker - نقوم بتكوين مكونات SageMaker التالية:
- خط انابيب - يتكون هذا المكون من رسم بياني حلقي موجه (DAG) يساعدنا في بناء سير عمل تعلم الآلة الآلي لمراحل إعداد البيانات والتدريب النموذجي وتقييم النموذج. يحتفظ سجل النموذج بسجلات لإصدارات النموذج والعناصر المرتبطة بها والنسب والبيانات الوصفية. تم إنشاء مجموعة حزم النماذج التي تضم جميع إصدارات النماذج ذات الصلة. ويكون سجل النموذج مسؤولاً أيضًا عن إدارة حالة الموافقة لإصدار النموذج للنشر اللاحق.
- نقطة النهاية - يقوم هذا المكون بإعداد نقطتي نهاية HTTPS في الوقت الفعلي للاستدلال. يمكن تعديل تكوين الاستضافة، على سبيل المثال، لتحويل الدفعة أو الاستدلال غير المتزامن. يتم إنشاء نقطة النهاية المرحلية عندما يتم تنشيط مسار نشر النموذج من خلال الموافقة على النموذج المُدرب من SageMaker Model Registry. يتم استخدام نقطة النهاية هذه للتحقق من صحة النموذج المنشور من خلال التأكد من أنه يوفر تنبؤات تلبي معايير الدقة لدينا. عندما يتم إعداد النموذج لنشر الإنتاج، يتم نشر نقطة نهاية الإنتاج من خلال مرحلة الموافقة اليدوية في سير عمل GitHub Actions.
- مستودع الكود – يؤدي هذا إلى إنشاء مستودع Git كمورد في حساب SageMaker الخاص بك. باستخدام البيانات الموجودة من مستودع كود GitHub الذي تقوم بإدخاله أثناء إنشاء مشروع SageMaker الخاص بك، يتم إنشاء اقتران مع نفس المستودع في SageMaker عند بدء المشروع. يشكل هذا بشكل أساسي رابطًا مع مستودع GitHub في SageMaker، مما يتيح الإجراءات التفاعلية (السحب/الدفع) مع المستودع الخاص بك.
- نموذج التسجيل – يقوم هذا بمراقبة الإصدارات المختلفة للنموذج والعناصر المقابلة له، والتي تتضمن النسب والبيانات الوصفية. مجموعة تعرف باسم أ مجموعة الحزمة النموذجية يتم إنشاء الإصدارات المتعلقة بالسكن من النموذج. علاوة على ذلك، يشرف السجل النموذجي على حالة الموافقة على الإصدار النموذجي، مما يضمن جاهزيته للنشر اللاحق.
- مدير أسرار AWS - للحفاظ على رمز الوصول الشخصي الخاص بك إلى GitHub بشكل آمن، من الضروري إنشاء سر في مدير أسرار AWS وقم بوضع رمز الوصول الخاص بك بداخله.
- كتالوج خدمة AWS - نحن نستخدم ال كتالوج خدمة AWS لتنفيذ مشاريع SageMaker، والتي تتضمن مكونات مثل مستودع أكواد SageMaker، ووظيفة Lambda، وقاعدة EventBridge، وحاوية Artifact S3، وما إلى ذلك، والتي يتم تنفيذها جميعًا عبر CloudFormation. يتيح ذلك لمؤسستك استخدام قوالب المشاريع بشكل متكرر، وتخصيص المشاريع لكل مستخدم، وتبسيط العمليات.
- الأمازون S3 - نحن نستخدم ملف خدمة تخزين أمازون البسيطة (Amazon S3) للاحتفاظ بالقطع الأثرية النموذجية التي ينتجها خط الأنابيب.
المتطلبات الأساسية المسبقة
يجب أن يكون لديك المتطلبات الأساسية التالية:
يجب عليك أيضًا إكمال خطوات الإعداد الإضافية قبل تنفيذ الحل.
قم بإعداد اتصال AWS CodeStar
إذا لم يكن لديك بالفعل اتصال AWS CodeStar بحساب GitHub الخاص بك، فارجع إلى قم بإنشاء اتصال بـ GitHub للحصول على تعليمات لإنشاء واحدة. سيبدو اتصال ARN الخاص بـ AWS CodeStar كما يلي:
في هذا المثال، aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
هو المعرف الفريد لهذا الاتصال. نستخدم هذا المعرف عندما نقوم بإنشاء مشروع SageMaker الخاص بنا لاحقًا في هذا المثال.
قم بإعداد مفاتيح الوصول السرية لرمز GitHub الخاص بك
لتخزين رمز الوصول الشخصي الخاص بك إلى GitHub بشكل آمن، تحتاج إلى إنشاء سر في Secrets Manager. إذا لم يكن لديك رمز وصول شخصي لـ GitHub، فارجع إلى إدارة رموز الوصول الشخصية الخاصة بك للحصول على تعليمات لإنشاء واحدة.
يمكنك إنشاء رمز وصول كلاسيكي أو دقيق. ومع ذلك، تأكد من أن الرمز المميز لديه حق الوصول إلى محتويات المستودع وإجراءاته (سير العمل، وعمليات التشغيل، والعناصر).
أكمل الخطوات التالية لتخزين الرمز المميز الخاص بك في Secrets Manager:
- في وحدة تحكم مدير الأسرار ، اختر قم بتخزين سر جديد.
- أختار نوع آخر من السر For اختر النوع السري.
- أدخل اسمًا لسرك في القفل الحقل وأضف رمز الوصول الشخصي الخاص بك إلى الحقل المقابل القيم الميدان.
- اختار التالى، أدخل اسمًا لسرك، ثم اختر التالى مرة أخرى.
- اختار المتجر لحفظ سرك.
من خلال تخزين رمز الوصول الشخصي الخاص بك إلى GitHub في Secrets Manager، يمكنك الوصول إليه بشكل آمن ضمن مسار MLOps الخاص بك مع ضمان سريته.
قم بإنشاء مستخدم IAM لإجراءات GitHub
للسماح لـ GitHub Actions بنشر نقاط نهاية SageMaker في بيئة AWS الخاصة بك، تحتاج إلى إنشاء إدارة الهوية والوصول AWS (IAM) ومنحه الأذونات اللازمة. للحصول على التعليمات، راجع إنشاء مستخدم IAM في حساب AWS الخاص بك. استخدم ال iam/GithubActionsMLOpsExecutionPolicy.json
الملف (الموجود في عينة التعليمات البرمجية) لتوفير أذونات كافية لهذا المستخدم لنشر نقاط النهاية الخاصة بك.
بعد إنشاء مستخدم IAM، إنشاء مفتاح الوصول. ستستخدم هذا المفتاح، الذي يتكون من معرف مفتاح الوصول ومفتاح الوصول السري، في الخطوة التالية عند تكوين أسرار GitHub.
قم بإعداد حساب جيثب الخاص بك
فيما يلي خطوات إعداد حساب GitHub الخاص بك لتشغيل هذا المثال.
استنساخ مستودع GitHub
يمكنك إعادة استخدام مستودع GitHub الحالي لهذا المثال. ومع ذلك، يكون الأمر أسهل إذا قمت بإنشاء مستودع جديد. سيحتوي هذا المستودع على كافة التعليمات البرمجية المصدر لكل من عمليات إنشاء خطوط أنابيب SageMaker ونشرها.
انسخ محتويات دليل التعليمات البرمجية الأولي إلى جذر مستودع GitHub الخاص بك. على سبيل المثال، .github
يجب أن يكون الدليل ضمن جذر مستودع GitHub الخاص بك.
قم بإنشاء سر GitHub يحتوي على مفتاح وصول مستخدم IAM الخاص بك
في هذه الخطوة، نقوم بتخزين تفاصيل مفتاح الوصول للمستخدم الذي تم إنشاؤه حديثًا في ملفنا سر جيثب.
- على موقع GitHub، انتقل إلى المستودع الخاص بك واختر الإعدادات.
- في قسم الأمان، حدد أسرار ومتغيرات واختر الإجراءات.
- اختار سر المستودع الجديد.
- في حالة الاسم، أدخل
AWS_ACCESS_KEY_ID
- في حالة سيكريت، أدخل معرف مفتاح الوصول المرتبط بمستخدم IAM الذي قمت بإنشائه مسبقًا.
- اختار أضف سرا.
- كرر نفس الإجراء ل
AWS_SECRET_ACCESS_KEY
قم بتكوين بيئات GitHub الخاصة بك
لإنشاء خطوة موافقة يدوية في مسارات النشر الخاصة بنا، نستخدم بيئة جيثب. أكمل الخطوات التالية:
- انتقل إلى الإعدادات, البيئات قائمة مستودع GitHub الخاص بك وإنشاء بيئة جديدة تسمى الإنتاج.
- في حالة قواعد حماية البيئة، حدد مطلوب مراجعين.
- أضف أسماء مستخدمي GitHub المطلوبة كمراجعين. في هذا المثال، يمكنك اختيار اسم المستخدم الخاص بك.
لاحظ أن ميزة البيئة غير متوفرة في بعض أنواع خطط GitHub. لمزيد من المعلومات، راجع استخدام البيئات للنشر.
نشر وظيفة لامدا
في الخطوات التالية، نقوم بالضغط lambda_function.py
في ملف .zip، والذي يتم بعد ذلك تحميله إلى حاوية S3.
يمكن العثور على نموذج التعليمات البرمجية ذات الصلة بهذا فيما يلي جيثب ريبو. على وجه التحديد ، lambda_function.py
يقع في lambda_functions/lambda_github_workflow_trigger الدليل.
يوصى بإنشاء تفرع من نموذج التعليمات البرمجية واستنساخه بدلاً من ذلك. سيمنحك هذا الحرية في تعديل التعليمات البرمجية وتجربة جوانب مختلفة من العينة.
- بعد الحصول على نسخة من الكود، انتقل إلى الدليل المناسب واستخدم الملف
zip
أمر للضغطlambda_function.py
. يمكن لمستخدمي Windows وMacOS استخدام نظام إدارة الملفات الأصلي الخاص بهم، File Explorer أو Finder، على التوالي، لإنشاء ملف .zip.
- تحميل
lambda-github-workflow-trigger.zip
إلى دلو S3.
سيتم الوصول إلى هذه المجموعة لاحقًا عن طريق كتالوج الخدمة. يمكنك اختيار أي حاوية يمكنك الوصول إليها، طالما أن كتالوج الخدمة قادر على استرداد البيانات منه في الخطوات اللاحقة.
من هذه الخطوة فصاعدًا، نطلب تثبيت AWS CLI v2 وتكوينه. سيكون البديل هو استخدام AWS CloudShell، الذي يأتي مزودًا بجميع الأدوات الضرورية المثبتة مسبقًا، مما يلغي الحاجة إلى أي تكوينات إضافية.
- لتحميل الملف إلى حاوية S3، استخدم الأمر التالي:
نقوم الآن ببناء طبقة Lambda للتبعيات المتعلقة بـ lambda_function
لقد قمنا بتحميلها للتو.
- قم بإعداد بيئة Python الافتراضية وقم بتثبيت التبعيات:
- قم بإنشاء ملف .zip باستخدام الأوامر التالية:
- انشر الطبقة على AWS:
مع نشر هذه الطبقة، يمكن الآن لجميع وظائف Lambda الرجوع إليها لتلبية تبعياتها. للحصول على فهم أكثر تفصيلاً لطبقات Lambda، راجع العمل مع طبقات لامدا.
قم بإنشاء قالب مشروع مخصص في SageMaker
بعد الانتهاء من جميع الخطوات المذكورة أعلاه، أصبح لدينا جميع موارد ومكونات خط أنابيب CI/CD. نوضح بعد ذلك كيف يمكننا إتاحة هذه الموارد كمشروع مخصص داخل SageMaker Studio ويمكن الوصول إليه عبر النشر بنقرة واحدة.
كما تمت مناقشته سابقًا، عندما لا تلبي القوالب المقدمة من SageMaker احتياجاتك (على سبيل المثال، تريد الحصول على تنسيق أكثر تعقيدًا في CodePipeline بمراحل متعددة أو خطوات موافقة مخصصة أو التكامل مع أداة خارجية مثل إجراءات GitHub وGitHub الموضح في هذا المنشور)، يمكنك إنشاء القوالب الخاصة بك. نوصي بالبدء بالقوالب المقدمة من SageMaker لفهم كيفية تنظيم التعليمات البرمجية والموارد الخاصة بك والبناء عليها. لمزيد من التفاصيل، راجع إنشاء قوالب المشروع المخصصة.
لاحظ أنه يمكنك أيضًا أتمتة هذه الخطوة واستخدام CloudFormation بدلاً من ذلك لنشر محفظة كتالوج الخدمة والمنتج عبر التعليمات البرمجية. ومع ذلك، في هذا المنشور، للحصول على تجربة تعليمية أكبر، نعرض لك نشر وحدة التحكم.
في هذه المرحلة، نستخدم قالب CloudFormation المقدم لإنشاء محفظة كتالوج الخدمة التي تساعدنا في إنشاء مشاريع مخصصة في SageMaker.
يمكنك إنشاء مجال جديد أو إعادة استخدام مجال SageMaker الخاص بك لتنفيذ الخطوات التالية. إذا لم يكن لديك مجال، راجع الانضمام إلى Amazon SageMaker Domain باستخدام الإعداد السريع للحصول على إرشادات الإعداد.
بعد تمكين وصول المسؤول إلى قوالب SageMaker، أكمل الخطوات التالية:
- على وحدة تحكم كتالوج الخدمة، ضمن الإدارة في جزء التنقل ، اختر مشاريعنا.
- اختار أنشئ محفظة جديدة.
- قم بتسمية المحفظة "قوالب تنظيم SageMaker".
- تحميل template.yml ملف على جهاز الكمبيوتر الخاص بك.
يوفر قالب Cloud Formation هذا جميع موارد CI/CD التي نحتاجها كتكوين وبنية تحتية كرمز. يمكنك دراسة القالب بمزيد من التفاصيل لمعرفة الموارد التي يتم نشرها كجزء منه. تم تخصيص هذا القالب ليتكامل مع GitHub وGitHub Actions.
- في مجلة
template.yml
ملف ، قم بتغيير ملفS3Bucket
القيمة إلى الحاوية الخاصة بك حيث قمت بتحميل ملف Lambda .zip:
- اختر المحفظة الجديدة.
- اختار تحميل منتج جديد.
- في حالة اسم المنتج¸ أدخل اسمًا للقالب الخاص بك. نحن نستخدم الاسم
build-deploy-github
. - في حالة الوصف، أدخل وصفًا.
- في حالة مالك، أدخل أسمك.
- تحت تفاصيل الإصدار، ل خدمة التوصيل، اختر استخدم ملف قالب.
- اختار تحميل قالب.
- قم بتحميل النموذج الذي قمت بتنزيله.
- في حالة عنوان الإصدار، اختر 1.0.
- اختار التقيم.
- راجع إعداداتك واختر إنشاء منتج.
- اختار تحديث لسرد المنتج الجديد.
- اختر المنتج الذي قمت بإنشائه للتو.
- على علامات علامة التبويب ، أضف العلامة التالية إلى المنتج:
- القفل =
sagemaker:studio-visibility
- القيم =
true
- القفل =
بالعودة إلى تفاصيل المحفظة، يجب أن ترى شيئًا مشابهًا للقطة الشاشة التالية (بمعرفات مختلفة).
- على القيود علامة التبويب، اختر خلق القيد.
- في حالة المنتج، اختر
build-deploy-github
(المنتج الذي أنشأته للتو). - في حالة قيود اكتب ، اختر إطلاق.
- تحت إطلاق القيد، ل خدمة التوصيل، اختر حدد دور IAM.
- اختار
AmazonSageMakerServiceCatalogProductsLaunchRole
. - اختار إنشاء.
- على المجموعات والأدوار والمستخدمين علامة التبويب، اختر أضف المجموعات والأدوار والمستخدمين.
- على الأدوار علامة التبويب، حدد الدور الذي استخدمته عند تكوين مجال SageMaker Studio الخاص بك. هذا هو المكان الذي يمكن العثور فيه على دور مجال SageMaker.
- اختار إضافة وصول.
انشر المشروع من SageMaker Studio
في الأقسام السابقة، قمت بإعداد بيئة مشروع MLOps المخصصة. الآن، لنقم بإنشاء مشروع باستخدام هذا القالب:
- في وحدة تحكم SageMaker، انتقل إلى المجال الذي تريد إنشاء هذا المشروع فيه.
- على إطلاق القائمة، اختر استوديو.
ستتم إعادة توجيهك إلى بيئة SageMaker Studio.
- في SageMaker Studio، في جزء التنقل الموجود أسفل نشر، اختر المشاريع.
- اختار إنشاء مشروع.
- في أعلى قائمة القوالب، اختر قوالب المنظمة.
إذا قمت بتنفيذ جميع الخطوات السابقة بنجاح، فمن المفترض أن تكون قادرًا على رؤية قالب مشروع مخصص جديد باسم Build-Deploy-GitHub
.
- حدد هذا القالب واختر حدد قالب المشروع.
- أدخل وصفًا اختياريًا.
- في حالة اسم مالك مستودع GitHub، أدخل مالك مستودع GitHub الخاص بك. على سبيل المثال، إذا كان المستودع الخاص بك موجودًا في
https://github.com/pooyavahidi/my-repo
، سيكون المالكpooyavahidi
. - في حالة اسم مستودع جيثب، أدخل اسم المستودع الذي نسخت فيه الكود الأساسي. سيكون مجرد اسم الريبو. على سبيل المثال، في
https://github.com/pooyavahidi/my-repo
الريبو هوmy-repo
. - في حالة معرف فريد لاتصال Codestar، أدخل المعرف الفريد لاتصال AWS CodeStar الذي قمت بإنشائه.
- في حالة اسم السر في Secrets Manager الذي يخزن رمز GitHub، أدخل اسم السر في Secrets Manager حيث قمت بإنشاء وتخزين رمز GitHub.
- في حالة ملف سير عمل GitHub للنشر، أدخل اسم ملف سير عمل GitHub (في
.github/workflows/deploy.yml
) حيث لديك تعليمات النشر. في هذا المثال، يمكنك الاحتفاظ به كإعداد افتراضي، وهوdeploy.yml
. - اختار إنشاء مشروع.
- بعد إنشاء مشروعك، تأكد من تحديث ملف
AWS_REGION
وSAGEMAKER_PROJECT_NAME
متغيرات البيئة في ملفات سير عمل GitHub وفقًا لذلك. توجد ملفات سير العمل في GitHub repo (منسوخة من الكود الأساسي)، داخل ملف.github/workflows
الدليل. تأكد من تحديث كليهماbuild.yml
وdeploy.yml
الملفات.
الآن بيئتك جاهزة للانطلاق! يمكنك تشغيل مسارات البناء مباشرةً، وإجراء التغييرات، ودفع هذه التغييرات إلى مستودع GitHub الخاص بك لتشغيل مسار البناء الآلي ومعرفة كيف تتم جميع خطوات الإنشاء والنشر تلقائيًا.
تنظيف
لتنظيف الموارد، أكمل الخطوات التالية:
- احذف مكدسات CloudFormation المستخدمة لمشروع SageMaker ونقاط نهاية SageMaker.
- احذف مجال SageMaker.
- احذف موارد كتالوج الخدمة.
- احذف رابط اتصال AWS CodeStar بمستودع GitHub.
- احذف مستخدم IAM الذي قمت بإنشائه لإجراءات GitHub.
- احذف السر الموجود في Secrets Manager الذي يخزن تفاصيل الوصول الشخصي إلى GitHub.
نبذة عامة
في هذا المنشور، تناولنا عملية استخدام قالب مشروع SageMaker MLOps المخصص لإنشاء مسار CI/CD وتنظيمه تلقائيًا. يدمج هذا المسار بشكل فعال آليات CI/CD الحالية لديك مع إمكانيات SageMaker لمعالجة البيانات والتدريب على النماذج والموافقة على النماذج ونشر النماذج. في السيناريو الخاص بنا، ركزنا على دمج إجراءات GitHub مع مشاريع ومسارات SageMaker. للحصول على فهم شامل لتفاصيل التنفيذ، قم بزيارة مستودع جيثب. لا تتردد في تجربة هذا ولا تتردد في ترك أي استفسارات قد تكون لديكم في قسم التعليقات.
حول المؤلف
الدكتورة رومينا شريفبور هو أحد كبار مهندسي حلول التعلم الآلي والذكاء الاصطناعي في Amazon Web Services (AWS). لقد أمضت أكثر من 10 سنوات في قيادة تصميم وتنفيذ الحلول المبتكرة الشاملة التي تم تمكينها من خلال التقدم في تعلم الآلة والذكاء الاصطناعي. مجالات اهتمام رومينا هي معالجة اللغة الطبيعية، ونماذج اللغة الكبيرة، وعمليات MLOps.
بويا وحيدي هو أحد كبار مهندسي الحلول في AWS، وهو شغوف بعلوم الكمبيوتر والذكاء الاصطناعي والحوسبة السحابية. وباعتباره متخصصًا في الذكاء الاصطناعي، فهو عضو نشط في فريق AWS AI/ML Area-of-Depth. مع خلفية تمتد لأكثر من عقدين من الخبرة في قيادة هندسة وهندسة الحلول واسعة النطاق، فهو يساعد العملاء في رحلاتهم التحويلية من خلال تقنيات السحابة والذكاء الاصطناعي/تعلم الآلة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- ماهرون
- من نحن
- فوق
- تسريع
- الوصول
- الوصول
- يمكن الوصول
- وفقا لذلك
- حسابي
- دقة
- التأهيل
- في
- الإجراءات
- نشط
- اسيكليك
- تضيف
- إضافي
- تعديل
- تبنى
- التطورات
- بعد
- مرة أخرى
- AI
- AI / ML
- الكل
- تخصيص
- السماح
- يسمح
- سابقا
- أيضا
- البديل
- أمازون
- الأمازون SageMaker
- خطوط أنابيب Amazon SageMaker
- أمازون ويب سيرفيسز
- أمازون ويب سيرفيسز (أوس)
- an
- و
- والبنية التحتية
- أي وقت
- مناسب
- موافقة
- هندسة معمارية
- هي
- المناطق
- مصطنع
- الذكاء الاصطناعي
- AS
- الجوانب
- أسوشيتد
- جمعية
- At
- أتمتة
- الآلي
- تلقائيا
- أتمتة
- أتمتة
- متاح
- AWS
- خلفية
- قاعدة
- BE
- كان
- قبل
- على حد سواء
- نساعدك في بناء
- ابني
- يبني
- بنيت
- مدمج
- by
- تسمى
- CAN
- قدرات
- الأقسام
- CD
- مركزية
- تغيير
- التغييرات
- اختار
- كلاسيكي
- نظيف
- انقر
- سحابة
- الحوسبة السحابية
- الكود
- قاعدة التعليمات البرمجية
- تعاون
- للاتعاون
- مجموعة شتاء XNUMX
- يأتي
- تعليقات
- إكمال
- إكمال
- مجمع
- عنصر
- مكونات
- شامل
- الكمبيوتر
- علوم الكمبيوتر
- الحوسبة
- سرية
- الاعداد
- تكوين
- تكوين
- صلة
- النظر
- باتساق
- يتكون
- كنسولات
- بناء
- تحتوي على
- محتويات
- متواصل
- مراقبة
- المقابلة
- خلق
- خلق
- يخلق
- خلق
- خلق
- على
- العملاء
- حسب الطلب
- DAG
- البيانات
- تحضير البيانات
- علم البيانات
- عقود
- الترتيب
- نقل
- التوصيل
- الخوض
- مطالب
- شرح
- تظاهر
- التبعيات
- نشر
- نشر
- نشر
- نشر
- نشر
- وصف
- تصميم
- مطلوب
- التفاصيل
- مفصلة
- تفاصيل
- التطوير التجاري
- مختلف
- توجه
- مباشرة
- ناقش
- do
- نطاق
- لا
- أثناء
- كل
- في وقت سابق
- أسهل
- النظام الإيكولوجي
- الطُرق الفعّالة
- على نحو فعال
- فعال
- بكفاءة
- إما
- عناصر
- القضاء
- تمكين
- تمكين
- تمكن
- تمكين
- النهائي إلى نهاية
- نقطة النهاية
- الهندسة
- المهندسين
- ضمان
- يضمن
- ضمان
- أدخل
- مشروع
- كامل
- البيئة
- البيئات
- أساسيا
- إنشاء
- أنشئ
- يؤسس
- تأسيس
- إلخ
- تقييم
- أحداث
- مثال
- القائمة
- الخبره في مجال الغطس
- تجربة
- خبرة
- مستكشف
- تيسير
- الميزات
- المميزات
- شعور
- حقل
- قم بتقديم
- ملفات
- مكتشف
- تركز
- ركز
- متابعيك
- في حالة
- شوكة
- تشكيل
- أشكال
- وجدت
- مجانا
- حرية
- تبدأ من
- وظيفة
- وظائف
- توليد
- ولدت
- دولار فقط واحصل على خصم XNUMX% على جميع
- بوابة
- GitHub جيثب:
- منح
- الذهاب
- ذهب
- منح
- رسم بياني
- أكبر
- تجمع
- مجموعات
- يملك
- he
- ثقيل
- رفع أحمال ثقيلة
- يساعد
- استضافة
- منـزل
- المنازل
- إسكان
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- ID
- هوية
- IDS
- if
- التنفيذ
- نفذت
- تحقيق
- in
- تتضمن
- يشمل
- بما فيه
- معلومات
- البنية التحتية
- بدء
- يبادر
- مبتكرة
- إدخال
- في الداخل
- تثبيت
- تثبيت
- مثل
- بدلًا من ذلك
- تعليمات
- دمج
- يدمج
- دمج
- التكامل
- رؤيتنا
- التفاعلية
- مصلحة
- إلى
- يدخل
- عزل
- IT
- انها
- الرحلات
- JPG
- جسون
- م
- احتفظ
- يحتفظ
- القفل
- مفاتيح
- معروف
- لغة
- كبير
- على نطاق واسع
- الى وقت لاحق
- إطلاق
- طبقة
- طبقات
- قيادة
- تعلم
- يترك
- دورة حياة
- تجميل
- مثل
- نسب
- LINK
- قائمة
- تقع
- موقع
- طويل
- بحث
- يبدو مثل
- آلة
- آلة التعلم
- ماك
- تحتفظ
- صيانة
- جعل
- إدارة
- تمكن
- إدارة
- مدير
- إدارة
- تلاعب
- كتيب
- كثير
- آليات
- تعرف علي
- عضو
- الأعضاء
- القائمة
- البيانات الوصفية
- ربما
- معهد ماساتشوستس للتكنولوجيا
- ML
- MLOps
- نموذج
- عارضات ازياء
- التعديلات
- تعديل
- مراقبة
- شاشات
- الأكثر من ذلك
- أكثر فعالية
- علاوة على ذلك
- متعدد
- يجب
- الاسم
- عين
- أسماء
- محلي
- طبيعي
- معالجة اللغات الطبيعية
- التنقل
- قائمة الإختيارات
- ضروري
- يستلزم
- حاجة
- إحتياجات
- جديد
- منتج جديد
- حديثا
- التالي
- الآن
- تحصل
- of
- الوهب
- on
- ONE
- فصاعدا
- طريقة التوسع
- عمليات
- or
- تزامن
- منظمة
- المنظمات
- أخرى
- لنا
- على مدى
- نظرة عامة
- الخاصة
- كاتوا ديلز
- صفقة
- خبز
- مساواة
- جزء
- حفلة
- عاطفي
- أذونات
- الشخصية
- خط أنابيب
- خطط
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- محفظة
- منشور
- قوي
- الممارسات
- تنبؤات
- إعداد
- أعدت
- الشروط
- سابق
- الإجراءات
- عملية المعالجة
- العمليات
- معالجة
- أنتج
- المنتج
- الإنتــاج
- محترف
- تنفيذ المشاريع
- مشروع ناجح
- مطالبات
- الحماية
- تزود
- المقدمة
- ويوفر
- نشرت
- دفع
- دفع
- بايثون
- الاستفسارات
- سريع
- استعداد
- استعداد
- في الوقت الحقيقي
- نوصي
- موصى به
- تسجيل
- الرجوع
- مرجع
- تعكس
- مسجل
- التسجيل
- سجل
- ذات صلة
- ذات الصلة
- الخدمة الموثوقة
- إزالة
- مرارا وتكرارا
- مستودع
- طلب
- تطلب
- المتطلبات الأساسية
- بحث
- مورد
- الموارد
- على التوالي
- مسؤول
- مما أدى
- إعادة استخدام
- حق
- قوي
- النوع
- الأدوار
- جذر
- قاعدة
- يجري
- يدير
- sagemaker
- خطوط الأنابيب SageMaker
- نفسه
- حفظ
- التدرجية
- التحجيم
- سيناريو
- سيناريوهات
- علوم
- العلماء
- سيكريت
- أسرار
- القسم
- أقسام
- آمن
- أمن
- انظر تعريف
- بذرة
- حدد
- كبير
- يخدم
- الخدمة
- خدماتنا
- باكجات
- ضبط
- إعدادات
- الإعداد
- عدة
- هي
- ينبغي
- إظهار
- مماثل
- الاشارات
- مبسط
- تبسيط
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- بعض
- شيء
- مصدر
- شفرة المصدر
- توتر
- محدد
- على وجه التحديد
- قضى
- كومات
- فريق العمل
- المسرح
- مراحل
- انطلاق
- المعايير
- بداية
- ابتداء
- الحالة
- خطوة
- خطوات
- تخزين
- متجر
- تخزين
- فروعنا
- تخزين
- صريح
- تبسيط
- تبسيط
- ستوديو
- دراسة
- لاحق
- بنجاح
- هذه
- كاف
- جناح
- بالتأكيد
- نظام
- أنظمة
- TAG
- فريق
- أعضاء الفريق
- فريق
- التكنولوجيا
- قالب
- النماذج
- اختبار
- الاختبار
- أن
- •
- المصدر
- من مشاركة
- then
- وبالتالي
- تشبه
- هم
- الثالث
- طرف ثالث
- هؤلاء
- عبر
- طوال
- إلى
- سويا
- رمز
- أداة
- أدوات
- تيشرت
- مسار
- تتبع الشحنة
- متدرب
- قادة الإيمان
- تحول
- التحويلية
- يثير
- أثار
- اثنان
- نوع
- أنواع
- مع
- فهم
- فهم
- فريد من نوعه
- تحديث
- تم التحميل
- بناء على
- us
- تستخدم
- مستعمل
- مستخدم
- المستخدمين
- استخدام
- الاستفادة من
- تستخدم
- التحقق من صحة
- التحقق من صحة
- قيمنا
- مختلف
- الإصدار
- الإصدارات
- بواسطة
- افتراضي
- قم بزيارتنا
- مشى
- تريد
- we
- الويب
- خدمات ويب
- على شبكة الإنترنت
- الموقع الإلكتروني
- ابحث عن
- متى
- التي
- في حين
- سوف
- نوافذ
- مع
- في غضون
- للعمل
- العمل معا
- سير العمل
- سير العمل
- سوف
- سنوات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- الرمز البريدي