يعد إنشاء خطوط أنابيب للتعلم الآلي (ML) قابلة للتطوير وفعالة أمرًا بالغ الأهمية لتبسيط تطوير نماذج تعلم الآلة ونشرها وإدارتها. في هذا المنشور، نقدم إطارًا لأتمتة إنشاء رسم بياني غير دوري موجه (DAG) لـ خطوط أنابيب Amazon SageMaker بناءً على ملفات التكوين البسيطة. ال رمز الإطار والأمثلة المقدمة هنا تغطي فقط خطوط أنابيب التدريب النموذجية، ولكن يمكن توسيعها بسهولة لتشمل خطوط أنابيب الاستدلال المجمعة أيضًا.
يستخدم هذا الإطار الديناميكي ملفات التكوين لتنظيم خطوات المعالجة المسبقة والتدريب والتقييم والتسجيل لكل من حالات الاستخدام ذات النموذج الواحد والنماذج المتعددة بناءً على نصوص Python المعرفة من قبل المستخدم واحتياجات البنية التحتية (بما في ذلك سحابة أمازون الافتراضية الخاصة (Amazon VPC) الشبكات الفرعية ومجموعات الأمان، إدارة الهوية والوصول AWS (IAM) الأدوار، خدمة إدارة مفتاح AWS مفاتيح (AWS KMS) وسجل الحاويات وأنواع المثيلات) والإدخال والإخراج خدمة تخزين أمازون البسيطة (Amazon S3) المسارات وعلامات الموارد. تسمح ملفات التكوين (YAML وJSON) لممارسي تعلم الآلة بتحديد تعليمات برمجية غير متمايزة لتنظيم مسارات التدريب باستخدام بناء الجملة التعريفي. وهذا يمكّن علماء البيانات من بناء نماذج تعلم الآلة وتكرارها بسرعة، ويمكّن مهندسي تعلم الآلة من العمل من خلال التكامل المستمر والتسليم المستمر (CI/CD) لخطوط تعلم الآلة بشكل أسرع، مما يقلل من الوقت اللازم لإنتاج النماذج.
حل نظرة عامة
يبدأ رمز الإطار المقترح بقراءة ملفات التكوين. ثم يقوم بعد ذلك بإنشاء SageMaker Pipelines DAG ديناميكيًا استنادًا إلى الخطوات المعلنة في ملفات التكوين والتفاعلات والتبعيات بين الخطوات. يلبي إطار التنسيق هذا حالات الاستخدام ذات النموذج الفردي والمتعدد النماذج، ويوفر تدفقًا سلسًا للبيانات والعمليات. فيما يلي الفوائد الرئيسية لهذا الحل:
- أتمتة - يتم تنسيق سير عمل تعلم الآلة بالكامل، بدءًا من المعالجة المسبقة للبيانات وحتى تسجيل النماذج، دون أي تدخل يدوي. وهذا يقلل من الوقت والجهد اللازمين لتجربة النموذج وتشغيله.
- قابلية اعادة الأنتاج – باستخدام ملف تكوين محدد مسبقًا، يمكن لعلماء البيانات ومهندسي تعلم الآلة إعادة إنتاج سير العمل بالكامل، وتحقيق نتائج متسقة عبر عمليات التشغيل والبيئات المتعددة.
- التدرجية - الأمازون SageMaker يتم استخدامه في جميع أنحاء المسار، مما يمكّن ممارسي تعلم الآلة من معالجة مجموعات البيانات الكبيرة وتدريب النماذج المعقدة دون أي مخاوف تتعلق بالبنية التحتية.
- مرونة - يتميز الإطار بالمرونة ويمكن أن يستوعب مجموعة واسعة من حالات استخدام تعلم الآلة، وأطر عمل تعلم الآلة (مثل XGBoost وTensorFlow)، والتدريب متعدد النماذج، والتدريب متعدد الخطوات. يمكن تخصيص كل خطوة من خطوات تدريب DAG عبر ملف التكوين.
- الحوكمة النموذجية - و سجل نموذج Amazon SageMaker يسمح التكامل بتتبع إصدارات النماذج، وبالتالي الترويج لها في مرحلة الإنتاج بثقة.
يوضح مخطط البنية التالي كيف يمكنك استخدام إطار العمل المقترح أثناء تجربة نماذج تعلم الآلة وتشغيلها. أثناء التجربة، يمكنك استنساخ مستودع التعليمات البرمجية لإطار العمل المقدم في هذا المنشور ومستودعات التعليمات البرمجية المصدر الخاصة بالمشروع الخاص بك إلى أمازون ساجميكر ستوديو، وقم بتعيين بيئتك الافتراضية (مفصلة لاحقًا في هذا المنشور). يمكنك بعد ذلك تكرار البرامج النصية للمعالجة المسبقة والتدريب والتقييم، بالإضافة إلى خيارات التكوين. لإنشاء DAG للتدريب على SageMaker Pipelines وتشغيله، يمكنك استدعاء نقطة دخول إطار العمل، والتي ستقوم بقراءة جميع ملفات التكوين وإنشاء الخطوات اللازمة وتنسيقها بناءً على ترتيب الخطوات والتبعيات المحددة.
أثناء التشغيل، يقوم خط أنابيب CI باستنساخ مستودع كود إطار العمل ومستودعات التدريب الخاصة بالمشروع في AWS كود البناء وظيفة، حيث يتم استدعاء البرنامج النصي لنقطة دخول إطار العمل لإنشاء أو تحديث تدريب DAG لخطوط أنابيب SageMaker، ثم تشغيله.
هيكل المستودع
• مستودع جيثب يحتوي على الدلائل والملفات التالية:
- / الإطار / أسيوط / - يحتوي هذا الدليل على ملف تكوين يُستخدم لتعيين المتغيرات المشتركة عبر جميع وحدات النمذجة مثل الشبكات الفرعية ومجموعات الأمان ودور IAM في وقت التشغيل. وحدة النمذجة عبارة عن تسلسل يصل إلى ست خطوات لتدريب نموذج تعلم الآلة.
- /الإطار/إنشاءنموذج/ - يحتوي هذا الدليل على برنامج نصي Python يقوم بإنشاء ملف نموذج SageMaker كائن يعتمد على التحف النموذجية من أ خطوة التدريب على خطوط أنابيب SageMaker. يتم استخدام كائن النموذج لاحقًا في ملف تحويل دفعة SageMaker وظيفة لتقييم أداء النموذج في مجموعة اختبار.
- /الإطار/قياسات النموذج/ - يحتوي هذا الدليل على برنامج Python النصي الذي يقوم بإنشاء ملف أمازون SageMaker معالجة مهمة لإنشاء تقرير JSON لمقاييس النموذج لنموذج مُدرب استنادًا إلى نتائج مهمة تحويل دفعة SageMaker التي تم إجراؤها على بيانات الاختبار.
- /الإطار/خط الأنابيب/ - يحتوي هذا الدليل على نصوص Python النصية التي تستخدم فئات Python المحددة في دلائل إطار عمل أخرى لإنشاء أو تحديث SageMaker Pipelines DAG بناءً على التكوينات المحددة. يتم استخدام البرنامج النصي model_unit.py بواسطة Pipeline_service.py لإنشاء وحدة تصميم واحدة أو أكثر. كل وحدة نمذجة عبارة عن تسلسل يصل إلى ست خطوات لتدريب نموذج تعلم الآلة: المعالجة والتدريب وإنشاء النموذج والتحويل والمقاييس وتسجيل النموذج. يجب تحديد التكوينات الخاصة بكل وحدة نمذجة في مستودع النموذج الخاص بها. يقوم Pipeline_service.py أيضًا بتعيين التبعيات بين خطوات SageMaker Pipelines (كيفية تسلسل أو تسلسل الخطوات داخل وحدات النمذجة وعبرها) استنادًا إلى قسم sagemakerPipeline، الذي يجب تحديده في ملف التكوين الخاص بأحد مستودعات النماذج (نموذج الارتساء). يتيح لك هذا تجاوز التبعيات الافتراضية التي تستنتجها خطوط أنابيب SageMaker. سنناقش بنية ملف التكوين لاحقًا في هذا المنشور.
- /الإطار/المعالجة/ - يحتوي هذا الدليل على برنامج نصي Python يقوم بإنشاء مهمة معالجة SageMaker استنادًا إلى صورة Docker المحددة والبرنامج النصي لنقطة الإدخال.
- /الإطار/نموذج التسجيل/ - يحتوي هذا الدليل على برنامج نصي بلغة Python لتسجيل نموذج مُدرب بالإضافة إلى مقاييسه المحسوبة في SageMaker Model Registry.
- /الإطار/التدريب/ - يحتوي هذا الدليل على برنامج Python النصي الذي يقوم بإنشاء مهمة تدريب SageMaker.
- /الإطار/التحويل/ - يحتوي هذا الدليل على برنامج Python النصي الذي يقوم بإنشاء مهمة تحويل دفعة SageMaker. في سياق التدريب النموذجي، يتم استخدام ذلك لحساب مقياس أداء النموذج المُدرب على بيانات الاختبار.
- /الإطار/المرافق/ - يحتوي هذا الدليل على برامج نصية مساعدة لقراءة ملفات التكوين والانضمام إليها، بالإضافة إلى التسجيل.
- /framework_entrypoint.py - هذا الملف هو نقطة الدخول لرمز الإطار. فهو يستدعي وظيفة محددة في الدليل /framework/pipeline/ لإنشاء أو تحديث SageMaker Pipelines DAG وتشغيله.
- /أمثلة/ - يحتوي هذا الدليل على عدة أمثلة لكيفية استخدام إطار الأتمتة هذا لإنشاء مجموعات تدريب بسيطة ومعقدة.
- /env.env - يتيح لك هذا الملف تعيين المتغيرات الشائعة مثل الشبكات الفرعية ومجموعات الأمان ودور IAM كمتغيرات بيئة.
- /requirements.txt – يحدد هذا الملف مكتبات بايثون المطلوبة لكود إطار العمل.
المتطلبات الأساسية المسبقة
يجب أن تتوفر لديك المتطلبات الأساسية التالية قبل نشر هذا الحل:
- حساب AWS
- استوديو SageMaker
- دور SageMaker مع أذونات القراءة/الكتابة Amazon S3 وأذونات التشفير/فك التشفير AWS KMS
- حاوية S3 لتخزين البيانات والبرامج النصية والعناصر النموذجية
- اختياريا ، واجهة سطر الأوامر AWS (AWS CLI)
- Python3 (Python 3.7 أو أحدث) وحزم Python التالية:
- هههههههههههه
- sagemaker
- بييامل
- حزم Python الإضافية المستخدمة في البرامج النصية المخصصة الخاصة بك
انشر الحل
أكمل الخطوات التالية لنشر الحل:
- قم بتنظيم مستودع التدريب النموذجي الخاص بك وفقًا للهيكل التالي:
- قم باستنساخ كود إطار العمل والكود المصدري للنموذج الخاص بك من مستودعات Git:
-
- استنساخ
dynamic-sagemaker-pipelines-framework
الريبو في دليل التدريب. في الكود التالي، نفترض أن دليل التدريب يسمىaws-train
: - استنساخ الكود المصدري للنموذج ضمن نفس الدليل. للتدريب على نماذج متعددة، كرر هذه الخطوة مع أي عدد تحتاج إلى تدريبه من النماذج.
- استنساخ
للتدريب على نموذج واحد، يجب أن يبدو الدليل الخاص بك كما يلي:
للتدريب متعدد النماذج، يجب أن يبدو الدليل الخاص بك كما يلي:
- قم بإعداد متغيرات البيئة التالية. تشير العلامات النجمية إلى متغيرات البيئة المطلوبة؛ الباقي اختياري.
متغيرات البيئة | الوصف |
SMP_ACCOUNTID* |
حساب AWS حيث يتم تشغيل مسار SageMaker |
SMP_REGION* |
منطقة AWS حيث يتم تشغيل مسار SageMaker |
SMP_S3BUCKETNAME* |
اسم حاوية S3 |
SMP_ROLE* |
دور سيج ميكر |
SMP_MODEL_CONFIGPATH* |
المسار النسبي لملفات التكوين أحادية النموذج أو متعددة النماذج |
SMP_SUBNETS |
معرفات الشبكة الفرعية لتكوين شبكة SageMaker |
SMP_SECURITYGROUPS |
معرفات مجموعة الأمان لتكوين شبكة SageMaker |
بالنسبة لحالات استخدام النموذج الواحد، SMP_MODEL_CONFIGPATH
سوف يكون <MODEL-DIR>/conf/conf.yaml
. بالنسبة لحالات الاستخدام متعددة النماذج، SMP_MODEL_CONFIGPATH
سوف يكون */conf/conf.yaml
، والذي يسمح لك بالعثور على كل شيء conf.yaml
الملفات باستخدام وحدة Python العالمية ودمجها لتكوين ملف تكوين عام. أثناء التجربة (الاختبار المحلي)، يمكنك تحديد متغيرات البيئة داخل ملف env.env ثم تصديرها عن طريق تشغيل الأمر التالي في جهازك الطرفي:
لاحظ أن قيم متغيرات البيئة في env.env
يجب وضعها داخل علامات الاقتباس (على سبيل المثال، SMP_REGION="us-east-1"
). أثناء التشغيل، يجب تعيين متغيرات البيئة هذه بواسطة خط أنابيب CI.
- قم بإنشاء وتنشيط بيئة افتراضية عن طريق تشغيل الأوامر التالية:
- قم بتثبيت حزم بايثون المطلوبة عن طريق تشغيل الأمر التالي:
- قم بتحرير نموذج التدريب الخاص بك
conf.yaml
ملفات. نناقش بنية ملف التكوين في القسم التالي. - من الوحدة الطرفية، اتصل بنقطة دخول إطار العمل لإنشاء أو تحديث وتشغيل DAG للتدريب على SageMaker Pipeline:
- عرض وتصحيح خطوط أنابيب SageMaker التي يتم تشغيلها على خطوط الأنابيب علامة التبويب الخاصة بواجهة مستخدم SageMaker Studio.
هيكل ملف التكوين
يوجد نوعان من ملفات التكوين في الحل المقترح: تكوين الإطار وتكوين النموذج. وفي هذا القسم، سنصف كل منها بالتفصيل.
تكوين الإطار
• /framework/conf/conf.yaml
يقوم الملف بتعيين المتغيرات المشتركة عبر جميع وحدات النمذجة. هذا يتضمن SMP_S3BUCKETNAME
, SMP_ROLE
, SMP_MODEL_CONFIGPATH
, SMP_SUBNETS
, SMP_SECURITYGROUPS
و SMP_MODELNAME
. راجع الخطوة 3 من تعليمات النشر للحصول على أوصاف هذه المتغيرات وكيفية تعيينها عبر متغيرات البيئة.
تكوين النموذج
لكل نموذج في المشروع، نحتاج إلى تحديد ما يلي في ملف <MODEL-DIR>/conf/conf.yaml
ملف (العلامات النجمية تشير إلى الأقسام المطلوبة؛ والباقي اختياري):
- / أسيوط / نماذج * – في هذا القسم يمكنك تكوين وحدة نمذجة واحدة أو أكثر. عند تشغيل كود إطار العمل، فإنه سيقرأ تلقائيًا جميع ملفات التكوين أثناء وقت التشغيل ويلحقها بشجرة التكوين. من الناحية النظرية، يمكنك تحديد جميع وحدات النمذجة في نفس الوقت
conf.yaml
الملف، ولكن يوصى بتحديد كل تكوين لوحدة النمذجة في الدليل الخاص بها أو مستودع Git لتقليل الأخطاء. الوحدات هي كما يلي:- {اسم النموذج}* - اسم النموذج .
- دليل المصدر* - مشترك
source_dir
المسار الذي سيتم استخدامه لجميع الخطوات داخل وحدة النمذجة. - العملية - يحدد هذا القسم معلمات المعالجة المسبقة.
- يدرب* – يحدد هذا القسم معلمات الوظيفة التدريبية.
- تحول* - يحدد هذا القسم معلمات مهمة SageMaker Transform لإجراء تنبؤات بشأن بيانات الاختبار.
- تقييم – يحدد هذا القسم معلمات مهمة معالجة SageMaker لإنشاء تقرير JSON لمقاييس النموذج للنموذج المُدرب.
- التسجيل * - يحدد هذا القسم معلمات تسجيل النموذج المدرب في SageMaker Model Registry.
- /conf/sagemakerPipeline* – يحدد هذا القسم تدفق خطوط أنابيب SageMaker، بما في ذلك التبعيات بين الخطوات. بالنسبة لحالات استخدام النموذج الفردي، يتم تعريف هذا القسم في نهاية ملف التكوين. بالنسبة لحالات الاستخدام متعددة النماذج، فإن
sagemakerPipeline
يجب تحديد القسم فقط في ملف التكوين الخاص بأحد النماذج (أي من النماذج). ونشير إلى هذا النموذج باسم نموذج مرساة. المعلمات هي كما يلي:- اسم خط الأنابيب* – اسم خط أنابيب SageMaker.
- عارضات ازياء* - قائمة متداخلة لوحدات النمذجة:
- {اسم النموذج}* - معرف النموذج، والذي يجب أن يتطابق مع معرف {model-name} في قسم /conf/models.
- خطوات* -
- اسم_الخطوة* - اسم الخطوة الذي سيتم عرضه في SageMaker Pipelines DAG.
- خطوة_فئة* - (الاتحاد[المعالجة، التدريب، إنشاء النموذج، التحويل، المقاييس، نموذج التسجيل])
- نوع_الخطوة* - هذه المعلمة مطلوبة فقط لخطوات المعالجة المسبقة، والتي يجب ضبطها على المعالجة المسبقة. وهذا ضروري للتمييز بين خطوات المعالجة المسبقة وتقييم الخطوات، وكلاهما لهما
step_class
المعالجة. - Enable_cache – ([الاتحاد[صحيح، خطأ]]). يشير هذا إلى ما إذا كان سيتم التمكين أم لا التخزين المؤقت لخطوط أنابيب SageMaker لهذه الخطوة.
- chain_input_source_step – ([قائمة[اسم_الخطوة]]). يمكنك استخدام هذا لتعيين مخرجات القناة لخطوة أخرى كمدخل لهذه الخطوة.
- chain_input_additional_prefix - هذا مسموح به فقط لخطوات التحويل
step_class
، ويمكن استخدامها جنبًا إلى جنب معchain_input_source_step
المعلمة لتحديد الملف الذي يجب استخدامه كمدخل لخطوة التحويل.
- خطوات* -
- {اسم النموذج}* - معرف النموذج، والذي يجب أن يتطابق مع معرف {model-name} في قسم /conf/models.
- التبعيات – يحدد هذا القسم التسلسل الذي يجب أن يتم به تشغيل خطوات خطوط أنابيب SageMaker. لقد قمنا بتكييف تدوين Apache Airflow لهذا القسم (على سبيل المثال،
{step_name} >> {step_name}
). إذا تم ترك هذا القسم فارغًا، فسيتم تحديد التبعيات الصريحة بواسطة ملفchain_input_source_step
تحدد المعلمة أو التبعيات الضمنية تدفق SageMaker Pipelines DAG.
لاحظ أننا نوصي بوجود خطوة تدريبية واحدة لكل وحدة نمذجة. إذا تم تحديد خطوات تدريب متعددة لوحدة النمذجة، فإن الخطوات اللاحقة تأخذ ضمنيًا خطوة التدريب الأخيرة لإنشاء كائن النموذج وحساب المقاييس وتسجيل النموذج. إذا كنت بحاجة إلى تدريب نماذج متعددة، فمن المستحسن إنشاء وحدات نماذج متعددة.
أمثلة
في هذا القسم، نعرض ثلاثة أمثلة لمجموعات DAGs للتدريب على نموذج ML التي تم إنشاؤها باستخدام الإطار المعروض.
التدريب على نموذج واحد: LightGBM
هذا مثال لنموذج واحد لحالة استخدام التصنيف التي نستخدمها LightGBM في وضع البرنامج النصي على SageMaker. بيانات يتكون من متغيرات فئوية وعددية للتنبؤ بالإيرادات الثنائية (للتنبؤ بما إذا كان الموضوع يقوم بالشراء أم لا). ال البرنامج النصي للمعالجة المسبقة يتم استخدامه لنمذجة البيانات للتدريب والاختبار وبعد ذلك قم بوضعه في دلو S3. يتم بعد ذلك توفير مسارات S3 إلى ملف خطوة التدريب في ملف التكوين.
عند تشغيل خطوة التدريب، يقوم SageMaker بتحميل الملف على الحاوية في /opt/ml/input/data/{channelName}/
يمكن الوصول إليها عبر متغير البيئة SM_CHANNEL_{channelName}
على الحاوية (اسم القناة = "القطار" أو "الاختبار"). و نص التدريب يقوم بما يلي:
- قم بتحميل الملفات محليًا من مسارات الحاوية المحلية باستخدام ملف تحميل NumPy وحدة.
- قم بتعيين المعلمات الفائقة لخوارزمية التدريب.
- احفظ النموذج المدرب في مسار الحاوية المحلية
/opt/ml/model/
.
يأخذ SageMaker المحتوى ضمن /opt/ml/model/ لإنشاء كرة قطران تُستخدم لنشر النموذج إلى SageMaker للاستضافة.
تأخذ خطوة التحويل كمدخل مرحلي ملف الاختبار كمدخل والنموذج المدرب لعمل تنبؤات على النموذج المدرب. إخراج خطوة التحويل هو بالسلاسل إلى خطوة المقاييس لتقييم النموذج مقابل الحقيقة الأرض، والتي يتم توفيرها بشكل صريح لخطوة المقاييس. أخيرًا، يتم ربط مخرجات خطوة المقاييس ضمنيًا بخطوة التسجيل لتسجيل النموذج في SageMaker Model Registry مع معلومات حول أداء النموذج المنتج في خطوة المقاييس. يوضح الشكل التالي تمثيلاً مرئيًا لـ DAG للتدريب. يمكنك الرجوع إلى البرامج النصية وملف التكوين لهذا المثال في ملف جيثب ريبو.
التدريب على نموذج واحد: الضبط الدقيق للماجستير في القانون
هذا مثال تدريبي آخر على نموذج واحد، حيث نقوم بتنسيق الضبط الدقيق لنموذج اللغة الكبيرة Falcon-40B (LLM) من Hugging Face Hub لحالة استخدام تلخيص النص. ال البرنامج النصي للمعالجة المسبقة يحمل سامسوم مجموعة البيانات من Hugging Face، وتحميل الرمز المميز للنموذج، ومعالجة تقسيمات بيانات التدريب/الاختبار لضبط النموذج على بيانات المجال هذه في خطوة المعالجة المسبقة لتلخيص نص الصقر.
الإخراج بالسلاسل إلى خطوة ضبط تلخيص النص الصقر، حيث نص التدريب يقوم بتحميل Falcon-40B LLM من Hugging Face Hub ويبدأ في الضبط الدقيق المتسارع باستخدام لورا على انقسام القطار. ويتم تقييم النموذج في نفس الخطوة بعد الضبط الدقيق حراس البوابة يؤدي فقدان التقييم إلى فشل خطوة ضبط تلخيص نص الصقر، مما يتسبب في توقف مسار SageMaker قبل أن يتمكن من تسجيل النموذج الذي تم ضبطه بدقة. بخلاف ذلك، سيتم تشغيل خطوة ضبط تلخيص نص الصقر بنجاح وسيتم تسجيل النموذج في SageMaker Model Registry. يوضح الشكل التالي تمثيلاً مرئيًا لـ DAG للضبط الدقيق لـ LLM. تتوفر البرامج النصية وملف التكوين لهذا المثال في ملف جيثب ريبو.
تدريب متعدد النماذج
هذا مثال تدريبي متعدد النماذج حيث يتم تدريب نموذج تحليل المكونات الرئيسية (PCA) لتقليل الأبعاد، ويتم تدريب نموذج TensorFlow Multilayer Perceptron من أجل التنبؤ بأسعار الإسكان في كاليفورنيا. تستخدم خطوة المعالجة المسبقة لنموذج TensorFlow نموذج PCA مُدرب لتقليل أبعاد بيانات التدريب الخاصة به. نضيف تبعية في التكوين لضمان تسجيل نموذج TensorFlow بعد تسجيل نموذج PCA. يوضح الشكل التالي تمثيلاً مرئيًا لمثال DAG للتدريب متعدد النماذج. تتوفر البرامج النصية وملفات التكوين لهذا المثال في ملف جيثب ريبو.
تنظيف
أكمل الخطوات التالية لتنظيف مواردك:
- استخدم AWS CLI من أجل قائمة و إزالة أي خطوط الأنابيب المتبقية التي تم إنشاؤها بواسطة البرامج النصية بايثون.
- اختياريًا، احذف موارد AWS الأخرى مثل حاوية S3 أو دور IAM الذي تم إنشاؤه خارج خطوط أنابيب SageMaker.
وفي الختام
في هذا المنشور، قدمنا إطار عمل لأتمتة إنشاء SageMaker Pipelines DAG استنادًا إلى ملفات التكوين. يقدم الإطار المقترح حلاً تطلعيًا للتحدي المتمثل في تنسيق أعباء عمل تعلم الآلة المعقدة. باستخدام ملف تكوين، توفر SageMaker Pipelines المرونة اللازمة لإنشاء التنسيق باستخدام الحد الأدنى من التعليمات البرمجية، حتى تتمكن من تبسيط عملية إنشاء وإدارة مسارات التدفق ذات النموذج الفردي والمتعدد النماذج. لا يوفر هذا النهج الوقت والموارد فحسب، بل يعزز أيضًا أفضل ممارسات MLOps، مما يساهم في النجاح الشامل لمبادرات تعلم الآلة. لمزيد من المعلومات حول تفاصيل التنفيذ، قم بمراجعة جيثب ريبو.
حول المؤلف
لويس فيليبي يبيز باريوس، هو مهندس التعلم الآلي لدى AWS Professional Services، ويركز على الأنظمة الموزعة القابلة للتطوير وأدوات التشغيل الآلي لتسريع الابتكار العلمي في مجال التعلم الآلي (ML). علاوة على ذلك، فهو يساعد عملاء المؤسسات في تحسين حلول التعلم الآلي الخاصة بهم من خلال خدمات AWS.
جينتشاو فنغ، هو مهندس التعلم الآلي في AWS Professional Services. وهو يركز على تصميم وتنفيذ حلول الذكاء الاصطناعي التوليدي واسعة النطاق وحلول ML الكلاسيكية. وهو متخصص في FMOps وLLMOps والتدريب الموزع.
الاسناني الشديد، هو مهندس التعلم الآلي في AWS. خلفيته في علوم البيانات التطبيقية مع التركيز على تفعيل أعباء عمل التعلم الآلي في السحابة على نطاق واسع.
حسن شجاعي، هو عالم بيانات كبير في AWS Professional Services، حيث يساعد العملاء في مختلف الصناعات على حل تحديات أعمالهم من خلال استخدام البيانات الضخمة والتعلم الآلي والتقنيات السحابية. قبل توليه هذا المنصب، قاد حسن مبادرات متعددة لتطوير تقنيات النمذجة الجديدة القائمة على الفيزياء والمبنية على البيانات لشركات الطاقة الكبرى. خارج العمل، حسن شغوف بالكتب والمشي لمسافات طويلة والتصوير الفوتوغرافي والتاريخ.
أليك جيناب، هو مهندس تعلم الآلة متخصص في تطوير وتشغيل حلول التعلم الآلي على نطاق واسع لعملاء المؤسسات. أليك متحمس لتقديم حلول مبتكرة إلى السوق، خاصة في المجالات التي يمكن للتعلم الآلي فيها تحسين تجربة المستخدم النهائي بشكل مفيد. خارج العمل، يستمتع بلعب كرة السلة والتزلج على الجليد واكتشاف الجواهر المخفية في سان فرانسيسكو.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/automate-amazon-sagemaker-pipelines-dag-creation/
- :يكون
- :ليس
- :أين
- $ UP
- 120
- 160
- 7
- 8
- 9
- a
- ماهرون
- حول المستشفى
- معجل
- الوصول
- يمكن الوصول
- استيعاب
- وفقا
- حسابي
- تحقيق
- في
- تفعيل
- اسيكليك
- تضيف
- بعد
- ضد
- AI
- خوارزمية
- الكل
- السماح
- سمح
- يسمح
- على طول
- أيضا
- أمازون
- الأمازون SageMaker
- خطوط أنابيب Amazon SageMaker
- أمازون ويب سيرفيسز
- من بين
- an
- تحليل
- مرساة
- و
- آخر
- أي وقت
- أباتشي
- تطبيقي
- نهج
- هندسة معمارية
- هي
- المناطق
- AS
- يساعد
- افترض
- At
- أتمتة
- تلقائيا
- أتمتة
- أتمتة
- متاح
- AWS
- الخدمات المهنية AWS
- خلفية
- على أساس
- كره السلة
- BE
- قبل
- الفوائد
- أفضل
- أفضل الممارسات
- كبير
- البيانات الكبيرة
- كُتُب
- على حد سواء
- وبذلك
- نساعدك في بناء
- الأعمال
- لكن
- by
- حساب
- محسوب
- دعوة
- تسمى
- دعوات
- CAN
- حقيبة
- الحالات
- يلبي
- الأسباب
- بالسلاسل
- تحدى
- التحديات
- قناة
- الخيارات
- فصول
- تصنيف
- نظيف
- المبادرة القطرية
- عميل
- سحابة
- الكود
- دمج
- مشترك
- الشركات
- مجمع
- عنصر
- اهتمامات
- الثقة
- الاعداد
- بالتزامن
- ثابتة
- يتكون
- وعاء
- حاويات
- يحتوي
- محتوى
- سياق الكلام
- متواصل
- المساهمة
- بهيكل
- خلق
- خلق
- يخلق
- خلق
- خلق
- حاسم
- على
- العملاء
- حسب الطلب
- DAG
- البيانات
- علم البيانات
- عالم البيانات
- تعتمد على البيانات
- قواعد البيانات
- معلن
- الترتيب
- حدد
- تعريف
- يعرف
- التوصيل
- شرح
- التبعيات
- التبعية
- نشر
- نشر
- نشر
- وصف
- التفاصيل
- مفصلة
- تفاصيل
- تطوير
- تطوير
- التطوير التجاري
- رسم بياني
- مختلف
- توجه
- الدلائل
- دليل
- اكتشاف
- بحث
- عرض
- تميز
- وزعت
- الانظمة الموزعة
- التدريب الموزع
- عامل في حوض السفن
- هل
- نطاق
- أثناء
- ديناميكي
- حيوي
- كل
- فعال
- جهد
- إمباورز
- تمكين
- تمكن
- تمكين
- النهاية
- طاقة
- مهندس
- المهندسين
- ضمان
- مشروع
- كامل
- دخول
- البيئة
- البيئات
- أخطاء
- خاصة
- تقييم
- تقييم
- تقييم
- تقييم
- كل
- مثال
- أمثلة
- الإسراع
- الخبره في مجال الغطس
- صراحة
- تصدير
- مدد
- الوجه
- يفشلون
- زائف
- أسرع
- حقل
- الشكل
- قم بتقديم
- ملفات
- أخيرا
- مرونة
- مرن
- تدفق
- تركز
- ركز
- ويركز
- متابعيك
- متابعات
- في حالة
- النموذج المرفق
- تطلعي
- الإطار
- الأطر
- فرانسيسكو
- تبدأ من
- وظيفة
- علاوة على ذلك
- توليد
- توليدي
- الذكاء الاصطناعي التوليدي
- بوابة
- العالمية
- الحكم
- رسم بياني
- أكبر
- تجمع
- مجموعات
- يملك
- وجود
- he
- يساعد
- هنا
- مخفي
- له
- تاريخ
- استضافة
- إسكان
- كيفية
- كيفية
- HTML
- HTTP
- HTTPS
- محور
- معرف
- هوية
- IDS
- if
- صورة
- التنفيذ
- تحقيق
- تحسن
- in
- في أخرى
- يشمل
- بما فيه
- تشير
- يشير
- الصناعات
- الاستدلال
- معلومات
- البنية التحتية
- المبادرات
- الابتكار
- مبتكرة
- إدخال
- في الداخل
- تثبيت
- مثل
- تعليمات
- التكامل
- التفاعلات
- تدخل
- إلى
- IT
- انها
- وظيفة
- انضمام
- JPG
- جسون
- القفل
- مفاتيح
- تُشير
- لغة
- كبير
- اسم العائلة
- الى وقت لاحق
- تعلم
- ليد
- اليسار
- المكتبات
- مثل
- خط
- قائمة
- LLM
- تحميل
- الأحمال
- محلي
- محليا
- تسجيل
- بحث
- يبدو مثل
- خسارة
- آلة
- آلة التعلم
- جعل
- يصنع
- القيام ب
- إدارة
- إدارة
- كتيب
- كثير
- تجارة
- مباراة
- متري
- المقاييس
- أدنى
- تقليل
- ML
- MLOps
- موضة
- نموذج
- تصميم
- عارضات ازياء
- وحدة
- الأكثر من ذلك
- متعدد
- الاسم
- ضروري
- حاجة
- بحاجة
- إحتياجات
- الشبكات
- التالي
- لا
- رواية
- موضوع
- of
- عروض
- on
- ONE
- فقط
- تحسين
- or
- مدبرة
- بتدبير
- تزامن
- أخرى
- وإلا
- الناتج
- النتائج
- في الخارج
- الكلي
- تجاوز
- حزم
- المعلمة
- المعلمات
- عاطفي
- مسار
- مسارات
- إلى
- أداء
- تنفيذ
- تصوير
- خط أنابيب
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعب
- البوينت
- منشور
- الممارسات
- معرفة مسبقا
- تنبأ
- تنبؤات
- الشروط
- يقدم
- قدم
- السعر
- رئيسي
- قبل
- خاص
- عملية المعالجة
- العمليات
- معالجة
- أنتج
- الإنتــاج
- محترف
- تنفيذ المشاريع
- يعزز
- تعزيز
- المقترح
- المقدمة
- ويوفر
- شراء
- بايثون
- بسرعة
- نطاق
- عرض
- بسهولة
- نادي القراءة
- نوصي
- موصى به
- تخفيض
- يقلل
- تخفيض
- الرجوع
- منطقة
- تسجيل جديد
- مسجل
- تسجيل
- التسجيل
- سجل
- المتبقية
- كرر
- تقرير
- مستودع
- التمثيل
- مطلوب
- المتطلبات الأساسية
- مورد
- الموارد
- هؤلاء
- REST
- النتائج
- إيرادات
- مراجعة
- النوع
- الأدوار
- يجري
- تشغيل
- يدير
- وقت التشغيل
- sagemaker
- خطوط الأنابيب SageMaker
- نفسه
- سان
- سان فرانسيسكو
- تحجيم
- حجم
- علوم
- علمي
- عالم
- العلماء
- سيناريو
- مخطوطات
- القسم
- أقسام
- أمن
- تسلسل
- خدماتنا
- طقم
- باكجات
- عدة
- ينبغي
- يظهر
- الاشارات
- SIX
- كمنعم
- So
- حل
- الحلول
- حل
- مصدر
- شفرة المصدر
- متخصص
- تتخصص
- محدد
- انقسم
- الإنشقاقات
- يبدأ
- خطوة
- خطوات
- قلة النوم
- تخزين
- تخزين
- تبسيط
- تبسيط
- بناء
- ستوديو
- موضوع
- الشبكات الفرعية
- لاحق
- تحقيق النجاح
- بنجاح
- هذه
- زودت
- بناء الجملة
- أنظمة
- أخذ
- يأخذ
- تقنيات
- التكنولوجيا
- tensorflow
- محطة
- تجربه بالعربي
- الاختبار
- نص
- أن
- •
- السجل
- من مشاركة
- منهم
- then
- وبالتالي
- تشبه
- ثلاثة
- عبر
- طوال
- الوقت
- إلى
- تيشرت
- تتبع الشحنة
- قطار
- متدرب
- قادة الإيمان
- تحول
- شجرة
- صحيح
- اثنان
- أنواع
- ui
- مع
- وحدة
- الوحدات
- تحديث
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- تجربة المستخدم
- يستخدم
- استخدام
- سهل حياتك
- القيم
- متغير
- الإصدارات
- بواسطة
- افتراضي
- بصري
- we
- الويب
- خدمات ويب
- حسن
- متى
- سواء
- التي
- من الذى
- واسع
- مدى واسع
- سوف
- مع
- في غضون
- بدون
- للعمل
- سير العمل
- XGBoost
- يامل
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت