تحسين استقرار ومرونة خطوط أنابيب ML في Amazon Packaging Innovation مع Amazon SageMaker Pipelines

لإسعاد العملاء وتقليل نفايات التغليف ، يجب على أمازون اختيار نوع التغليف الأمثل لمليارات الطرود التي يتم شحنها كل عام. إذا تم استخدام القليل من الحماية لعنصر هش مثل كوب القهوة ، فسيصل العنصر تالفًا ويخاطر Amazon بثقة عملائه. سيؤدي استخدام الكثير من الحماية إلى زيادة التكاليف واكتظاظ صناديق إعادة التدوير. مع توفر مئات الملايين من المنتجات ، هناك حاجة إلى آلية قرار قابلة للتطوير للتعلم باستمرار من اختبار المنتج وتعليقات العملاء.

لحل هذه المشكلات ، طور فريق Amazon Packaging Innovation نماذج التعلم الآلي (ML) التي تصنف ما إذا كانت المنتجات مناسبة لأنواع تغليف أمازون مثل البريد أو الحقائب أو الصناديق ، أو حتى يمكن شحنها بدون تغليف إضافي. في السابق ، طور الفريق خط أنابيب مخصصًا بناءً على وظائف خطوة AWS لأداء تدريب أسبوعي ووظائف استدلال يومية أو شهرية. ومع ذلك ، بمرور الوقت ، لم يوفر خط الأنابيب مرونة كافية لإطلاق نماذج ببنيات جديدة. قدم تطوير خطوط الأنابيب الجديدة نفقات عامة وتنسيقًا مطلوبًا بين علماء البيانات والمطورين. للتغلب على هذه الصعوبات وتحسين سرعة نشر النماذج والبنى الجديدة ، اختار الفريق تنسيق التدريب النموذجي والاستدلال باستخدام خطوط أنابيب Amazon SageMaker.

في هذا المنشور ، نناقش بنية التنسيق السابقة استنادًا إلى وظائف الخطوة ، والتدريب على الخطوط العريضة وبنيات الاستدلال باستخدام خطوط الأنابيب ، وتسليط الضوء على المرونة التي حققها فريق Amazon Packaging Innovation.

تحديات خط أنابيب ML السابق في Amazon Packaging Innovation

لدمج التعليقات المستمرة حول أداء الحزم ، يتم تدريب نموذج جديد كل أسبوع باستخدام عدد متزايد من الملصقات. يتم إجراء الاستدلال على مخزون المنتجات بالكامل شهريًا ، ويتم إجراء استنتاج يومي لتقديم تنبؤات في الوقت المناسب للمخزون المضاف حديثًا.

لأتمتة عملية تدريب نماذج متعددة وتقديم تنبؤات ، طور الفريق خط أنابيب مخصصًا يعتمد على وظائف الخطوة لتنسيق الخطوات التالية:

• إعداد البيانات لوظائف التدريب والاستدلال وتحميل التنبؤات على قاعدة البيانات (الأمازون الأحمر) مع غراء AWS.
• التدريب النموذجي والاستدلال مع الأمازون SageMaker.
• حساب مقاييس أداء النموذج على التحقق من مجموعة مع دفعة AWS.
• باستخدام الأمازون DynamoDB لتخزين تكوينات النموذج (مثل نسبة تقسيم البيانات للتدريب والتحقق من الصحة ، وموقع قطعة أثرية للنموذج ، ونوع النموذج ، وعدد مثيلات التدريب والاستدلال) ، ومقاييس أداء النموذج ، وأحدث إصدار نموذج تم تدريبه بنجاح.
• حساب الفروق في درجات أداء النموذج ، والتغييرات في توزيع ملصقات التدريب ، ومقارنة حجم بيانات الإدخال بين الإصدارين السابق والجديد مع AWS لامدا الوظائف.
• نظرًا للعدد الكبير من الخطوات ، تطلب خط الأنابيب أيضًا نظام إنذار موثوق به في كل خطوة لتنبيه أصحاب المصلحة بأي مشكلات. تم تحقيق ذلك عبر مزيج من خدمة Amazon Simple Queue Service (Amazon SQS) و خدمة إعلام أمازون البسيطة (أمازون SNS). تم إنشاء الإنذارات لإعلام أصحاب المصلحة التجاريين وعلماء البيانات والمطورين بأي خطوات فاشلة وانحرافات كبيرة في مقاييس النموذج والبيانات.

بعد استخدام هذا الحل لما يقرب من عامين ، أدرك الفريق أن هذا التنفيذ يعمل بشكل جيد فقط لسير عمل ML نموذجي حيث تم تدريب نموذج واحد وتسجيله في مجموعة بيانات التحقق من الصحة. ومع ذلك ، لم يكن الحل مرنًا بما يكفي للنماذج المعقدة ولم يكن مرنًا في مواجهة حالات الفشل. على سبيل المثال ، لم تستوعب الهندسة المعمارية تدريب النموذج المتسلسل بسهولة. كان من الصعب إضافة أو إزالة خطوة دون تكرار خط الأنابيب بأكمله وتعديل البنية التحتية. حتى التغييرات البسيطة في خطوات معالجة البيانات مثل تعديل نسبة تقسيم البيانات أو تحديد مجموعة مختلفة من الميزات تتطلب التنسيق من كل من عالم البيانات والمطور. عندما فشل خط الأنابيب في أي خطوة ، كان لا بد من إعادة تشغيله من البداية ، مما أدى إلى تكرار عمليات التشغيل وزيادة التكلفة. لتجنب عمليات التشغيل المتكررة والاضطرار إلى إعادة التشغيل من الخطوة الفاشلة ، سيقوم الفريق بإنشاء نسخة جديدة من آلة الحالة المختصرة. أدى هذا استكشاف الأخطاء وإصلاحها إلى انتشار آلات الحالة ، كل منها يبدأ من الخطوات الفاشلة الشائعة. أخيرًا ، إذا واجهت وظيفة تدريبية انحرافًا في توزيع الملصقات أو درجة النموذج أو عدد الملصقات ، فيجب على عالم البيانات مراجعة النموذج ومقاييسه يدويًا. ثم يقوم عالم البيانات بالوصول إلى جدول DynamoDB مع إصدارات النموذج وتحديث الجدول للتأكد من استخدام النموذج الصحيح لوظيفة الاستدلال التالية.

تتطلب صيانة هذا الهيكل موردًا واحدًا مخصصًا على الأقل وموردًا إضافيًا بدوام كامل للتنمية. نظرًا لصعوبات توسيع خط الأنابيب لاستيعاب حالات الاستخدام الجديدة ، بدأ علماء البيانات في تطوير تدفقات العمل الخاصة بهم ، والتي أدت بدورها إلى قاعدة رموز متنامية ، وجداول بيانات متعددة مع مخططات بيانات مماثلة ، ورصد نموذج لامركزي. أدى تراكم هذه المشكلات إلى انخفاض إنتاجية الفريق وزيادة النفقات العامة.

لمواجهة هذه التحديات ، قام فريق Amazon Packaging Innovation بتقييم الحلول الحالية الأخرى لـ MLOps ، بما في ذلك SageMaker Pipelines (إعلان إصدار ديسمبر 2020). خطوط الأنابيب هي قدرة SageMaker لبناء وإدارة وأتمتة وتوسيع تدفقات عمل ML من طرف إلى طرف. تسمح لك خطوط الأنابيب بتقليل عدد الخطوات عبر سير عمل ML بالكامل وهي مرنة بما يكفي للسماح لعلماء البيانات بتحديد سير عمل ML مخصص. يهتم بمراقبة وتسجيل الخطوات. يأتي أيضًا مع سجل نموذج يقوم تلقائيًا بإصدار نماذج جديدة. يحتوي سجل النموذج على تدفقات عمل الموافقة المضمنة لتحديد النماذج للاستدلال في الإنتاج. تسمح خطوط الأنابيب أيضًا بالتخزين المؤقت للخطوات التي يتم استدعاؤها بنفس الوسيطات. إذا تم العثور على تشغيل سابق ، يتم إنشاء ذاكرة تخزين مؤقت ، والتي تسمح بإعادة التشغيل بسهولة بدلاً من إعادة حساب الخطوات المكتملة بنجاح.

في عملية التقييم ، تميزت Pipelines عن الحلول الأخرى لمرونتها وتوافر الميزات لدعم وتوسيع تدفقات العمل الحالية والمستقبلية. أدى التبديل إلى خطوط الأنابيب إلى توفير وقت المطورين من صيانة النظام الأساسي واستكشاف الأخطاء وإصلاحها وإعادة توجيه الانتباه نحو إضافة الميزات الجديدة. في هذا المنشور ، نقدم تصميمًا للتدريب والاستدلال على سير العمل في فريق Amazon Packaging Innovation باستخدام خطوط الأنابيب. نناقش أيضًا الفوائد وخفض التكاليف الذي حققه الفريق من خلال التحول إلى خطوط الأنابيب.

خط أنابيب التدريب

يقوم فريق Amazon Packaging Innovation بتدريب نماذج لكل نوع حزمة باستخدام عدد متزايد من الملصقات. يوضح الرسم البياني التالي العملية برمتها.

يبدأ سير العمل باستخراج الملصقات والميزات من قاعدة بيانات Amazon Redshift وتفريغ البيانات إلى خدمة تخزين أمازون البسيطة (Amazon S3) عبر وظيفة الاستخراج والتحويل والتحميل المجدولة (ETL). إلى جانب بيانات الإدخال ، يتم وضع كائن ملف بنوع النموذج والمعلمات في دلو S3. يعمل هذا الملف كمحفز لخط الأنابيب عبر وظيفة Lambda.

الخطوات التالية قابلة للتخصيص تمامًا ومحددة بالكامل بواسطة عالم البيانات باستخدام SageMaker Python SDK لخطوط الأنابيب. في السيناريو الذي نقدمه في هذا المنشور ، يتم تقسيم بيانات الإدخال إلى مجموعات تدريب والتحقق من الصحة وحفظها مرة أخرى في حاوية S3 عن طريق إطلاق مهمة معالجة SageMaker.

عندما تكون البيانات جاهزة في Amazon S3 ، تبدأ مهمة تدريب SageMaker. بعد تدريب النموذج وإنشائه بنجاح ، يتم تنفيذ خطوة تقييم النموذج على بيانات التحقق من الصحة عبر وظيفة تحويل دُفعات SageMaker. ثم تتم مقارنة مقاييس النموذج بمقاييس نموذج الأسبوع السابق باستخدام وظيفة معالجة SageMaker. حدد الفريق معايير مخصصة متعددة لتقييم الانحرافات في أداء النموذج. النموذج إما مرفوض أو معتمد بناءً على هذه المعايير. إذا تم رفض النموذج ، فسيتم استخدام النموذج المعتمد السابق لوظائف الاستدلال التالية. إذا تمت الموافقة على النموذج ، يتم تسجيل نسخته ويتم استخدام هذا النموذج لوظائف الاستدلال. يتلقى أصحاب المصلحة إخطارًا بالنتيجة عبر الأمازون CloudWatch إنذار.

لقطة الشاشة التالية من أمازون ساجميكر ستوديو يوضح خطوات خط أنابيب التدريب.

تتعقب خطوط الأنابيب كل عملية تشغيل ، والتي يمكنك مراقبتها في Studio. بدلاً من ذلك ، يمكنك الاستعلام عن تقدم التشغيل باستخدام بوتو 3 أو ال واجهة سطر الأوامر AWS (AWS CLI). يمكنك تصور مقاييس النموذج في Studio ومقارنة إصدارات النماذج المختلفة.

خط أنابيب الاستدلال

يقوم فريق Amazon Packaging Innovation بتحديث التوقعات للمخزون الكامل للمنتجات شهريًا. يتم إنشاء تنبؤات يومية لتقديم توصيات تغليف في الوقت المناسب للمخزون المضاف حديثًا باستخدام أحدث طراز تم تدريبه. يتطلب هذا تشغيل خط أنابيب الاستدلال يوميًا بأحجام مختلفة من البيانات. يوضح الرسم التخطيطي التالي سير العمل هذا.

على غرار خط أنابيب التدريب ، يبدأ الاستدلال بتفريغ البيانات من Amazon Redshift إلى حاوية S3. يؤدي وضع كائن ملف في Amazon S3 إلى تشغيل وظيفة Lambda التي تبدأ مسار الاستدلال. يتم إعداد الميزات للاستدلال ويتم تقسيم البيانات إلى ملفات ذات حجم مناسب باستخدام وظيفة معالجة SageMaker. بعد ذلك ، يحدد خط الأنابيب أحدث نموذج معتمد لتشغيل التنبؤات وتحميلها في حاوية S3. أخيرًا ، يتم تحميل التنبؤات مرة أخرى إلى Amazon Redshift باستخدام boto3-data API ضمن مهمة معالجة SageMaker.

تُظهر لقطة الشاشة التالية من Studio تفاصيل خط أنابيب الاستدلال.

فوائد اختيار هندسة سير عمل ML باستخدام خطوط أنابيب SageMaker

في هذا القسم ، نناقش المكاسب التي حققها فريق Amazon Packaging Innovation من خلال التبديل إلى خطوط الأنابيب للتدريب والاستدلال على النموذج.

ميزات MLOps الجاهزة على مستوى الإنتاج

أثناء مقارنة الحلول الداخلية والخارجية المختلفة لحل خط أنابيب ML التالي ، تمكن عالم بيانات واحد من إنشاء نموذج أولي وتطوير نسخة كاملة من سير عمل ML مع خطوط الأنابيب في بيئة Studio Jupyter في أقل من 3 أسابيع. حتى في مرحلة النماذج الأولية ، أصبح من الواضح أن خطوط الأنابيب توفر جميع مكونات البنية التحتية اللازمة لسير العمل على مستوى الإنتاج: إصدار النماذج والتخزين المؤقت والإنذارات. يعني التوافر الفوري لهذه الميزات أنه لن يتم قضاء وقت إضافي في تطويرها وتخصيصها. كان هذا دليلًا واضحًا على القيمة ، مما أقنع فريق Amazon Packaging Innovation أن خطوط الأنابيب كانت الحل الصحيح.

المرونة في تطوير نماذج ML

كان أكبر مكسب لعلماء البيانات في الفريق هو القدرة على التجربة بسهولة والتكرار من خلال نماذج مختلفة. بغض النظر عن الإطار الذي يفضلونه لعمل ML الخاص بهم وعدد الخطوات والميزات التي يتضمنها ، فقد استوعبت Pipelines احتياجاتهم. تم تمكين علماء البيانات لإجراء التجارب دون الحاجة إلى الانتظار للحصول على سباق تطوير البرامج لإضافة ميزة أو خطوة إضافية.

تخفيض التكاليف

قدرة خطوط الأنابيب لـ SageMaker هي مجاني: أنت تدفع فقط مقابل موارد الحوسبة والتخزين المرتبط بالتدريب والاستدلال. ومع ذلك ، عند التفكير في التكلفة ، لا تحتاج فقط إلى حساب تكلفة الخدمات المستخدمة ولكن أيضًا ساعات المطور اللازمة للحفاظ على سير العمل وتصحيحه وتصحيحه. يعد التنسيق مع خطوط الأنابيب أبسط لأنه يتكون من عدد أقل من القطع والبنية التحتية المألوفة. في السابق ، كانت إضافة ميزة جديدة تتطلب وجود شخصين على الأقل (عالم بيانات ومهندس برمجيات) في فريق Amazon Packaging Innovation لتنفيذها. مع خط الأنابيب المعاد تصميمه ، يتم توجيه الجهود الهندسية الآن نحو بنية تحتية مخصصة إضافية حول خط الأنابيب ، مثل إنشاء مستودع واحد لتتبع كود التعلم الآلي ، وتبسيط نشر النموذج عبر حسابات AWS ، وتطوير وظائف ETL المتكاملة والمشتركة وظائف قابلة لإعادة الاستخدام.

ساهمت أيضًا القدرة على تخزين الخطوات بإدخال مماثل في تقليل التكلفة ، لأن الفرق كانت أقل احتمالًا لإعادة تشغيل خط الأنابيب بأكمله. بدلاً من ذلك ، يمكنهم بسهولة البدء من نقطة الفشل.

وفي الختام

يقوم فريق Amazon Packaging Innovation بتدريب نماذج ML على أساس شهري وتحديث التنبؤات بانتظام لأنواع تغليف المنتجات الموصى بها. ساعدتهم هذه التوصيات على تحقيق أهداف متعددة على مستوى الفريق والشركة من خلال تقليل الهدر وإسعاد العملاء بكل طلب. يجب أن تعمل خطوط أنابيب التدريب والاستدلال بشكل موثوق به على أساس منتظم مع السماح بالتحسين المستمر للنماذج.

أتاح الانتقال إلى خطوط الأنابيب للفريق نشر أربعة نماذج معمارية جديدة متعددة الوسائط للإنتاج في أقل من شهرين. يتطلب نشر نموذج جديد باستخدام البنية السابقة 2 أيام (بنفس بنية النموذج) إلى شهر واحد (مع بنية نموذج جديد). أدى نشر نفس النموذج باستخدام خطوط الأنابيب إلى تمكين الفريق من تقليل وقت التطوير إلى 5 ساعات بنفس بنية النموذج وإلى 1 أيام باستخدام بنية نموذج جديدة. وهذا يعني توفير ما يقرب من 4٪ من ساعات العمل.

موارد إضافية

لمزيد من المعلومات ، راجع الموارد التالية:

---

حول المؤلف

أنكور شوكلا هو عالم بيانات رئيسي في AWS-ProServe ومقره بالو ألتو. يتمتع Ankur بأكثر من 15 عامًا من الخبرة الاستشارية في العمل مباشرة مع العملاء ومساعدتهم على حل مشكلة العمل بالتكنولوجيا. يقود العديد من المبادرات العالمية في مجال العلوم التطبيقية و ML-Ops داخل AWS. في أوقات فراغه ، يستمتع بالقراءة وقضاء الوقت مع العائلة.

أكاش سينغلا مهندس تطوير النظام مع فريق Amazon Packaging Innovation. لديه أكثر من 17 عامًا من الخبرة في حل مشاكل العمل الحرجة من خلال التكنولوجيا للعديد من قطاعات الأعمال. يركز حاليًا على ترقية البنية التحتية NAWS لمجموعة متنوعة من التطبيقات المركزية للتعبئة لتوسيع نطاقها بشكل أفضل.

فيتالينا كوماشكو هو عالم بيانات مع خدمات AWS الاحترافية. وهي حاصلة على درجة الدكتوراه في علم الأدوية والسموم ولكنها انتقلت إلى علم البيانات من العمل التجريبي لأنها أرادت "امتلاك توليد البيانات وتفسير النتائج". في وقت سابق من حياتها المهنية عملت مع شركات التكنولوجيا الحيوية والأدوية. في AWS ، تستمتع بحل المشكلات للعملاء من مختلف الصناعات والتعرف على تحدياتهم الفريدة.

براسانث ميابان هو عالم تطبيقي كبير مع ابتكار تغليف أمازون لأكثر من 4 سنوات. يتمتع بخبرة تزيد عن 6 سنوات في مجال التعلم الآلي وشحن المنتجات لتحسين تجربة العملاء في البحث وتحسين تجربة العملاء في التعبئة والتغليف. براسانث شغوف بالاستدامة ولديه درجة الدكتوراه في النمذجة الإحصائية لتغير المناخ.

ماثيو باليس هو عالم أبحاث كبير يعمل على تحسين اختيار نوع الحزمة باستخدام ملاحظات العملاء والتعلم الآلي. قبل انضمامه إلى أمازون ، عمل مات في مرحلة ما بعد الدكتوراه في إجراء عمليات محاكاة لفيزياء الجسيمات في ألمانيا ، وفي حياته السابقة ، كان مديرًا لإنتاج أجهزة الغرسات الطبية المشعة في شركة ناشئة. حاصل على دكتوراه. في الفيزياء من جامعة ميشيغان.