شارك في تأليف هذا المنشور كل من جان بول أسندورب ، وتوماس ليتسو ، وكريستوفر ماش ، وألكسندر ماينرت ، والدكتور لارس بالزر ، وجان شيليمانز من SIGNAL IDUNA.
في SIGNAL IDUNA ، شركة تأمين ألمانية كبيرة ، نقوم حاليًا بإعادة اكتشاف أنفسنا من خلال برنامج التحول الخاص بنا VISION2023 لنصبح أكثر توجهاً نحو العملاء. هناك جانبان أساسيان لهذا التحول: إعادة تنظيم أجزاء كبيرة من القوى العاملة في فرق متعددة الوظائف ورشيقة ، والتحول إلى شركة قائمة على البيانات حقًا. هنا ، يعد شعار "أنت تبنيها ، تقوم بتشغيلها" مطلبًا مهمًا لفريق متعدد الوظائف يبني منتجًا للبيانات أو التعلم الآلي (ML). يضع هذا قيودًا صارمة على مقدار ما يمكن لفريق العمل إنفاقه لإنتاج منتج وتشغيله.
يوضح هذا المنشور كيف تتعامل SIGNAL IDUNA مع هذا التحدي وتستخدم امتداد أوس الغيمة لتمكين الفرق متعددة الوظائف من بناء وتشغيل منتجات ML الخاصة بهم. ولتحقيق هذه الغاية ، نقدم أولاً الهيكل التنظيمي للفرق الرشيقة ، والتي تحدد المتطلبات المركزية للبنية التحتية السحابية المستخدمة لتطوير منتج وتشغيله. بعد ذلك ، نعرض كيف تقوم ثلاث فرق مركزية في SIGNAL IDUNA بتمكين الفرق متعددة الوظائف من بناء منتجات بيانات في سحابة AWS بأقل قدر من المساعدة ، من خلال توفير سير عمل مناسب وحلول بنية تحتية يمكن استخدامها وتكييفها بسهولة. أخيرًا ، نقوم بمراجعة نهجنا ومقارنته بنهج أكثر كلاسيكية حيث يتم الفصل بين التطوير والتشغيل بشكل أكثر صرامة.
Agile @ SI - أساس التغيير التنظيمي
منذ بداية عام 2021 ، بدأت SIGNAL IDUNA في وضع إستراتيجيتها Agile @ SI موضع التنفيذ وإنشاء طرق رشيقة لتطوير حلول موجهة للعملاء عبر الشركة بأكملها [1]. يتم الآن تنفيذ المهام والأهداف السابقة بواسطة فرق متعددة الوظائف ، تسمى فرق. تستخدم هذه الفرق أساليب رشيقة (مثل إطار عمل سكرم) ، وتتخذ قراراتها الخاصة ، وتبني منتجات موجهة للعملاء. عادة ، تقع الفرق في أقسام الأعمال ، مثل التسويق ، والعديد منها يركز بشدة على بناء منتجات تعتمد على البيانات وتعلم الآلة. على سبيل المثال ، حالات الاستخدام النموذجية في التأمين هي تنبؤ زبد العميل وتوصية المنتج.
نظرًا لتعقيد ML ، فإن إنشاء حل ML من قبل فرقة واحدة أمر صعب ، وبالتالي يتطلب تعاون فرق مختلفة.
لدى SIGNAL IDUNA ثلاث فرق أساسية تدعم إنشاء حلول تعلم الآلة. تحيط هذه الفرق الثلاثة بالفريق المسؤول عن التطوير والتشغيل طويل المدى وحل ML. يتبع هذا النهج نموذج المسؤولية المشتركة AWS [2].
في الصورة أعلاه ، يتم تمثيل جميع الفرق في نظرة عامة.
تمكين السحابة
يتم توفير البنية التحتية السحابية الأساسية للمؤسسة بأكملها من خلال Squad Enablement. تتمثل مهمتهم في تمكين الفرق من بناء منتجات على تقنيات السحابة بأنفسهم. يعمل هذا على تحسين الوقت اللازم لتسويق بناء منتجات جديدة مثل ML ، ويتبع مبدأ "أنت تبنيها ، تديرها".
مكتب البيانات / بحيرة البيانات
يتم دعم نقل البيانات إلى السحابة ، بالإضافة إلى العثور على مجموعة البيانات الصحيحة ، من قبل Squad Data Office / Data Lake. يقومون بإعداد كتالوج البيانات الذي يمكن استخدامه للبحث واختيار مجموعات البيانات المطلوبة. هدفهم هو إرساء شفافية البيانات والحوكمة. بالإضافة إلى ذلك ، فهم مسؤولون عن إنشاء وتشغيل Data Lake التي تساعد الفرق على الوصول إلى البيانات ذات الصلة ومعالجتها.
منصة تحليل البيانات
منصة تحليلات البيانات (DAP) الخاصة بنا عبارة عن فريق يركز على السحابة والتعلم الآلي في SIGNAL IDUNA وهو ماهر في هندسة التعلم الآلي وهندسة البيانات بالإضافة إلى علوم البيانات. نقوم بتمكين الفرق الداخلية باستخدام السحابة العامة لـ ML من خلال توفير مكونات البنية التحتية والمعرفة. يتم عرض منتجاتنا وخدماتنا بالتفصيل في القسم التالي.
تمكين فرق متعددة الوظائف لبناء حلول ML
لتمكين الفرق متعددة الوظائف في SIGNAL IDUNA من بناء حلول تعلم الآلة ، نحتاج إلى طريقة سريعة ومتعددة الاستخدامات لتوفير بنية أساسية سحابية قابلة لإعادة الاستخدام بالإضافة إلى سير عمل فعال للفرق المدمجة للاستفادة من إمكانات السحابة.
ولهذه الغاية ، أنشأنا عملية إعداد ودعم موحدة ، وقدمنا قوالب بنية تحتية معيارية مثل البنية التحتية كرمز (IaC). تحتوي هذه القوالب على مكونات بنية تحتية مصممة لحالات استخدام ML الشائعة التي يمكن تخصيصها بسهولة لمتطلبات حالة استخدام معينة.
سير عمل بناء حلول ML
هناك ثلاثة أدوار فنية رئيسية متضمنة في بناء وتشغيل حلول ML: عالم البيانات ، ومهندس التعلم الآلي ، ومهندس البيانات. كل دور هو جزء من الفريق متعدد الوظائف وله مسؤوليات مختلفة. عالم البيانات لديه معرفة المجال المطلوبة للمتطلبات الوظيفية والفنية لحالة الاستخدام. مهندس ML متخصص في بناء حلول ML الآلية ونشر النماذج. ويتأكد مهندس البيانات من أن البيانات تتدفق من مكان العمل وداخل السحابة.
تكون عملية توفير المنصة كما يلي:
يتم تحديد البنية التحتية لحالة الاستخدام المحددة في IaC وإصدارها في مستودع مركزي للمشروع. يتضمن هذا أيضًا خطوط أنابيب للتدريب على النموذج ونشره ، بالإضافة إلى عناصر التعليمات البرمجية الأخرى المتعلقة بعلوم البيانات. يمكن لعلماء البيانات ومهندسي ML ومهندسي البيانات الوصول إلى مستودع المشروع ويمكنهم تكوين وتحديث كل كود البنية التحتية بشكل مستقل. وهذا يمكن الفريق من تعديل البنية التحتية بسرعة إذا لزم الأمر. ومع ذلك ، يمكن لمهندس ML دائمًا دعم تطوير وتحديث البنية التحتية أو نماذج ML.
مكونات البنية التحتية المعيارية والقابلة لإعادة الاستخدام
يتم تنفيذ موارد IaC الهرمية والوحدات في Terraform وتشمل البنية التحتية لعلوم البيانات الشائعة وحالات استخدام ETL. يتيح لنا ذلك إعادة استخدام رمز البنية التحتية وفرض سياسات الأمان والامتثال المطلوبة ، مثل استخدام خدمة إدارة المفاتيح AWS (KMS) تشفير البيانات ، وكذلك تغليف البنية التحتية في سحابة أمازون الافتراضية الخاصة (VPC) البيئات دون الوصول المباشر إلى الإنترنت.
الهيكل الهرمي IaC هو كما يلي:
- الوحدات تغلف خدمات AWS الأساسية بالتكوين المطلوب لإدارة الأمان والوصول. وهذا يشمل تكوينات أفضل الممارسات مثل منع وصول الجمهور إلى خدمة التخزين البسيطة من أمازون (S3) الحاويات ، أو فرض التشفير لجميع الملفات المخزنة.
- في بعض الحالات ، تحتاج إلى مجموعة متنوعة من الخدمات لأتمتة العمليات ، مثل نشر نماذج ML في مراحل مختلفة. لذلك ، حددنا الحلول كحزمة من وحدات مختلفة في تكوين مشترك لأنواع مختلفة من المهام.
- بالإضافة إلى ذلك ، نحن نقدم كاملة المخططات التي تجمع بين الحلول في بيئات مختلفة لتلبية العديد من الاحتياجات المحتملة للمشروع. في مخطط MLOps الخاص بنا ، نحدد بنية أساسية قابلة للنشر للتدريب والتزويد والمراقبة لنماذج ML التي يتم دمجها وتوزيعها في حسابات AWS. نناقش المزيد من التفاصيل في القسم التالي.
يتم إصدار هذه المنتجات في مستودع مركزي بواسطة فرقة DAP. يتيح لنا ذلك تحسين IaC باستمرار والنظر في الميزات الجديدة من AWS ، مثل الأمازون SageMaker نموذج التسجيل. يمكن لكل فرقة الرجوع إلى هذه الموارد ، ووضع معايير لها حسب الحاجة ، ونشرها في النهاية في حسابات AWS الخاصة بهم.
هندسة MLOps
نحن نقدم مخططًا جاهزًا للاستخدام مع حلول محددة لتغطية عملية MLOps بأكملها. يحتوي المخطط على بنية أساسية موزعة على أربعة حسابات AWS لبناء ونشر نماذج ML. يتيح لنا ذلك عزل الموارد ومهام سير العمل للخطوات المختلفة في عملية MLOps. يوضح الشكل التالي بنية الحسابات المتعددة ، ونصف كيف يتم تقسيم المسؤولية عن خطوات محددة للعملية بين الأدوار الفنية المختلفة.
• تصميم يتضمن الحساب خدمات تطوير نماذج ML. أولاً ، يستخدم مهندس البيانات عملية ETL لتوفير البيانات ذات الصلة من بحيرة بيانات SIGNAL IDUNA ، البوابة المركزية لعمليات سير العمل القائمة على البيانات في سحابة AWS. بعد ذلك ، يمكن لعالم البيانات استخدام مجموعة البيانات لتدريب النماذج المرشحة وتقييمها. بمجرد استعداده لإجراء تجارب مكثفة ، يتم دمج نموذج مرشح في خط أنابيب تدريب آلي بواسطة مهندس ML. نحن نستخدم Amazon SageMaker Pipelines لأتمتة التدريب وضبط المعلمات الفائقة وتقييم النموذج على نطاق واسع. ويشمل ذلك أيضًا النسب النموذجية وآلية الموافقة المعيارية للنماذج التي سيتم تنظيمها للنشر في الإنتاج. تضمن اختبارات الوحدة الآلية وتحليل الكود جودة وموثوقية الكود لكل خطوة من خط الأنابيب ، مثل المعالجة المسبقة للبيانات وتدريب النموذج والتقييم. بمجرد تقييم النموذج والموافقة عليه ، نستخدم Amazon SageMaker ModelPackages كواجهة للنموذج المدرب والبيانات الوصفية ذات الصلة.
• تزيين يحتوي الحساب على خطوط أنابيب CI / CD آلية بمراحل مختلفة لاختبار ونشر النماذج المدربة. في مرحلة الاختبار ، يتم نشر النماذج في خدمة nonprod الحساب. على الرغم من تقييم جودة النموذج في خط أنابيب التدريب قبل أن يتم إعداد النموذج للإنتاج ، فإننا نجري هنا اختبارات الأداء والتكامل في بيئة اختبار معزولة. بعد اجتياز مرحلة الاختبار ، يتم نشر النماذج في تخدم المنتج حساب ليتم دمجه في سير عمل الإنتاج.
يتيح لنا فصل مراحل سير عمل MLOps إلى حسابات AWS المختلفة عزل التطوير والاختبار عن الإنتاج. لذلك ، يمكننا فرض سياسة وصول وأمن صارمة. علاوة على ذلك ، تضمن أدوار IAM المصممة أن خدمات معينة يمكنها فقط الوصول إلى البيانات والخدمات الأخرى المطلوبة لنطاقها ، بعد مبدأ الأقل امتياز. يمكن بالإضافة إلى ذلك جعل الخدمات داخل بيئات الخدمة متاحة لعمليات الأعمال الخارجية. على سبيل المثال ، يمكن لعملية تجارية الاستعلام عن نقطة نهاية داخل بيئة إنتاج الخدمة لتنبؤات النموذج.
فوائد منهجنا
تتميز هذه العملية بالعديد من المزايا مقارنة بالفصل الصارم بين التطوير والتشغيل لكل من نماذج ML ، بالإضافة إلى البنية التحتية المطلوبة:
- العزلة: يتلقى كل فريق مجموعته الخاصة من حسابات AWS المعزولة تمامًا عن بيئات الفرق الأخرى. هذا يجعل من السهل إدارة حقوق الوصول والحفاظ على خصوصية البيانات لأولئك الذين يحق لهم العمل معها.
- تمكين السحابة: يمكن لأعضاء الفريق الذين لديهم خبرة سابقة قليلة في Cloud DevOps (مثل العديد من علماء البيانات) مشاهدة العملية الكاملة لتصميم وإدارة البنية التحتية بسهولة نظرًا لأنه (تقريبًا) لا يوجد شيء مخفي عنهم وراء خدمة مركزية. يؤدي ذلك إلى فهم أفضل للبنية التحتية ، والتي يمكن أن تساعدهم بدورها في إنشاء منتجات علوم البيانات بشكل أكثر كفاءة.
- ملكية المنتج: استخدام حلول البنية التحتية المُكوّنة مسبقًا والخدمات المُدارة يُبقي الحاجز الذي يحول دون إدارة منتج ML في الإنتاج منخفضًا للغاية. لذلك ، يمكن لعالم البيانات بسهولة الحصول على ملكية نموذج يتم إدخاله في الإنتاج. هذا يقلل من المخاطر المعروفة للفشل في وضع نموذج في الإنتاج بعد التطوير.
- الابتكار: نظرًا لأن مهندسي ML يشاركون قبل وقت طويل من أن يصبح النموذج جاهزًا للإنتاج ، فيمكنهم إنشاء حلول بنية تحتية مناسبة لحالات الاستخدام الجديدة بينما يقوم علماء البيانات بتطوير نموذج ML.
- تكيف: نظرًا لأن حل IaC الذي طوره DAP متاح مجانًا ، يمكن لأي فريق تكييفها بسهولة لتلائم حاجة معينة لحالة الاستخدام الخاصة بهم.
- المصدر المفتوح: يمكن بسهولة إتاحة جميع حلول البنية التحتية الجديدة عبر رمز إعادة الشراء المركزي DAP لتستخدمه الفرق الأخرى. بمرور الوقت ، سيؤدي ذلك إلى إنشاء قاعدة رموز غنية بمكونات بنية تحتية مصممة لحالات الاستخدام المختلفة.
نبذة عامة
في هذا المنشور ، أوضحنا كيف يتم تمكين الفرق متعددة الوظائف في SIGNAL IDUNA من إنشاء منتجات ML وتشغيلها على AWS. من الأمور المركزية في نهجنا استخدام مجموعة مخصصة من حسابات AWS لكل فريق جنبًا إلى جنب مع مخططات وحلول IaC المفصلة. يتيح هذان المكونان لفريق متعدد الوظائف إنشاء وتشغيل البنية التحتية لجودة الإنتاج. في المقابل ، يمكنهم الحصول على الملكية الكاملة لمنتجات ML الخاصة بهم.
الرجوع إلى خطوط أنابيب بناء نماذج Amazon SageMaker - Amazon SageMaker لتعلم المزيد.
العثور على مزيد من المعلومات حول ML على AWS على صفحتنا الرسمية.
مراجع حسابات
[1] https://www.handelsblatt.com/finanzen/versicherungsbranche-vorbild-spotify-signal-iduna-wird-von-einer-handwerker-versicherung-zum-agilen-konzern/27381902.html
[2] https://blog.crisp.se/wp-content/uploads/2012/11/SpotifyScaling.pdf
[3] https://aws.amazon.com/compliance/shared-responsibility-model/
حول المؤلف
جان بول أسندورب هو مهندس ML مع تركيز قوي على علوم البيانات. يقوم ببناء نماذج ML وأتمتة تدريب النموذج والنشر في بيئات الإنتاج.
توماس ليتسو هو Scrum Master لمنصة تحليلات البيانات.
كريستوفر ماش هو مالك المنتج لمنصة تحليلات البيانات Squad مع المعرفة في هندسة البيانات وعلوم البيانات وهندسة ML.
الكسندر مينيرت هو جزء من فريق Data Analytics Platform ويعمل كمهندس ML. بدأ بالإحصاءات ، ونما في مشاريع علوم البيانات ، ووجد شغفًا بأساليب هندسة التعلم الآلي.
الدكتور لارس بالزر هو عالم بيانات وجزء من فريق منصة تحليلات البيانات. بعد المساعدة في بناء مكونات هندسة MLOps ، يستخدمها الآن لبناء منتجات ML.
جان شيلمانز هو مهندس ML مع خلفية في هندسة البرمجيات. إنه يركز على تطبيق أفضل ممارسات هندسة البرمجيات على بيئات MLOps (MLOps).
- "
- 100
- 2021
- الوصول
- حسابي
- في
- اكشن
- مزايا
- رشيق
- الكل
- بالرغم ان
- أمازون
- تحليل
- تحليلات
- تطبيق
- نهج
- هندسة معمارية
- الآلي
- متاح
- AWS
- يجري
- أفضل
- أفضل الممارسات
- نساعدك في بناء
- ابني
- حزمة
- الأعمال
- قدرات
- الحالات
- تحدى
- سحابة
- البنية التحتية السحابية
- الكود
- للاتعاون
- مجموعة
- مشترك
- حول الشركة
- مقارنة
- الالتزام
- الاعداد
- يحتوي
- خلق
- البيانات
- تحليلات البيانات
- علم البيانات
- عالم البيانات
- مخصصة
- نشر
- نشر
- نشر
- تصميم
- التفاصيل
- تطوير
- المتقدمة
- تطوير
- التطوير التجاري
- مختلف
- بحث
- وزعت
- نطاق
- بسهولة
- التشفير
- نقطة النهاية
- مهندس
- الهندسة
- المهندسين
- البيئة
- أساسي
- إنشاء
- مثال
- الخبره في مجال الغطس
- FAST
- المميزات
- الشكل
- أخيرا
- الاسم الأول
- تركز
- ركز
- متابعيك
- وجدت
- دورة تأسيسية
- الإطار
- بالإضافة إلى
- الأهداف
- الحكم
- مساعدة
- يساعد
- هنا
- كيفية
- HTTPS
- صورة
- نفذت
- أهمية
- تحسن
- تتضمن
- معلومات
- البنية التحتية
- التأمين
- المتكاملة
- التكامل
- السطح البيني
- Internet
- المشاركة
- IT
- القفل
- المعرفة
- كبير
- تعلم
- تعلم
- القليل
- طويل
- آلة
- آلة التعلم
- إدارة
- إدارة
- تجارة
- التسويق
- مباراة
- الأعضاء
- مييتااا
- ML
- نموذج
- عارضات ازياء
- وحدات
- مراقبة
- مزايا جديدة
- منتجات جديدة
- عرض
- رسمي
- التأهيل ل
- تعمل
- منظمة
- أخرى
- كاتوا ديلز
- أداء
- المنصة
- سياسات الخصوصية والبيع
- سياسة
- تنبؤ
- تنبؤات
- الوقاية
- خاص
- عملية المعالجة
- العمليات
- منتج
- الإنتــاج
- المنتجات
- البرنامج
- تنفيذ المشاريع
- مشروع ناجح
- تزود
- جمهور
- السحابة العامة
- جودة
- مستودع
- مطلوب
- المتطلبات الأساسية
- الموارد
- مسؤول
- مراجعة
- المخاطرة
- يجري
- حجم
- علوم
- عالم
- العلماء
- بحث
- أمن
- الخدمة
- خدمات
- خدمة
- طقم
- شاركت
- الاشارات
- تطبيقات الكمبيوتر
- هندسة البرمجيات
- الحلول
- تتخصص
- أنفق
- المسرح
- بداية
- بدأت
- إحصائيات
- تخزين
- الإستراتيجيات
- قوي
- بعد ذلك
- الدعم
- مدعومة
- محاط
- المهام
- فريق
- تقني
- التكنولوجيا
- تجربه بالعربي
- الاختبار
- اختبارات
- الوقت
- قادة الإيمان
- تحول
- الشفافية
- تحديث
- us
- تستخدم
- الاستفادة من
- افتراضي
- شاهد
- من الذى
- في غضون
- بدون
- للعمل
- القوى العاملة
- أعمال