هذه مشاركة ضيف تمت كتابتها بالاشتراك مع تامير روبنسكي وأفياد أرانياس من شركة Nielsen Sports.
نيلسن سبورتس تشكل وسائل الإعلام والمحتوى العالمي كشركة رائدة عالميًا في رؤى الجمهور وبياناته وتحليلاته. من خلال فهمنا للأشخاص وسلوكياتهم عبر جميع القنوات والمنصات، نقوم بتمكين عملائنا بذكاء مستقل وقابل للتنفيذ حتى يتمكنوا من التواصل والتفاعل مع جماهيرهم - الآن وفي المستقبل.
في Nielsen Sports، تتمثل مهمتنا في تزويد عملائنا - العلامات التجارية وأصحاب الحقوق - بالقدرة على قياس عائد الاستثمار (ROI) وفعالية الحملة الإعلانية لرعاية الرياضة عبر جميع القنوات، بما في ذلك التلفزيون والإنترنت ووسائل التواصل الاجتماعي و وحتى الصحف، وتوفير استهداف دقيق على المستويات المحلية والوطنية والدولية.
في هذا المنشور، نصف كيف قامت شركة Nielsen Sports بتحديث نظام يشغل الآلاف من نماذج التعلم الآلي المختلفة (ML) في الإنتاج باستخدام الأمازون SageMaker نقاط النهاية متعددة النماذج (MMEs) وخفض التكلفة التشغيلية والمالية بنسبة 75%.
تحديات تقسيم فيديو القناة
تعتمد تقنيتنا على الذكاء الاصطناعي (AI) وعلى وجه التحديد رؤية الكمبيوتر (CV)، مما يسمح لنا بتتبع تعرض العلامة التجارية وتحديد موقعها بدقة. على سبيل المثال، نحدد ما إذا كانت العلامة التجارية موجودة على لافتة أو قميص. بالإضافة إلى ذلك، نقوم بتحديد موقع العلامة التجارية على المنتج، مثل الزاوية العلوية للافتة أو الكم. يوضح الشكل التالي مثالاً لنظام وضع العلامات الخاص بنا.
لفهم تحديات التوسع والتكلفة التي نواجهها، دعونا نلقي نظرة على بعض الأرقام التمثيلية. نقوم كل شهر بتحديد أكثر من 120 مليون ظهور للعلامة التجارية عبر قنوات مختلفة، ويجب أن يدعم النظام تحديد أكثر من 100,000 علامة تجارية وأشكال مختلفة من العلامات التجارية المختلفة. لقد قمنا ببناء واحدة من أكبر قواعد البيانات لانطباعات العلامة التجارية في العالم بأكثر من 6 مليارات نقطة بيانات.
تتضمن عملية تقييم وسائل الإعلام لدينا عدة خطوات، كما هو موضح في الشكل التالي:
- أولاً، نقوم بتسجيل آلاف القنوات حول العالم باستخدام نظام تسجيل عالمي.
- نقوم ببث المحتوى مع جدول البث (دليل البرمجة الإلكترونية) إلى المرحلة التالية، وهي التجزئة والفصل بين عمليات بث اللعبة نفسها والمحتويات أو الإعلانات الأخرى.
- نقوم بمراقبة الوسائط، حيث نضيف بيانات وصفية إضافية إلى كل جزء، مثل نتائج الدوري والفرق ذات الصلة واللاعبين.
- نقوم بإجراء تحليل التعرض لرؤية العلامات التجارية ثم نجمع معلومات الجمهور لحساب تقييم الحملة.
- يتم تسليم المعلومات إلى العميل من خلال لوحة المعلومات أو تقارير المحللين. يتم منح المحلل إمكانية الوصول المباشر إلى البيانات الأولية أو من خلال مستودع البيانات لدينا.
نظرًا لأننا نعمل على نطاق يزيد عن ألف قناة وعشرات الآلاف من ساعات الفيديو سنويًا، فيجب أن يكون لدينا نظام أتمتة قابل للتطوير لعملية التحليل. يقوم حلنا تلقائيًا بتقسيم البث ويعرف كيفية عزل مقاطع الفيديو ذات الصلة عن بقية المحتوى.
نقوم بذلك باستخدام خوارزميات ونماذج مخصصة قمنا بتطويرها لتحليل الخصائص المحددة للقنوات.
في المجمل، نقوم بتشغيل آلاف النماذج المختلفة في الإنتاج لدعم هذه المهمة، وهي مهمة مكلفة وتتسبب في تكاليف تشغيلية عامة، كما أنها عرضة للأخطاء وبطيئة. استغرق الأمر أشهرًا حتى يتم إنتاج نماذج ذات بنية نموذجية جديدة.
هذا هو المكان الذي أردنا فيه ابتكار نظامنا وإعادة تصميمه.
توسيع فعال من حيث التكلفة لنماذج السيرة الذاتية باستخدام SageMaker MMEs
كان من الصعب اختبار نظام تجزئة الفيديو القديم لدينا وتغييره وصيانته. تتضمن بعض التحديات العمل باستخدام إطار عمل قديم لتعلم الآلة، والتبعيات المتبادلة بين المكونات، وسير العمل الذي يصعب تحسينه. وذلك لأننا اعتمدنا على RabbitMQ لخط الأنابيب، والذي كان حلاً مميزًا. لتصحيح مكون واحد، مثل استخراج الميزات، كان علينا اختبار كل المسار.
ويوضح الرسم البياني التالي البنية السابقة.
وكجزء من تحليلنا، حددنا اختناقات الأداء مثل تشغيل نموذج واحد على جهاز، مما أظهر استخدامًا منخفضًا لوحدة معالجة الرسومات بنسبة 30-40%. لقد اكتشفنا أيضًا عدم كفاءة تشغيل خطوط الأنابيب وخوارزميات الجدولة للنماذج.
لذلك، قررنا بناء بنية جديدة متعددة المستأجرين تعتمد على SageMaker، والتي من شأنها تنفيذ تحسينات على مستوى الأداء، ودعم أحجام الدُفعات الديناميكية، وتشغيل نماذج متعددة في وقت واحد.
تستهدف كل عملية تشغيل لسير العمل مجموعة من مقاطع الفيديو. تتراوح مدة كل فيديو ما بين 30 إلى 90 دقيقة، ولكل مجموعة أكثر من خمسة نماذج لعرضها.
دعونا نتفحص مثالاً: يمكن أن يصل طول مقطع الفيديو إلى 60 دقيقة، ويتكون من 3,600 صورة، وتحتاج كل صورة إلى الاستدلال عليها من خلال ثلاثة نماذج مختلفة لتعلم الآلة خلال المرحلة الأولى. باستخدام SageMaker MMEs، يمكننا تشغيل دفعات مكونة من 12 صورة بالتوازي، وتكتمل الدفعة الكاملة في أقل من ثانيتين. في اليوم العادي، لدينا أكثر من 2 مجموعة من مقاطع الفيديو، وفي يوم عطلة نهاية الأسبوع المزدحم، يمكن أن يكون لدينا أكثر من 20 مجموعة من مقاطع الفيديو.
يوضح الرسم البياني التالي بنيتنا الجديدة والمبسطة باستخدام SageMaker MME.
النتائج
مع البنية الجديدة، حققنا العديد من النتائج المرجوة وبعض المزايا غير المرئية مقارنة بالبنية القديمة:
- وقت تشغيل أفضل - من خلال زيادة أحجام الدفعات (12 مقطع فيديو بالتوازي) وتشغيل نماذج متعددة بشكل متزامن (خمسة نماذج بالتوازي)، قمنا بتقليل إجمالي وقت التشغيل بنسبة 33%، من ساعة واحدة إلى 1 دقيقة.
- تحسين البنية التحتية – مع SageMaker، قمنا بترقية البنية التحتية الحالية لدينا، ونحن نستخدم الآن مثيلات AWS الأحدث مع وحدات معالجة الرسومات الأحدث مثل g5.xlarge. إحدى أكبر فوائد التغيير هي التحسين الفوري للأداء من خلال استخدام تحسينات TorchScript وCUDA.
- الاستخدام الأمثل للبنية التحتية – من خلال وجود نقطة نهاية واحدة يمكنها استضافة نماذج متعددة، يمكننا تقليل عدد نقاط النهاية وعدد الأجهزة التي نحتاج إلى صيانتها، وكذلك زيادة استخدام جهاز واحد ووحدة معالجة الرسومات الخاصة به. بالنسبة لمهمة محددة تتضمن خمسة مقاطع فيديو، نستخدم الآن خمسة أجهزة فقط من مثيلات g5، مما يمنحنا فائدة بنسبة 75% من حيث التكلفة من الحل السابق. بالنسبة لأحمال العمل النموذجية خلال اليوم، نستخدم نقطة نهاية واحدة مع جهاز واحد من g5.xlarge مع استخدام وحدة معالجة الرسومات لأكثر من 80%. للمقارنة، كان الحل السابق أقل من 40٪ من الاستخدام.
- زيادة خفة الحركة والإنتاجية – أتاح لنا استخدام SageMaker قضاء وقت أقل في ترحيل النماذج والمزيد من الوقت في تحسين خوارزمياتنا ونماذجنا الأساسية. وقد أدى ذلك إلى زيادة إنتاجية فرق الهندسة وعلوم البيانات لدينا. يمكننا الآن البحث عن نموذج جديد لتعلم الآلة ونشره في أقل من 7 أيام، بدلاً من أكثر من شهر واحد سابقًا. وهذا تحسن بنسبة 1% في السرعة والتخطيط.
- جودة وثقة أفضل - بفضل إمكانات اختبار A/B في SageMaker، يمكننا نشر نماذجنا بطريقة تدريجية ونكون قادرين على التراجع بأمان. كما أدت دورة الحياة الأسرع للإنتاج إلى زيادة دقة نماذج تعلم الآلة ونتائجها.
يوضح الشكل التالي استخدامنا لوحدة معالجة الرسومات (GPU) مع البنية السابقة (30-استخدام GPU بنسبة 40%).
يوضح الشكل التالي استخدامنا لوحدة معالجة الرسومات (GPU) من خلال البنية المبسطة الجديدة (استخدام وحدة معالجة الرسومات بنسبة 90%).
وفي الختام
في هذا المنشور، شاركنا كيف قامت Nielsen Sports بتحديث نظام يشغل آلاف النماذج المختلفة في الإنتاج باستخدام SageMaker MMEs وخفض تكاليفها التشغيلية والمالية بنسبة 75%.
لمزيد من القراءة ، يرجى الرجوع إلى ما يلي:
حول المؤلف
ايتان سيلا هو مهندس حلول متخصص في الذكاء الاصطناعي والتعلم الآلي لدى Amazon Web Services. وهو يعمل مع عملاء AWS لتقديم التوجيه والمساعدة الفنية، ومساعدتهم في بناء وتشغيل حلول الذكاء الاصطناعي والتعلم الآلي على AWS. في أوقات فراغه، يستمتع إيتان بالركض وقراءة أحدث المقالات المتعلقة بالتعلم الآلي.
جال جولدمان هو مهندس برمجيات أول ومهندس حلول أول للمؤسسات في AWS ولديه شغف بالحلول المتطورة. وهو متخصص في العديد من خدمات وحلول التعلم الآلي الموزعة وقد قام بتطويرها. يركز Gal أيضًا على مساعدة عملاء AWS على تسريع تحدياتهم الهندسية والذكاء الاصطناعي التوليدي والتغلب عليها.
تل بانشيك هو مدير أول لتطوير الأعمال في مجال الذكاء الاصطناعي والتعلم الآلي في Amazon Web Services. بصفته متخصصًا في تطوير الأعمال، فهو مسؤول عن زيادة الاعتماد والاستخدام والإيرادات لخدمات AWS. فهو يجمع احتياجات العملاء والصناعة ويتعاون مع فرق منتجات AWS لابتكار حلول AWS وتطويرها وتقديمها.
تامير روبنسكي يقود هندسة البحث والتطوير العالمية في Nielsen Sports، ويتمتع بخبرة واسعة في بناء منتجات مبتكرة وإدارة فرق عالية الأداء. أدى عمله إلى إحداث تحول في تقييم وسائل الإعلام الخاصة برعاية الرياضة من خلال حلول مبتكرة مدعومة بالذكاء الاصطناعي.
أفيعاد أرانياس هو قائد فريق MLOps ومهندس التحليل الرياضي لدى Nielsen والمتخصص في صياغة خطوط أنابيب معقدة لتحليل مقاطع فيديو الأحداث الرياضية عبر العديد من القنوات. إنه يبرع في بناء ونشر نماذج التعلم العميق للتعامل مع البيانات واسعة النطاق بكفاءة. وفي أوقات فراغه، يستمتع بخبز البيتزا النابولية اللذيذة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- :لديها
- :يكون
- :أين
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- القدرة
- ماهرون
- تسريع
- الوصول
- دقة
- دقيق
- بدقة
- تحقق
- في
- فعالة
- تضيف
- إضافة
- إضافي
- تبني
- مزايا
- دعاية
- AI
- AI-بالطاقة
- خوارزميات
- الكل
- سمح
- يسمح
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- an
- تحليل
- المحلل
- تحليلات
- تحليل
- و
- هندسة معمارية
- هي
- حول
- مقالات
- مصطنع
- الذكاء الاصطناعي
- الذكاء الاصطناعي (منظمة العفو الدولية)
- الذكاء الاصطناعي وآلة التعلم
- AS
- مساعدة
- At
- جمهور
- تلقائيا
- أتمتة
- AWS
- الى الخلف
- لوحة الاعلان
- على أساس
- BD
- BE
- لان
- السلوكيات
- تستفيد
- الفوائد
- ما بين
- أكبر
- مليار
- على حد سواء
- الاختناقات
- العلامة تجارية
- العلامات التجارية
- وبذلك
- بث
- البث
- نساعدك في بناء
- ابني
- بنيت
- الأعمال
- تطوير الاعمال
- by
- حساب
- الحملات
- CAN
- قدرات
- التحديات
- تغيير
- قناة
- قنوات
- الخصائص
- عميل
- مقاطع
- مجموعة
- دمج
- مقارنة
- يكمل
- مجمع
- عنصر
- مكونات
- الكمبيوتر
- رؤية الكمبيوتر
- الثقة
- التواصل
- تتكون
- محتوى
- جوهر
- زاوية
- التكلفة
- تقليل التكاليف
- مكلفة
- صياغة
- زبون
- العملاء
- المتطور والحديث
- لوحة أجهزة القياس
- البيانات
- نقاط البيانات
- علم البيانات
- قواعد البيانات
- يوم
- أيام
- قررت
- انخفض
- مخصصة
- عميق
- التعلم العميق
- نقل
- تم التوصيل
- نشر
- نشر
- وصف
- مطلوب
- تطوير
- المتقدمة
- التطوير التجاري
- رسم بياني
- مختلف
- صعبة
- مباشرة
- الوصول المباشر
- اكتشف
- وزعت
- do
- أثناء
- ديناميكي
- كل
- فعالية
- بكفاءة
- إلكتروني
- تمكين
- نقطة النهاية
- جذب
- مهندس
- الهندسة
- مشروع
- تقييم
- حتى
- الحدث/الفعالية
- كل
- بحث
- مثال
- القائمة
- الخبره في مجال الغطس
- تعرض
- استخلاص
- أسرع
- الميزات
- الشكل
- مالي
- الاسم الأول
- خمسة
- ويركز
- متابعيك
- في حالة
- الإطار
- تبدأ من
- بالإضافة إلى
- إضافي
- مستقبل
- فتاه
- لعبة
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- معطى
- يعطي
- العالمية
- جولدمان
- وحدة معالجة الرسوميات:
- وحدات معالجة الرسومات
- تدريجي
- تجمع
- مجموعات
- متزايد
- ضيف
- زائر رد
- توجيه
- توجيه
- كان
- مقبض
- يملك
- وجود
- he
- مساعدة
- عالية الأداء
- له
- مضيف
- ساعة
- ساعات العمل
- كيفية
- كيفية
- HTTPS
- هوية
- محدد
- تحديد
- if
- يوضح
- صورة
- صور
- فوري
- تنفيذ
- تحسين
- تحسينات
- تحسين
- in
- تتضمن
- يشمل
- بما فيه
- القيمة الاسمية
- زيادة
- في ازدياد
- مستقل
- العالمية
- غير فعال
- الاستدلال
- معلومات
- البنية التحتية
- الابتكار
- مبتكرة
- رؤى
- بدلًا من ذلك
- رؤيتنا
- عالميا
- إلى
- استثمار
- IT
- انها
- JPG
- يعرف
- على نطاق واسع
- أكبر
- آخر
- زعيم
- يؤدي
- الدوري
- تعلم
- إرث
- أقل
- ومستوياتها
- دورة حياة
- محلي
- موقع
- طويل
- بحث
- منخفض
- آلة
- آلة التعلم
- الآلات
- المحافظة
- مدير
- إدارة
- كثير
- قياس
- الوسائط
- البيانات الوصفية
- المهاجرة
- مليون
- دقيقة
- الرسالة
- ML
- MLOps
- نموذج
- عارضات ازياء
- مراقبة
- شهر
- المقبلة.
- الأكثر من ذلك
- متعدد
- يجب
- محليات
- حاجة
- إحتياجات
- جديد
- أحدث
- الصحف
- التالي
- الآن
- عدد
- أرقام
- كثير
- of
- قديم
- on
- ONE
- online
- فقط
- طريقة التوسع
- تشغيل
- التحسين
- تحسينات
- or
- أخرى
- لنا
- النتائج
- على مدى
- الكلي
- تغلب
- فوق
- موضب
- موازية
- جزء
- الشريكة
- شغف
- مجتمع
- نفذ
- أداء
- خط أنابيب
- تخطيط
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لاعبين
- نقاط
- منشور
- سابق
- سابقا
- عملية المعالجة
- المنتج
- الإنتــاج
- إنتاجية
- المنتجات
- برمجة وتطوير
- تزود
- جودة
- R & D
- الخام
- نادي القراءة
- سجل
- تسجيل
- تخفيض
- عقار مخفض
- تخفيض
- الرجوع
- منتظم
- ذات الصلة
- التقارير
- ممثل
- بحث
- مسؤول
- REST
- النتائج
- عائد أعلى
- إيرادات
- حقوق
- العائد على الاستثمار
- لفة
- يجري
- تشغيل
- يدير
- وقت التشغيل
- بسلام
- sagemaker
- تحجيم
- حجم
- التحجيم
- جدول
- جدولة
- علوم
- عشرات
- ثواني
- يرى
- قطعة
- تقسيم
- شرائح
- كبير
- خدماتنا
- عدة
- الأشكال
- شاركت
- أظهرت
- يظهر
- إشارة
- مبسط
- معا
- عزباء
- الأحجام
- بطيء
- So
- العدالة
- وسائل التواصل الاجتماعي
- تطبيقات الكمبيوتر
- مهندس البرمجيات
- حل
- الحلول
- بعض
- متخصص
- تتخصص
- محدد
- على وجه التحديد
- أنفق
- رعاية
- رياضة
- رياضة
- المسرح
- خطوات
- مجرى
- هذه
- الدعم
- نظام
- استهداف
- الأهداف
- مهمة
- فريق
- فريق
- تقني
- تكنولوجيا
- عشرات
- تجربه بالعربي
- الاختبار
- من
- أن
- •
- المستقبل
- العالم
- من مشاركة
- منهم
- أنفسهم
- then
- هم
- ألف
- الآلاف
- ثلاثة
- عبر
- الوقت
- إلى
- استغرق
- تيشرت
- الإجمالي
- مسار
- تحول
- tv
- نموذجي
- مع
- فهم
- فهم
- ترقية
- us
- الأستعمال
- تستخدم
- استخدام
- تقييم الموقع
- الاختلافات
- كبير
- ● السرعة
- فيديو
- مقاطع فيديو
- رؤية
- رؤيتنا
- مطلوب
- وكان
- طريق..
- we
- الويب
- خدمات ويب
- نهاية الأسبوع
- كان
- التي
- من الذى
- مع
- للعمل
- سير العمل
- عامل
- أعمال
- العالم
- العالم
- سوف
- عام
- زفيرنت