تسريع وقت الرؤى باستخدام مجموعات السلاسل الزمنية MongoDB وAmazon SageMaker Canvas | خدمات الويب الأمازون

هذه مشاركة ضيف تمت كتابتها بالاشتراك مع Babu Srinivasan من MongoDB.

مع تطور الصناعات في مشهد الأعمال سريع الخطى اليوم، فإن عدم القدرة على الحصول على تنبؤات في الوقت الفعلي يفرض تحديات كبيرة على الصناعات التي تعتمد بشكل كبير على رؤى دقيقة وفي الوقت المناسب. يمثل غياب التنبؤات في الوقت الفعلي في مختلف الصناعات تحديات الأعمال الملحة التي يمكن أن تؤثر بشكل كبير على عملية صنع القرار والكفاءة التشغيلية. بدون رؤى في الوقت الفعلي، تكافح الشركات للتكيف مع ظروف السوق الديناميكية، وتوقع طلب العملاء بدقة، وتحسين مستويات المخزون، واتخاذ قرارات استراتيجية استباقية. تواجه الصناعات مثل التمويل والتجزئة وإدارة سلسلة التوريد والخدمات اللوجستية خطر ضياع الفرص وزيادة التكاليف وعدم كفاءة تخصيص الموارد وعدم القدرة على تلبية توقعات العملاء. ومن خلال استكشاف هذه التحديات، يمكن للمؤسسات إدراك أهمية التنبؤ في الوقت الفعلي واستكشاف حلول مبتكرة للتغلب على هذه العقبات، وتمكينها من الحفاظ على قدرتها التنافسية، واتخاذ قرارات مستنيرة، والازدهار في بيئة الأعمال سريعة الخطى اليوم.

من خلال تسخير الإمكانات التحويلية لـ MongoDB الأصلي السلاسل الزمنية قدرات البيانات ودمجها مع قوة قماش أمازون سيج ميكر، يمكن للمؤسسات التغلب على هذه التحديات وفتح مستويات جديدة من المرونة. تسمح إدارة بيانات السلاسل الزمنية القوية في MongoDB بتخزين واسترجاع كميات كبيرة من بيانات السلاسل الزمنية في الوقت الفعلي، بينما توفر خوارزميات التعلم الآلي المتقدمة والإمكانيات التنبؤية نماذج تنبؤ دقيقة وديناميكية باستخدام SageMaker Canvas.

في هذا المنشور، سوف نستكشف إمكانية استخدام بيانات السلاسل الزمنية الخاصة بـ MongoDB وSageMaker Canvas كحل شامل.

MongoDB أطلس

MongoDB أطلس عبارة عن منصة بيانات مطور مُدارة بالكامل تعمل على تبسيط نشر وتوسيع نطاق قواعد بيانات MongoDB في السحابة. وهو عبارة عن مخزن قائم على المستندات يوفر قاعدة بيانات مُدارة بالكامل، مع نص كامل ومتجه مدمج بحث، الدعم ل الجغرافية المكانية استفسارات ، الرسوم البيانية والدعم الأصلي لكفاءة السلاسل الزمنية قدرات التخزين والاستعلام. يوفر MongoDB Atlas التقسيم التلقائي وقابلية التوسع الأفقي والفهرسة المرنة لاستيعاب البيانات كبيرة الحجم. من بين كل ذلك، تعد إمكانات السلاسل الزمنية الأصلية ميزة بارزة، مما يجعلها مثالية لإدارة حجم كبير من بيانات السلاسل الزمنية، مثل بيانات التطبيقات المهمة للأعمال والقياس عن بعد وسجلات الخادم والمزيد. ومن خلال الاستعلام والتجميع والتحليلات الفعالة، يمكن للشركات استخلاص رؤى قيمة من البيانات المحددة بالوقت. وباستخدام هذه الإمكانات، يمكن للشركات تخزين بيانات السلاسل الزمنية وإدارتها وتحليلها بكفاءة، مما يتيح اتخاذ القرارات المستندة إلى البيانات واكتساب ميزة تنافسية.

قماش أمازون سيج ميكر

قماش أمازون سيج ميكر هي خدمة تعلم آلي مرئي (ML) تمكن محللي الأعمال وعلماء البيانات من إنشاء نماذج تعلم الآلة المخصصة ونشرها دون الحاجة إلى أي خبرة في تعلم الآلة أو الاضطرار إلى كتابة سطر واحد من التعليمات البرمجية. يدعم SageMaker Canvas عددًا من حالات الاستخدام، بما في ذلك التنبؤ بالسلاسل الزمنية، والذي يمكّن الشركات من التنبؤ بالطلب المستقبلي والمبيعات ومتطلبات الموارد وبيانات السلاسل الزمنية الأخرى بدقة. تستخدم الخدمة تقنيات التعلم العميق للتعامل مع أنماط البيانات المعقدة وتمكن الشركات من إنشاء توقعات دقيقة حتى مع الحد الأدنى من البيانات التاريخية. باستخدام إمكانات Amazon SageMaker Canvas، يمكن للشركات اتخاذ قرارات مستنيرة وتحسين مستويات المخزون وتحسين الكفاءة التشغيلية وتعزيز رضا العملاء.

تتيح لك واجهة مستخدم SageMaker Canvas UI دمج مصادر البيانات من السحابة أو المحلية بسلاسة، ودمج مجموعات البيانات دون عناء، وتدريب النماذج الدقيقة، وإجراء تنبؤات باستخدام البيانات الناشئة - كل ذلك بدون تعليمات برمجية. إذا كنت بحاجة إلى سير عمل تلقائي أو تكامل مباشر لنموذج ML في التطبيقات، فيمكن الوصول إلى وظائف التنبؤ في Canvas من خلاله واجهات برمجة التطبيقات.

حل نظرة عامة

يحتفظ المستخدمون ببيانات السلاسل الزمنية للمعاملات الخاصة بهم في MongoDB Atlas. من خلال Atlas Data Union، يتم استخراج البيانات في حاوية Amazon S3. يصل Amazon SageMaker Canvas إلى البيانات لإنشاء نماذج وإنشاء تنبؤات. يتم تخزين نتائج التنبؤ في دلو S3. باستخدام خدمات اتحاد بيانات MongoDB، يتم عرض التوقعات بشكل مرئي من خلال مخططات MongoDB.

يوضح الرسم البياني التالي بنية الحل المقترح.

المتطلبات الأساسية المسبقة

بالنسبة لهذا الحل، نستخدم MongoDB Atlas لتخزين بيانات السلاسل الزمنية، وAmazon SageMaker Canvas لتدريب نموذج وإنتاج تنبؤات، وAmazon S3 لتخزين البيانات المستخرجة من MongoDB Atlas.

تأكد من توفر لديك المتطلبات الأساسية التالية:

تكوين مجموعة MongoDB Atlas

قم بإنشاء مجموعة MongoDB Atlas مجانية باتباع الإرشادات الواردة في إنشاء كتلة. إعداد الوصول إلى قاعدة البيانات و الوصول إلى الشبكة.

تعبئة مجموعة السلاسل الزمنية في MongoDB Atlas

لأغراض هذا العرض التوضيحي، يمكنك استخدام مجموعة بيانات نموذجية من Kaggle وقم بتحميله إلى MongoDB Atlas باستخدام MongoDB أدوات ويفضل أن يكون بوصلة MongoDB.

يعرض التعليمة البرمجية التالية مجموعة بيانات نموذجية لمجموعة سلاسل زمنية:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

تعرض لقطة الشاشة التالية نموذج بيانات السلاسل الزمنية في MongoDB Atlas:

أنشئ حاوية S3

إنشاء دلو S3 في AWS، حيث يجب تخزين بيانات السلاسل الزمنية وتحليلها. لاحظ أن لدينا مجلدين. sales-train-data يستخدم لتخزين البيانات المستخرجة من MongoDB Atlas، بينما sales-forecast-output يحتوي على توقعات من  Canvas.

إنشاء اتحاد البيانات

إعداد اتحاد البيانات في Atlas وقم بتسجيل مجموعة S3 التي تم إنشاؤها مسبقًا كجزء من مصدر البيانات. لاحظ أنه تم إنشاء ثلاث قواعد بيانات/مجموعات مختلفة في اتحاد البيانات لمجموعة Atlas، وحاوية S3 لبيانات MongoDB Atlas، وحاوية S3 لتخزين نتائج Canvas.

توضح لقطات الشاشة التالية إعداد اتحاد البيانات.

إعداد خدمة تطبيق أطلس

إنشاء خدمات تطبيقات MongoDB لنشر وظائف نقل البيانات من مجموعة MongoDB Atlas إلى مجموعة S3 باستخدام $ خارج تجميع.

التحقق من تكوين مصدر البيانات

تقوم خدمات التطبيقات بإنشاء اسم خدمة Altas جديد يجب الإشارة إليه على أنه خدمات البيانات في الوظيفة التالية. تأكد من إنشاء اسم خدمة Atlas ولاحظه للرجوع إليه مستقبلاً.

قم بإنشاء الوظيفة

قم بإعداد خدمات تطبيق Atlas لإنشاء الزناد والوظائف. يجب جدولة المشغلات لكتابة البيانات إلى S3 بتكرار زمني بناءً على حاجة العمل لتدريب النماذج.

يعرض البرنامج النصي التالي وظيفة الكتابة إلى مجموعة S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

وظيفة العينة

يمكن تشغيل الوظيفة من خلال علامة التبويب "تشغيل" ويمكن تصحيح الأخطاء باستخدام ميزات السجل في خدمات التطبيقات. بالإضافة إلى ذلك، يمكن تصحيح الأخطاء باستخدام قائمة السجلات في الجزء الأيمن.

توضح لقطة الشاشة التالية تنفيذ الوظيفة مع الإخراج:

قم بإنشاء مجموعة بيانات في Amazon SageMaker Canvas

تفترض الخطوات التالية أنك قمت بإنشاء مجال SageMaker وملف تعريف المستخدم. إذا لم تكن قد قمت بذلك بالفعل، فتأكد من تكوين نطاق SageMaker وملف تعريف المستخدم. في ملف تعريف المستخدم، قم بتحديث حاوية S3 الخاصة بك لتصبح مخصصة وقم بتوفير اسم الحاوية الخاصة بك.

عند الانتهاء، انتقل إلى SageMaker Canvas، وحدد المجال وملفك الشخصي، ثم حدد Canvas.

إنشاء مجموعة بيانات توفر مصدر البيانات.

حدد مصدر مجموعة البيانات كـ S3

حدد موقع البيانات من حاوية S3 وحدد إنشاء مجموعة بيانات.

قم بمراجعة المخطط وانقر فوق إنشاء مجموعة بيانات

عند نجاح الاستيراد، ستظهر مجموعة البيانات في القائمة كما هو موضح في لقطة الشاشة التالية.

درب النموذج

بعد ذلك، سوف نستخدم Canvas لإعداد تدريب النموذج. حدد مجموعة البيانات وانقر فوق "إنشاء".

أنشئ اسم نموذج، وحدد التحليل التنبؤي، ثم حدد إنشاء.

حدد العمود الهدف

بعد ذلك، انقر فوق تكوين نموذج السلسلة الزمنية وحدد item_id كعمود معرف العنصر.

أختار tm لعمود الطابع الزمني

لتحديد مقدار الوقت الذي تريد التنبؤ به، اختر 8 أسابيع.

أنت الآن جاهز لمعاينة النموذج أو بدء عملية الإنشاء.

بعد معاينة النموذج أو تشغيل الإصدار، سيتم إنشاء النموذج الخاص بك ويمكن أن يستغرق ما يصل إلى أربع ساعات. يمكنك مغادرة الشاشة والعودة لرؤية حالة تدريب النموذج.

عندما يصبح النموذج جاهزًا، حدد النموذج وانقر على أحدث إصدار

قم بمراجعة مقاييس النموذج وتأثير العمود وإذا كنت راضيًا عن أداء النموذج، فانقر فوق توقع.

بعد ذلك، اختر التنبؤ الدفعي، وانقر فوق تحديد مجموعة البيانات.

حدد مجموعة البيانات الخاصة بك، ثم انقر فوق اختيار مجموعة البيانات.

بعد ذلك، انقر فوق ابدأ التوقعات.

راقب وظيفة تم إنشاؤها أو راقب تقدم الوظيفة في SageMaker ضمن الاستدلال، وظائف تحويل الدُفعات.

عند اكتمال المهمة، حدد المهمة، ولاحظ مسار S3 حيث قام Canvas بتخزين التوقعات.

تصور بيانات التوقعات في مخططات أطلس

لتصور بيانات التنبؤ، قم بإنشاء ملف مخططات أطلس MongoDB استنادًا إلى البيانات الموحدة (بيانات توقعات أمازون) لتوقعات P10 وP50 وP90 كما هو موضح في الرسم البياني التالي.

تنظيف

• احذف مجموعة MongoDB Atlas
• حذف تكوين اتحاد بيانات Atlas
• حذف تطبيق خدمة تطبيقات أطلس
• احذف دلو S3
• احذف مجموعة بيانات ونماذج Amazon SageMaker Canvas
• حذف مخططات أطلس
• قم بتسجيل الخروج من Amazon SageMaker Canvas

وفي الختام

في هذا المنشور قمنا باستخراج بيانات السلاسل الزمنية من مجموعة السلاسل الزمنية MongoDB. هذه مجموعة خاصة مُحسّنة للتخزين والاستعلام عن سرعة بيانات السلاسل الزمنية. استخدمنا Amazon SageMaker Canvas لتدريب النماذج وإنشاء التنبؤات وقمنا بتصور التنبؤات في مخططات Atlas.

لمزيد من المعلومات، راجع الموارد التالية.

---

عن المؤلفين

ايغور الكسيف هو مهندس حلول شريك أول في AWS في مجال البيانات والتحليلات. في دوره ، يعمل إيغور مع شركاء استراتيجيين يساعدونهم في بناء بنى معقدة ومحسّنة لـ AWS. قبل انضمامه إلى AWS ، بصفته مهندس بيانات / حلول ، قام بتنفيذ العديد من المشاريع في مجال البيانات الضخمة ، بما في ذلك العديد من بحيرات البيانات في نظام Hadoop البيئي. كمهندس بيانات ، شارك في تطبيق AI / ML لاكتشاف الاحتيال وأتمتة المكاتب.

بابو سرينيفاسان هو مهندس حلول شريك أول في MongoDB. في منصبه الحالي ، يعمل مع AWS لبناء عمليات التكامل التقنية والبنى المرجعية لحلول AWS و MongoDB. لديه أكثر من عقدين من الخبرة في قواعد البيانات وتقنيات السحابة. إنه متحمس لتقديم الحلول التقنية للعملاء الذين يعملون مع العديد من شركات تكامل الأنظمة العالمية (GSIs) عبر مناطق جغرافية متعددة.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/