تسریع زمان به بینش با مجموعه های سری زمانی MongoDB و آمازون SageMaker Canvas | خدمات وب آمازون

این یک پست مهمان است که با همکاری بابو سرینیواسان از MongoDB نوشته شده است.

همانطور که صنایع در چشم انداز تجاری پرشتاب امروزی تکامل می یابند، ناتوانی در پیش بینی های زمان واقعی، چالش های مهمی را برای صنایعی که به شدت به بینش های دقیق و به موقع متکی هستند، ایجاد می کند. فقدان پیش‌بینی‌های بلادرنگ در صنایع مختلف، چالش‌های مهم تجاری را ایجاد می‌کند که می‌تواند به طور قابل‌توجهی بر تصمیم‌گیری و کارایی عملیاتی تأثیر بگذارد. بدون بینش در زمان واقعی، کسب‌وکارها برای انطباق با شرایط پویای بازار، پیش‌بینی دقیق تقاضای مشتری، بهینه‌سازی سطوح موجودی و اتخاذ تصمیم‌های استراتژیک پیشگیرانه تلاش می‌کنند. صنایعی مانند امور مالی، خرده فروشی، مدیریت زنجیره تامین و لجستیک با خطر از دست دادن فرصت ها، افزایش هزینه ها، تخصیص ناکارآمد منابع و ناتوانی در برآورده کردن انتظارات مشتری مواجه هستند. با کاوش در این چالش‌ها، سازمان‌ها می‌توانند اهمیت پیش‌بینی در زمان واقعی را تشخیص دهند و راه‌حل‌های نوآورانه را برای غلبه بر این موانع کشف کنند، که آنها را قادر می‌سازد تا رقابتی باقی بمانند، تصمیمات آگاهانه بگیرند و در محیط تجاری پرشتاب امروزی پیشرفت کنند.

با استفاده از پتانسیل تحول آفرین بومی MongoDB سری زمانی قابلیت های داده و ادغام آن با قدرت آمازون SageMaker Canvas، سازمان ها می توانند بر این چالش ها غلبه کنند و سطوح جدیدی از چابکی را باز کنند. مدیریت داده های سری زمانی قوی MongoDB امکان ذخیره و بازیابی حجم زیادی از داده های سری زمانی را در زمان واقعی فراهم می کند، در حالی که الگوریتم های پیشرفته یادگیری ماشین و قابلیت های پیش بینی مدل های پیش بینی دقیق و پویا را با SageMaker Canvas ارائه می دهند.

در این پست، پتانسیل استفاده از داده های سری زمانی MongoDB و بوم SageMaker را به عنوان یک راه حل جامع بررسی خواهیم کرد.

MongoDB اطلس

MongoDB اطلس یک پلتفرم داده توسعه‌دهنده کاملاً مدیریت شده است که استقرار و مقیاس‌بندی پایگاه‌های داده MongoDB در فضای ابری را ساده می‌کند. این یک ذخیره سازی مبتنی بر سند است که یک پایگاه داده کاملاً مدیریت شده را با متن کامل و برداری داخلی فراهم می کند جستجو ، پشتیبانی از مکانی پرس و جو، نمودار و پشتیبانی بومی برای کارآمد سری زمانی قابلیت ذخیره سازی و پرس و جو MongoDB Atlas اشتراک گذاری خودکار، مقیاس پذیری افقی و نمایه سازی انعطاف پذیر را برای دریافت داده های با حجم بالا ارائه می دهد. در میان همه، قابلیت‌های سری زمانی بومی یک ویژگی برجسته است که آن را برای مدیریت حجم بالایی از داده‌های سری زمانی، مانند داده‌های برنامه‌های حیاتی تجاری، تله‌متری، گزارش‌های سرور و غیره ایده‌آل می‌کند. با پرس و جو، تجمیع و تجزیه و تحلیل کارآمد، کسب و کارها می توانند بینش ارزشمندی را از داده های دارای مهر زمانی استخراج کنند. با استفاده از این قابلیت‌ها، کسب‌وکارها می‌توانند به طور کارآمد داده‌های سری زمانی را ذخیره، مدیریت و تجزیه و تحلیل کنند، تصمیم‌های مبتنی بر داده را ممکن می‌سازند و مزیت رقابتی به دست می‌آورند.

آمازون SageMaker Canvas

آمازون SageMaker Canvas یک سرویس یادگیری ماشین بصری (ML) است که به تحلیلگران تجاری و دانشمندان داده امکان می دهد بدون نیاز به تجربه ML یا نوشتن یک خط کد، مدل های سفارشی ML را بسازند و به کار گیرند. SageMaker Canvas از تعدادی موارد استفاده پشتیبانی می کند، از جمله پیش بینی سری زمانی، که به کسب و کارها قدرت می دهد تا تقاضای آینده، فروش، منابع مورد نیاز و سایر داده های سری زمانی را به طور دقیق پیش بینی کنند. این سرویس از تکنیک‌های یادگیری عمیق برای مدیریت الگوهای داده پیچیده استفاده می‌کند و به کسب‌وکارها امکان می‌دهد حتی با حداقل داده‌های تاریخی پیش‌بینی‌های دقیقی ایجاد کنند. با استفاده از قابلیت‌های آمازون SageMaker Canvas، کسب‌وکارها می‌توانند تصمیمات آگاهانه بگیرند، سطح موجودی را بهینه کنند، کارایی عملیاتی را بهبود بخشند و رضایت مشتری را افزایش دهند.

SageMaker Canvas UI به شما امکان می دهد منابع داده را از فضای ابری یا داخلی به طور یکپارچه ادغام کنید، مجموعه داده ها را بدون دردسر ادغام کنید، مدل های دقیق را آموزش دهید و با داده های در حال ظهور پیش بینی کنید - همه اینها بدون کدنویسی. اگر به یک گردش کار خودکار یا ادغام مستقیم مدل ML در برنامه ها نیاز دارید، عملکردهای پیش بینی Canvas از طریق قابل دسترسی هستند. رابط های برنامه کاربردی.

بررسی اجمالی راه حل

کاربران داده های سری زمانی تراکنشی خود را در MongoDB Atlas حفظ می کنند. از طریق فدراسیون داده اطلس، داده ها در سطل آمازون S3 استخراج می شوند. Amazon SageMaker Canvas برای ساخت مدل ها و ایجاد پیش بینی به داده ها دسترسی دارد. نتایج پیش بینی در یک سطل S3 ذخیره می شود. با استفاده از خدمات فدراسیون داده MongoDB، پیش بینی ها به صورت بصری از طریق نمودارهای MongoDB ارائه می شوند.

نمودار زیر ساختار راه حل پیشنهادی را نشان می دهد.

پیش نیازها

برای این راه حل، ما از MongoDB Atlas برای ذخیره داده های سری زمانی، Amazon SageMaker Canvas برای آموزش یک مدل و تولید پیش بینی، و Amazon S3 برای ذخیره داده های استخراج شده از MongoDB Atlas استفاده می کنیم.

مطمئن شوید که پیش نیازهای زیر را دارید:

خوشه MongoDB Atlas را پیکربندی کنید

با دنبال کردن دستورالعمل‌های موجود، یک خوشه MongoDB Atlas رایگان ایجاد کنید یک خوشه ایجاد کنید. راه اندازی کنید دسترسی به پایگاه داده و دسترسی شبکه.

یک مجموعه سری زمانی را در MongoDB Atlas پر کنید

برای اهداف این نمایش، می توانید از مجموعه داده های نمونه از از استفاده کنید کجگل و همان را با MongoDB در MongoDB Atlas آپلود کنید ابزار ، ترجیحا قطب نما MongoDB.

کد زیر یک مجموعه داده نمونه برای مجموعه سری زمانی را نشان می دهد:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

تصویر زیر نمونه داده های سری زمانی در MongoDB Atlas را نشان می دهد:

یک سطل S3 ایجاد کنید

ساختن یک سطل S3 در AWS، که در آن داده های سری زمانی باید ذخیره و تجزیه و تحلیل شوند. توجه داشته باشید ما دو پوشه داریم. sales-train-data برای ذخیره داده های استخراج شده از MongoDB Atlas استفاده می شود، در حالی که sales-forecast-output حاوی پیش‌بینی‌هایی از  Canvas است.

فدراسیون داده را ایجاد کنید

تنظیم کنید فدراسیون داده ها در اطلس و سطل S3 ایجاد شده قبلی را به عنوان بخشی از منبع داده ثبت کنید. توجه داشته باشید که سه پایگاه داده/مجموعه مختلف در فدراسیون داده برای خوشه Atlas، سطل S3 برای داده MongoDB Atlas و سطل S3 برای ذخیره نتایج Canvas ایجاد شده است.

تصاویر زیر تنظیمات فدراسیون داده را نشان می دهد.

سرویس اپلیکیشن Atlas را راه اندازی کنید

ایجاد خدمات کاربردی MongoDB برای استقرار توابع برای انتقال داده ها از خوشه MongoDB Atlas به سطل S3 با استفاده از $ بیرون تجمع.

پیکربندی منبع داده را تأیید کنید

خدمات برنامه یک نام سرویس جدید Altas ایجاد می کند که باید در تابع زیر به عنوان سرویس داده ارجاع داده شود. بررسی کنید که نام سرویس Atlas ایجاد شده است و آن را برای مراجعات بعدی یادداشت کنید.

تابع را ایجاد کنید

سرویس‌های کاربردی Atlas را برای ایجاد آن تنظیم کنید ماشه و عملکردها. محرک ها باید برنامه ریزی شوند تا داده ها را در S3 با فرکانس دوره بر اساس نیاز تجاری برای آموزش مدل ها بنویسند.

اسکریپت زیر تابع نوشتن در سطل S3 را نشان می دهد:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

تابع نمونه

عملکرد را می توان از طریق تب Run اجرا کرد و خطاها را می توان با استفاده از ویژگی های گزارش در Application Services رفع اشکال کرد. علاوه بر این، خطاها را می توان با استفاده از منوی Logs در صفحه سمت چپ رفع اشکال کرد.

اسکرین شات زیر اجرای تابع را به همراه خروجی نشان می دهد:

ایجاد مجموعه داده در آمازون SageMaker Canvas

در مراحل زیر فرض می شود که شما یک دامنه و نمایه کاربری SageMaker ایجاد کرده اید. اگر قبلاً این کار را انجام نداده اید، مطمئن شوید که پیکربندی را انجام داده اید دامنه و نمایه کاربر SageMaker. در نمایه کاربری، سطل S3 خود را به صورت سفارشی به روز کنید و نام سطل خود را ارائه دهید.

پس از تکمیل، به SageMaker Canvas بروید، دامنه و نمایه خود را انتخاب کنید و Canvas را انتخاب کنید.

ایجاد یک مجموعه داده تامین کننده منبع داده.

منبع داده را به عنوان S3 انتخاب کنید

مکان داده را از سطل S3 انتخاب کرده و Create database را انتخاب کنید.

طرحواره را مرور کنید و روی ایجاد مجموعه داده کلیک کنید

پس از وارد کردن موفقیت آمیز، مجموعه داده همانطور که در تصویر زیر نشان داده شده است در لیست ظاهر می شود.

مدل را آموزش دهید

در مرحله بعد از Canvas برای راه اندازی برای آموزش مدل استفاده می کنیم. مجموعه داده را انتخاب کرده و روی Create کلیک کنید.

یک نام مدل ایجاد کنید، گزینه Predictive analysis را انتخاب کنید و Create را انتخاب کنید.

ستون هدف را انتخاب کنید

سپس روی پیکربندی مدل سری زمانی کلیک کنید و item_id را به عنوان ستون Item ID انتخاب کنید.

انتخاب کنید tm برای ستون مهر زمان

برای تعیین مدت زمانی که می خواهید پیش بینی کنید، 8 هفته را انتخاب کنید.

اکنون آماده پیش نمایش مدل یا راه اندازی فرآیند ساخت هستید.

بعد از اینکه مدل را پیش‌نمایش کردید یا ساخت را راه‌اندازی کردید، مدل شما ایجاد می‌شود و ممکن است تا چهار ساعت طول بکشد. برای مشاهده وضعیت آموزش مدل می توانید صفحه را ترک کرده و برگردید.

وقتی مدل آماده شد، مدل را انتخاب کنید و روی آخرین نسخه کلیک کنید

معیارهای مدل و تاثیر ستون را بررسی کنید و اگر از عملکرد مدل راضی هستید، روی Predict کلیک کنید.

در مرحله بعد، پیش بینی دسته ای را انتخاب کنید و روی انتخاب مجموعه داده کلیک کنید.

مجموعه داده خود را انتخاب کنید و روی انتخاب مجموعه داده کلیک کنید.

سپس روی Start Predictions کلیک کنید.

شغل ایجاد شده را مشاهده کنید یا پیشرفت شغلی را در SageMaker تحت Inference, Batch transform jobs مشاهده کنید.

وقتی کار کامل شد، کار را انتخاب کنید و مسیر S3 را که Canvas پیش‌بینی‌ها را در آن ذخیره می‌کرد، یادداشت کنید.

داده های پیش بینی را در نمودارهای اطلس تجسم کنید

برای تجسم داده های پیش بینی، ایجاد کنید نمودارهای MongoDB Atlas بر اساس داده های فدرال (amazon-forecast-data) برای پیش بینی های P10، P50 و P90 همانطور که در نمودار زیر نشان داده شده است.

پاک کردن

• خوشه MongoDB Atlas را حذف کنید
• پیکربندی فدراسیون داده اطلس را حذف کنید
• اپلیکیشن سرویس اپلیکیشن اطلس را حذف کنید
• سطل S3 را حذف کنید
• مجموعه داده ها و مدل های آمازون SageMaker Canvas را حذف کنید
• نمودارهای اطلس را حذف کنید
• از Amazon SageMaker Canvas خارج شوید

نتیجه

در این پست ما داده های سری زمانی را از مجموعه سری های زمانی MongoDB استخراج کردیم. این مجموعه ویژه ای است که برای ذخیره سازی و سرعت جستجوی داده های سری زمانی بهینه شده است. ما از آمازون SageMaker Canvas برای آموزش مدل‌ها و تولید پیش‌بینی‌ها استفاده کردیم و پیش‌بینی‌ها را در نمودارهای اطلس تجسم کردیم.

برای اطلاعات بیشتر به منابع زیر مراجعه کنید.

---

درباره نویسندگان

ایگور آلکسیف یک معمار راه حل شریک ارشد در AWS در حوزه داده و تجزیه و تحلیل است. ایگور در نقش خود با شرکای استراتژیک همکاری می کند و به آنها کمک می کند تا معماری های پیچیده و بهینه شده AWS بسازند. قبل از پیوستن به AWS، به‌عنوان معمار داده/راه‌حل، او پروژه‌های زیادی را در حوزه داده‌های بزرگ اجرا کرد، از جمله چندین دریاچه داده در اکوسیستم Hadoop. به عنوان یک مهندس داده، او در استفاده از AI/ML برای کشف تقلب و اتوماسیون اداری شرکت داشت.

بابو سرینیواسان یک معمار ارشد راه حل های شریک در MongoDB است. در نقش فعلی خود، او در حال کار با AWS برای ایجاد یکپارچگی فنی و معماری مرجع برای راه حل های AWS و MongoDB است. او بیش از دو دهه تجربه در زمینه فناوری های پایگاه داده و ابری دارد. او مشتاق ارائه راه‌حل‌های فنی برای مشتریانی است که با چندین سیستم ادغام‌کننده سیستم جهانی (GSI) در مناطق مختلف جغرافیایی کار می‌کنند.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/