این یک پست مهمان است که با همکاری بابو سرینیواسان از MongoDB نوشته شده است.
همانطور که صنایع در چشم انداز تجاری پرشتاب امروزی تکامل می یابند، ناتوانی در پیش بینی های زمان واقعی، چالش های مهمی را برای صنایعی که به شدت به بینش های دقیق و به موقع متکی هستند، ایجاد می کند. فقدان پیشبینیهای بلادرنگ در صنایع مختلف، چالشهای مهم تجاری را ایجاد میکند که میتواند به طور قابلتوجهی بر تصمیمگیری و کارایی عملیاتی تأثیر بگذارد. بدون بینش در زمان واقعی، کسبوکارها برای انطباق با شرایط پویای بازار، پیشبینی دقیق تقاضای مشتری، بهینهسازی سطوح موجودی و اتخاذ تصمیمهای استراتژیک پیشگیرانه تلاش میکنند. صنایعی مانند امور مالی، خرده فروشی، مدیریت زنجیره تامین و لجستیک با خطر از دست دادن فرصت ها، افزایش هزینه ها، تخصیص ناکارآمد منابع و ناتوانی در برآورده کردن انتظارات مشتری مواجه هستند. با کاوش در این چالشها، سازمانها میتوانند اهمیت پیشبینی در زمان واقعی را تشخیص دهند و راهحلهای نوآورانه را برای غلبه بر این موانع کشف کنند، که آنها را قادر میسازد تا رقابتی باقی بمانند، تصمیمات آگاهانه بگیرند و در محیط تجاری پرشتاب امروزی پیشرفت کنند.
با استفاده از پتانسیل تحول آفرین بومی MongoDB سری زمانی قابلیت های داده و ادغام آن با قدرت آمازون SageMaker Canvas، سازمان ها می توانند بر این چالش ها غلبه کنند و سطوح جدیدی از چابکی را باز کنند. مدیریت داده های سری زمانی قوی MongoDB امکان ذخیره و بازیابی حجم زیادی از داده های سری زمانی را در زمان واقعی فراهم می کند، در حالی که الگوریتم های پیشرفته یادگیری ماشین و قابلیت های پیش بینی مدل های پیش بینی دقیق و پویا را با SageMaker Canvas ارائه می دهند.
در این پست، پتانسیل استفاده از داده های سری زمانی MongoDB و بوم SageMaker را به عنوان یک راه حل جامع بررسی خواهیم کرد.
MongoDB اطلس
MongoDB اطلس یک پلتفرم داده توسعهدهنده کاملاً مدیریت شده است که استقرار و مقیاسبندی پایگاههای داده MongoDB در فضای ابری را ساده میکند. این یک ذخیره سازی مبتنی بر سند است که یک پایگاه داده کاملاً مدیریت شده را با متن کامل و برداری داخلی فراهم می کند جستجو ، پشتیبانی از مکانی پرس و جو، نمودار و پشتیبانی بومی برای کارآمد سری زمانی قابلیت ذخیره سازی و پرس و جو MongoDB Atlas اشتراک گذاری خودکار، مقیاس پذیری افقی و نمایه سازی انعطاف پذیر را برای دریافت داده های با حجم بالا ارائه می دهد. در میان همه، قابلیتهای سری زمانی بومی یک ویژگی برجسته است که آن را برای مدیریت حجم بالایی از دادههای سری زمانی، مانند دادههای برنامههای حیاتی تجاری، تلهمتری، گزارشهای سرور و غیره ایدهآل میکند. با پرس و جو، تجمیع و تجزیه و تحلیل کارآمد، کسب و کارها می توانند بینش ارزشمندی را از داده های دارای مهر زمانی استخراج کنند. با استفاده از این قابلیتها، کسبوکارها میتوانند به طور کارآمد دادههای سری زمانی را ذخیره، مدیریت و تجزیه و تحلیل کنند، تصمیمهای مبتنی بر داده را ممکن میسازند و مزیت رقابتی به دست میآورند.
آمازون SageMaker Canvas
آمازون SageMaker Canvas یک سرویس یادگیری ماشین بصری (ML) است که به تحلیلگران تجاری و دانشمندان داده امکان می دهد بدون نیاز به تجربه ML یا نوشتن یک خط کد، مدل های سفارشی ML را بسازند و به کار گیرند. SageMaker Canvas از تعدادی موارد استفاده پشتیبانی می کند، از جمله پیش بینی سری زمانی، که به کسب و کارها قدرت می دهد تا تقاضای آینده، فروش، منابع مورد نیاز و سایر داده های سری زمانی را به طور دقیق پیش بینی کنند. این سرویس از تکنیکهای یادگیری عمیق برای مدیریت الگوهای داده پیچیده استفاده میکند و به کسبوکارها امکان میدهد حتی با حداقل دادههای تاریخی پیشبینیهای دقیقی ایجاد کنند. با استفاده از قابلیتهای آمازون SageMaker Canvas، کسبوکارها میتوانند تصمیمات آگاهانه بگیرند، سطح موجودی را بهینه کنند، کارایی عملیاتی را بهبود بخشند و رضایت مشتری را افزایش دهند.
SageMaker Canvas UI به شما امکان می دهد منابع داده را از فضای ابری یا داخلی به طور یکپارچه ادغام کنید، مجموعه داده ها را بدون دردسر ادغام کنید، مدل های دقیق را آموزش دهید و با داده های در حال ظهور پیش بینی کنید - همه اینها بدون کدنویسی. اگر به یک گردش کار خودکار یا ادغام مستقیم مدل ML در برنامه ها نیاز دارید، عملکردهای پیش بینی Canvas از طریق قابل دسترسی هستند. رابط های برنامه کاربردی.
بررسی اجمالی راه حل
کاربران داده های سری زمانی تراکنشی خود را در MongoDB Atlas حفظ می کنند. از طریق فدراسیون داده اطلس، داده ها در سطل آمازون S3 استخراج می شوند. Amazon SageMaker Canvas برای ساخت مدل ها و ایجاد پیش بینی به داده ها دسترسی دارد. نتایج پیش بینی در یک سطل S3 ذخیره می شود. با استفاده از خدمات فدراسیون داده MongoDB، پیش بینی ها به صورت بصری از طریق نمودارهای MongoDB ارائه می شوند.
نمودار زیر ساختار راه حل پیشنهادی را نشان می دهد.
پیش نیازها
برای این راه حل، ما از MongoDB Atlas برای ذخیره داده های سری زمانی، Amazon SageMaker Canvas برای آموزش یک مدل و تولید پیش بینی، و Amazon S3 برای ذخیره داده های استخراج شده از MongoDB Atlas استفاده می کنیم.
مطمئن شوید که پیش نیازهای زیر را دارید:
خوشه MongoDB Atlas را پیکربندی کنید
با دنبال کردن دستورالعملهای موجود، یک خوشه MongoDB Atlas رایگان ایجاد کنید یک خوشه ایجاد کنید. راه اندازی کنید دسترسی به پایگاه داده و دسترسی شبکه.
یک مجموعه سری زمانی را در MongoDB Atlas پر کنید
برای اهداف این نمایش، می توانید از مجموعه داده های نمونه از از استفاده کنید کجگل و همان را با MongoDB در MongoDB Atlas آپلود کنید ابزار ، ترجیحا قطب نما MongoDB.
کد زیر یک مجموعه داده نمونه برای مجموعه سری زمانی را نشان می دهد:
{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}
تصویر زیر نمونه داده های سری زمانی در MongoDB Atlas را نشان می دهد:
یک سطل S3 ایجاد کنید
ساختن یک سطل S3 در AWS، که در آن داده های سری زمانی باید ذخیره و تجزیه و تحلیل شوند. توجه داشته باشید ما دو پوشه داریم. sales-train-data
برای ذخیره داده های استخراج شده از MongoDB Atlas استفاده می شود، در حالی که sales-forecast-output
حاوی پیشبینیهایی از Canvas است.
فدراسیون داده را ایجاد کنید
تنظیم کنید فدراسیون داده ها در اطلس و سطل S3 ایجاد شده قبلی را به عنوان بخشی از منبع داده ثبت کنید. توجه داشته باشید که سه پایگاه داده/مجموعه مختلف در فدراسیون داده برای خوشه Atlas، سطل S3 برای داده MongoDB Atlas و سطل S3 برای ذخیره نتایج Canvas ایجاد شده است.
تصاویر زیر تنظیمات فدراسیون داده را نشان می دهد.
سرویس اپلیکیشن Atlas را راه اندازی کنید
ایجاد خدمات کاربردی MongoDB برای استقرار توابع برای انتقال داده ها از خوشه MongoDB Atlas به سطل S3 با استفاده از $ بیرون تجمع.
پیکربندی منبع داده را تأیید کنید
خدمات برنامه یک نام سرویس جدید Altas ایجاد می کند که باید در تابع زیر به عنوان سرویس داده ارجاع داده شود. بررسی کنید که نام سرویس Atlas ایجاد شده است و آن را برای مراجعات بعدی یادداشت کنید.
تابع را ایجاد کنید
سرویسهای کاربردی Atlas را برای ایجاد آن تنظیم کنید ماشه و عملکردها. محرک ها باید برنامه ریزی شوند تا داده ها را در S3 با فرکانس دوره بر اساس نیاز تجاری برای آموزش مدل ها بنویسند.
اسکریپت زیر تابع نوشتن در سطل S3 را نشان می دهد:
exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};
تابع نمونه
عملکرد را می توان از طریق تب Run اجرا کرد و خطاها را می توان با استفاده از ویژگی های گزارش در Application Services رفع اشکال کرد. علاوه بر این، خطاها را می توان با استفاده از منوی Logs در صفحه سمت چپ رفع اشکال کرد.
اسکرین شات زیر اجرای تابع را به همراه خروجی نشان می دهد:
ایجاد مجموعه داده در آمازون SageMaker Canvas
در مراحل زیر فرض می شود که شما یک دامنه و نمایه کاربری SageMaker ایجاد کرده اید. اگر قبلاً این کار را انجام نداده اید، مطمئن شوید که پیکربندی را انجام داده اید دامنه و نمایه کاربر SageMaker. در نمایه کاربری، سطل S3 خود را به صورت سفارشی به روز کنید و نام سطل خود را ارائه دهید.
پس از تکمیل، به SageMaker Canvas بروید، دامنه و نمایه خود را انتخاب کنید و Canvas را انتخاب کنید.
ایجاد یک مجموعه داده تامین کننده منبع داده.
منبع داده را به عنوان S3 انتخاب کنید
مکان داده را از سطل S3 انتخاب کرده و Create database را انتخاب کنید.
طرحواره را مرور کنید و روی ایجاد مجموعه داده کلیک کنید
پس از وارد کردن موفقیت آمیز، مجموعه داده همانطور که در تصویر زیر نشان داده شده است در لیست ظاهر می شود.
مدل را آموزش دهید
در مرحله بعد از Canvas برای راه اندازی برای آموزش مدل استفاده می کنیم. مجموعه داده را انتخاب کرده و روی Create کلیک کنید.
یک نام مدل ایجاد کنید، گزینه Predictive analysis را انتخاب کنید و Create را انتخاب کنید.
ستون هدف را انتخاب کنید
سپس روی پیکربندی مدل سری زمانی کلیک کنید و item_id را به عنوان ستون Item ID انتخاب کنید.
انتخاب کنید tm
برای ستون مهر زمان
برای تعیین مدت زمانی که می خواهید پیش بینی کنید، 8 هفته را انتخاب کنید.
اکنون آماده پیش نمایش مدل یا راه اندازی فرآیند ساخت هستید.
بعد از اینکه مدل را پیشنمایش کردید یا ساخت را راهاندازی کردید، مدل شما ایجاد میشود و ممکن است تا چهار ساعت طول بکشد. برای مشاهده وضعیت آموزش مدل می توانید صفحه را ترک کرده و برگردید.
وقتی مدل آماده شد، مدل را انتخاب کنید و روی آخرین نسخه کلیک کنید
معیارهای مدل و تاثیر ستون را بررسی کنید و اگر از عملکرد مدل راضی هستید، روی Predict کلیک کنید.
در مرحله بعد، پیش بینی دسته ای را انتخاب کنید و روی انتخاب مجموعه داده کلیک کنید.
مجموعه داده خود را انتخاب کنید و روی انتخاب مجموعه داده کلیک کنید.
سپس روی Start Predictions کلیک کنید.
شغل ایجاد شده را مشاهده کنید یا پیشرفت شغلی را در SageMaker تحت Inference, Batch transform jobs مشاهده کنید.
وقتی کار کامل شد، کار را انتخاب کنید و مسیر S3 را که Canvas پیشبینیها را در آن ذخیره میکرد، یادداشت کنید.
داده های پیش بینی را در نمودارهای اطلس تجسم کنید
برای تجسم داده های پیش بینی، ایجاد کنید نمودارهای MongoDB Atlas بر اساس داده های فدرال (amazon-forecast-data) برای پیش بینی های P10، P50 و P90 همانطور که در نمودار زیر نشان داده شده است.
پاک کردن
- خوشه MongoDB Atlas را حذف کنید
- پیکربندی فدراسیون داده اطلس را حذف کنید
- اپلیکیشن سرویس اپلیکیشن اطلس را حذف کنید
- سطل S3 را حذف کنید
- مجموعه داده ها و مدل های آمازون SageMaker Canvas را حذف کنید
- نمودارهای اطلس را حذف کنید
- از Amazon SageMaker Canvas خارج شوید
نتیجه
در این پست ما داده های سری زمانی را از مجموعه سری های زمانی MongoDB استخراج کردیم. این مجموعه ویژه ای است که برای ذخیره سازی و سرعت جستجوی داده های سری زمانی بهینه شده است. ما از آمازون SageMaker Canvas برای آموزش مدلها و تولید پیشبینیها استفاده کردیم و پیشبینیها را در نمودارهای اطلس تجسم کردیم.
برای اطلاعات بیشتر به منابع زیر مراجعه کنید.
درباره نویسندگان
ایگور آلکسیف یک معمار راه حل شریک ارشد در AWS در حوزه داده و تجزیه و تحلیل است. ایگور در نقش خود با شرکای استراتژیک همکاری می کند و به آنها کمک می کند تا معماری های پیچیده و بهینه شده AWS بسازند. قبل از پیوستن به AWS، بهعنوان معمار داده/راهحل، او پروژههای زیادی را در حوزه دادههای بزرگ اجرا کرد، از جمله چندین دریاچه داده در اکوسیستم Hadoop. به عنوان یک مهندس داده، او در استفاده از AI/ML برای کشف تقلب و اتوماسیون اداری شرکت داشت.
بابو سرینیواسان یک معمار ارشد راه حل های شریک در MongoDB است. در نقش فعلی خود، او در حال کار با AWS برای ایجاد یکپارچگی فنی و معماری مرجع برای راه حل های AWS و MongoDB است. او بیش از دو دهه تجربه در زمینه فناوری های پایگاه داده و ابری دارد. او مشتاق ارائه راهحلهای فنی برای مشتریانی است که با چندین سیستم ادغامکننده سیستم جهانی (GSI) در مناطق مختلف جغرافیایی کار میکنند.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 1
- 100
- 1222
- 1239
- 140
- 31
- 321
- 7
- 8
- a
- درباره ما
- تسریع
- دسترسی
- در دسترس
- دقیق
- به درستی
- در میان
- وفق دادن
- اضافه
- پیشرفته
- تجمع
- AI / ML
- الگوریتم
- معرفی
- تخصیص
- اجازه می دهد تا
- در امتداد
- قبلا
- آمازون
- آمازون SageMaker
- آمازون SageMaker Canvas
- آمازون خدمات وب
- در میان
- مقدار
- an
- تحلیل
- تحلیلگران
- علم تجزیه و تحلیل
- تحلیل
- تجزیه و تحلیل
- و
- سبقت جستن
- هر
- ظاهر شدن
- کاربرد
- با استفاده از
- برنامه های
- معماری
- هستند
- AS
- فرض
- At
- خودکار
- اتوماتیک
- اتوماسیون
- AWS
- مستقر
- BE
- بزرگ
- بزرگ داده
- ساختن
- ساخته شده در
- کسب و کار
- کسب و کار
- by
- CAN
- نقاشی
- قابلیت های
- موارد
- زنجیر
- چالش ها
- چارت سازمانی
- نمودار
- را انتخاب کنید
- کلیک
- ابر
- خوشه
- رمز
- برنامه نویسی
- مجموعه
- مجموعه
- ستون
- رقابتی
- کامل
- تکمیل شده
- پیچیده
- جامع
- شرایط
- شامل
- زمینه
- هزینه
- ایجاد
- ایجاد شده
- بحرانی
- جاری
- سفارشی
- مشتری
- انتظارات مشتری
- رضایت مشتری
- مشتریان
- داده ها
- مدیریت اطلاعات
- بستر داده
- مجموعه داده ها
- داده محور
- پایگاه داده
- پایگاه های داده
- مجموعه داده ها
- تاریخ
- دهه
- تصمیم گیری
- تصمیم گیری
- عمیق
- یادگیری عمیق
- تقاضا
- گسترش
- گسترش
- کشف
- توسعه دهنده
- مختلف
- مستقیم
- سند
- دامنه
- انجام شده
- پویا
- اکوسیستم
- لبه
- بهره وری
- موثر
- موثر
- زحمت
- سنگ سنباده
- توانمندسازی
- را قادر می سازد
- را قادر می سازد
- مهندس
- بالا بردن
- محیط
- خطاهای
- حتی
- حوادث
- تکامل یابد
- اعدام
- انتظارات
- تجربه
- اکتشاف
- بررسی
- عصاره
- چهره
- غلط
- سریع گام
- ویژگی
- امکانات
- فدراسیون
- سرمایه گذاری
- قابل انعطاف
- پیروی
- برای
- پیش بینی
- پیش بینی
- قالب
- چهار
- تقلب
- کشف تقلب
- رایگان
- فرکانس
- از جانب
- کاملا
- تابع
- توابع
- آینده
- به دست آوردن
- تولید می کنند
- جغرافیاها
- جهانی
- مهمان
- پست مهمان
- دسته
- بهره برداری
- آیا
- داشتن
- he
- به شدت
- کمک
- زیاد
- خود را
- تاریخی
- افقی
- ساعت ها
- HTML
- HTTPS
- موانع
- ID
- دلخواه
- if
- تأثیر
- اجرا
- واردات
- اهمیت
- بهبود
- in
- عجز
- از جمله
- افزایش
- لوازم
- ناکارآمد
- اطلاعات
- اطلاع
- ابتکاری
- بینش
- دستورالعمل
- ادغام
- ادغام
- ادغام
- یکپارچگی
- به
- فهرست
- گرفتار
- IT
- کار
- شغل ها
- پیوستن
- json
- دریاچه ها
- چشم انداز
- بزرگ
- آخرین
- راه اندازی
- یادگیری
- ترک کردن
- ترک کرد
- اجازه می دهد تا
- سطح
- لاین
- فهرست
- محل
- ورود به سیستم
- تدارکات
- دستگاه
- فراگیری ماشین
- ساخت
- ساخت
- مدیریت
- اداره می شود
- مدیریت
- مدیریت
- بسیاری
- بازار
- شرایط بازار
- دیدار
- فهرست
- ادغام کردن
- متریک
- حداقل
- از دست رفته
- ML
- مدل
- مدل
- MongoDB
- بیش
- چندگانه
- نام
- بومی
- هدایت
- نیاز
- نیازهای
- جدید
- توجه داشته باشید
- اطلاع..
- عدد
- مشاهده کردن
- of
- پیشنهادات
- دفتر
- on
- قابل استفاده
- فرصت ها
- بهینه سازی
- بهینه
- or
- سازمان های
- دیگر
- خارج
- نمای کلی
- تولید
- غلبه بر
- قطعه
- بخش
- شریک
- شرکای
- احساساتی
- مسیر
- الگوهای
- کارایی
- دوره
- خط لوله
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- به شمار
- پست
- پتانسیل
- قدرت
- دقیق
- پیش بینی
- پیش گویی
- پیش بینی
- پیش نیازها
- ارائه شده
- هدیه
- فشار
- پیش نمایش
- قبلا
- قبلا
- بلادرنگ
- روند
- تولید کردن
- مشخصات
- پیشرفت
- پروژه ها
- پیشنهاد شده
- ارائه
- فراهم می کند
- ارائه
- اهداف
- نمایش ها
- اماده
- زمان واقعی
- شناختن
- مراجعه
- مرجع
- اشاره
- منطقه
- ثبت نام
- مورد نیاز
- منابع
- منابع
- نتایج
- خرده فروشی
- برگشت
- خطر
- تنومند
- نقش
- دویدن
- حکیم ساز
- حراجی
- همان
- رضایت
- راضی
- راضی با
- مقیاس پذیری
- مقیاس گذاری
- برنامه ریزی
- دانشمندان
- پرده
- تصاویر
- خط
- یکپارچه
- دیدن
- را انتخاب کنید
- ارشد
- سلسله
- سرور
- سرویس
- خدمات
- تنظیم
- برپایی
- چند
- sharding
- نشان داده شده
- نشان می دهد
- قابل توجه
- به طور قابل توجهی
- ساده می کند
- تنها
- So
- راه حل
- مزایا
- منبع
- منابع
- ویژه
- سرعت
- سرینیواسان
- تمبر
- شروع
- وضعیت
- ماندن
- مراحل
- ذخیره سازی
- opbevare
- ذخیره شده
- استراتژیک
- شرکای استراتژیک
- مبارزه
- موفق
- چنین
- عرضه
- زنجیره تامین
- مدیریت زنجیره تامین
- تهیه
- پشتیبانی
- پشتیبانی از
- مطمئن
- سیستم
- گرفتن
- هدف
- فنی
- تکنیک
- فن آوری
- نسبت به
- که
- La
- شان
- آنها
- اینها
- این
- سه
- رشد
- از طریق
- زمان
- سری زمانی
- بموقع
- برچسب زمان
- به
- امروز
- قطار
- آموزش
- معامله ای
- انتقال
- دگرگون کردن
- دگرگونی
- دو
- ui
- زیر
- باز
- بروزرسانی
- استفاده کنید
- استفاده
- کاربر
- استفاده
- با استفاده از
- ارزشمند
- مختلف
- بررسی
- بصری
- تجسم
- بصری
- حجم
- جلد
- می خواهم
- بود
- we
- وب
- خدمات وب
- هفته
- که
- در حین
- اراده
- با
- بدون
- گردش کار
- کارگر
- نوشتن
- شما
- شما
- زفیرنت