دقت پیش‌بینی‌کننده را با پیش‌بینی آمازون به‌طور مداوم نظارت کنید

ما با هیجان اعلام می کنیم که اکنون می توانید به طور خودکار دقت خود را کنترل کنید پیش بینی آمازون پیش بینی کننده ها در طول زمان با ارائه داده‌های جدید، Forecast به‌طور خودکار معیارهای دقت پیش‌بینی‌کننده را در مجموعه داده جدید محاسبه می‌کند و اطلاعات بیشتری را برای تصمیم‌گیری در مورد ادامه استفاده، آموزش مجدد یا ایجاد پیش‌بینی‌کننده‌های جدید در اختیار شما قرار می‌دهد.

نظارت بر کیفیت پیش بینی کننده و شناسایی بدتر شدن دقت در طول زمان برای دستیابی به اهداف تجاری مهم است. با این حال، فرآیندهای مورد نیاز برای نظارت مستمر معیارهای دقت پیش‌بینی‌کننده می‌تواند زمان‌بر و مدیریت چالش‌برانگیز باشد: پیش‌بینی‌ها باید ارزیابی شوند و معیارهای دقت به‌روز شده باید محاسبه شوند. علاوه بر این، معیارها باید ذخیره و ترسیم شوند تا روندها را درک کرده و در مورد حفظ، بازآموزی یا ایجاد مجدد پیش بینی کننده ها تصمیم گیری شود. این فرآیندها می‌توانند منجر به توسعه و نگهداری پرهزینه شوند و استرس عملیاتی معنی‌داری را بر تیم‌های علم داده و تحلیلگر وارد کنند. و برای مشتریانی که مایل به انجام این فرآیند زمان‌بر نیستند (آنها ترجیح می‌دهند پیش‌بینی‌کننده‌های جدید را حتی در مواقعی که مورد نیاز نیستند دوباره آموزش دهند)، این باعث اتلاف وقت و محاسبه می‌شود.

با راه‌اندازی امروز، Forecast اکنون به‌طور خودکار دقت پیش‌بینی‌کننده را در طول زمان با وارد کردن داده‌های جدید ردیابی می‌کند. اکنون می توانید انحراف پیش بینی کننده خود را از معیارهای کیفیت اولیه کمی کنید و به طور سیستماتیک کیفیت مدل را با تجسم روندها ارزیابی کنید، و تصمیمات آگاهانه تری در مورد حفظ، آموزش مجدد، یا بازسازی مدل های خود با ورود داده های جدید اتخاذ کنید. نظارت پیش بینی را می توان برای پیش بینی های جدید در ابتدا فعال کرد. ، یا برای مدل های موجود روشن است. شما می توانید این ویژگی را با یک کلیک بر روی آن فعال کنید کنسول مدیریت AWS یا استفاده کنید API های پیش بینی.

دقت پیش بینی در طول زمان

پیش‌بینی‌کننده یک مدل یادگیری ماشینی است که در یک نقطه از زمان با استفاده از یک مجموعه اصلی از داده‌های آموزشی ایجاد می‌شود. پس از ایجاد یک پیش‌بینی‌کننده، به‌طور مداوم در طول روزها، هفته‌ها یا ماه‌ها در آینده برای تولید پیش‌بینی‌های سری زمانی با داده‌های حقیقت زمینی جدید تولید شده از طریق تراکنش‌های واقعی استفاده می‌شود. همانطور که داده های جدید وارد می شوند، پیش بینی کننده نقاط داده پیش بینی شده جدیدی را بر اساس آخرین داده های ارائه شده به آن تولید می کند.

هنگامی که یک پیش بینی برای اولین بار ایجاد می شود، Forecast معیارهای دقتی مانند از دست دادن چندک وزنی (wQL)، میانگین درصد مطلق خطا (MAPE) یا ریشه میانگین مربعات خطا (RMSE) را برای تعیین کمیت دقت پیش بینی کننده تولید می کند. این معیارهای دقت برای تعیین اینکه آیا یک پیش‌بینی‌کننده وارد تولید می‌شود یا خیر، استفاده می‌شود. با این حال، عملکرد یک پیش بینی کننده در طول زمان دچار نوسان می شود. عوامل خارجی مانند تغییرات در محیط اقتصادی یا رفتار مصرف کننده می توانند عوامل اساسی زیربنای یک پیش بینی کننده را تغییر دهند. سایر عوامل شامل محصولات، اقلام و خدمات جدیدی است که ممکن است ایجاد شود. تغییرات در محیط مالی یا اقتصادی؛ یا تغییر در توزیع داده ها.

برای مثال، پیش‌بینی‌کننده‌ای را در نظر بگیرید که زمانی آموزش دیده بود که رنگ خاصی از یک محصول محبوب بود. ماه ها بعد، رنگ های جدید ممکن است ظاهر شوند یا محبوب تر شوند و توزیع مقادیر تغییر کند. یا تغییری در محیط کسب و کار رخ می دهد که الگوهای خرید طولانی مدت (مانند محصولات با حاشیه بالا به محصولات کم حاشیه) را تغییر می دهد. همه موارد در نظر گرفته شده، ممکن است نیاز به آموزش مجدد پیش بینی کننده داشته باشد، یا ممکن است نیاز به ایجاد یک پیش بینی کننده جدید باشد تا اطمینان حاصل شود که پیش بینی های بسیار دقیق همچنان انجام می شوند.

مانیتورینگ پیش بینی خودکار

نظارت پیش‌بینی‌کننده برای تجزیه و تحلیل خودکار عملکرد پیش‌بینی‌کننده شما طراحی شده است، زیرا داده‌های سری زمانی جدید حقیقت زمینی در دسترس قرار می‌گیرد و برای ایجاد پیش‌بینی‌های جدید استفاده می‌شود. این مانیتورینگ اطلاعات عملکرد مدل مستمر را در اختیار شما قرار می دهد و در زمان شما صرفه جویی می کند تا نیازی به تنظیم فرآیند نداشته باشید.

اگر نظارت پیش‌بینی‌کننده در Forecast فعال باشد، هر بار که داده‌های جدید وارد می‌کنید و پیش‌بینی جدیدی تولید می‌کنید، آمار عملکرد به‌طور خودکار به‌روزرسانی می‌شود. تا به حال، این آمار عملکرد تنها زمانی در دسترس بود که پیش بینی کننده در ابتدا آموزش دیده بود. در حال حاضر این آمار به طور مداوم با استفاده از داده های جدید حقیقت زمینی تولید می شود و می تواند به طور فعال برای سنجش عملکرد پیش بینی کننده نظارت شود.

این به شما امکان می دهد تا از آمار عملکرد پیش بینی کننده برای تصمیم گیری در مورد زمان آموزش یا بازآموزی یک پیش بینی کننده جدید استفاده کنید. به عنوان مثال، از آنجایی که میانگین متریک wQL از مقادیر اولیه اولیه منحرف می شود، می توانید تعیین کنید که آیا یک پیش بینی جدید را مجدداً آموزش دهید یا خیر. اگر تصمیم دارید یک پیش‌بینی‌کننده را دوباره آموزش دهید یا یک پیش‌بینی‌کننده جدید ایجاد کنید، می‌توانید با استفاده از پیش‌بینی‌کننده دقیق‌تر شروع به تولید نقاط داده پیش‌بینی‌شده جدید کنید.

نمودارهای زیر دو نمونه از نظارت بر پیش بینی را ارائه می دهند. در نمودار اول، میانگین متریک wQL از خط پایه (مقدار اولیه زمانی که پیش‌بینی‌کننده آموزش داده شد) کاهش می‌یابد، که نشان می‌دهد دقت پیش‌بینی در طول زمان در حال افزایش است. نمودار نشان می دهد که میانگین wQL از 0.3 به 0.15 در طی چند روز کاهش یافته است، به این معنی که دقت پیش بینی در حال افزایش است. در این مورد، نیازی به آموزش مجدد پیش بینی کننده نیست، زیرا پیش بینی های دقیق تری نسبت به زمانی که برای اولین بار آموزش داده شده، تولید می کند.

در شکل بعدی، عکس این موضوع صادق است: میانگین wQL در حال افزایش است، که نشان می دهد دقت در طول زمان کاهش می یابد. در این مورد، باید آموزش مجدد یا بازسازی پیش بینی کننده با داده های جدید را در نظر بگیرید.

در Forecast، شما این انتخاب را دارید که پیش بینی کننده فعلی را دوباره آموزش دهید یا آن را از ابتدا بازسازی کنید. آموزش مجدد با یک کلیک انجام می شود و داده های به روز بیشتر و هرگونه به روز رسانی و بهبود در الگوریتم های Forecast را در خود جای می دهد. بازسازی پیش‌بینی‌کننده به شما امکان می‌دهد ورودی‌های جدیدی (مانند فرکانس پیش‌بینی، افق یا بعد جدید) برای ایجاد یک پیش‌بین جدید ارائه کنید.

نظارت بر پیش بینی را فعال کنید

می‌توانید هنگام ایجاد یک پیش‌بینی‌کننده جدید، نظارت بر پیش‌بینی‌کننده را فعال کنید یا آن را برای پیش‌بینی‌کننده‌های موجود روشن کنید. مراحل این بخش نحوه انجام این مراحل را با استفاده از کنسول Forecast نشان می دهد. یک ژوپیتر نیز وجود دارد دفتر یادداشت که از طریق دنباله ای از مراحل برای فعال کردن نظارت بر پیش بینی با استفاده از API ها و تولید نتایج مانیتور پیش بینی کننده حرکت می کند.

این مثال از مجموعه داده های نمونه برش زمانی موجود از نظارت پیش بینی کننده استفاده می کند دفتر یادداشت. در مثال ما، با مجموعه داده‌ای 100,000 ردیفی از وانت‌های تاکسی شهر نیویورک شروع می‌کنیم که حاوی مهر زمانی، شناسه مکان و مقدار هدف (تعداد وانت‌های درخواست شده در طول مهر زمانی در شناسه مکان) است.

مراحل زیر را انجام دهید:

1. در کنسول Forecast، را انتخاب کنید مشاهده گروه های داده در صفحه ناوبری
2. را انتخاب کنید ایجاد گروه داده و جزئیات گروه داده خود را ارائه دهید.
   پس از ایجاد گروه داده، از شما خواسته می شود که مجموعه داده سری زمانی هدف ایجاد کنید. شما از این مجموعه داده برای آموزش پیش بینی و ایجاد پیش بینی استفاده می کنید.
3. بر مجموعه داده سری زمانی هدف را ایجاد کنید صفحه، طرحواره، فرکانس و مکان داده های خود را ارائه دهید.
4. را انتخاب کنید آغاز برای وارد کردن مجموعه داده های مورد نظر خود
   در مرحله بعد، پیش بینی کننده خود را می سازید و با استفاده از مجموعه داده های اولیه خود آن را آموزش می دهید.
5. در صفحه پیمایش، را انتخاب کنید پیش بینی کنندگان.
6. را انتخاب کنید آموزش پیشگوی جدید.
   
7. در تنظیمات پیش بینی کننده در بخش، یک نام برای پیش‌بینی‌کننده خود، مدت زمانی که می‌خواهید در آینده پیش‌بینی کنید و با چه فرکانسی، و تعداد چندک‌هایی که می‌خواهید پیش‌بینی کنید، وارد کنید.
   
8. برای متریک بهینه سازی، می توانید یک معیار بهینه سازی را برای بهینه سازی انتخاب کنید AutoPredictor برای تنظیم یک مدل برای یک متریک دقت خاص از انتخاب شما. ما این را به عنوان پیش‌فرض برای راهنما رها می‌کنیم.
9. برای دریافت گزارش قابل توضیح پیش بینی، را انتخاب کنید قابلیت توضیح پیش بینی را فعال کنید.
10. برای فعال کردن نظارت بر پیش بینی، را انتخاب کنید نظارت بر پیش بینی را فعال کنید.
11. تحت پیکربندی داده های ورودی، می توانید اطلاعات آب و هوای محلی و تعطیلات ملی را برای پیش بینی دقیق تر تقاضا اضافه کنید.
12. را انتخاب کنید آغاز برای شروع آموزش پیش بینی کننده خود
    
    اکنون Forecast پیش بینی کننده را با این مجموعه داده اولیه آموزش می دهد. با فعال بودن نظارت پیش‌بین، هر بار که داده‌های جدیدی در این گروه داده ارائه می‌شود، Forecast می‌تواند معیارهای دقت پیش‌بینی‌کننده به‌روز را محاسبه کند.
13. پس از آموزش پیش‌بینی‌کننده، آن را برای ارزیابی معیارهای دقت اولیه انتخاب کنید.
    
    La متریک برگه معیارهای کیفیت پیش بینی کننده اولیه را نشان می دهد. از آنجایی که هیچ پیش‌بینی از پیش‌بینی‌کننده خود ایجاد نکرده‌اید یا داده‌های جدیدی از حقیقت پایه وارد نکرده‌اید، چیزی برای نشان دادن در نظارت تب.
    گام بعدی ایجاد پیش بینی با استفاده از پیش بینی جدید است.
14. را انتخاب کنید پیش بینی ها در صفحه ناوبری
15. را انتخاب کنید ایجاد پیش بینی برای ایجاد یک پیش بینی جدید بر اساس داده های سری زمانی که به تازگی وارد کرده اید و تنظیمات پیش بینی کننده.
16. نام پیش‌بینی، نام پیش‌بینی‌کننده و هر معیار کمیت اضافی را که می‌خواهید محاسبه کنید، ارائه کنید.

پس از ایجاد پیش‌بینی، می‌توانید جزئیات و نتایج آن را در آن مشاهده و صادر کنید جزئیات پیش بینی احتمال برد مراجعه کنید.

نظارت بر پیش بینی: ارزیابی دقت در طول زمان

با گذشت زمان، داده‌های جدید حقیقت پایه توسط فرآیندهای کسب‌وکار شما ایجاد می‌شود، به‌عنوان مثال، ارقام فروش به‌روز، سطوح کارکنان، یا خروجی تولید. برای ایجاد پیش بینی های جدید بر اساس آن داده های جدید، می توانید داده های خود را به مجموعه داده ای که ایجاد کرده اید وارد کنید.

1. در کنسول آمازون Forecast، در گروه های مجموعه داده صفحه، گروه مجموعه داده خود را انتخاب کنید.
   
2. مجموعه داده خود را انتخاب کنید
   
3. در واردات مجموعه داده بخش، را انتخاب کنید ایجاد وارد کردن مجموعه داده.
   
4. جزئیات بیشتری در مورد داده های به روز شده خود، از جمله مکان آن ارائه دهید.
   
5. را انتخاب کنید آغاز.

با نظارت پیش‌بینی‌کننده، Forecast این داده‌های جدید را با پیش‌بینی قبلی تولید شده مقایسه می‌کند و معیارهای دقت را برای پیش‌بینی‌کننده محاسبه می‌کند. معیارهای کیفیت پیش‌بینی‌کننده به‌روزرسانی‌شده به‌طور مداوم با اضافه شدن داده‌های جدید به مجموعه داده محاسبه می‌شوند.

می‌توانید این مراحل را برای وارد کردن داده‌های اضافی دنبال کنید، که نشان دهنده تراکنش‌های اضافی است که در طول زمان رخ داده‌اند.

نتایج پایش پیش بینی کننده را ارزیابی کنید

برای مشاهده نتایج پایش پیش‌بینی‌کننده، باید پس از ایجاد پیش‌بینی‌های اولیه، داده‌های جدید حقیقت پایه را اضافه کنید. Forecast این داده های جدید حقیقت زمینی را با پیش بینی قبلی مقایسه می کند و مقادیر دقت مدل به روز شده را برای نظارت تولید می کند.

1. بر گروه های مجموعه داده صفحه، گروه های داده مربوطه را انتخاب کنید و سری زمانی هدف را انتخاب کنید تا آن را با داده های جدید حقیقت پایه به روز کنید.
   
2. را انتخاب کنید ایجاد وارد کردن مجموعه داده و داده های جدید حقیقت پایه خود را اضافه کنید.
   
   پس از ارائه داده های اضافی حقیقت پایه، می توانید پیش بینی کننده خود را باز کنید و آمار نظارت اولیه پیش بینی کننده را مشاهده کنید.
3. پیش بینی خود را انتخاب کنید و به آن بروید نظارت تب.
   

می‌توانید این مراحل را دنبال کنید تا پیش‌بینی‌های بیشتری را با استفاده از این پیش‌بینی‌کننده اجرا کنید و تکرارهای بیشتری از داده‌های حقیقت زمینی اضافه کنید. پیشرفت آمار دقت مدل برای پیش بینی کننده شما در دسترس است نظارت تب.

این مثال آمار دقت مدل را برای یک پیش بینی نشان می دهد که با چهار به روز رسانی داده های اضافی ارزیابی شده است. پیش‌بینی‌کننده زمانی که در ابتدا آموزش داده شد، MAPE خط پایه اولیه 0.55 داشت. با بارگیری داده‌های اضافی، MAPE با اولین مجموعه داده اضافی به 42/42 کاهش یافت که نشان‌دهنده یک پیش‌بینی‌کننده دقیق‌تر است و در محدوده محدودی از 48/XNUMX تا XNUMX/XNUMX با مجموعه داده‌های بعدی نوسان کرد.

برای مشاهده معیارهای بیشتر می توانید نمودار را تغییر دهید. در مثال‌های زیر، MASE و میانگین wQL نوسانات مشابهی را از خط پایه در طول زمان نشان می‌دهند.

La تاریخچه نظارت بخش در پایین صفحه جزئیات کاملی را در مورد تمام معیارهای دقت پیش بینی که در طول زمان ردیابی شده اند ارائه می دهد.

نظارت بر پیش‌بینی را روی پیش‌بینی‌کننده موجود تنظیم کنید

شما به راحتی می توانید نظارت بر پیش بینی های موجود را فعال کنید. برای این کار مراحل زیر را انجام دهید:

1. در قسمت ناوبری، در زیر مجموعه داده خود، را انتخاب کنید پیش بینی کنندگان.
2. از اینجا دو راه برای فعال کردن نظارت وجود دارد:
   1. را انتخاب کنید نظارت را شروع کنید تحت نظارت ستون.
      
   2. پیش بینی خود را انتخاب کنید و روی نظارت برگه ، زیر جزئیات نظارت، انتخاب کنید مانیتور را راه اندازی کنید.
      
3. در گفتگوی پاپ آپ، را انتخاب کنید آغاز برای شروع نظارت بر پیش بینی انتخاب شده.
   

La نظارت اکنون برگه نشان می‌دهد که نظارت بر پیش‌بینی‌کننده شروع شده است، و با وارد کردن داده‌های بیشتر، نتایج ایجاد می‌شوند.

متوقف کردن و راه اندازی مجدد نظارت بر پیش بینی

همچنین می توانید نظارت بر پیش بینی را متوقف کرده و مجدداً راه اندازی کنید. موارد زیر را در نظر بگیرید:

• هزینه - نظارت پیش بینی کننده منابع اضافی را مصرف می کند. با مجموعه داده های کوچک معمولی، هزینه حداقل است، اما ممکن است با مجموعه داده های بزرگ (تعداد موارد در مجموعه داده ورودی و افق پیش بینی) افزایش یابد.
• حریم خصوصی - یک کپی از پیش بینی شما در حین نظارت ذخیره می شود. اگر نمی‌خواهید این نسخه را ذخیره کنید، می‌توانید نظارت را متوقف کنید.
• سر و صدا – اگر در حال آزمایش با یک پیش‌بینی‌کننده هستید و نمی‌خواهید در نتایج مانیتور پیش‌بینی‌کننده‌تان نویز ببینید، می‌توانید به‌طور موقت نظارت بر پیش‌بینی‌کننده را متوقف کنید و زمانی که پیش‌بینی‌کننده‌تان دوباره پایدار شد، آن را دوباره شروع کنید.

برای توقف نظارت بر پیش بینی، مراحل زیر را انجام دهید:

1. حرکت به نظارت برگه برای پیش بینی که در آن نظارت فعال است.
2. را انتخاب کنید توقف مانیتور برای توقف نظارت بر پیش بینی کننده.
   
3. وقتی از شما خواسته شد، انتخاب خود را تأیید کنید.
   

پیامی در صفحه بعد نشان داده می شود که نشان می دهد نظارت پیش بینی متوقف شده است.

می‌توانید با انتخاب، نظارت بر پیش‌بینی‌کننده را مجدداً راه‌اندازی کنید مانیتور رزومه.

نتیجه

نظارت بر کیفیت پیش بینی کننده های شما در طول زمان برای دستیابی به اهداف برنامه ریزی و پیش بینی تقاضا و در نهایت اهداف تجاری شما مهم است. با این حال، نظارت بر پیش‌بینی‌کننده می‌تواند تمرینی زمان‌بر باشد و فرآیندهای مورد نیاز برای ایستادن و حفظ گردش‌های کاری لازم می‌تواند منجر به هزینه‌های عملیاتی بالاتر شود.

پیش‌بینی اکنون می‌تواند به‌طور خودکار کیفیت پیش‌بینی‌کننده‌های شما را ردیابی کند، به شما این امکان را می‌دهد تا تلاش‌های عملیاتی را کاهش دهید، و در عین حال به شما کمک می‌کند تا تصمیمات آگاهانه‌تری در مورد حفظ، آموزش مجدد، یا بازسازی پیش‌بینی‌کننده‌های خود بگیرید. برای فعال کردن نظارت بر پیش بینی، می توانید مراحل ذکر شده در این پست را دنبال کنید یا نوت بوک GitHub ما را دنبال کنید.

لطفاً توجه داشته باشید که نظارت بر پیش‌بینی‌کننده فقط در دسترس است AutoPredictor. برای اطلاعات بیشتر مراجعه کنید API جدید پیش‌بینی آمازون که تا 40 درصد پیش‌بینی‌های دقیق‌تری ایجاد می‌کند و قابل توضیح است و CreateAutoPredictor.

برای کسب اطلاعات بیشتر به ادامه مطلب مراجعه نمایید مانیتورینگ پیش بینی کننده. ما همچنین توصیه می کنیم بررسی کنید قیمت گذاری برای استفاده از این ویژگی های جدید همه این قابلیت‌های جدید در همه مناطقی که Forecast در دسترس عموم است، در دسترس هستند. برای اطلاعات بیشتر در مورد در دسترس بودن منطقه، نگاه کنید خدمات منطقه ای AWS.

---

درباره نویسنده

دن سین رایش یک مدیر محصول Sr برای Amazon Forecast است. او بر دموکراتیزه کردن یادگیری ماشینی با کد کم/بدون کد و استفاده از آن برای بهبود نتایج کسب و کار متمرکز است. خارج از محل کار او را می توان در حال بازی هاکی، تلاش برای بهبود سرویس تنیس خود و خواندن داستان های علمی تخیلی یافت.

 آدارش سینگ به عنوان مهندس توسعه نرم افزار در تیم آمازون Forecast کار می کند. در نقش فعلی خود، او بر مشکلات مهندسی و ساختن سیستم‌های توزیع‌شده مقیاس‌پذیر تمرکز می‌کند که بیشترین ارزش را برای کاربران نهایی فراهم می‌کند. او در اوقات فراغت خود از تماشای انیمه و بازی های ویدیویی لذت می برد.

شانون کیلینگزورث یک طراح UX برای Amazon Forecast است. کار فعلی او ایجاد تجربیات کنسولی است که برای همه قابل استفاده است و ویژگی های جدید را در تجربه کنسول ادغام می کند. او در اوقات فراغت خود از علاقه مندان به ورزش و اتومبیل رانی است.

• Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
• پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
• CryptoHawk. رادار آلت کوین امتحان رایگان.
• منبع: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/