راقب دقة المتنبئ باستمرار باستخدام Amazon Forecast

يسعدنا أن نعلن أنه يمكنك الآن مراقبة دقة ملف توقعات الأمازون تنبئ بمرور الوقت. عند توفير بيانات جديدة ، يحسب التنبؤ تلقائيًا مقاييس دقة توقع في مجموعة البيانات الجديدة ، مما يوفر لك مزيدًا من المعلومات لتحديد ما إذا كنت ستستمر في استخدام أو إعادة التدريب أو إنشاء تنبؤات جديدة.

تعد مراقبة جودة المتنبئ وتحديد التدهور في الدقة بمرور الوقت أمرًا مهمًا لتحقيق أهداف العمل. ومع ذلك ، فإن العمليات المطلوبة للمراقبة المستمرة لمقاييس دقة التنبؤ يمكن أن تستغرق وقتًا طويلاً لإعدادها وصعبة في إدارتها: يجب تقييم التنبؤات ، ويجب حساب مقاييس الدقة المحدثة. بالإضافة إلى ذلك ، يجب تخزين المقاييس ورسمها بيانيًا لفهم الاتجاهات واتخاذ قرارات بشأن الاحتفاظ بالمتنبئات أو إعادة تدريبها أو إعادة تكوينها. يمكن أن تؤدي هذه العمليات إلى أعباء تطوير وصيانة مكلفة ، وتضع ضغطًا تشغيليًا ذا مغزى على علوم البيانات وفرق المحللين. وبالنسبة للعملاء الذين لا يرغبون في القيام بهذه العملية التي تستغرق وقتًا طويلاً (يفضلون إعادة تدريب المتنبئين الجدد حتى عند عدم الحاجة) ، فإن هذا يضيع الوقت والحساب.

مع إطلاق اليوم ، يتتبع التنبؤ الآن دقة المتنبئ تلقائيًا بمرور الوقت أثناء استيراد البيانات الجديدة. يمكنك الآن تحديد انحراف المتنبئ الخاص بك عن مقاييس الجودة الأولية وتقييم جودة النموذج بشكل منهجي من خلال تصور الاتجاهات ، واتخاذ قرارات أكثر استنارة حول الاحتفاظ بنماذجك أو إعادة تدريبها أو إعادة بنائها عند ظهور بيانات جديدة. يمكن تمكين مراقبة التوقع للمتنبئين الجدد في البداية ، أو قيد التشغيل للنماذج الحالية. يمكنك تمكين هذه الميزة بنقرة واحدة على ملف وحدة تحكم إدارة AWS أو استخدام توقعات APIs.

دقة التوقع بمرور الوقت

المتنبئ هو نموذج للتعلم الآلي تم إنشاؤه في وقت ما ، باستخدام مجموعة أصلية من بيانات التدريب. بعد إنشاء المتنبئ ، يتم استخدامه بشكل مستمر على مدار أيام أو أسابيع أو شهور في المستقبل لإنشاء تنبؤات متسلسلة زمنية مع بيانات حقيقة أرضية جديدة يتم إنشاؤها من خلال المعاملات الفعلية. أثناء استيراد البيانات الجديدة ، يقوم المتنبئ بإنشاء نقاط بيانات متوقعة جديدة بناءً على أحدث البيانات المقدمة إليه.

عندما يتم إنشاء متنبئ لأول مرة ، ينتج التنبؤ مقاييس دقة مثل الخسارة الكمية الموزونة (wQL) ، أو متوسط ​​النسبة المئوية للخطأ المطلق (MAPE) ، أو متوسط ​​الخطأ التربيعي الجذر (RMSE) لتحديد دقة المتنبئ. تُستخدم مقاييس الدقة هذه لتحديد ما إذا كان سيتم وضع متنبئ في الإنتاج. ومع ذلك ، فإن أداء المتنبئ سوف يتقلب بمرور الوقت. العوامل الخارجية مثل التغيرات في البيئة الاقتصادية أو في سلوك المستهلك يمكن أن تغير العوامل الأساسية الكامنة وراء المتنبئ. تشمل العوامل الأخرى المنتجات والعناصر والخدمات الجديدة التي قد يتم إنشاؤها ؛ التغييرات في البيئة المالية أو الاقتصادية ؛ أو تغييرات في توزيع البيانات.

على سبيل المثال ، ضع في اعتبارك متنبئًا تم تدريبه عندما كان لون معين من المنتج شائعًا. بعد أشهر ، قد تظهر ألوان جديدة أو تصبح أكثر شيوعًا ويتغير توزيع القيم. أو يحدث تحول في بيئة الأعمال يؤدي إلى تعديل أنماط الشراء طويلة الأمد (مثل المنتجات ذات الهامش المرتفع إلى المنتجات ذات الهامش المنخفض). كل الأشياء التي تم أخذها في الاعتبار ، قد يحتاج المتنبئ إلى إعادة تدريبه ، أو قد يلزم إنشاء متنبئ جديد لضمان استمرار إجراء تنبؤات عالية الدقة.

المراقبة الآلية للتنبؤ

تم تصميم مراقبة التوقع لتحليل أداء المتنبئ تلقائيًا حيث تصبح بيانات السلاسل الزمنية الجديدة للحقيقة الأرضية متاحة وتستخدم لإنشاء تنبؤات جديدة. توفر لك هذه المراقبة معلومات مستمرة عن أداء النموذج ، وتوفر لك الوقت حتى لا تضطر إلى إعداد العملية بنفسك.

إذا تم تمكين مراقبة التوقع في التوقعات ، في كل مرة تقوم فيها باستيراد بيانات جديدة وإنتاج توقع جديد ، يتم تحديث إحصائيات الأداء تلقائيًا. حتى الآن ، كانت إحصائيات الأداء هذه متاحة فقط عندما تم تدريب المتنبئ في البداية ؛ الآن يتم إنتاج هذه الإحصائيات على أساس مستمر باستخدام بيانات حقيقة أرضية جديدة ، ويمكن مراقبتها بنشاط لقياس أداء التوقع.

يتيح لك ذلك استخدام إحصائيات أداء المتنبئ لتقرير وقت تدريب متنبئ جديد أو إعادة تدريبه. على سبيل المثال ، نظرًا لانحراف متوسط ​​مقياس wQL عن القيم الأساسية الأولية ، يمكنك تحديد ما إذا كنت تريد إعادة تدريب متنبئ جديد. إذا قررت إعادة تدريب متنبئ أو إنشاء واحد جديد ، يمكنك البدء في إنشاء نقاط بيانات متوقعة جديدة باستخدام المتنبئ الأكثر دقة.

توفر الرسوم البيانية التالية مثالين على مراقبة التوقع. في الرسم البياني الأول ، يتناقص متوسط ​​مقياس wQL عن خط الأساس (القيمة الأولية عندما تم تدريب المتنبئ) ، مما يشير إلى أن دقة التنبؤ تتزايد بمرور الوقت. يُظهر الرسم البياني انخفاض متوسط ​​wQL من 0.3 إلى 0.15 على مدار أيام قليلة ، مما يعني أن دقة التنبؤ آخذة في الازدياد. في هذه الحالة ، ليست هناك حاجة لإعادة تدريب المتنبئ لأنه ينتج تنبؤات أكثر دقة مما كانت عليه عندما تم تدريبه لأول مرة.

في الشكل التالي ، العكس هو الصحيح: متوسط ​​wQL آخذ في الازدياد ، مما يشير إلى أن الدقة تتناقص بمرور الوقت. في هذه الحالة ، يجب أن تفكر في إعادة تدريب المتنبئ أو إعادة بنائه ببيانات جديدة.

في التوقعات ، لديك خيار إعادة تدريب المتنبئ الحالي أو إعادة بنائه من البداية. إعادة التدريب يتم ذلك بنقرة واحدة ويتضمن المزيد من البيانات المحدثة وأي تحديثات وتحسينات في خوارزميات التنبؤ. اعادة بناء يسمح لك المتنبئ بتوفير مدخلات جديدة (مثل تردد التنبؤ أو الأفق أو البعد الجديد) لإنشاء متنبئ جديد.

تفعيل مراقبة التوقع

يمكنك تمكين مراقبة التوقع عند إنشاء متنبئ جديد ، أو تشغيله للتنبؤات الموجودة. توضح الخطوات الواردة في هذا القسم كيفية تنفيذ هذه الخطوات باستخدام وحدة التحكم في التوقعات. هناك أيضا كوكب المشتري مفكرة يمر عبر سلسلة من الخطوات لتمكين مراقبة التوقع باستخدام واجهات برمجة التطبيقات وإنشاء نتائج مراقبة التوقع.

يستخدم هذا المثال مجموعة بيانات نموذجية مقسمة إلى شرائح زمنية متاحة من مراقبة المتنبئ مفكرة. في مثالنا ، نبدأ بمجموعة بيانات 100,000 صف من سيارات الأجرة في مدينة نيويورك التي تحتوي على طابع زمني ومعرف الموقع والقيمة المستهدفة (عدد عمليات الالتقاط المطلوبة أثناء الطابع الزمني في معرّف الموقع).

أكمل الخطوات التالية:

1. في وحدة تحكم التوقعات ، اختر اعرض مجموعات البيانات في جزء التنقل.
2. اختار إنشاء مجموعة بيانات وتقديم تفاصيل مجموعة البيانات الخاصة بك.
   بعد إنشاء مجموعة البيانات ، ستتم مطالبتك بإنشاء مجموعة بيانات سلسلة زمنية مستهدفة. يمكنك استخدام مجموعة البيانات هذه لتدريب المتنبئ وإنشاء التنبؤات.
3. على إنشاء مجموعة بيانات السلاسل الزمنية المستهدفة الصفحة ، قدم مخطط بياناتك وتكرارها وموقعها.
4. اختار آبدأ لاستيراد مجموعة البيانات المستهدفة الخاصة بك.
   بعد ذلك ، تقوم ببناء المتنبئ الخاص بك وتدريبه باستخدام مجموعة البيانات الأولية الخاصة بك.
5. في جزء التنقل ، اختر تنبؤ.
6. اختار تدريب متنبئ جديد.
   
7. في مجلة إعدادات التوقع ، أدخل اسمًا للتنبؤ الخاص بك ، والمدة التي تريد توقعها في المستقبل وبأي تردد ، وعدد الكميات التي تريد توقعها.
   
8. في حالة مقياس التحسين، يمكنك اختيار مقياس تحسين للتحسين AutoPredictor لضبط نموذج لمقياس دقة محدد من اختيارك. نترك هذا افتراضيًا في الإرشادات التفصيلية.
9. للحصول على تقرير قابلية التوقع للتوضيح ، حدد تمكين إمكانية شرح توقع.
10. لتمكين مراقبة التوقع ، حدد تفعيل مراقبة التوقع.
11. ضمن تكوين بيانات الإدخال ، يمكنك إضافة معلومات الطقس المحلية والأعياد الوطنية للحصول على تنبؤات أكثر دقة للطلب.
12. اختار آبدأ لبدء تدريب المتنبئ الخاص بك.
    
    تقوم التوقعات الآن بتدريب المتنبئ بمجموعة البيانات الأولية هذه. مع تمكين مراقبة التوقع ، في كل مرة يتم فيها توفير بيانات جديدة في مجموعة البيانات هذه ، يكون موقع التنبؤ قادرًا على حساب مقاييس دقة التنبؤ المحدثة.
13. بعد تدريب المتنبئ ، اختره لتقييم مقاييس الدقة الأولية.
    
    • المقاييس تعرض علامة التبويب مقاييس جودة المتنبئ الأولية. نظرًا لأنك لم تنشئ أي تنبؤات من المتنبئ أو استوردت أي بيانات حقيقة أرضية جديدة ، فلا يوجد شيء لعرضه في مراقبة علامة التبويب.
    الخطوة التالية هي إنشاء توقع باستخدام المتنبئ الجديد.
14. اختار توقعات في جزء التنقل.
15. اختار إنشاء توقعات لإنشاء توقع جديد بناءً على بيانات السلاسل الزمنية التي قمت باستيرادها للتو وإعدادات التوقع.
16. أدخل اسم التنبؤ واسم المتنبئ وأي مقاييس كمية إضافية ترغب في حسابها.

بعد إنشاء التنبؤ ، يمكنك عرض وتصدير تفاصيله ونتائجه على تفاصيل التوقعات .

مراقبة التوقع: تقييم الدقة بمرور الوقت

بمرور الوقت ، يتم إنشاء بيانات حقيقة أساسية جديدة من خلال عمليات عملك ، على سبيل المثال ، أرقام المبيعات المحدثة أو مستويات التوظيف أو مخرجات التصنيع. لإنشاء توقعات جديدة بناءً على تلك البيانات الجديدة ، يمكنك استيراد بياناتك إلى مجموعة البيانات التي أنشأتها.

1. في وحدة تحكم Amazon Forecast ، في ملف مجموعات البيانات الصفحة ، اختر مجموعة البيانات الخاصة بك.
   
2. اختر مجموعة البيانات الخاصة بك.
   
3. في مجلة واردات مجموعة البيانات القسم، اختر إنشاء استيراد مجموعة البيانات.
   
4. قدم تفاصيل إضافية حول بياناتك المحدثة ، بما في ذلك موقعها.
   
5. اختار آبدأ.

من خلال مراقبة التوقع ، يقارن التنبؤ هذه البيانات الجديدة بالتنبؤ السابق الذي تم إنشاؤه ، ويحسب مقاييس الدقة للمتنبئ. يتم حساب مقاييس جودة المتنبئ المحدثة على أساس مستمر حيث تتم إضافة بيانات جديدة إلى مجموعة البيانات.

يمكنك اتباع هذه الخطوات لاستيراد بيانات إضافية ، تمثل المعاملات الإضافية التي حدثت عبر الزمن.

تقييم نتائج مراقبة التنبؤ

لمشاهدة نتائج مراقبة التوقع ، يجب عليك إضافة بيانات حقيقة أرضية جديدة بعد إنشاء التنبؤات الأولية. يقارن التنبؤ بيانات الحقيقة الأرضية الجديدة هذه بالتنبؤ السابق ، وينتج قيم دقة نموذج محدثة للمراقبة.

1. على مجموعات البيانات الصفحة ، اختر مجموعات البيانات ذات الصلة وحدد السلاسل الزمنية المستهدفة لتحديثها ببيانات الحقيقة الأساسية الجديدة.
   
2. اختار إنشاء استيراد مجموعة البيانات وأضف بيانات الحقيقة الأساسية الجديدة.
   
   بعد قيامك بتوفير بيانات الحقيقة الأساسية الإضافية ، يمكنك فتح المتنبئ وعرض إحصائيات مراقبة التوقع الأولية.
3. اختر المتنبئ الخاص بك وانتقل إلى مراقبة علامة التبويب.
   

يمكنك اتباع هذه الخطوات لتشغيل تنبؤات إضافية باستخدام هذا التوقع وإضافة المزيد من التكرارات لبيانات الحقيقة الأساسية. تقدم إحصائيات دقة النموذج للمتنبئ الخاص بك متاح في مراقبة علامة التبويب.

يوضح هذا المثال إحصائيات دقة النموذج لمتنبئ تم تقييمه بأربعة تحديثات بيانات إضافية. كان لدى المتنبئ خط الأساس الأولي MAPE 0.55 عندما تم تدريبه في البداية. عندما تم تحميل بيانات إضافية ، انخفض MAPE إلى .42 مع مجموعة البيانات الإضافية الأولى ، مما يشير إلى متنبئ أكثر دقة ، وتقلب في نطاق ضيق من .42 إلى .48 مع مجموعات البيانات اللاحقة.

يمكنك تبديل المخطط لعرض المقاييس الإضافية. في الأمثلة التالية ، يُظهر MASE ومتوسط ​​wQL تقلبات مماثلة من خط الأساس بمرور الوقت.

• سجل المراقبة في الجزء السفلي من الصفحة يقدم تفاصيل كاملة عن جميع مقاييس دقة المتنبئ التي يتم تتبعها بمرور الوقت.

قم بإعداد مراقبة التنبؤ على متنبئ موجود

يمكنك بسهولة تمكين المراقبة للمتنبئين الحاليين. للقيام بذلك ، أكمل الخطوات التالية:

1. في جزء التنقل ، ضمن مجموعة البيانات الخاصة بك ، اختر تنبؤ.
2. من هنا توجد طريقتان لتمكين المراقبة:
   1. اختار ابدأ المراقبة تحت مراقبة العمود.
      
   2. اختر المتنبئ الخاص بك وعلى مراقبة علامة التبويب ، تحت تفاصيل الشاشة، اختر ابدأ المراقبة.
      
3. في مربع الحوار المنبثق ، اختر آبدأ لبدء مراقبة المتنبئ المحدد.
   

• مراقبة تُظهر علامة التبويب الآن أن مراقبة التوقع قد بدأت ، ويتم إنشاء النتائج أثناء استيراد المزيد من البيانات.

أوقف وأعد تشغيل مراقبة التوقع

يمكنك أيضًا إيقاف وإعادة تشغيل مراقبة التوقع. ضع في اعتبارك ما يلي:

• التكلفة - مراقبة التوقع تستهلك موارد إضافية. مع مجموعات البيانات الصغيرة النموذجية ، تكون التكلفة ضئيلة ، ولكنها قد تزيد مع مجموعات البيانات الكبيرة (عدد العناصر في مجموعة بيانات الإدخال ، وأفق التنبؤ).
• سياسة - يتم تخزين نسخة من توقعاتك أثناء المراقبة. إذا كنت لا تريد تخزين هذه النسخة ، يمكنك إيقاف المراقبة.
• ضجيج - إذا كنت تقوم بتجربة أحد المتنبئين ولا تريد رؤية ضوضاء في نتائج شاشة التوقع ، فيمكنك إيقاف مراقبة المتنبئ مؤقتًا وبدء تشغيله مرة أخرى عندما يكون المتنبئ مستقرًا مرة أخرى.

لإيقاف مراقبة التوقع ، أكمل الخطوات التالية:

1. انتقل إلى مراقبة علامة تبويب للتنبؤ حيث يتم تمكين المراقبة.
2. اختار توقف مراقب لإيقاف مراقبة المتنبئ.
   
3. تحقق من اختيارك عندما يُطلب منك ذلك.
   

تظهر رسالة في الصفحة التالية للإشارة إلى توقف مراقبة المتنبئ.

يمكنك إعادة تشغيل مراقبة التوقع باختيار استئناف رصد.

وفي الختام

تعد مراقبة جودة المتنبئين بمرور الوقت أمرًا مهمًا لتحقيق أهداف تخطيط الطلب والتنبؤ ، وفي النهاية أهداف عملك. ومع ذلك ، يمكن أن تكون مراقبة التنبؤ عملية تستغرق وقتًا طويلاً ، ويمكن أن تؤدي العمليات المطلوبة للوقوف والحفاظ على تدفقات العمل الضرورية إلى ارتفاع تكاليف التشغيل.

يمكن لتطبيق "التنبؤات" الآن تتبع جودة المتنبئين تلقائيًا ، مما يسمح لك بتقليل الجهود التشغيلية ، مع مساعدتك في اتخاذ قرارات أكثر استنارة حول الاحتفاظ بالمتنبئين أو إعادة تدريبهم أو إعادة بنائهم. لتمكين مراقبة المتنبئ ، يمكنك اتباع الخطوات الموضحة في هذا المنشور ، أو اتباع دفتر ملاحظات GitHub الخاص بنا.

يرجى ملاحظة أن مراقبة التوقع متاحة فقط مع AutoPredictor. لمزيد من المعلومات ، يرجى الرجوع إلى واجهة برمجة تطبيقات Amazon Forecast الجديدة التي تنشئ تنبؤات أكثر دقة بنسبة تصل إلى 40٪ وتوفر إمكانية الشرح و إنشاء توقع تلقائي.

لمعرفة المزيد ، يرجى الرجوع إلى مراقبة التوقع. نوصي أيضًا بمراجعة التسعير لاستخدام هذه الميزات الجديدة. تتوفر كل هذه الإمكانات الجديدة في جميع المناطق التي تتوفر فيها التوقعات للجمهور. لمزيد من المعلومات حول توفر المنطقة ، راجع خدمات AWS الإقليمية.

---

حول المؤلف

دان سنريتش هو مدير المنتج الأول في Amazon Forecast. إنه يركز على إضفاء الطابع الديمقراطي على الكود المنخفض / التعلم الآلي بدون رمز وتطبيقه لتحسين نتائج الأعمال. خارج العمل ، يمكن العثور عليه وهو يلعب الهوكي ، ويحاول تحسين إرساله في التنس ، ويقرأ الخيال العلمي.

 أدارش سينغ يعمل كمهندس تطوير برمجيات في فريق Amazon Forecast. في منصبه الحالي ، يركز على المشكلات الهندسية وبناء أنظمة موزعة قابلة للتطوير توفر أكبر قيمة للمستخدمين النهائيين. في أوقات فراغه ، يستمتع بمشاهدة الرسوم المتحركة ولعب ألعاب الفيديو.

شانون كيلنجسورث هو مصمم UX لـ Amazon Forecast. يتمثل عمله الحالي في إنشاء تجارب وحدة تحكم يمكن لأي شخص استخدامها ، ودمج ميزات جديدة في تجربة وحدة التحكم. في أوقات فراغه ، فهو متحمس للياقة البدنية والسيارات.

• كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
• كريبتوهوك. الرادار. تجربة مجانية.
• المصدر: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/