Supervise continuamente la precisión del predictor con Amazon Forecast

Nos complace anunciar que ahora puede monitorear automáticamente la precisión de su Pronóstico del Amazonas predictores a lo largo del tiempo. A medida que se proporcionan nuevos datos, Forecast calcula automáticamente las métricas de precisión del predictor en el nuevo conjunto de datos, brindándole más información para decidir si sigue usando, reentrenando o creando nuevos predictores.

Supervisar la calidad del predictor e identificar el deterioro de la precisión a lo largo del tiempo es importante para lograr los objetivos comerciales. Sin embargo, los procesos necesarios para monitorear continuamente las métricas de precisión del predictor pueden llevar mucho tiempo para configurar y ser difíciles de administrar: se deben evaluar los pronósticos y se deben calcular las métricas de precisión actualizadas. Además, las métricas deben almacenarse y graficarse para comprender las tendencias y tomar decisiones sobre el mantenimiento, el reentrenamiento o la recreación de predictores. Estos procesos pueden resultar en costosas cargas de desarrollo y mantenimiento, y generar una tensión operativa significativa en los equipos de análisis y ciencia de datos. Y para los clientes que no están dispuestos a asumir este proceso que requiere mucho tiempo (preferirían volver a entrenar nuevos predictores incluso cuando no los necesiten), esto desperdicia tiempo y computación.

Con el lanzamiento de hoy, Forecast ahora realiza un seguimiento automático de la precisión del predictor a lo largo del tiempo a medida que se importan nuevos datos. Ahora puede cuantificar la desviación de su predictor de las métricas de calidad inicial y evaluar sistemáticamente la calidad del modelo mediante la visualización de tendencias, y tomar decisiones más informadas sobre el mantenimiento, el reentrenamiento o la reconstrucción de sus modelos a medida que ingresan nuevos datos. El monitoreo del predictor se puede habilitar para nuevos predictores al inicio , o activado para los modelos existentes. Puede habilitar esta función con un clic en el Consola de administración de AWS o utilizando API de previsión.

Precisión del predictor a lo largo del tiempo

Un predictor es un modelo de aprendizaje automático creado en un momento dado, utilizando un conjunto original de datos de entrenamiento. Una vez que se crea un predictor, se usa de forma continua durante días, semanas o meses en el futuro para generar pronósticos de series temporales con nuevos datos reales generados a través de transacciones reales. A medida que se importan nuevos datos, el predictor genera nuevos puntos de datos pronosticados en función de los últimos datos que se le proporcionaron.

Cuando se crea un predictor por primera vez, Forecast produce métricas de precisión, como la pérdida cuantil ponderada (wQL), el error porcentual absoluto medio (MAPE) o el error cuadrático medio (RMSE) para cuantificar la precisión del predictor. Estas métricas de precisión se utilizan para determinar si un predictor se pondrá en producción. Sin embargo, el rendimiento de un predictor fluctuará con el tiempo. Los factores externos, como los cambios en el entorno económico o en el comportamiento del consumidor, pueden cambiar los factores fundamentales que subyacen a un predictor. Otros factores incluyen nuevos productos, artículos y servicios que pueden crearse; cambios en el entorno financiero o económico; o cambios en la distribución de datos.

Por ejemplo, considere un predictor entrenado cuando cierto color de un producto fue popular. Meses después, pueden aparecer nuevos colores o volverse más populares y cambiar la distribución de valores. O se produce un cambio en el entorno empresarial que modifica los patrones de compra de larga data (por ejemplo, de productos de alto margen a productos de bajo margen). A fin de cuentas, es posible que sea necesario volver a entrenar el predictor o que se deba crear un nuevo predictor para garantizar que se sigan realizando predicciones de alta precisión.

Supervisión automática de predictores

El monitoreo del predictor está diseñado para analizar automáticamente el rendimiento de su predictor a medida que se dispone de nuevos datos de series de tiempo reales y se utilizan para crear nuevos pronósticos. Esta supervisión le proporciona información continua sobre el rendimiento del modelo y le ahorra tiempo para que no tenga que configurar el proceso usted mismo.

Si el monitoreo de predictores está habilitado en Pronóstico, cada vez que importa nuevos datos y produce un nuevo pronóstico, las estadísticas de rendimiento se actualizan automáticamente. Hasta ahora, estas estadísticas de rendimiento solo estaban disponibles cuando el predictor se entrenaba inicialmente; ahora, estas estadísticas se producen de manera continua utilizando nuevos datos reales y se pueden monitorear activamente para medir el rendimiento del predictor.

Esto le permite usar las estadísticas de rendimiento del predictor para decidir cuándo entrenar o volver a entrenar un nuevo predictor. Por ejemplo, a medida que la métrica de wQL promedio se desvía de los valores de referencia iniciales, puede determinar si debe volver a entrenar un nuevo predictor. Si decide volver a entrenar un predictor o crear uno nuevo, puede comenzar a generar nuevos puntos de datos pronosticados utilizando el predictor más preciso.

Los siguientes gráficos proporcionan dos ejemplos de supervisión de predictores. En el primer gráfico, la métrica wQL promedio está disminuyendo desde la línea de base (el valor inicial cuando se entrenó el predictor), lo que indica que la precisión del pronóstico aumenta con el tiempo. El gráfico muestra que el wQL promedio cae de 0.3 a 0.15 en el transcurso de unos días, lo que significa que la precisión del pronóstico está aumentando. En este caso, no es necesario volver a entrenar el predictor porque produce pronósticos más precisos que cuando se entrenó por primera vez.

En la siguiente figura, ocurre lo contrario: el wQL promedio aumenta, lo que indica que la precisión disminuye con el tiempo. En este caso, debe considerar volver a entrenar o reconstruir el predictor con nuevos datos.

En Pronóstico, tiene la opción de volver a entrenar el predictor actual o reconstruirlo desde cero. Reentrenamiento se hace con un clic e incorpora más datos actualizados y cualquier actualización y mejora en los algoritmos de Pronóstico. Reconstrucción el predictor le permite proporcionar nuevas entradas (como frecuencia de pronóstico, horizonte o nueva dimensión) para crear un nuevo predictor.

Habilitar monitoreo predictor

Puede habilitar el monitoreo de predictores al crear un nuevo predictor o activarlo para los predictores existentes. Los pasos de esta sección demuestran cómo realizar estos pasos usando la consola de Pronóstico. También hay un Jupyter cuaderno que recorre una secuencia de pasos para habilitar el monitoreo de predictores mediante API y generar resultados de monitoreo de predictores.

Este ejemplo utiliza el conjunto de datos de muestra dividido en el tiempo disponible desde el monitoreo predictor cuaderno. En nuestro ejemplo, comenzamos con un conjunto de datos de 100,000 XNUMX filas de recolecciones de taxis en la ciudad de Nueva York que contienen una marca de tiempo, una identificación de ubicación y un valor objetivo (la cantidad de recolecciones solicitadas durante la marca de tiempo en la identificación de ubicación).

Complete los siguientes pasos:

1. En la consola de Previsión, elija Ver grupos de conjuntos de datos en el panel de navegación.
2. Elige Crear grupo de conjunto de datos y proporcione los detalles de su grupo de conjuntos de datos.
   Después de crear el grupo de conjuntos de datos, se le solicitará que cree un conjunto de datos de serie temporal de destino. Utilice este conjunto de datos para entrenar al predictor y crear pronósticos.
3. En Crear un conjunto de datos de serie temporal de destino página, proporcione el esquema, la frecuencia y la ubicación de sus datos.
4. Elige Inicio para importar su conjunto de datos de destino.
   A continuación, crea su predictor y lo entrena utilizando su conjunto de datos inicial.
5. En el panel de navegación, elija Predictores.
6. Elige Entrenar nuevo predictor.
   
7. En Configuración del predictor sección, ingrese un nombre para su predictor, cuánto tiempo en el futuro desea pronosticar y con qué frecuencia, y la cantidad de cuantiles para los que desea pronosticar.
   
8. Métrica de optimización, puede elegir una métrica de optimización para optimizar AutoPredictor para ajustar un modelo para una métrica de precisión específica de su elección. Dejamos esto como predeterminado para nuestro tutorial.
9. Para obtener el informe de explicabilidad del predictor, seleccione Habilitar la explicabilidad del predictor.
10. Para habilitar la supervisión del predictor, seleccione Habilitar monitoreo predictor.
11. En la configuración de datos de entrada, puede agregar información meteorológica local y días festivos nacionales para obtener pronósticos de demanda más precisos.
12. Elige Inicio para comenzar a entrenar a su predictor.
    
    Forecast ahora entrena al predictor con este conjunto de datos inicial. Con el monitoreo del predictor habilitado, cada vez que se proporcionan datos nuevos en este grupo de conjuntos de datos, Forecast puede calcular métricas de precisión del predictor actualizadas.
13. Una vez que se haya entrenado el predictor, selecciónelo para evaluar las métricas de precisión iniciales.
    
    La Métrica La pestaña muestra las métricas de calidad del predictor inicial. Debido a que no ha generado ningún pronóstico a partir de su predictor ni ha importado ningún dato real nuevo, no hay nada que mostrar en el Monitoreo .
    El siguiente paso es generar un pronóstico usando el nuevo predictor.
14. Elige Previsiones en el panel de navegación.
15. Elige Crear pronóstico para crear un nuevo pronóstico basado en los datos de la serie temporal que acaba de importar y la configuración del predictor.
16. Proporcione el nombre del pronóstico, el nombre del predictor y cualquier métrica de cuantil adicional que desee calcular.

Después de crear el pronóstico, puede ver y exportar sus detalles y resultados en la Detalles de la previsión .

Supervisión de predictores: evaluación de la precisión a lo largo del tiempo

Con el paso del tiempo, sus procesos comerciales crean nuevos datos reales, por ejemplo, cifras de ventas actualizadas, niveles de personal o producción de fabricación. Para crear nuevos pronósticos basados ​​en esos nuevos datos, puede importar sus datos al conjunto de datos que creó.

1. En la consola de Amazon Forecast, en la Grupos de conjuntos de datos página, elija su grupo de conjunto de datos.
   
2. Elija su conjunto de datos.
   
3. En Importaciones de conjuntos de datos sección, elija Crear importación de conjunto de datos.
   
4. Proporcione detalles adicionales sobre sus datos actualizados, incluida su ubicación.
   
5. Elige Inicio.

Con el monitoreo del predictor, Forecast compara estos nuevos datos con el pronóstico anterior generado y calcula métricas de precisión para el predictor. Las métricas de calidad del predictor actualizadas se calculan de forma continua a medida que se agregan nuevos datos al conjunto de datos.

Puede seguir estos pasos para importar datos adicionales, que representan transacciones adicionales que han ocurrido a lo largo del tiempo.

Evaluar los resultados de monitoreo predictor

Para ver los resultados del monitoreo del predictor, debe agregar nuevos datos reales después de generar los pronósticos iniciales. Forecast compara estos nuevos datos reales con el pronóstico anterior y produce valores de precisión del modelo actualizados para el monitoreo.

1. En Grupos de conjuntos de datos en la página, elija los grupos de conjuntos de datos relevantes y seleccione la serie de tiempo objetivo para actualizarla con nuevos datos reales.
   
2. Elige Crear importación de conjunto de datos y agregue sus nuevos datos reales del terreno.
   
   Después de proporcionar los datos reales de campo adicionales, puede abrir su predictor y ver las estadísticas iniciales de monitoreo del predictor.
3. Elija su predictor y navegue hasta el Monitoreo .
   

Puede seguir estos pasos para ejecutar pronósticos adicionales usando este predictor y agregar más iteraciones de datos reales. La progresión de las estadísticas de precisión del modelo para su predictor están disponibles en el Monitoreo .

Este ejemplo muestra las estadísticas de precisión del modelo para un predictor que se evaluó con cuatro actualizaciones de datos adicionales. El predictor tenía un MAPE de referencia inicial de 0.55 cuando se entrenó inicialmente. A medida que se cargaron datos adicionales, el MAPE cayó a 42 con el primer conjunto de datos adicional, lo que indica un predictor más preciso, y fluctuó dentro de un rango estrecho de 42 a 48 con los conjuntos de datos posteriores.

Puede alternar el gráfico para ver métricas adicionales. En los siguientes ejemplos, MASE y wQL promedio muestran fluctuaciones similares desde la línea de base a lo largo del tiempo.

La Historial de monitoreo La sección en la parte inferior de la página proporciona detalles completos sobre todas las métricas de precisión del predictor rastreadas a lo largo del tiempo.

Configurar el monitoreo de predicciones en un predictor existente

Puede habilitar fácilmente la supervisión de los predictores existentes. Para hacerlo, complete los siguientes pasos:

1. En el panel de navegación, debajo de su conjunto de datos, elija Predictores.
2. Desde aquí hay dos formas de habilitar el monitoreo:
   1. Elige Comience a monitorear bajo el Monitoreo columna.
      
   2. Elija su predictor y en el Monitoreo pestaña, debajo Supervisar detalles, escoger monitor de inicio.
      
3. En el cuadro de diálogo emergente, elija Inicio para comenzar a monitorear el predictor seleccionado.
   

La Monitoreo La pestaña ahora muestra que el monitoreo del predictor ha comenzado y los resultados se generan a medida que importa más datos.

Detener y reiniciar la supervisión del predictor

También puede detener y reiniciar la supervisión de predictores. Considera lo siguiente:

• Cost – La supervisión del predictor consume recursos adicionales. Con conjuntos de datos pequeños típicos, el costo es mínimo, pero puede aumentar con conjuntos de datos grandes (cantidad de elementos en el conjunto de datos de entrada y horizonte de pronóstico).
• Privacidad – Se almacena una copia de su pronóstico durante el monitoreo. Si no desea almacenar esta copia, puede dejar de monitorear.
• ruido – Si está experimentando con un predictor y no desea ver ruido en los resultados del monitor de predictor, puede detener temporalmente el monitoreo del predictor y comenzarlo de nuevo cuando su predictor se estabilice nuevamente.

Para detener la supervisión del predictor, complete los siguientes pasos:

1. Navegue hasta la Monitoreo pestaña para un predictor donde el monitoreo está habilitado.
2. Elige Detener supervisión para detener la supervisión del predictor.
   
3. Verifique su elección cuando se le solicite.
   

Aparece un mensaje en la página siguiente para indicar que se detuvo la supervisión del predictor.

Puede reiniciar la supervisión del predictor eligiendo monitor de reanudar.

Conclusión

Supervisar la calidad de sus predictores a lo largo del tiempo es importante para lograr sus objetivos de planificación y previsión de la demanda y, en última instancia, sus objetivos comerciales. Sin embargo, el monitoreo de predictores puede ser un ejercicio que requiere mucho tiempo, y los procesos necesarios para hacer frente y mantener los flujos de trabajo necesarios pueden generar costos operativos más altos.

Forecast ahora puede realizar un seguimiento automático de la calidad de sus predictores, lo que le permite reducir los esfuerzos operativos y, al mismo tiempo, ayudarlo a tomar decisiones más informadas sobre cómo mantener, volver a capacitar o reconstruir sus predictores. Para habilitar el monitoreo de predictores, puede seguir los pasos descritos en esta publicación o seguir nuestro cuaderno de GitHub.

Tenga en cuenta que la supervisión del predictor solo está disponible con AutoPredictor. Para obtener más información, consulte Nueva API de pronóstico de Amazon que crea pronósticos hasta un 40 % más precisos y brinda explicación y CrearPredictor automático.

Para obtener más información, consulte Monitoreo de predictores. También recomendamos revisar la cotización  por utilizar estas nuevas funciones. Todas estas nuevas capacidades están disponibles en todas las Regiones donde Forecast está disponible públicamente. Para obtener más información sobre la disponibilidad de regiones, consulte Servicios regionales de AWS.

---

Acerca de los autores

dan sinnreich es gerente de producto sénior de Amazon Forecast. Se centra en democratizar el aprendizaje automático con código bajo/sin código y aplicarlo para mejorar los resultados comerciales. Fuera del trabajo, se le puede encontrar jugando hockey, tratando de mejorar su servicio de tenis y leyendo ciencia ficción.

 Adarsh ​​Singh trabaja como Ingeniero de Desarrollo de Software en el equipo de Amazon Forecast. En su función actual, se enfoca en problemas de ingeniería y en la creación de sistemas distribuidos escalables que brindan el máximo valor a los usuarios finales. En su tiempo libre, le gusta ver anime y jugar videojuegos.

Shannon Killingsworth es un diseñador de UX para Amazon Forecast. Su trabajo actual es crear experiencias de consola que cualquiera puede usar e integrar nuevas funciones en la experiencia de la consola. En su tiempo libre, es un entusiasta del fitness y del automóvil.

• Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
• CriptoHawk. Radar de altcoins. Prueba gratis.
• Fuente: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/