Extraiga conocimientos de SAP ERP con soluciones de aprendizaje automático sin código con Amazon AppFlow y Amazon SageMaker Canvas

Los clientes de sectores como los bienes de consumo envasados, la fabricación y el comercio minorista siempre buscan formas de potenciar sus procesos operativos enriqueciéndolos con conocimientos y análisis generados a partir de datos. Tareas como la previsión de ventas afectan directamente a operaciones como la planificación de materias primas, el aprovisionamiento, la fabricación, la distribución y la logística de entrada/salida, y pueden tener muchos niveles de impacto, desde un solo almacén hasta instalaciones de producción a gran escala.

Los representantes y gerentes de ventas usan datos históricos de ventas para hacer predicciones informadas sobre futuras tendencias de ventas. Los clientes utilizan SAP ERP Central Component (ECC) para gestionar la planificación de la fabricación, venta y distribución de mercancías. El módulo de ventas y distribución (SD) dentro de SAP ECC ayuda a administrar los pedidos de ventas. Los sistemas SAP son la fuente principal de datos históricos de ventas.

Los representantes y gerentes de ventas tienen el conocimiento del dominio y una comprensión profunda de sus datos de ventas. Sin embargo, carecen de ciencia de datos y habilidades de programación para crear modelos de aprendizaje automático (ML) que puedan generar pronósticos de ventas. Buscan herramientas intuitivas y fáciles de usar para crear modelos ML sin escribir una sola línea de código.

Para ayudar a las organizaciones a lograr la agilidad y la eficacia que buscan los analistas de negocios, Introducido Lienzo de Amazon SageMaker, una solución de aprendizaje automático sin código que lo ayuda a acelerar la entrega de soluciones de aprendizaje automático en horas o días. Canvas permite a los analistas utilizar fácilmente los datos disponibles en lagos de datos, almacenes de datos y almacenes de datos operativos; construir modelos ML; y utilícelos para hacer predicciones de forma interactiva y para la puntuación por lotes en conjuntos de datos masivos, todo sin escribir una sola línea de código.

En esta publicación, mostramos cómo traer datos de pedidos de ventas de SAP ECC para generar pronósticos de ventas utilizando un modelo ML creado con Canvas.

Resumen de la solución

Para generar pronósticos de ventas utilizando los datos de ventas de SAP, necesitamos la colaboración de dos personas: ingenieros de datos y analistas comerciales (representantes de ventas y gerentes). Los ingenieros de datos son responsables de configurar la exportación de datos desde el sistema SAP para Servicio de almacenamiento simple de Amazon (Amazon S3) usando Flujo de aplicaciones de Amazon, que los analistas comerciales pueden ejecutar a pedido o automáticamente (basado en el cronograma) para actualizar los datos de SAP en el depósito S3. Luego, los analistas comerciales son responsables de generar pronósticos con los datos exportados utilizando Canvas. El siguiente diagrama ilustra este flujo de trabajo.

Para esta publicación, usamos SAP Modelo de adquisición empresarial de NetWeaver (EPM) para los datos de muestra. EPM se utiliza generalmente con fines de demostración y prueba en SAP. Utiliza un modelo de proceso comercial común y sigue el paradigma de objeto comercial (BO) para admitir una lógica comercial bien definida. Usamos la transacción de SAP SEPM_DG (generador de datos) para generar alrededor de 80,000 XNUMX pedidos de ventas históricos y creamos una vista de CDS de HANA para agregar los datos por ID de producto, fecha de venta y ciudad, como se muestra en el siguiente código:

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

En la siguiente sección, exponemos esta vista utilizando los servicios de SAP OData como estructura ABAP, lo que nos permite extraer los datos con Amazon AppFlow.

La siguiente tabla muestra los datos de ventas históricos representativos de SAP, que usamos en esta publicación.

El archivo de datos son datos históricos de frecuencia diaria. Tiene cuatro columnas (productid, saledate, cityy totalsales). Usamos Canvas para construir un modelo ML que se usa para pronosticar totalsales para productid en una ciudad en particular.

Esta publicación se ha organizado para mostrar las actividades y responsabilidades de los ingenieros de datos y los analistas comerciales para generar pronósticos de ventas de productos.

Ingeniero de datos: extraiga, transforme y cargue el conjunto de datos de SAP a Amazon S3 con Amazon AppFlow

La primera tarea que realiza como ingeniero de datos es ejecutar un trabajo de extracción, transformación y carga (ETL) en datos de ventas históricos de SAP ECC a un depósito S3, que el analista de negocios usa como conjunto de datos de origen para su modelo de pronóstico. Para esto, usamos Amazon AppFlow, porque proporciona una solución lista para usar Conector SAP OData para ETL (como se muestra en el siguiente diagrama), con una interfaz de usuario simple para configurar todo lo necesario para configurar la conexión de SAP ECC al depósito S3.

Requisitos previos

Los siguientes son requisitos para integrar Amazon AppFlow con SAP:

• SAP NetWeaver Stack versión 7.40 SP02 o superior
• Servicio de catálogo (OData v2.0/v2.0) habilitado en SAP Gateway para el descubrimiento de servicios
• Compatibilidad con opciones de consulta y paginación del lado del cliente para el servicio SAP OData
• Conexión habilitada HTTPS a SAP

Autenticación

Amazon AppFlow admite dos mecanismos de autenticación para conectarse a SAP:

• Basic – Se autentica utilizando el nombre de usuario y la contraseña de SAP OData.
• OAuth 2.0 – Utiliza la configuración de OAuth 2.0 con un proveedor de identidad. OAuth 2.0 debe estar habilitado para los servicios OData v2.0/v2.0.

Conexión

Amazon AppFlow puede conectarse a SAP ECC mediante una interfaz pública de SAP OData o una conexión privada. Una conexión privada mejora la privacidad y la seguridad de los datos mediante la transferencia de datos a través de la red privada de AWS en lugar de la Internet pública. Una conexión privada utiliza el servicio de punto final de la VPC para la instancia de SAP OData que se ejecuta en una VPC. El servicio de punto de enlace de la VPC debe tener la entidad principal de servicio de Amazon AppFlow appflow.amazonaws.com como principal permitido y debe estar disponible en al menos más del 50 % de las zonas de disponibilidad en una región de AWS.

Configurar un flujo en Amazon AppFlow

Configuramos un nuevo flujo en Amazon AppFlow para ejecutar un trabajo ETL en datos de SAP a un depósito S3. Este flujo permite la configuración de SAP OData Connector como origen, el depósito S3 como destino, la selección de objetos OData, el mapeo de datos, la validación de datos y el filtrado de datos.

1. Configure SAP OData Connector como origen de datos proporcionando la siguiente información:
   1. URL del host de la aplicación
   2. Ruta del servicio de aplicación (ruta del catálogo)
   3. Número de puerto
   4. Numero de cliente
   5. Idioma de inicio de sesión
   6. Tipo de conexión (enlace privado o público)
   7. Modo de autenticación
   8. Nombre de conexión para la configuración
      
2. Después de configurar el origen, elija el objeto y el subobjeto de OData para los pedidos de venta.
   Generalmente, los datos de ventas de SAP se exportan con cierta frecuencia, como mensual o trimestralmente para el tamaño completo. Para esta publicación, elija la opción de subobjeto para la exportación a tamaño completo.
   
3. Elija el depósito S3 como destino.
   El flujo exporta datos a este depósito.
   
4. Preferencia de formato de datos, seleccione Formato CSV.
5. Preferencia de transferencia de datos, seleccione Agregar todos los registros.
6. Preferencia de nombre de archivo, seleccione Agregar una marca de tiempo al nombre del archivo.
7. Preferencia de estructura de carpetas, seleccione Sin carpeta con marca de tiempo.
   La configuración de agregación de registros exporta los datos de ventas de tamaño completo de SAP combinados en un solo archivo. El nombre del archivo termina con una marca de tiempo en el formato AAAA-MM-DDTHH:mm:ss en una sola carpeta (nombre de flujo) dentro del depósito S3. Canvas importa datos de este único archivo para el entrenamiento y pronóstico del modelo.
   
8. Configure la asignación y las validaciones de datos para asignar los campos de datos de origen a los campos de datos de destino y habilite las reglas de validación de datos según sea necesario.
   
9. También configura las condiciones de filtrado de datos para filtrar registros específicos si sus requisitos lo exigen.
   
10. Configure su disparador de flujo para decidir si el flujo se ejecuta manualmente bajo demanda o automáticamente según un cronograma.
    Cuando se configura para un cronograma, la frecuencia se basa en la frecuencia con la que se debe generar el pronóstico (generalmente mensual, trimestral o semestral).
    Una vez que se configura el flujo, los analistas comerciales pueden ejecutarlo a pedido o según el cronograma para realizar un trabajo ETL en los datos del pedido de ventas de SAP a un depósito S3.
11. Además de la configuración de Amazon AppFlow, los ingenieros de datos también deben configurar un Gestión de identidades y accesos de AWS (IAM) para Canvas para que pueda acceder a otros servicios de AWS. Para obtener instrucciones, consulte Otorgue a sus usuarios permisos para realizar pronósticos de series temporales.

Analista comercial: use los datos históricos de ventas para entrenar un modelo de pronóstico

Cambiemos de marcha y pasemos al lado del analista de negocios. Como analista de negocios, estamos buscando un servicio visual de apuntar y hacer clic que facilite la creación de modelos ML y genere predicciones precisas sin escribir una sola línea de código o tener experiencia en ML. Canvas cumple con los requisitos como solución de aprendizaje automático sin código.

Primero, asegúrese de que su rol de IAM esté configurado de tal manera que Canvas pueda acceder a otros servicios de AWS. Para obtener más información, consulte Otorgue a sus usuarios permisos para realizar pronósticos de series temporales, o puede pedir ayuda a su equipo de ingeniería de la nube.

Cuando el ingeniero de datos termina de configurar la configuración ETL basada en Amazon AppFlow, los datos históricos de ventas están disponibles para usted en un depósito S3.

¡Ya está listo para entrenar a un modelo con Canvas! Por lo general, esto implica cuatro pasos: importar datos al servicio, configurar el entrenamiento del modelo seleccionando el tipo de modelo apropiado, entrenar el modelo y, finalmente, generar pronósticos usando el modelo.

Importar datos en Canvas

Primero, inicie la aplicación Canvas desde el Amazon SageMaker consola o desde su acceso de inicio de sesión único. Si no sabe cómo hacerlo, comuníquese con su administrador para que pueda guiarlo a través del proceso de configuración de Canvas. Asegúrese de acceder al servicio en la misma región que el depósito de S3 que contiene el conjunto de datos históricos de SAP. Debería ver una pantalla como la siguiente.

Luego complete los siguientes pasos:

1. En Canvas, elija Conjuntos de datos en el panel de navegación.
2. Elige Importa para comenzar a importar datos desde el depósito S3.
   
3. En la pantalla de importación, elija el archivo de datos u objeto del depósito S3 para importar los datos de entrenamiento.
   

Puede importar varios conjuntos de datos en Canvas. También admite la creación de uniones entre los conjuntos de datos eligiendo unir datos, que es especialmente útil cuando los datos de entrenamiento se distribuyen en varios archivos.

Configurar y entrenar el modelo

Después de importar los datos, complete los siguientes pasos:

1. Elige fexibles en el panel de navegación.
2. Elige Nuevo modelo para iniciar la configuración para entrenar el modelo de pronóstico.
   
3. Para el nuevo modelo, asígnele un nombre adecuado, como product_sales_forecast_model.
4. Seleccione el conjunto de datos de ventas y elija Seleccionar conjunto de datos.
   
   Después de seleccionar el conjunto de datos, puede ver estadísticas de datos y configurar el entrenamiento del modelo en la pestaña Generar.
   
5. Seleccione ventas totales como la columna de destino para la predicción.
   Usted puede ver Pronóstico de series de tiempo se selecciona automáticamente como tipo de modelo.
6. Elige Configurar.
   
7. En Configuración de previsión de series temporales sección, elija identificación de producto para Columna de ID de artículo.
8. Elige ciudad para columna de grupo.
9. Elige fecha de venta para Columna de marca de tiempo.
10. Días, introduzca 120.
11. Elige Guardar.
    Esto configura el modelo para hacer pronósticos para totalsales durante 120 días utilizando saledate basado en datos históricos, que se pueden consultar para productid y city.
    
12. Cuando la configuración de entrenamiento del modelo esté completa, elija Construcción estándar para iniciar el entrenamiento del modelo.

El Modelo de vista previa La opción no está disponible para el tipo de modelo de pronóstico de serie temporal. Puede revisar el tiempo estimado para el entrenamiento del modelo en la Analizar .

El entrenamiento del modelo puede tardar de 1 a 4 horas en completarse, según el tamaño de los datos. Cuando el modelo esté listo, puede usarlo para generar el pronóstico.

Generar un pronóstico

Cuando se completa el entrenamiento del modelo, muestra la precisión de predicción del modelo en el Analizar pestaña. Por ejemplo, en este ejemplo, muestra una precisión de predicción del 92.87 %.

El pronóstico se genera en el Predicción pestaña. Puede generar pronósticos para todos los artículos o para un solo artículo seleccionado. También muestra el intervalo de fechas para el que se puede generar el pronóstico.

Como ejemplo, elija el El solo artículo opción. Seleccionar P-2 para Asunto y Quito para Grupo procesos para generar una predicción para el producto P-2 para la ciudad de Quito para el intervalo de fechas 2017-08-15 00:00:00 hasta 2017-12-13 00:00:00.

El pronóstico generado muestra el pronóstico promedio, así como el límite superior e inferior del pronóstico. Los límites del pronóstico ayudan a configurar un enfoque agresivo o equilibrado para el manejo del pronóstico.

También puede descargar el pronóstico generado como archivo CSV o imagen. El archivo CSV de pronóstico generado generalmente se usa para trabajar sin conexión con los datos de pronóstico.

Ahora se genera el pronóstico para los datos de la serie temporal. Cuando una nueva línea base de datos esté disponible para el pronóstico, puede cambiar el conjunto de datos en Canvas para volver a entrenar el modelo de pronóstico usando la nueva línea base.

Puede volver a entrenar el modelo varias veces cuando cambien los datos de entrenamiento.

Conclusión

En esta publicación, aprendió cómo Amazon AppFlow SAP OData Connector exporta datos de pedidos de ventas del sistema SAP a un depósito S3 y luego cómo usar Canvas para crear un modelo para la previsión.

Puede usar Canvas para cualquier escenario de datos de series temporales de SAP, como la predicción de gastos o ingresos. Todo el proceso de generación de pronósticos está impulsado por la configuración. Los gerentes y representantes de ventas pueden generar pronósticos de ventas repetidamente por mes o por trimestre con un conjunto de datos actualizado de una manera rápida, sencilla e intuitiva sin escribir una sola línea de código. Esto ayuda a mejorar la productividad y permite una planificación y decisiones rápidas.

Para comenzar, obtenga más información sobre Canvas y Amazon AppFlow utilizando los siguientes recursos:

• Guía para desarrolladores de Amazon SageMaker Canvas
• Anuncio de Amazon SageMaker Canvas: una capacidad de aprendizaje automático visual y sin código para analistas de negocios
• Extraiga datos de SAP ERP y BW con Amazon AppFlow
• Configuración del conector SAP OData

Acerca de los autores

brajendra singh es arquitecto de soluciones en Amazon Web Services que trabaja con clientes empresariales. Tiene una sólida experiencia como desarrollador y es un gran entusiasta de las soluciones de datos y aprendizaje automático.

david gallitelli es Arquitecto de Soluciones Especializado en IA/ML en la región EMEA. Tiene su sede en Bruselas y trabaja en estrecha colaboración con los clientes en todo el Benelux. Ha sido desarrollador desde que era muy joven, comenzó a programar a la edad de 7 años. Comenzó a aprender AI/ML en la universidad y se enamoró de él desde entonces.

• Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
• CriptoHawk. Radar de altcoins. Prueba gratis.
• Fuente: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- lienzo/