Uddrag indsigt fra SAP ERP med kodefri ML-løsninger med Amazon AppFlow og Amazon SageMaker Canvas

Kunder i industrier som forbrugsvarer, fremstilling og detailhandel leder altid efter måder at styrke deres operationelle processer ved at berige dem med indsigt og analyser genereret fra data. Opgaver som salgsprognose påvirker direkte operationer såsom råvareplanlægning, indkøb, fremstilling, distribution og indgående/udgående logistik, og det kan have mange niveauer af indflydelse, fra et enkelt lager hele vejen til store produktionsfaciliteter.

Salgsrepræsentanter og ledere bruger historiske salgsdata til at lave informerede forudsigelser om fremtidige salgstendenser. Kunder bruger SAP ERP Central Component (ECC) til at styre planlægning for fremstilling, salg og distribution af varer. Salgs- og distributionsmodulet (SD) i SAP ECC hjælper med at administrere salgsordrer. SAP-systemer er den primære kilde til historiske salgsdata.

Salgsrepræsentanter og ledere har domæneviden og en dybdegående forståelse af deres salgsdata. Men de mangler datavidenskab og programmeringsfærdigheder til at skabe maskinlæringsmodeller (ML), der kan generere salgsprognoser. De søger intuitive, brugervenlige værktøjer til at skabe ML-modeller uden at skrive en enkelt linje kode.

For at hjælpe organisationer med at opnå den smidighed og effektivitet, som forretningsanalytikere søger, har vi introduceret Amazon SageMaker lærred, en kodefri ML-løsning, der hjælper dig med at accelerere leveringen af ​​ML-løsninger ned til timer eller dage. Canvas gør det nemt for analytikere at bruge tilgængelige data i datasøer, datavarehuse og operationelle datalagre; bygge ML-modeller; og brug dem til at lave forudsigelser interaktivt og til batch-scoring på massedatasæt – alt sammen uden at skrive en enkelt kodelinje.

I dette indlæg viser vi, hvordan man bringer salgsordredata fra SAP ECC til at generere salgsprognoser ved hjælp af en ML-model bygget ved hjælp af Canvas.

Løsningsoversigt

For at generere salgsprognoser ved hjælp af SAP-salgsdata har vi brug for samarbejdet mellem to personer: dataingeniører og forretningsanalytikere (sælgere og ledere). Dataingeniører er ansvarlige for at konfigurere dataeksporten fra SAP-systemet til Amazon Simple Storage Service (Amazon S3) ved hjælp af Amazon App Flow, som forretningsanalytikere derefter kan køre enten on-demand eller automatisk (skemabaseret) for at opdatere SAP-data i S3-bøtten. Forretningsanalytikere er derefter ansvarlige for at generere prognoser med de eksporterede data ved hjælp af Canvas. Følgende diagram illustrerer denne arbejdsgang.

Til dette indlæg bruger vi SAP NetWeaver Enterprise Procurement Model (EPM) for prøvedataene. EPM bruges generelt til demonstrations- og testformål i SAP. Den bruger almindelig forretningsprocesmodel og følger forretningsobjektets (BO) paradigme for at understøtte en veldefineret forretningslogik. Vi brugte SAP-transaktionen SEPM_DG (datagenerator) til at generere omkring 80,000 historiske salgsordrer og oprettede en HANA CDS-visning til at aggregere dataene efter produkt-id, salgsdato og by, som vist i følgende kode:

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

I næste afsnit afslører vi denne visning ved hjælp af SAP OData-tjenester som ABAP-struktur, som giver os mulighed for at udtrække dataene med Amazon AppFlow.

Følgende tabel viser de repræsentative historiske salgsdata fra SAP, som vi bruger i dette indlæg.

Datafilen er daglige frekvenshistoriske data. Den har fire kolonner (productid, saledate, cityog totalsales). Vi bruger Canvas til at bygge en ML-model, der bruges til at forecaste totalsales forum productid i en bestemt by.

Dette indlæg er blevet organiseret for at vise aktiviteter og ansvar for både dataingeniører og forretningsanalytikere til at generere produktsalgsprognoser.

Dataingeniør: Udtræk, transformer og indlæs datasættet fra SAP til Amazon S3 med Amazon AppFlow

Den første opgave, du udfører som dataingeniør, er at køre et udtrække, transformere og indlæse (ETL) job på historiske salgsdata fra SAP ECC til en S3-bucket, som forretningsanalytikeren bruger som kildedatasættet til deres prognosemodel. Til dette bruger vi Amazon AppFlow, fordi det giver en out-of-the-box SAP OData Connector for ETL (som vist i det følgende diagram), med en simpel brugergrænseflade til at konfigurere alt det nødvendige for at konfigurere forbindelsen fra SAP ECC til S3-bøtten.

Forudsætninger

Følgende er krav for at integrere Amazon AppFlow med SAP:

• SAP NetWeaver Stack version 7.40 SP02 eller nyere
• Katalogtjeneste (OData v2.0/v2.0) aktiveret i SAP Gateway til serviceopdagelse
• Understøttelse af paginering og forespørgselsmuligheder på klientsiden til SAP OData Service
• HTTPS-aktiveret forbindelse til SAP

Godkendelse

Amazon AppFlow understøtter to godkendelsesmekanismer til at oprette forbindelse til SAP:

• Grundlæggende – Autentificerer ved hjælp af SAP OData-brugernavn og adgangskode.
• OAuth 2.0 – Bruger OAuth 2.0-konfiguration med en identitetsudbyder. OAuth 2.0 skal være aktiveret for OData v2.0/v2.0-tjenester.

Forbindelse

Amazon AppFlow kan oprette forbindelse til SAP ECC ved hjælp af en offentlig SAP OData-grænseflade eller en privat forbindelse. En privat forbindelse forbedrer databeskyttelse og sikkerhed ved at overføre data gennem det private AWS-netværk i stedet for det offentlige internet. En privat forbindelse bruger VPC-slutpunktstjenesten til SAP OData-forekomsten, der kører i en VPC. VPC-slutpunktstjenesten skal have Amazon AppFlow-tjenesteprincipal appflow.amazonaws.com som en tilladt principal og skal være tilgængelig i mindst mere end 50 % af tilgængelighedszonerne i en AWS-region.

Opsæt et flow i Amazon AppFlow

Vi konfigurerer et nyt flow i Amazon AppFlow til at køre et ETL-job på data fra SAP til en S3-bucket. Dette flow giver mulighed for konfiguration af SAP OData Connector som kilde, S3 bucket som destination, OData-objektvalg, datatilknytning, datavalidering og datafiltrering.

1. Konfigurer SAP OData Connector som en datakilde ved at angive følgende oplysninger:
   1. Applikationsværts URL
   2. Applikationstjenestesti (katalogsti)
   3. Portnummer
   4. Kundenummer
   5. Logon sprog
   6. Forbindelsestype (privat link eller offentlig)
   7. Godkendelsestilstand
   8. Forbindelsesnavn for konfigurationen
      
2. Når du har konfigureret kilden, skal du vælge OData-objektet og underobjektet til salgsordrerne.
   Generelt eksporteres salgsdata fra SAP med en bestemt frekvens, f.eks. månedligt eller kvartalsvis for fuld størrelse. For dette indlæg skal du vælge underobjektindstillingen for eksport i fuld størrelse.
   
3. Vælg S3-spanden som destination.
   Flow eksporterer data til denne bucket.
   
4. Til Foretrukken dataformat, Vælg CSV-format.
5. Til Præference for dataoverførsel, Vælg Saml alle poster.
6. Til Filnavn præference, Vælg Tilføj et tidsstempel til filnavnet.
7. Til Mappestruktur præference, Vælg Ingen tidsstemplet mappe.
   Konfigurationen af ​​registreringsaggregeringen eksporterer salgsdata i fuld størrelse fra SAP kombineret i en enkelt fil. Filnavnet slutter med et tidsstempel i formatet ÅÅÅÅ-MM-DDTHH:mm:ss i en enkelt mappe (flownavn) i S3-bøtten. Canvas importerer data fra denne enkelt fil til modeltræning og prognose.
   
8. Konfigurer datatilknytning og valideringer for at tilknytte kildedatafelterne til destinationsdatafelter, og aktiver datavalideringsregler efter behov.
   
9. Du konfigurerer også datafiltreringsbetingelser for at bortfiltrere specifikke poster, hvis dit krav kræver det.
   
10. Konfigurer din flowtrigger for at afgøre, om flowet kører manuelt on-demand eller automatisk baseret på en tidsplan.
    Når den er konfigureret til en tidsplan, er frekvensen baseret på, hvor ofte prognosen skal genereres (generelt månedligt, kvartalsvis eller halvårligt).
    Efter flowet er konfigureret, kan forretningsanalytikerne køre det efter behov eller baseret på tidsplanen for at udføre et ETL-job på salgsordredata fra SAP til en S3-bucket.
11. Ud over Amazon AppFlow-konfigurationen skal dataingeniørerne også konfigurere en AWS identitets- og adgangsstyring (IAM) rolle for Canvas, så det kan få adgang til andre AWS-tjenester. For instruktioner, se Giv dine brugere tilladelse til at udføre tidsserieprognoser.

Forretningsanalytiker: Brug de historiske salgsdata til at træne en prognosemodel

Lad os skifte gear og gå til forretningsanalytikersiden. Som forretningsanalytiker leder vi efter en visuel peg-og-klik-tjeneste, der gør det nemt at bygge ML-modeller og generere præcise forudsigelser uden at skrive en enkelt kodelinje eller have ML-ekspertise. Canvas passer til kravet som no-code ML løsning.

Først skal du sørge for, at din IAM-rolle er konfigureret på en sådan måde, at Canvas kan få adgang til andre AWS-tjenester. For mere information, se Giv dine brugere tilladelse til at udføre tidsserieprognoser, eller du kan bede om hjælp til dit Cloud Engineering-team.

Når dataingeniøren er færdig med at opsætte den Amazon AppFlow-baserede ETL-konfiguration, er de historiske salgsdata tilgængelige for dig i en S3-bøtte.

Du er nu klar til at træne en model med Canvas! Dette involverer typisk fire trin: import af data til tjenesten, konfiguration af modeltræningen ved at vælge den passende modeltype, træning af modellen og til sidst generering af prognoser ved hjælp af modellen.

Importer data i Canvas

Start først Canvas-appen fra Amazon SageMaker konsollen eller fra din single sign-on-adgang. Hvis du ikke ved, hvordan du gør det, skal du kontakte din administrator, så de kan guide dig gennem processen med at konfigurere Canvas. Sørg for, at du får adgang til tjenesten i samme region som S3-bøtten, der indeholder det historiske datasæt fra SAP. Du bør se en skærm som følgende.

Udfør derefter følgende trin:

1. Vælg i Canvas datasæt i navigationsruden.
2. Vælg Importere for at begynde at importere data fra S3-bøtten.
   
3. På importskærmen skal du vælge datafilen eller objektet fra S3-bøtten for at importere træningsdataene.
   

Du kan importere flere datasæt i Canvas. Det understøtter også oprettelse af joinforbindelser mellem datasættene ved at vælge Tilslut data, hvilket er særligt nyttigt, når træningsdataene er spredt på tværs af flere filer.

Konfigurer og træne modellen

Når du har importeret dataene, skal du udføre følgende trin:

1. Vælg Modeller i navigationsruden.
2. Vælg Ny model for at starte konfigurationen til træning af prognosemodellen.
   
3. For den nye model, giv den et passende navn, som f.eks product_sales_forecast_model.
4. Vælg salgsdatasættet og vælg Vælg datasæt.
   
   Efter at datasættet er valgt, kan du se datastatistik og konfigurere modeltræningen på fanen Byg.
   
5. Type samlede salg som målkolonne for forudsigelsen.
   Du kan se Forudsigelse af tidsserier vælges automatisk som modeltype.
6. Vælg Konfigurer .
   
7. I Konfiguration af tidsserieprognoser sektion, skal du vælge produktid forum Kolonnen Vare-id.
8. Vælg by forum Gruppe kolonne.
9. Vælg salgsdato forum Tidsstempel kolonne.
10. Til Dage, gå ind 120.
11. Vælg Gem.
    Dette konfigurerer modellen til at lave prognoser for totalsales i 120 dage ved brug saledate baseret på historiske data, som man kan spørge efter productid , city.
    
12. Når modeltræningskonfigurationen er færdig, skal du vælge Standard bygning at starte modeluddannelsen.

Preview model mulighed er ikke tilgængelig for modeltype for tidsserieprognoser. Du kan gennemgå den estimerede tid for modeluddannelsen på Analyser fane.

Modeltræning kan tage 1-4 timer at gennemføre, afhængigt af datastørrelsen. Når modellen er klar, kan du bruge den til at generere prognosen.

Generer en prognose

Når modeltræningen er færdig, viser den forudsigelsesnøjagtigheden af ​​modellen på Analyser fanen. For eksempel viser det i dette eksempel en forudsigelsesnøjagtighed som 92.87 %.

Prognosen genereres på Forudsige fanen. Du kan generere prognoser for alle elementerne eller et udvalgt enkelt element. Det viser også det datointerval, som prognosen kan genereres for.

Vælg som eksempel Enkelt produkt mulighed. Vælg P-2 forum Vare , Quito forum gruppe for at generere en forudsigelse for produkt P-2 for byen Quito for datointervallet 2017-08-15 00:00:00 til 2017-12-13 00:00:00.

Den genererede prognose viser den gennemsnitlige prognose samt den øvre og nedre grænse for prognosen. Forecast-grænserne hjælper med at konfigurere en aggressiv eller afbalanceret tilgang til prognosehåndteringen.

Du kan også downloade den genererede prognose som en CSV-fil eller et billede. Den genererede prognose-CSV-fil bruges generelt til at arbejde offline med prognosedataene.

Prognosen er nu genereret for tidsseriedata. Når en ny baseline af data bliver tilgængelig for prognosen, kan du ændre datasættet i Canvas for at genoptræne prognosemodellen ved hjælp af den nye baseline.

Du kan genoptræne modellen flere gange, efterhånden som træningsdataene ændres.

Konklusion

I dette indlæg lærte du, hvordan Amazon AppFlow SAP OData Connector eksporterer salgsordredata fra SAP-systemet til en S3-bøtte, og derefter hvordan du bruger Canvas til at bygge en model til prognoser.

Du kan bruge Canvas til alle SAP-tidsseriedatascenarier, såsom udgifts- eller indtægtsforudsigelse. Hele prognosegenereringsprocessen er konfigurationsdrevet. Salgschefer og repræsentanter kan generere salgsprognoser gentagne gange pr. måned eller pr. kvartal med et opdateret sæt data på en hurtig, ligetil og intuitiv måde uden at skrive en enkelt linje kode. Dette hjælper med at forbedre produktiviteten og muliggør hurtig planlægning og beslutninger.

For at komme i gang skal du lære mere om Canvas og Amazon AppFlow ved hjælp af følgende ressourcer:

• Amazon SageMaker Canvas Developer Guide
• Annoncering af Amazon SageMaker Canvas – en visuel, ingen kode maskinindlæringskapacitet for forretningsanalytikere
• Udtræk data fra SAP ERP og BW med Amazon AppFlow
• SAP OData Connector-konfiguration

Om forfatterne

Brajendra Singh er løsningsarkitekt i Amazon Web Services, der arbejder med virksomhedskunder. Han har en stærk udviklerbaggrund og er en ivrig entusiast for data- og maskinlæringsløsninger.

Davide Gallitelli er en Specialist Solutions Architect for AI/ML i EMEA-regionen. Han er baseret i Bruxelles og arbejder tæt sammen med kunder i hele Benelux. Han har været udvikler, siden han var meget ung, og begyndte at kode i en alder af 7. Han begyndte at lære AI/ML på universitetet, og er blevet forelsket i det siden da.

• Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
• CryptoHawk. Altcoin radar. Gratis prøveversion.
• Kilde: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- lærred/