Haal inzichten uit SAP ERP met no-code ML-oplossingen met Amazon AppFlow en Amazon SageMaker Canvas

Klanten in sectoren zoals verpakte consumentengoederen, productie en detailhandel zijn altijd op zoek naar manieren om hun operationele processen te versterken door ze te verrijken met inzichten en analyses die zijn gegenereerd op basis van gegevens. Taken zoals verkoopprognoses zijn rechtstreeks van invloed op activiteiten zoals planning van grondstoffen, inkoop, productie, distributie en inkomende/uitgaande logistiek, en het kan veel impact hebben, van een enkel magazijn tot grootschalige productiefaciliteiten.

Verkoopvertegenwoordigers en managers gebruiken historische verkoopgegevens om weloverwogen voorspellingen te doen over toekomstige verkooptrends. Klanten gebruiken SAP ERP Central Component (ECC) om de planning voor de productie, verkoop en distributie van goederen te beheren. De verkoop- en distributiemodule (SD) binnen SAP ECC helpt bij het beheren van verkooporders. SAP-systemen zijn de primaire bron van historische verkoopgegevens.

Verkoopvertegenwoordigers en managers hebben de domeinkennis en diepgaande kennis van hun verkoopgegevens. Ze missen echter datawetenschap en programmeervaardigheden om modellen voor machine learning (ML) te maken die verkoopprognoses kunnen genereren. Ze zoeken intuïtieve, gebruiksvriendelijke tools om ML-modellen te maken zonder een enkele regel code te schrijven.

Om organisaties te helpen de flexibiliteit en effectiviteit te bereiken die bedrijfsanalisten zoeken, geïntroduceerd Amazon SageMaker-canvas, een ML-oplossing zonder code waarmee u de levering van ML-oplossingen tot uren of dagen kunt versnellen. Met Canvas kunnen analisten eenvoudig beschikbare gegevens gebruiken in datameren, datawarehouses en operationele datastores; ML-modellen bouwen; en gebruik ze om interactief voorspellingen te doen en voor batchscores op bulkdatasets - allemaal zonder een enkele regel code te schrijven.

In dit bericht laten we zien hoe u verkoopordergegevens uit SAP ECC kunt halen om verkoopprognoses te genereren met behulp van een ML-model dat is gebouwd met Canvas.

Overzicht oplossingen

Om verkoopprognoses te genereren met behulp van SAP-verkoopgegevens, hebben we de samenwerking nodig van twee persona's: data-ingenieurs en bedrijfsanalisten (vertegenwoordigers en managers). Data-engineers zijn verantwoordelijk voor het configureren van de gegevensexport van het SAP-systeem naar: Amazon eenvoudige opslagservice (Amazon S3) met behulp van Amazon-app-stroom, die bedrijfsanalisten vervolgens on-demand of automatisch (gebaseerd op planning) kunnen uitvoeren om SAP-gegevens in de S3-bucket te vernieuwen. Bedrijfsanalisten zijn vervolgens verantwoordelijk voor het genereren van prognoses met de geëxporteerde gegevens met behulp van Canvas. Het volgende diagram illustreert deze workflow.

Voor dit bericht gebruiken we SAP NetWeaver Enterprise-inkoopmodel (EPM) voor de voorbeeldgegevens. EPM wordt over het algemeen gebruikt voor demonstratie- en testdoeleinden in SAP. Het maakt gebruik van een algemeen bedrijfsprocesmodel en volgt het business object (BO) paradigma om een ​​goed gedefinieerde bedrijfslogica te ondersteunen. We gebruikten de SAP-transactie SEPM_DG (gegevensgenerator) om ongeveer 80,000 historische verkooporders te genereren en creëerden een HANA CDS-weergave om de gegevens te aggregeren op product-ID, verkoopdatum en stad, zoals weergegeven in de volgende code:

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

In de volgende sectie leggen we deze weergave bloot met behulp van SAP OData-services als ABAP-structuur, waarmee we de gegevens kunnen extraheren met Amazon AppFlow.

De volgende tabel toont de representatieve historische verkoopgegevens van SAP, die we in dit bericht gebruiken.

Het gegevensbestand is dagelijkse frequentie historische gegevens. Het heeft vier kolommen (productid, saledate, city en totalsales). We gebruiken Canvas om een ​​ML-model te bouwen dat wordt gebruikt om te voorspellen totalsales For productid in een bepaalde stad.

Dit bericht is georganiseerd om de activiteiten en verantwoordelijkheden voor zowel data-ingenieurs als bedrijfsanalisten te tonen om prognoses voor productverkoop te genereren.

Data engineer: extraheer, transformeer en laad de dataset van SAP naar Amazon S3 met Amazon AppFlow

De eerste taak die u als data-engineer uitvoert, is het uitvoeren van een taak voor extractie, transformatie en laden (ETL) van historische verkoopgegevens van SAP ECC naar een S3-bucket, die de bedrijfsanalist gebruikt als de brongegevensset voor hun prognosemodel. Hiervoor gebruiken we Amazon AppFlow, omdat het een out-of-the-box SAP OData-connector voor ETL (zoals weergegeven in het volgende diagram), met een eenvoudige gebruikersinterface om alles in te stellen dat nodig is om de verbinding van de SAP ECC naar de S3-bucket te configureren.

Voorwaarden

De volgende vereisten zijn om Amazon AppFlow met SAP te integreren:

• SAP NetWeaver Stack versie 7.40 SP02 of hoger
• Catalogusservice (OData v2.0/v2.0) ingeschakeld in SAP Gateway voor servicedetectie
• Ondersteuning voor paginering en query-opties aan de clientzijde voor SAP OData Service
• HTTPS-verbinding met SAP

authenticatie

Amazon AppFlow ondersteunt twee authenticatiemechanismen om verbinding te maken met SAP:

• Basic – Verifieert met behulp van de gebruikersnaam en het wachtwoord van SAP OData.
• OAuth 2.0 – Gebruikt OAuth 2.0-configuratie met een identiteitsprovider. OAuth 2.0 moet zijn ingeschakeld voor OData v2.0/v2.0-services.

Aansluiting

Amazon AppFlow kan verbinding maken met SAP ECC via een openbare SAP OData-interface of een privéverbinding. Een privéverbinding verbetert de gegevensprivacy en -beveiliging door gegevens over te dragen via het particuliere AWS-netwerk in plaats van via het openbare internet. Een privéverbinding gebruikt de VPC-eindpuntservice voor de SAP OData-instantie die in een VPC wordt uitgevoerd. De VPC-eindpuntservice moet de Amazon AppFlow-service-principal hebben appflow.amazonaws.com als een toegestane opdrachtgever en moet beschikbaar zijn in ten minste meer dan 50% van de Beschikbaarheidszones in een AWS-regio.

Een stroom instellen in Amazon AppFlow

We configureren een nieuwe stroom in Amazon AppFlow om een ​​ETL-taak uit te voeren op gegevens van SAP naar een S3-bucket. Deze stroom maakt configuratie van de SAP OData Connector als bron, S3-bucket als bestemming, OData-objectselectie, gegevenstoewijzing, gegevensvalidatie en gegevensfiltering mogelijk.

1. Configureer de SAP OData Connector als gegevensbron door de volgende informatie op te geven:
   1. Applicatie host-URL
   2. Applicatieservicepad (cataloguspad)
   3. Poort nummer
   4. Client nummer
   5. Aanmeldingstaal
   6. Verbindingstype (private link of openbaar)
   7. Verificatiemodus
   8. Verbindingsnaam voor de configuratie
      
2. Nadat u de bron hebt geconfigureerd, kiest u het OData-object en subobject voor de verkooporders.
   Over het algemeen worden verkoopgegevens van SAP met een bepaalde frequentie geëxporteerd, zoals maandelijks of driemaandelijks voor de volledige grootte. Kies voor dit bericht de subobjectoptie voor de export op volledige grootte.
   
3. Kies de S3-emmer als bestemming.
   De stroom exporteert gegevens naar deze bucket.
   
4. Voor Voorkeur voor gegevensindelingselecteer CSV-indeling.
5. Voor Voorkeur voor gegevensoverdrachtselecteer Alle records samenvoegen.
6. Voor Voorkeur bestandsnaamselecteer Voeg een tijdstempel toe aan de bestandsnaam.
7. Voor Voorkeur voor mapstructuurselecteer Geen map met tijdstempel.
   De recordaggregatieconfiguratie exporteert de volledige verkoopgegevens van SAP gecombineerd in één bestand. De bestandsnaam eindigt met een tijdstempel in de indeling JJJJ-MM-DDTHH:mm:ss in een enkele map (stroomnaam) binnen de S3-bucket. Canvas importeert gegevens uit dit enkele bestand voor modeltraining en prognoses.
   
8. Configureer gegevenstoewijzing en -validaties om de brongegevensvelden toe te wijzen aan bestemmingsgegevensvelden en schakel indien nodig gegevensvalidatieregels in.
   
9. U configureert ook voorwaarden voor gegevensfiltering om specifieke records uit te filteren als uw vereisten dit vereisen.
   
10. Configureer uw stroomtrigger om te beslissen of de stroom handmatig on-demand of automatisch wordt uitgevoerd op basis van een planning.
    Indien geconfigureerd voor een planning, is de frequentie gebaseerd op hoe vaak de prognose moet worden gegenereerd (meestal maandelijks, driemaandelijks of halfjaarlijks).
    Nadat de stroom is geconfigureerd, kunnen de bedrijfsanalisten deze op aanvraag of op basis van het schema uitvoeren om een ​​ETL-taak uit te voeren op de verkoopordergegevens van SAP naar een S3-bucket.
11. Naast de Amazon AppFlow-configuratie, moeten de data-engineers ook een AWS Identiteits- en toegangsbeheer (IAM)-rol voor Canvas zodat het toegang heeft tot andere AWS-services. Raadpleeg voor instructies: Geef uw gebruikers toestemming om tijdreeksprognoses uit te voeren.

Bedrijfsanalist: gebruik de historische verkoopgegevens om een ​​prognosemodel te trainen

Laten we het roer omgooien en naar de kant van de bedrijfsanalist gaan. Als bedrijfsanalist zijn we op zoek naar een visuele, aanwijzen-en-klikken-service waarmee u eenvoudig ML-modellen kunt bouwen en nauwkeurige voorspellingen kunt genereren zonder een enkele regel code te schrijven of ML-expertise te hebben. Canvas voldoet aan de eis als no-code ML-oplossing.

Zorg er eerst voor dat je IAM-rol zo is geconfigureerd dat Canvas toegang heeft tot andere AWS-services. Voor meer informatie, zie: Geef uw gebruikers toestemming om tijdreeksprognoses uit te voeren, of u kunt uw Cloud Engineering-team om hulp vragen.

Wanneer de data-engineer klaar is met het instellen van de op Amazon AppFlow gebaseerde ETL-configuratie, zijn de historische verkoopgegevens voor u beschikbaar in een S3-bucket.

Je bent nu klaar om een ​​model te trainen met Canvas! Dit omvat doorgaans vier stappen: het importeren van gegevens in de service, het configureren van de modeltraining door het juiste modeltype te selecteren, het trainen van het model en ten slotte het genereren van prognoses met behulp van het model.

Gegevens importeren in Canvas

Start eerst de Canvas-app vanuit de Amazon Sage Maker console of via uw Single Sign-On-toegang. Als je niet weet hoe je dat moet doen, neem dan contact op met je beheerder zodat deze je kan begeleiden bij het instellen van Canvas. Zorg ervoor dat u toegang krijgt tot de service in dezelfde regio als de S3-bucket die de historische dataset van SAP bevat. U zou een scherm als het volgende moeten zien.

Voer daarna de volgende stappen uit:

1. Kies in Canvas datasets in het navigatievenster.
2. Kies import om te beginnen met het importeren van gegevens uit de S3-bucket.
   
3. Kies op het importscherm het gegevensbestand of object uit de S3-bucket om de trainingsgegevens te importeren.
   

Je kunt meerdere datasets importeren in Canvas. Het ondersteunt ook het maken van joins tussen de datasets door te kiezen voor Deelnemen aan gegevens, wat vooral handig is wanneer de trainingsgegevens over meerdere bestanden zijn verspreid.

Configureer en train het model

Nadat u de gegevens hebt geïmporteerd, voert u de volgende stappen uit:

1. Kies Modellen in het navigatievenster.
2. Kies Nieuw model om de configuratie te starten voor het trainen van het prognosemodel.
   
3. Geef het nieuwe model een geschikte naam, zoals: product_sales_forecast_model.
4. Selecteer de verkoopdataset en kies Selecteer dataset.
   
   Nadat de dataset is geselecteerd, kunt u gegevensstatistieken bekijken en de modeltraining configureren op het tabblad Build.
   
5. kies totale verkoop als de doelkolom voor de voorspelling.
   U kunt zien Tijdreeksvoorspelling wordt automatisch geselecteerd als het modeltype.
6. Kies Configure .
   
7. In het Configuratie voor tijdreeksprognose sectie, kies Product-ID For Kolom Artikel-ID.
8. Kies stadsappartementen For Groepskolom.
9. Kies verkoopdatum For Kolom tijdstempel.
10. Voor dagen, ga naar binnen 120.
11. Kies Bespaar.
    Dit configureert het model om prognoses te maken voor totalsales voor 120 dagen met behulp van saledate op basis van historische gegevens, die kunnen worden opgevraagd productid en city.
    
12. Wanneer de configuratie van de modeltraining is voltooid, kiest u: Standaard bouw om de modeltraining te starten.

De Voorbeeldmodel optie is niet beschikbaar voor het modeltype voor tijdreeksprognoses. U kunt de geschatte tijd voor de modeltraining bekijken op de Analyseren Tab.

Het kan 1 tot 4 uur duren voordat de modeltraining is voltooid, afhankelijk van de gegevensgrootte. Wanneer het model gereed is, kunt u het gebruiken om de prognose te genereren.

Een prognose genereren

Wanneer de modeltraining voltooid is, toont het de voorspellingsnauwkeurigheid van het model op de Analyseren tabblad. In dit voorbeeld toont het bijvoorbeeld de nauwkeurigheid van de voorspelling als 92.87%.

De prognose wordt gegenereerd op de Voorspellen tabblad. U kunt prognoses genereren voor alle artikelen of voor één geselecteerd artikel. Het toont ook het datumbereik waarvoor de prognose kan worden gegenereerd.

Kies als voorbeeld de Enkel voorwerp keuze. kiezen P-2 For item en Quito For Groep om een ​​voorspelling te genereren voor product P-2 voor stad Quito voor de periode 2017-08-15 00:00:00 tot 2017-12-13 00:00:00.

De gegenereerde prognose toont zowel de gemiddelde prognose als de boven- en ondergrens van de prognose. De prognosegrenzen helpen bij het configureren van een agressieve of evenwichtige benadering voor de verwerking van prognoses.

U kunt de gegenereerde prognose ook downloaden als CSV-bestand of afbeelding. Het gegenereerde prognose-CSV-bestand wordt over het algemeen gebruikt om offline met de prognosegegevens te werken.

De prognose wordt nu gegenereerd voor de tijdreeksgegevens. Wanneer er een nieuwe basislijn met gegevens beschikbaar komt voor de prognose, kunt u de gegevensset in Canvas wijzigen om het prognosemodel opnieuw te trainen met behulp van de nieuwe basislijn.

U kunt het model meerdere keren opnieuw trainen als en wanneer de trainingsgegevens veranderen.

Conclusie

In dit bericht heb je geleerd hoe de Amazon AppFlow SAP OData Connector verkoopordergegevens van het SAP-systeem exporteert naar een S3-bucket en vervolgens hoe je Canvas kunt gebruiken om een ​​model voor prognoses te bouwen.

Je kunt Canvas gebruiken voor alle SAP-tijdreeksgegevensscenario's, zoals het voorspellen van uitgaven of inkomsten. Het hele proces voor het genereren van prognoses is configuratiegestuurd. Verkoopmanagers en vertegenwoordigers kunnen herhaaldelijk per maand of per kwartaal verkoopprognoses genereren met een vernieuwde set gegevens op een snelle, eenvoudige en intuïtieve manier zonder een enkele regel code te hoeven schrijven. Dit helpt de productiviteit te verbeteren en maakt snelle planning en beslissingen mogelijk.

Lees om te beginnen meer over Canvas en Amazon AppFlow met behulp van de volgende bronnen:

• Handleiding voor Amazon SageMaker Canvas-ontwikkelaars
• Aankondiging van Amazon SageMaker Canvas - een visuele, no-code machine learning-mogelijkheid voor bedrijfsanalisten
• Extraheer gegevens uit SAP ERP en BW met Amazon AppFlow
• SAP OData Connector-configuratie

Over de auteurs

Brajendra Singh is oplossingsarchitect bij Amazon Web Services en werkt met zakelijke klanten. Hij heeft een sterke achtergrond als ontwikkelaars en is een enthousiaste liefhebber van data- en machine learning-oplossingen.

David Gallitelli is Specialist Solutions Architect voor AI/ML in de EMEA-regio. Hij is gevestigd in Brussel en werkt nauw samen met klanten in de hele Benelux. Hij is een ontwikkelaar sinds hij heel jong was en begon te coderen op 7-jarige leeftijd. Hij begon AI/ML te leren op de universiteit en is er sindsdien verliefd op geworden.

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- canvas/