استخراج بینش از SAP ERP با راه حل های بدون کد ML با Amazon AppFlow و Amazon SageMaker Canvas

مشتریان در صنایعی مانند کالاهای بسته بندی شده مصرفی، تولید و خرده فروشی همیشه به دنبال راه هایی برای تقویت فرآیندهای عملیاتی خود با غنی سازی آنها با بینش و تجزیه و تحلیل تولید شده از داده ها هستند. وظایفی مانند پیش‌بینی فروش مستقیماً بر عملیات‌هایی مانند برنامه‌ریزی مواد خام، تهیه، تولید، توزیع، و لجستیک ورودی/خروجی تأثیر می‌گذارد و می‌تواند تأثیرات زیادی داشته باشد، از یک انبار واحد تا تأسیسات تولید در مقیاس بزرگ.

نمایندگان و مدیران فروش از داده های تاریخی فروش برای پیش بینی های آگاهانه در مورد روند فروش آتی استفاده می کنند. مشتریان از SAP ERP Central Component (ECC) برای مدیریت برنامه ریزی برای تولید، فروش و توزیع کالاها استفاده می کنند. ماژول فروش و توزیع (SD) در SAP ECC به مدیریت سفارشات فروش کمک می کند. سیستم های SAP منبع اصلی داده های فروش تاریخی هستند.

نمایندگان فروش و مدیران دارای دانش دامنه و درک عمیق از داده های فروش خود هستند. با این حال، آنها فاقد علم داده و مهارت های برنامه نویسی برای ایجاد مدل های یادگیری ماشینی (ML) هستند که می توانند پیش بینی فروش را ایجاد کنند. آنها به دنبال ابزارهای بصری و ساده برای ایجاد مدل های ML بدون نوشتن یک خط کد هستند.

برای کمک به سازمان ها برای دستیابی به چابکی و اثربخشی که تحلیلگران کسب و کار به دنبال آن هستند، ما معرفی آمازون SageMaker Canvas، یک راه حل ML بدون کد که به شما کمک می کند تحویل راه حل های ML را تا چند ساعت یا چند روز تسریع کنید. Canvas به تحلیلگران این امکان را می دهد که به راحتی از داده های موجود در دریاچه های داده، انبارهای داده و انبارهای داده عملیاتی استفاده کنند. ساخت مدل های ML؛ و از آن‌ها برای پیش‌بینی‌های تعاملی و امتیازدهی دسته‌ای در مجموعه داده‌های انبوه استفاده کنید—همه بدون نوشتن یک خط کد.

در این پست، ما نشان می‌دهیم که چگونه داده‌های سفارش فروش را از SAP ECC برای تولید پیش‌بینی فروش با استفاده از یک مدل ML ساخته شده با استفاده از Canvas ایجاد کنیم.

بررسی اجمالی راه حل

برای ایجاد پیش‌بینی فروش با استفاده از داده‌های فروش SAP، ما به همکاری دو پرسونا نیاز داریم: مهندسان داده و تحلیلگران تجاری (نمایندگان فروش و مدیران). مهندسان داده مسئول پیکربندی صادرات داده از سیستم SAP به سرویس ذخیره سازی ساده آمازون (Amazon S3) با استفاده از آمازون AppFlow، که تحلیلگران تجاری می توانند آن را به صورت درخواستی یا خودکار (بر اساس زمان بندی) اجرا کنند تا داده های SAP را در سطل S3 به روز کنند. سپس تحلیلگران تجاری مسئول تولید پیش بینی با داده های صادر شده با استفاده از Canvas هستند. نمودار زیر این گردش کار را نشان می دهد.

برای این پست از SAP استفاده می کنیم NetWeaver Enterprise Procurement Model (EPM) برای داده های نمونه. EPM عموماً برای اهداف نمایشی و آزمایشی در SAP استفاده می شود. از مدل رایج فرآیند کسب و کار استفاده می کند و از پارادایم شی کسب و کار (BO) پیروی می کند تا از منطق تجاری کاملاً تعریف شده پشتیبانی کند. ما از تراکنش SAP SEPM_DG (مولد داده) برای تولید حدود 80,000 سفارش فروش تاریخی استفاده کردیم و یک نمای HANA CDS ایجاد کردیم تا داده ها را بر اساس شناسه محصول، تاریخ فروش و شهر جمع آوری کنیم، همانطور که در کد زیر نشان داده شده است:

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

در بخش بعدی، این نما را با استفاده از خدمات SAP OData به عنوان ساختار ABAP نشان می‌دهیم که به ما امکان می‌دهد داده‌ها را با Amazon AppFlow استخراج کنیم.

جدول زیر اطلاعات فروش تاریخی نماینده SAP را نشان می دهد که در این پست از آنها استفاده می کنیم.

فایل داده، داده تاریخی فرکانس روزانه است. دارای چهار ستون (productid, saledate, cityو totalsales). ما از Canvas برای ساخت یک مدل ML استفاده می کنیم که برای پیش بینی استفاده می شود totalsales برای productid در یک شهر خاص

این پست برای نشان دادن فعالیت ها و مسئولیت های مهندسین داده و تحلیلگران کسب و کار برای تولید پیش بینی های فروش محصول سازماندهی شده است.

مهندس داده: استخراج، تبدیل و بارگذاری مجموعه داده از SAP به Amazon S3 با Amazon AppFlow

اولین وظیفه ای که به عنوان مهندس داده انجام می دهید اجرای یک کار استخراج، تبدیل و بارگذاری (ETL) بر روی داده های فروش تاریخی از SAP ECC به یک سطل S3 است که تحلیلگر تجاری از آن به عنوان مجموعه داده منبع برای مدل پیش بینی خود استفاده می کند. برای این کار، ما از Amazon AppFlow استفاده می‌کنیم، زیرا از جعبه خارج می‌شود رابط SAP OData برای ETL (همانطور که در نمودار زیر نشان داده شده است)، با یک رابط کاربری ساده برای تنظیم همه چیز مورد نیاز برای پیکربندی اتصال از SAP ECC به سطل S3.

پیش نیازها

برای ادغام Amazon AppFlow با SAP موارد زیر الزامی است:

• SAP NetWeaver Stack نسخه 7.40 SP02 یا بالاتر
• سرویس کاتالوگ (OData v2.0/v2.0) در SAP Gateway برای کشف سرویس فعال شده است
• پشتیبانی از صفحه بندی سمت مشتری و گزینه های پرس و جو برای سرویس SAP OData
• اتصال HTTPS فعال به SAP

تصدیق

Amazon AppFlow از دو مکانیسم احراز هویت برای اتصال به SAP پشتیبانی می کند:

• اساسی - با استفاده از نام کاربری و رمز عبور SAP OData احراز هویت می شود.
• OAuth 2.0 - از پیکربندی OAuth 2.0 با ارائه دهنده هویت استفاده می کند. OAuth 2.0 باید برای خدمات OData v2.0/v2.0 فعال باشد.

اتصال

Amazon AppFlow می تواند با استفاده از یک رابط عمومی SAP OData یا یک اتصال خصوصی به SAP ECC متصل شود. یک اتصال خصوصی با انتقال داده ها از طریق شبکه خصوصی AWS به جای اینترنت عمومی، حریم خصوصی و امنیت داده ها را بهبود می بخشد. یک اتصال خصوصی از سرویس نقطه پایانی VPC برای نمونه SAP OData در حال اجرا در VPC استفاده می کند. سرویس نقطه پایانی VPC باید دارای اصل سرویس Amazon AppFlow باشد appflow.amazonaws.com به عنوان یک اصل مجاز و باید حداقل در بیش از 50٪ از مناطق در دسترس در یک منطقه AWS در دسترس باشد.

یک جریان را در Amazon AppFlow تنظیم کنید

ما یک جریان جدید را در Amazon AppFlow پیکربندی می‌کنیم تا یک کار ETL را روی داده‌ها از SAP به یک سطل S3 اجرا کند. این جریان اجازه می دهد تا اتصال دهنده SAP OData را به عنوان منبع، سطل S3 به عنوان مقصد، انتخاب شی OData، نقشه برداری داده، اعتبارسنجی داده ها و فیلتر کردن داده ها را پیکربندی کنید.

1. با ارائه اطلاعات زیر، اتصال SAP OData را به عنوان منبع داده پیکربندی کنید:
   1. URL میزبان برنامه
   2. مسیر سرویس برنامه (مسیر کاتالوگ)
   3. شماره بندر
   4. شماره مشتری
   5. زبان ورود
   6. نوع اتصال (لینک خصوصی یا عمومی)
   7. حالت تأیید اعتبار
   8. نام اتصال برای پیکربندی
      
2. بعد از اینکه منبع را پیکربندی کردید، شیء و فرعی OData را برای سفارشات فروش انتخاب کنید.
   به طور کلی، داده های فروش از SAP در یک فرکانس مشخص مانند ماهانه یا فصلی برای اندازه کامل صادر می شود. برای این پست، گزینه subobject را برای صادرات در اندازه کامل انتخاب کنید.
   
3. سطل S3 را به عنوان مقصد انتخاب کنید.
   جریان داده ها را به این سطل صادر می کند.
   
4. برای ترجیح قالب داده، انتخاب کنید قالب CSV.
5. برای اولویت انتقال داده، انتخاب کنید همه رکوردها را جمع کنید.
6. برای ترجیح نام فایل، انتخاب کنید یک مهر زمانی به نام فایل اضافه کنید.
7. برای اولویت ساختار پوشه، انتخاب کنید پوشه مهر زمانی وجود ندارد.
   پیکربندی تجمیع رکورد، داده‌های فروش در اندازه کامل را از SAP در یک فایل واحد صادر می‌کند. نام فایل با یک مهر زمانی در قالب YYYY-MM-DDTHH:mm:ss در یک پوشه واحد (نام جریان) در سطل S3 به پایان می رسد. Canvas داده ها را از این فایل واحد برای آموزش و پیش بینی مدل وارد می کند.
   
8. نگاشت داده ها و اعتبارسنجی ها را برای نگاشت فیلدهای داده مبدا به فیلدهای داده مقصد پیکربندی کنید و قوانین اعتبارسنجی داده را در صورت لزوم فعال کنید.
   
9. شما همچنین شرایط فیلتر داده را برای فیلتر کردن رکوردهای خاص در صورت نیاز شما پیکربندی می کنید.
   
10. ماشه جریان خود را پیکربندی کنید تا تصمیم بگیرید که آیا جریان به صورت دستی بر اساس درخواست اجرا می شود یا به صورت خودکار بر اساس یک برنامه زمان بندی.
    هنگامی که برای یک برنامه زمان بندی پیکربندی می شود، فرکانس بر اساس تعداد دفعاتی است که پیش بینی باید ایجاد شود (به طور کلی ماهانه، سه ماهه یا شش ماهه).
    پس از پیکربندی جریان، تحلیلگران کسب و کار می توانند آن را بر اساس تقاضا یا بر اساس برنامه زمانی اجرا کنند تا یک کار ETL را بر روی داده های سفارش فروش از SAP به یک سطل S3 انجام دهند.
11. علاوه بر پیکربندی آمازون AppFlow، مهندسان داده نیز باید یک را پیکربندی کنند هویت AWS و مدیریت دسترسی نقش (IAM) برای Canvas تا بتواند به سایر خدمات AWS دسترسی داشته باشد. برای دستورالعمل، مراجعه کنید به کاربران خود اجازه دهید تا پیش بینی سری های زمانی را انجام دهند.

تحلیلگر تجاری: از داده های تاریخی فروش برای آموزش یک مدل پیش بینی استفاده کنید

بیایید دنده ها را عوض کنیم و به سمت تحلیلگر تجاری برویم. به عنوان یک تحلیلگر کسب و کار، ما به دنبال یک سرویس بصری، نقطه و کلیک هستیم که ساخت مدل های ML و ایجاد پیش بینی های دقیق را بدون نوشتن یک خط کد یا داشتن تخصص ML آسان می کند. بوم متناسب با نیاز به عنوان راه حل بدون کد ML است.

ابتدا مطمئن شوید که نقش IAM شما به گونه ای پیکربندی شده است که Canvas بتواند به سایر خدمات AWS دسترسی داشته باشد. برای اطلاعات بیشتر مراجعه کنید به کاربران خود اجازه دهید تا پیش بینی سری های زمانی را انجام دهند، یا می توانید از تیم مهندسی ابر خود کمک بخواهید.

هنگامی که مهندس داده پیکربندی ETL مبتنی بر AppFlow آمازون را تنظیم کرد، داده‌های فروش تاریخی در یک سطل S3 برای شما در دسترس است.

اکنون آماده آموزش یک مدل با Canvas هستید! این معمولا شامل چهار مرحله است: وارد کردن داده ها به سرویس، پیکربندی آموزش مدل با انتخاب نوع مدل مناسب، آموزش مدل، و در نهایت تولید پیش بینی با استفاده از مدل.

وارد کردن داده ها در Canvas

ابتدا برنامه Canvas را از آمازون SageMaker کنسول یا از دسترسی تک ورود به سیستم شما. اگر نمی دانید چگونه این کار را انجام دهید، با سرپرست خود تماس بگیرید تا بتوانند شما را در روند راه اندازی Canvas راهنمایی کنند. اطمینان حاصل کنید که به سرویس در همان منطقه ای که سطل S3 حاوی مجموعه داده های تاریخی از SAP است دسترسی دارید. شما باید صفحه ای مانند تصویر زیر را ببینید.

سپس مراحل زیر را انجام دهید:

1. در بوم، انتخاب کنید مجموعه داده ها در صفحه ناوبری
2. را انتخاب کنید وارد كردن برای شروع وارد کردن داده ها از سطل S3.
   
3. در صفحه واردات، فایل داده یا شی را از سطل S3 برای وارد کردن داده های آموزشی انتخاب کنید.
   

می توانید مجموعه داده های متعددی را در Canvas وارد کنید. همچنین از ایجاد پیوند بین مجموعه داده ها با انتخاب پشتیبانی می کند به داده ها بپیوندید، که به ویژه زمانی مفید است که داده های آموزشی در چندین فایل پخش شوند.

مدل را پیکربندی و آموزش دهید

پس از وارد کردن داده ها، مراحل زیر را انجام دهید:

1. را انتخاب کنید مدل در صفحه ناوبری
2. را انتخاب کنید مدل جدید برای شروع پیکربندی برای آموزش مدل پیش بینی.
   
3. برای مدل جدید اسم مناسبی مثل product_sales_forecast_model.
4. مجموعه داده فروش را انتخاب کرده و انتخاب کنید مجموعه داده را انتخاب کنید.
   
   پس از انتخاب مجموعه داده، می توانید آمار داده ها را ببینید و آموزش مدل را در تب Build پیکربندی کنید.
   
5. انتخاب کنید کل فروش به عنوان ستون هدف برای پیش بینی.
   میتوانی ببینی پیش بینی سری های زمانی به طور خودکار به عنوان نوع مدل انتخاب می شود.
6. را انتخاب کنید مجموعه.
   
7. در پیکربندی پیش‌بینی سری زمانی بخش، را انتخاب کنید شناسه محصول برای ستون شناسه مورد.
8. را انتخاب کنید شهرستان برای ستون گروه.
9. را انتخاب کنید تاریخ فروش برای ستون مهر زمان.
10. برای روز، وارد 120.
11. را انتخاب کنید ذخیره.
    این مدل را برای انجام پیش بینی پیکربندی می کند totalsales برای 120 روز استفاده saledate بر اساس داده های تاریخی، که می توان برای آن پرس و جو کرد productid و city.
    
12. وقتی پیکربندی آموزش مدل کامل شد، انتخاب کنید ساخت استاندارد برای شروع آموزش مدل

La مدل پیش نمایش گزینه برای نوع مدل پیش‌بینی سری زمانی موجود نیست. شما می توانید زمان تخمین زده شده برای آموزش مدل را بر روی تجزیه و تحلیل تب.

بسته به اندازه داده، آموزش مدل ممکن است 1 تا 4 ساعت طول بکشد. هنگامی که مدل آماده شد، می توانید از آن برای ایجاد پیش بینی استفاده کنید.

یک پیش بینی ایجاد کنید

هنگامی که آموزش مدل کامل شد، دقت پیش‌بینی مدل را روی آن نشان می‌دهد تجزیه و تحلیل برگه به عنوان مثال، در این مثال، دقت پیش‌بینی را 92.87% نشان می‌دهد.

پیش بینی در ایجاد می شود پیش بینی برگه شما می توانید برای همه موارد یا یک مورد انتخاب شده پیش بینی ایجاد کنید. همچنین محدوده تاریخی را که می توان برای آن پیش بینی ایجاد کرد را نشان می دهد.

به عنوان مثال، را انتخاب کنید مورد واحد گزینه. انتخاب کنید P-2 برای مورد و کویتو برای گروه برای ایجاد یک پیش بینی برای محصول P-2 برای شهر کیتو برای محدوده تاریخ 2017-08-15 00:00:00 تا 2017-12-13 00:00:00.

پیش بینی تولید شده میانگین پیش بینی و همچنین مرز بالا و پایین پیش بینی را نشان می دهد. محدوده های پیش بینی به پیکربندی یک رویکرد تهاجمی یا متعادل برای مدیریت پیش بینی کمک می کند.

همچنین می توانید پیش بینی تولید شده را به صورت فایل یا تصویر CSV دانلود کنید. فایل CSV پیش‌بینی تولید شده معمولاً برای کار آفلاین با داده‌های پیش‌بینی استفاده می‌شود.

اکنون پیش‌بینی برای داده‌های سری زمانی ایجاد می‌شود. هنگامی که خط پایه جدیدی از داده ها برای پیش بینی در دسترس می شود، می توانید مجموعه داده ها را در Canvas تغییر دهید تا مدل پیش بینی را با استفاده از خط پایه جدید دوباره آموزش دهید.

وقتی داده های آموزشی تغییر می کند، می توانید چندین بار مدل را دوباره آموزش دهید.

نتیجه

در این پست، یاد گرفتید که چگونه Amazon AppFlow SAP OData Connector داده های سفارش فروش را از سیستم SAP به یک سطل S3 صادر می کند و سپس چگونه از Canvas برای ساخت مدلی برای پیش بینی استفاده کنید.

می‌توانید از Canvas برای هر سناریو داده سری زمانی SAP، مانند پیش‌بینی هزینه یا درآمد استفاده کنید. کل فرآیند تولید پیش‌بینی پیکربندی رانده می‌شود. مدیران فروش و نمایندگان می توانند پیش بینی های فروش را به طور مکرر در هر ماه یا هر سه ماه با مجموعه ای از داده های به روز شده به روشی سریع، ساده و شهودی بدون نوشتن یک خط کد ایجاد کنند. این به بهبود بهره وری کمک می کند و برنامه ریزی و تصمیم گیری سریع را امکان پذیر می کند.

برای شروع، با استفاده از منابع زیر درباره Canvas و Amazon AppFlow بیشتر بیاموزید:

• راهنمای توسعه دهنده آمازون SageMaker Canvas
• اعلام آمازون SageMaker Canvas – قابلیت یادگیری ماشینی بصری و بدون کد برای تحلیلگران کسب و کار
• استخراج داده ها از SAP ERP و BW با Amazon AppFlow
• پیکربندی SAP OData Connector

درباره نویسنده

براجندرا سینگ معمار راه حل در خدمات وب آمازون است که با مشتریان سازمانی کار می کند. او پیشینه توسعه‌دهنده قوی دارد و علاقه‌مند به راه‌حل‌های داده و یادگیری ماشین است.

دیوید گالیتلی یک معمار راه حل های تخصصی برای AI/ML در منطقه EMEA است. او در بروکسل مستقر است و از نزدیک با مشتریان در سرتاسر بنلوکس کار می کند. او از زمانی که خیلی جوان بود یک توسعه دهنده بوده و از سن ۷ سالگی شروع به کدنویسی کرد. او یادگیری AI/ML را در دانشگاه شروع کرد و از آن زمان عاشق آن شد.

• Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
• پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
• CryptoHawk. رادار آلت کوین امتحان رایگان.
• منبع: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- بوم نقاشی/