Amazon AppFlow 및 Amazon SageMaker Canvas로 코드 없는 ML 솔루션으로 SAP ERP에서 통찰력 추출

소비재, 제조, 소매와 같은 산업의 고객은 항상 데이터에서 생성된 통찰력과 분석으로 운영 프로세스를 강화하여 운영 프로세스를 강화할 방법을 찾고 있습니다. 매출 예측과 같은 업무는 원자재 기획, 조달, 제조, 유통, 입/출고 물류와 같은 운영에 직접적인 영향을 미치며 단일 창고에서 대규모 생산 시설에 이르기까지 다양한 수준의 영향을 미칠 수 있습니다.

영업 담당자와 관리자는 과거 영업 데이터를 사용하여 미래의 영업 동향에 대한 정보에 입각한 예측을 합니다. 고객은 SAP ERP Central Component(ECC)를 사용하여 제품의 제조, 판매 및 유통 계획을 관리합니다. SAP ECC 내의 판매 및 유통(SD) 모듈은 판매 주문을 관리하는 데 도움이 됩니다. SAP 시스템은 과거 판매 데이터의 주요 소스입니다.

영업 담당자와 관리자는 영업 데이터에 대한 도메인 지식과 깊이 있는 이해를 가지고 있습니다. 그러나 판매 예측을 생성할 수 있는 머신 러닝(ML) 모델을 생성하기 위한 데이터 과학 및 프로그래밍 기술이 부족합니다. 그들은 한 줄의 코드를 작성하지 않고도 ML 모델을 생성할 수 있는 직관적이고 사용하기 쉬운 도구를 찾습니다.

조직이 비즈니스 분석가가 추구하는 민첩성과 효율성을 달성할 수 있도록 지원하기 위해 소개 Amazon SageMaker 캔버스, ML 솔루션 제공을 몇 시간 또는 며칠로 단축하는 데 도움이 되는 코드 없는 ML 솔루션입니다. Canvas를 통해 분석가는 데이터 레이크, 데이터 웨어하우스 및 운영 데이터 저장소에서 사용 가능한 데이터를 쉽게 사용할 수 있습니다. ML 모델 구축 코드를 한 줄도 작성하지 않고 이를 사용하여 대화식으로 예측하고 대량 데이터 세트에 대한 일괄 점수 매기기를 수행할 수 있습니다.

이 게시물에서는 Canvas를 사용하여 구축된 ML 모델을 사용하여 판매 예측을 생성하기 위해 SAP ECC에서 판매 주문 데이터를 가져오는 방법을 보여줍니다.

솔루션 개요

SAP 판매 데이터를 사용하여 판매 예측을 생성하려면 데이터 엔지니어와 비즈니스 분석가(판매 담당자 및 관리자)라는 두 페르소나의 협업이 필요합니다. 데이터 엔지니어는 SAP 시스템에서 다음으로 데이터 내보내기 구성을 담당합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 사용 아마존 AppFlow, 비즈니스 분석가는 주문형 또는 자동(일정 기반)으로 실행하여 S3 버킷의 SAP 데이터를 새로 고칠 수 있습니다. 그런 다음 비즈니스 분석가는 Canvas를 사용하여 내보낸 데이터로 예측을 생성할 책임이 있습니다. 다음 다이어그램은 이 워크플로를 보여줍니다.

이 게시물에서는 SAP를 사용합니다. NetWeaver 엔터프라이즈 조달 모델 (EPM) 샘플 데이터. EPM은 일반적으로 SAP에서 데모 및 테스트 목적으로 사용됩니다. 공통 비즈니스 프로세스 모델을 사용하고 비즈니스 객체(BO) 패러다임을 따라 잘 정의된 비즈니스 로직을 지원합니다. SAP 트랜잭션 SEPM_DG(데이터 생성기)를 사용하여 약 80,000개의 과거 판매 주문을 생성하고 HANA CDS 보기를 생성하여 다음 코드와 같이 제품 ID, 판매 날짜 및 도시별로 데이터를 집계했습니다.

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

다음 섹션에서는 Amazon AppFlow로 데이터를 추출할 수 있는 ABAP 구조로 SAP OData 서비스를 사용하여 이 보기를 노출합니다.

다음 표는 이 게시물에서 사용하는 SAP의 대표적인 과거 판매 데이터를 보여줍니다.

데이터 파일은 일일 빈도 기록 데이터입니다. XNUMX개의 열이 있습니다(productid, saledate, city및 totalsales). 우리는 Canvas를 사용하여 예측하는 데 사용되는 ML 모델을 구축합니다. totalsales for productid 특정 도시에서.

이 게시물은 데이터 엔지니어와 비즈니스 분석가가 제품 판매 예측을 생성하는 활동과 책임을 보여주기 위해 구성되었습니다.

데이터 엔지니어: Amazon AppFlow를 사용하여 SAP에서 Amazon S3로 데이터 세트 추출, 변환 및 로드

데이터 엔지니어로서 수행하는 첫 번째 작업은 SAP ECC의 과거 판매 데이터에서 ETL(추출, 변환 및 로드) 작업을 실행하여 비즈니스 분석가가 예측 모델의 소스 데이터 세트로 사용하는 S3 버킷으로 실행하는 것입니다. 이를 위해 Amazon AppFlow를 사용합니다. SAP OData 커넥터 ETL의 경우(다음 다이어그램 참조), SAP ECC에서 S3 버킷으로의 연결을 구성하는 데 필요한 모든 것을 설정하는 간단한 UI가 있습니다.

사전 조건

다음은 Amazon AppFlow를 SAP와 통합하기 위한 요구 사항입니다.

• SAP NetWeaver Stack 버전 7.40 SP02 이상
• 서비스 검색을 위해 SAP 게이트웨이에서 활성화된 카탈로그 서비스(OData v2.0/v2.0)
• SAP OData 서비스에 대한 클라이언트 쪽 페이지 매김 및 쿼리 옵션 지원
• HTTPS를 사용하여 SAP에 연결

인증

Amazon AppFlow는 SAP에 연결하기 위해 두 가지 인증 메커니즘을 지원합니다.

• Basic – SAP OData 사용자 이름과 암호를 사용하여 인증합니다.
• OAuth 2.0 – ID 제공자와 함께 OAuth 2.0 구성을 사용합니다. OData v2.0/v2.0 서비스에 대해 OAuth 2.0을 활성화해야 합니다.

연결

Amazon AppFlow는 공개 SAP OData 인터페이스 또는 비공개 연결을 사용하여 SAP ECC에 연결할 수 있습니다. 비공개 연결은 공개 인터넷 대신 비공개 AWS 네트워크를 통해 데이터를 전송하여 데이터 개인 정보 보호 및 보안을 향상시킵니다. 프라이빗 연결은 VPC에서 실행되는 SAP OData 인스턴스용 VPC 엔드포인트 서비스를 사용합니다. VPC 엔드포인트 서비스에는 Amazon AppFlow 서비스 보안 주체가 있어야 합니다. appflow.amazonaws.com 허용된 보안 주체로, AWS 리전의 가용 영역 중 50% 이상에서 사용할 수 있어야 합니다.

Amazon AppFlow에서 흐름 설정

SAP에서 S3 버킷으로의 데이터에 대해 ETL 작업을 실행하도록 Amazon AppFlow에서 새 흐름을 구성합니다. 이 흐름을 통해 SAP OData 커넥터를 소스로, S3 버킷을 대상으로, OData 객체 선택, 데이터 매핑, 데이터 유효성 검사 및 데이터 필터링을 구성할 수 있습니다.

1. 다음 정보를 제공하여 SAP OData 커넥터를 데이터 소스로 구성하십시오.
   1. 애플리케이션 호스트 URL
   2. 애플리케이션 서비스 경로(카탈로그 경로)
   3. 포트 번호
   4. 클라이언트 번호
   5. 로그온 언어
   6. 연결 유형(개인 링크 또는 공개)
   7. 인증 모드
   8. 구성에 대한 연결 이름
      
2. 소스를 구성한 후 판매 주문에 대한 OData 개체 및 하위 개체를 선택합니다.
   일반적으로 SAP의 판매 데이터는 전체 크기의 경우 월별 또는 분기별과 같은 특정 빈도로 내보내집니다. 이 게시물에서는 전체 크기 내보내기를 위한 하위 개체 옵션을 선택합니다.
   
3. S3 버킷을 대상으로 선택합니다.
   흐름은 이 버킷으로 데이터를 내보냅니다.
   
4. 럭셔리 데이터 형식 기본 설정, 고르다 CSV 형식.
5. 럭셔리 데이터 전송 기본 설정, 고르다 모든 레코드 집계.
6. 럭셔리 파일 이름 기본 설정, 고르다 파일 이름에 타임스탬프 추가.
7. 럭셔리 폴더 구조 기본 설정, 고르다 타임스탬프가 찍힌 폴더가 없습니다..
   레코드 집계 구성은 단일 파일에 결합된 SAP의 전체 크기 판매 데이터를 내보냅니다. 파일 이름은 S3 버킷 내의 단일 폴더(흐름 이름)에서 YYYY-MM-DDTHH:mm:ss 형식의 타임스탬프로 끝납니다. Canvas는 모델 교육 및 예측을 위해 이 단일 파일에서 데이터를 가져옵니다.
   
8. 데이터 매핑 및 유효성 검사를 구성하여 원본 데이터 필드를 대상 데이터 필드에 매핑하고 필요에 따라 데이터 유효성 검사 규칙을 활성화합니다.
   
9. 또한 요구 사항이 요구하는 경우 특정 레코드를 필터링하도록 데이터 필터링 조건을 구성합니다.
   
10. 흐름이 요청 시 수동으로 실행되는지 아니면 일정에 따라 자동으로 실행되는지 결정하도록 흐름 트리거를 구성합니다.
    일정에 대해 구성된 경우 빈도는 예측을 생성해야 하는 빈도(일반적으로 월별, 분기별 또는 반기별)를 기반으로 합니다.
    흐름이 구성된 후 비즈니스 분석가는 요청 시 실행하거나 일정에 따라 실행하여 SAP에서 S3 버킷으로의 판매 주문 데이터에 대해 ETL 작업을 수행할 수 있습니다.
11. Amazon AppFlow 구성 외에도 데이터 엔지니어는 다음을 구성해야 합니다. AWS 자격 증명 및 액세스 관리 다른 AWS 서비스에 액세스할 수 있도록 Canvas에 대한 (IAM) 역할. 지침은 다음을 참조하십시오. 사용자에게 시계열 예측을 수행할 수 있는 권한 부여.

비즈니스 분석가: 과거 판매 데이터를 사용하여 예측 모델 교육

기어를 전환하고 비즈니스 분석가 쪽으로 이동하겠습니다. 비즈니스 분석가로서 우리는 한 줄의 코드를 작성하거나 ML 전문 지식이 없어도 ML 모델을 쉽게 구축하고 정확한 예측을 생성할 수 있는 시각적 포인트 앤 클릭 서비스를 찾고 있습니다. Canvas는 코드가 없는 ML 솔루션으로 요구 사항에 맞습니다.

먼저 Canvas가 다른 AWS 서비스에 액세스할 수 있도록 IAM 역할이 구성되었는지 확인합니다. 자세한 내용은 다음을 참조하십시오. 사용자에게 시계열 예측을 수행할 수 있는 권한 부여, 또는 클라우드 엔지니어링 팀에 도움을 요청할 수 있습니다.

데이터 엔지니어가 Amazon AppFlow 기반 ETL 구성 설정을 완료하면 S3 버킷에서 과거 판매 데이터를 사용할 수 있습니다.

이제 Canvas로 모델을 훈련할 준비가 되었습니다! 여기에는 일반적으로 서비스로 데이터 가져오기, 적절한 모델 유형을 선택하여 모델 교육 구성, 모델 교육, 마지막으로 모델을 사용하여 예측 생성의 네 단계가 포함됩니다.

Canvas에서 데이터 가져오기

먼저 Canvas 앱을 실행합니다. 아마존 세이지 메이커 콘솔 또는 싱글 사인온 액세스에서. 방법을 모르는 경우 관리자에게 문의하여 Canvas 설정 프로세스를 안내할 수 있도록 하십시오. SAP의 기록 데이터 세트가 포함된 S3 버킷과 동일한 리전에서 서비스에 액세스해야 합니다. 다음과 같은 화면이 표시되어야 합니다.

그런 다음 다음 단계를 완료하십시오.

1. 캔버스에서 선택 데이터 세트 탐색 창에서
2. 왼쪽 메뉴에서 수입 S3 버킷에서 데이터 가져오기를 시작합니다.
   
3. 가져오기 화면에서 S3 버킷의 데이터 파일 또는 객체를 선택하여 교육 데이터를 가져옵니다.
   

Canvas에서 여러 데이터세트를 가져올 수 있습니다. 또한 다음을 선택하여 데이터 세트 간의 조인 생성을 지원합니다. 데이터 결합, 이는 훈련 데이터가 여러 파일에 분산되어 있을 때 특히 유용합니다.

모델 구성 및 학습

데이터를 가져온 후 다음 단계를 완료하십시오.

1. 왼쪽 메뉴에서 모델 탐색 창에서
2. 왼쪽 메뉴에서 새 모델 예측 모델 학습을 위한 구성을 시작합니다.
   
3. 새 모델의 경우 다음과 같이 적절한 이름을 지정하십시오. product_sales_forecast_model.
4. 판매 데이터 세트를 선택하고 데이터 세트 선택.
   
   데이터 세트를 선택한 후 빌드 탭에서 데이터 통계를 보고 모델 교육을 구성할 수 있습니다.
   
5. 선택 총 매출 예측의 대상 열로 사용합니다.
   당신이 볼 수 있습니다 시계열 예측 모델 유형으로 자동으로 선택됩니다.
6. 왼쪽 메뉴에서 구성.
   
7. . 시계열 예측 구성 섹션 선택 제품 ID for 항목 ID 열.
8. 왼쪽 메뉴에서 시티 for 그룹 열.
9. 왼쪽 메뉴에서 판매 날짜 for 타임스탬프 열.
10. 럭셔리 일, 입력 120.
11. 왼쪽 메뉴에서 찜하기.
    이렇게 하면 예측을 수행하도록 모델이 구성됩니다. totalsales 120일 동안 사용 saledate 조회할 수 있는 과거 데이터를 기반으로 productid 와 city.
    
12. 모델 학습 구성이 완료되면 다음을 선택합니다. 표준 빌드 모델 교육을 시작합니다.

XNUMXD덴탈의 모델 미리보기 시계열 예측 모델 유형에는 옵션을 사용할 수 없습니다. 모델 교육에 대한 예상 시간을 검토할 수 있습니다. 분석 탭.

모델 교육은 데이터 크기에 따라 완료하는 데 1~4시간이 걸릴 수 있습니다. 모델이 준비되면 이를 사용하여 예측을 생성할 수 있습니다.

예측 생성

모델 훈련이 완료되면 모델의 예측 정확도를 화면에 보여줍니다. 분석 탭. 예를 들어 이 예에서는 예측 정확도가 92.87%로 표시됩니다.

예측은 에 생성됩니다. 예측 탭. 모든 항목 또는 선택한 단일 항목에 대한 예측을 생성할 수 있습니다. 또한 예측을 생성할 수 있는 날짜 범위도 표시합니다.

예를 들어 다음을 선택하십시오. 단품 선택권. 고르다 P-2 for 항목 와 키토 for 그룹 날짜 범위 2-2017-08 15:00:00 ~ 00-2017-12 13:00:00 동안 도시 키토에 대한 제품 P-00에 대한 예측을 생성합니다.

생성된 예측은 평균 예측과 예측의 상한 및 하한을 보여줍니다. 예측 범위는 예측 처리를 위해 공격적이거나 균형 잡힌 접근 방식을 구성하는 데 도움이 됩니다.

생성된 예측을 CSV 파일이나 이미지로 다운로드할 수도 있습니다. 생성된 예측 CSV 파일은 일반적으로 예측 데이터와 함께 오프라인으로 작업하는 데 사용됩니다.

이제 시계열 데이터에 대한 예측이 생성됩니다. 새 데이터 기준선을 예측에 사용할 수 있게 되면 Canvas에서 데이터 세트를 변경하여 새 기준선을 사용하여 예측 모델을 다시 훈련할 수 있습니다.

훈련 데이터가 변경되면 모델을 여러 번 재훈련할 수 있습니다.

결론

이 게시물에서는 Amazon AppFlow SAP OData Connector가 판매 주문 데이터를 SAP 시스템에서 S3 버킷으로 내보내는 방법과 Canvas를 사용하여 예측을 위한 모델을 구축하는 방법을 배웠습니다.

비용 또는 수익 예측과 같은 모든 SAP 시계열 데이터 시나리오에 Canvas를 사용할 수 있습니다. 전체 예측 생성 프로세스는 구성 기반입니다. 영업 관리자와 담당자는 한 줄의 코드를 작성하지 않고도 빠르고 간단하며 직관적인 방법으로 새로 고쳐진 데이터 세트를 사용하여 월별 또는 분기별로 판매 예측을 반복적으로 생성할 수 있습니다. 이는 생산성을 향상시키고 신속한 계획과 결정을 가능하게 합니다.

시작하려면 다음 리소스를 사용하여 Canvas 및 Amazon AppFlow에 대해 자세히 알아보십시오.

• Amazon SageMaker 캔버스 개발자 안내서
• Amazon SageMaker Canvas 발표 - 비즈니스 분석가를 위한 시각적이고 코드가 없는 기계 학습 기능
• Amazon AppFlow를 사용하여 SAP ERP 및 BW에서 데이터 추출
• SAP OData 커넥터 구성

저자에 관하여

브라젠드라 싱 엔터프라이즈 고객과 협력하는 Amazon Web Services의 솔루션 설계자입니다. 그는 강력한 개발자 배경을 가지고 있으며 데이터 및 기계 학습 솔루션에 대한 열렬한 애호가입니다.

다비드 갈리텔리 EMEA 지역의 AI/ML 전문 솔루션 설계자입니다. 그는 브뤼셀에 거주하며 베네룩스 전역의 고객과 긴밀하게 협력하고 있습니다. 그는 아주 어렸을 때부터 개발자였으며 ​​7세에 코딩을 시작했습니다. 그는 대학에서 AI/ML을 배우기 시작했고 그때부터 사랑에 빠졌습니다.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- 캔버스/