Извлекайте ценную информацию из SAP ERP с помощью решений машинного обучения без кода с помощью Amazon AppFlow и Amazon SageMaker Canvas

Клиенты в таких отраслях, как производство потребительских товаров, производство и розничная торговля, всегда ищут способы расширить свои операционные процессы, обогащая их идеями и аналитикой, полученными на основе данных. Такие задачи, как прогнозирование продаж, напрямую влияют на такие операции, как планирование сырья, закупки, производство, распределение и входящая/исходящая логистика, и могут иметь многоуровневое воздействие, от одного склада до крупных производственных объектов.

Торговые представители и менеджеры используют исторические данные о продажах, чтобы делать обоснованные прогнозы будущих тенденций продаж. Клиенты используют SAP ERP Central Component (ECC) для управления планированием производства, продажи и распространения товаров. Модуль продаж и распределения (SD) в SAP ECC помогает управлять заказами на продажу. Системы SAP являются основным источником исторических данных о продажах.

Торговые представители и менеджеры обладают знаниями предметной области и глубоким пониманием своих данных о продажах. Однако им не хватает навыков работы с данными и программирования для создания моделей машинного обучения (ML), которые могут генерировать прогнозы продаж. Им нужны интуитивно понятные и простые в использовании инструменты для создания моделей машинного обучения без написания единой строки кода.

Чтобы помочь организациям достичь гибкости и эффективности, к которым стремятся бизнес-аналитики, мы выпустили Холст Amazon SageMaker, решение машинного обучения без написания кода, которое помогает ускорить разработку решений машинного обучения до нескольких часов или дней. Canvas позволяет аналитикам легко использовать доступные данные в озерах данных, хранилищах данных и оперативных хранилищах данных; строить модели машинного обучения; и использовать их для интерактивных прогнозов и для пакетной оценки больших наборов данных — и все это без написания единой строки кода.

В этом посте мы покажем, как перенести данные о заказах на продажу из SAP ECC для создания прогнозов продаж с использованием модели машинного обучения, построенной с использованием Canvas.

Обзор решения

Для создания прогнозов продаж с использованием данных о продажах SAP нам необходимо сотрудничество двух человек: инженеров данных и бизнес-аналитиков (торговых представителей и менеджеров). Инженеры данных отвечают за настройку экспорта данных из системы SAP в Простой сервис хранения Amazon (Amazon S3) с помощью Поток приложений Amazon, который затем бизнес-аналитики могут запускать либо по запросу, либо автоматически (по расписанию) для обновления данных SAP в корзине S3. Затем бизнес-аналитики несут ответственность за создание прогнозов на основе экспортированных данных с помощью Canvas. Следующая диаграмма иллюстрирует этот рабочий процесс.

Для этого поста мы используем SAP Модель корпоративных закупок NetWeaver (EPM) для выборочных данных. EPM обычно используется для демонстрации и тестирования в SAP. Он использует общую модель бизнес-процессов и следует парадигме бизнес-объектов (BO) для поддержки четко определенной бизнес-логики. Мы использовали транзакцию SAP SEPM_DG (генератор данных) для создания около 80,000 XNUMX исторических заказов на продажу и создали представление HANA CDS для агрегирования данных по идентификатору продукта, дате продажи и городу, как показано в следующем коде:

@AbapCatalog.sqlViewName: 'ZCDS_EPM_VIEW'
@AbapCatalog.compiler.compareFilter: true
@AbapCatalog.preserveKey: true
@AccessControl.authorizationCheck: #CHECK
@EndUserText.label: 'Sagemaker canvas sales order'
@OData.publish: true define view ZCDS_EPM as select from epm_v_sales_data as sd
inner join epm_v_bp as bp on sd.bp_id = bp.bp_id { key sd.product_id as productid, bp.city, concat( cast( Concat( Concat( Concat(substring(cast (sd.created_at as abap.char( 30 )), 1, 4), '-'), Concat(substring(cast (sd.created_at as abap.char( 30 )), 5, 2), '-') ), Substring(cast (sd.created_at as abap.char( 30 )), 7, 2) ) as char10 preserving type),' 00:00:00') as saledate, cast(sum(sd.gross_amount) as abap.dec( 15, 3 )) as totalsales }
group by sd.product_id,sd.created_at, bp.city

В следующем разделе мы представляем это представление, используя службы SAP OData в качестве структуры ABAP, что позволяет нам извлекать данные с помощью Amazon AppFlow.

В следующей таблице показаны репрезентативные исторические данные о продажах из SAP, которые мы используем в этом посте.

Файл данных представляет собой исторические данные ежедневной частоты. Он имеет четыре столбца (productid, saledate, cityи totalsales). Мы используем Canvas для построения модели ML, которая используется для прогнозирования totalsales для productid в конкретном городе.

Этот пост был организован, чтобы показать действия и обязанности как инженеров данных, так и бизнес-аналитиков по созданию прогнозов продаж продуктов.

Инженер данных: Извлечение, преобразование и загрузка набора данных из SAP в Amazon S3 с помощью Amazon AppFlow

Первая задача, которую вы выполняете в качестве инженера данных, — запустить задание извлечения, преобразования и загрузки (ETL) для исторических данных о продажах из SAP ECC в корзину S3, которую бизнес-аналитик использует в качестве исходного набора данных для своей модели прогнозирования. Для этого мы используем Amazon AppFlow, так как он предоставляет готовую Соединитель SAP OData для ETL (как показано на следующей диаграмме) с помощью простого пользовательского интерфейса для настройки всего, что необходимо для настройки подключения из SAP ECC к корзине S3.

Предпосылки

Ниже приведены требования для интеграции Amazon AppFlow с SAP:

• SAP NetWeaver Stack версии 7.40 SP02 или выше
• Служба каталогов (OData v2.0/v2.0), включенная в SAP Gateway для обнаружения служб
• Поддержка параметров разбиения на страницы и запросов на стороне клиента для службы SAP OData.
• Подключение с поддержкой HTTPS к SAP

Аутентификация

Amazon AppFlow поддерживает два механизма аутентификации для подключения к SAP:

• Базовый – Аутентификация с использованием имени пользователя и пароля SAP OData.
• ОАут 2.0 – Использует конфигурацию OAuth 2.0 с поставщиком удостоверений. OAuth 2.0 должен быть включен для служб OData v2.0/v2.0.

Связь

Amazon AppFlow может подключаться к SAP ECC с помощью общедоступного интерфейса SAP OData или частного подключения. Частное подключение повышает конфиденциальность и безопасность данных за счет передачи данных через частную сеть AWS вместо общедоступного Интернета. Частное соединение использует службу конечной точки VPC для экземпляра SAP OData, работающего в VPC. Служба конечной точки VPC должна иметь субъект-службу Amazon AppFlow. appflow.amazonaws.com в качестве разрешенного принципала и должен быть доступен как минимум более чем в 50 % зон доступности в регионе AWS.

Настройте поток в Amazon AppFlow

Мы настраиваем новый поток в Amazon AppFlow для запуска задания ETL для данных из SAP в корзину S3. Этот поток позволяет настроить коннектор SAP OData как источник, корзину S3 как место назначения, выбор объекта OData, сопоставление данных, проверку данных и фильтрацию данных.

1. Настройте коннектор SAP OData в качестве источника данных, предоставив следующую информацию:
   1. URL хоста приложения
   2. Путь службы приложения (путь каталога)
   3. Номер порта
   4. Номер клиента
   5. Язык входа
   6. Тип подключения (приватная ссылка или общедоступная)
   7. Режим аутентификации
   8. Имя подключения для конфигурации
      
2. После настройки источника выберите объект OData и подобъект для заказов на продажу.
   Как правило, данные о продажах из SAP экспортируются с определенной периодичностью, например ежемесячно или ежеквартально для полного размера. Для этого поста выберите вариант подобъекта для полноразмерного экспорта.
   
3. Выберите корзину S3 в качестве места назначения.
   Поток экспортирует данные в этот сегмент.
   
4. Что касается Предпочтение формата данных, наведите на Формат CSV.
5. Что касается Настройки передачи данных, наведите на Объединить все записи.
6. Что касается Предпочтение имени файла, наведите на Добавить временную метку к имени файла.
7. Что касается Настройка структуры папок, наведите на Папка без метки времени.
   Конфигурация агрегации записей экспортирует полноразмерные данные о продажах из SAP, объединенные в один файл. Имя файла заканчивается отметкой времени в формате ГГГГ-ММ-ДДТЧЧ:мм:сс в одной папке (имя потока) в корзине S3. Canvas импортирует данные из этого единственного файла для обучения модели и прогнозирования.
   
8. Настройте сопоставление данных и проверки, чтобы сопоставить исходные поля данных с целевыми полями данных, и при необходимости включите правила проверки данных.
   
9. Вы также настраиваете условия фильтрации данных, чтобы отфильтровывать определенные записи, если того требуют ваши требования.
   
10. Настройте триггер потока, чтобы решить, будет ли поток запускаться вручную по запросу или автоматически по расписанию.
    При настройке расписания частота зависит от того, как часто необходимо создавать прогноз (обычно ежемесячно, ежеквартально или раз в полгода).
    После настройки потока бизнес-аналитики могут запускать его по запросу или на основе расписания для выполнения задания ETL с данными заказа на продажу из SAP в корзину S3.
11. В дополнение к настройке Amazon AppFlow инженеры данных также должны настроить Управление идентификацией и доступом AWS (IAM) для Canvas, чтобы он мог получить доступ к другим сервисам AWS. Инструкции см. Разрешите пользователям выполнять прогнозирование временных рядов..

Бизнес-аналитик: используйте исторические данные о продажах для обучения модели прогнозирования

Давайте переключим передачу и перейдем к бизнес-аналитику. Как бизнес-аналитик, мы ищем наглядный сервис «укажи и щелкни», который позволит легко создавать модели ML и генерировать точные прогнозы без написания единой строки кода или наличия опыта ML. Canvas соответствует требованиям решения для машинного обучения без кода.

Во-первых, убедитесь, что ваша роль IAM настроена таким образом, что Canvas может получить доступ к другим сервисам AWS. Для получения дополнительной информации см. Разрешите пользователям выполнять прогнозирование временных рядов., или вы можете обратиться за помощью к вашей команде Cloud Engineering.

Когда инженер данных завершит настройку конфигурации ETL на основе Amazon AppFlow, исторические данные о продажах будут доступны для вас в корзине S3.

Теперь вы готовы обучить модель с помощью Canvas! Обычно это включает четыре шага: импорт данных в службу, настройка обучения модели путем выбора соответствующего типа модели, обучение модели и, наконец, создание прогнозов с использованием модели.

Импорт данных в Canvas

Сначала запустите приложение Canvas из Создатель мудреца Амазонки консоли или из вашего доступа к единому входу. Если вы не знаете, как это сделать, обратитесь к администратору, чтобы он помог вам настроить Canvas. Убедитесь, что вы получаете доступ к сервису в том же регионе, что и корзина S3, содержащая исторический набор данных из SAP. Вы должны увидеть экран, подобный следующему.

Затем выполните следующие действия:

1. В Холсте выберите Datasets в навигационной панели.
2. Выберите Импортировать чтобы начать импорт данных из корзины S3.
   
3. На экране импорта выберите файл данных или объект из корзины S3, чтобы импортировать обучающие данные.
   

Вы можете импортировать несколько наборов данных в Canvas. Он также поддерживает создание соединений между наборами данных, выбирая Присоединить данные, что особенно полезно, когда обучающие данные распределены по нескольким файлам.

Настроить и обучить модель

После импорта данных выполните следующие шаги:

1. Выберите Модели в навигационной панели.
2. Выберите Новая модель чтобы начать настройку для обучения прогнозной модели.
   
3. Для новой модели дайте ей подходящее имя, например product_sales_forecast_model.
4. Выберите набор данных о продажах и выберите Выбрать набор данных.
   
   После выбора набора данных вы можете просмотреть статистику данных и настроить обучение модели на вкладке «Сборка».
   
5. Выберите тотальная распродажа в качестве целевого столбца для прогноза.
   Вы можете видеть, Прогнозирование временных рядов автоматически выбирается в качестве типа модели.
6. Выберите Настроить.
   
7. В Настройка прогнозирования временных рядов раздел, выбрать Код товара для Столбец идентификатора элемента.
8. Выберите город для Групповой столбец.
9. Выберите Дата продажи для Столбец меток времени.
10. Что касается Дней, войти 120.
11. Выберите Сохранить.
    Это настраивает модель для прогнозирования totalsales на 120 дней использования saledate на основе исторических данных, которые могут быть запрошены для productid и city.
    
12. Когда конфигурация обучения модели завершена, выберите Стандартная сборка начать обучение модели.

Ассоциация Предварительная версия модели опция недоступна для типа модели прогнозирования временных рядов. Вы можете просмотреть расчетное время обучения модели на странице Анализировать меню.

Обучение модели может занять от 1 до 4 часов, в зависимости от размера данных. Когда модель будет готова, вы можете использовать ее для создания прогноза.

Создать прогноз

Когда обучение модели завершено, она показывает точность предсказания модели на Анализировать вкладка Например, в этом примере точность прогноза составляет 92.87%.

Прогноз формируется на прогнозировать вкладка Вы можете генерировать прогнозы для всех элементов или для выбранного отдельного элемента. Он также показывает диапазон дат, для которого может быть сгенерирован прогноз.

В качестве примера выберите Одиночный деталь вариант. Выбрать P-2 для Товар и Кито для группы чтобы сгенерировать прогноз для продукта P-2 для города Кито для диапазона дат с 2017:08:15 00 до 00:00:2017 12.

Сгенерированный прогноз показывает средний прогноз, а также верхнюю и нижнюю границу прогноза. Границы прогноза помогают настроить агрессивный или сбалансированный подход к обработке прогноза.

Вы также можете скачать сгенерированный прогноз в виде CSV-файла или изображения. Сгенерированный CSV-файл прогноза обычно используется для автономной работы с данными прогноза.

Теперь прогноз создается для данных временных рядов. Когда для прогноза станет доступен новый базовый уровень данных, вы можете изменить набор данных в Canvas, чтобы повторно обучить модель прогноза с использованием нового базового уровня.

Вы можете повторно обучать модель несколько раз по мере изменения обучающих данных.

Заключение

В этом посте вы узнали, как Amazon AppFlow SAP OData Connector экспортирует данные заказов на продажу из системы SAP в корзину S3, а затем как использовать Canvas для построения модели для прогнозирования.

Вы можете использовать Canvas для любых сценариев данных временных рядов SAP, таких как прогнозирование расходов или доходов. Весь процесс генерации прогноза управляется конфигурацией. Менеджеры по продажам и представители могут генерировать прогнозы продаж несколько раз в месяц или квартал с обновляемым набором данных быстрым, простым и интуитивно понятным способом без написания единой строки кода. Это помогает повысить производительность и позволяет быстро планировать и принимать решения.

Чтобы приступить к работе, узнайте больше о Canvas и Amazon AppFlow, используя следующие ресурсы:

• Руководство разработчика Amazon SageMaker Canvas для разработчиков
• Представляем Amazon SageMaker Canvas — визуальную возможность машинного обучения без кода для бизнес-аналитиков
• Извлечение данных из SAP ERP и BW с помощью Amazon AppFlow
• Конфигурация соединителя SAP OData

Об авторах

Браджендра Сингх является архитектором решений в Amazon Web Services, работающим с корпоративными клиентами. Он имеет большой опыт разработки и является страстным энтузиастом решений для обработки данных и машинного обучения.

Давиде Галлителли является специалистом по разработке решений для AI/ML в регионе EMEA. Он базируется в Брюсселе и тесно сотрудничает с клиентами из стран Бенилюкса. Он был разработчиком с самого раннего возраста, начав программировать в возрасте 7 лет. Он начал изучать AI/ML в университете и с тех пор влюбился в него.

• Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
• КриптоХок. Альткоин Радар. Бесплатная пробная версия.
• Источник: https://aws.amazon.com/blogs/machine-learning/extract-insights-from-sap-erp-with-no-code-ml-solutions-with-amazon-appflow-and-amazon-sagemaker- холст/