Этот пост является гостевым совместным сотрудничеством Супратима Банерджи из More Retail Limited и Shivaprasad KT и Гаурав Х. Канкария из Ganit Inc.
More Retail Ltd. (MRL) - один из четырех ведущих розничных продавцов продуктовых товаров в Индии с доходом порядка нескольких миллиардов долларов. У него есть сеть магазинов из 22 гипермаркетов и 624 супермаркетов по всей Индии, поддерживаемая цепочкой поставок из 13 распределительных центров, 7 центров сбора фруктов и овощей и 6 центров обработки основных продуктов.
С такой большой сетью для MRL критически важно предоставлять продукцию нужного качества с правильной экономической ценностью, удовлетворяя при этом спрос клиентов и сводя к минимуму эксплуатационные расходы. MRL сотрудничал с Ganit в качестве своего партнера по аналитике искусственного интеллекта, чтобы прогнозировать спрос с большей точностью и создать автоматизированную систему заказов, чтобы преодолеть узкие места и недостатки ручной оценки со стороны менеджеров магазинов. MRL б / у Прогноз Амазонки повысить точность прогнозов с 24% до 76%, что приведет к сокращению потерь до 30% в категории свежих продуктов, повышению уровня запасов с 80% до 90% и увеличению валовой прибыли на 25%.
Нам удалось достичь этих бизнес-результатов и построить автоматизированную систему заказов по двум основным причинам:
- Возможность экспериментировать - Forecast предоставляет гибкую и модульную платформу, с помощью которой мы провели более 200 экспериментов с использованием различных регрессоров и типов моделей, включая как традиционные, так и модели машинного обучения. Команда следовала подходу кайдзен, извлекая уроки из ранее неудачных моделей и развертывая модели только тогда, когда они были успешными. Эксперименты продолжались на стороне, пока были развернуты модели-победители.
- Управление изменениями - Мы попросили владельцев категорий, которые привыкли размещать заказы на основе бизнес-суждений, доверять системе заказов на основе машинного обучения. Системный план внедрения гарантировал, что результаты инструмента сохраняются, а инструмент эксплуатируется с соблюдением дисциплины, так что заполненный и текущий запасы выявлялись и регистрировались вовремя.
Сложность прогнозирования категории свежих продуктов
Прогнозировать спрос на категорию свежих продуктов сложно, поскольку у свежих продуктов короткий срок хранения. Из-за завышенного прогноза магазины в конечном итоге продают просроченные или перезрелые продукты или выбрасывают большую часть своих запасов (это называется усадка). Если прогноз недооценен, товаров может не хватить на складе, что влияет на качество обслуживания клиентов. Клиенты могут отказаться от своей корзины, если они не могут найти ключевые товары в своем списке покупок, потому что они не хотят ждать в очереди на кассу только для нескольких продуктов. Чтобы добавить к этой сложности, MRL имеет много артикулов в более чем 600 супермаркетах, что приводит к более чем 6,000 комбинаций магазина и артикула.
К концу 2019 года MRL использовала традиционные статистические методы для создания моделей прогнозирования для каждой комбинации магазина и артикула, что дало точность до 40%. Прогнозы поддерживались с помощью нескольких отдельных моделей, что делало их затратными с точки зрения вычислений и эксплуатации.
Прогнозирование спроса на размещение заказа
В начале 2020 года MRL и Ganit начали совместную работу по дальнейшему повышению точности прогнозов категории свежих продуктов, известной как фрукты и овощи (F&V), и снижению усадки.
Ганит посоветовал MRL разбить проблему на две части:
- Прогнозировать спрос для каждой комбинации магазина и артикула
- Рассчитать количество заказа (отступы)
Мы более подробно рассмотрим каждый аспект в следующих разделах.
Прогноз спроса
В этом разделе мы обсудим этапы прогнозирования спроса для каждой комбинации магазина и артикула.
Понять драйверы спроса
Команда Ганита начала свой путь с понимания факторов, которые стимулировали спрос в магазинах. Это включало в себя несколько посещений магазинов, обсуждения с категорийными менеджерами и встречи с генеральным директором супермаркета в сочетании с собственным внутренним опытом прогнозирования Ганита по ряду других аспектов, таких как сезонность, дефицит, социально-экономические и макроэкономические факторы. .
После посещений магазинов было сформулировано около 80 гипотез по множеству факторов, чтобы изучить их влияние на спрос на продукты и напитки. Команда провела комплексное тестирование гипотез с использованием таких методов, как корреляция, двумерный и одномерный анализ и тесты статистической значимости (t-критерий Стьюдента, Z-тесты), чтобы установить связь между спросом и соответствующими факторами, такими как даты фестиваля, погода, рекламные акции и многое другое. .
Сегментация данных
Команда подчеркнула важность разработки детальной модели, которая могла бы точно прогнозировать комбинацию магазина и артикула на каждый день. Комбинация вклада продаж и простоты прогнозирования была построена в виде структуры ABC-XYZ, где ABC указывает вклад продаж (A - самый высокий), а XYZ - легкость прогнозирования (Z - самый низкий). При построении модели в первую очередь обращали внимание на комбинации магазина и артикула, которые имели большой вклад в продажи и были наиболее трудными для прогнозирования. Это было сделано для того, чтобы повышение точности прогнозов оказало максимальное влияние на бизнес.
Обработка данных
Данные транзакций MRL были структурированы как обычные данные точек продаж, с такими полями, как номер мобильного телефона, номер счета, код товара, код магазина, дата, количество счета, реализованная стоимость и величина скидки. Команда использовала ежедневные транзакционные данные за последние 2 года для построения модели. Анализ исторических данных помог выявить две проблемы:
- Наличие множества пропущенных значений
- В некоторые дни продажи на уровне счетов были чрезвычайно высокими или низкими, что указывало на наличие выбросов в данных.
Обработка отсутствующих значений
Глубокое погружение в недостающие значения позволило выявить такие причины, как отсутствие запасов в магазине (отсутствие поставок или отсутствие сезона) и закрытие магазинов из-за запланированных выходных или внешних ограничений (например, остановка в региональном или национальном масштабе или строительные работы). Отсутствующие значения были заменены на 0, и в модель были добавлены соответствующие регрессоры или флаги, чтобы модель могла извлекать уроки из этого для любых таких будущих событий.
Обработка выбросов
Команда обработала выбросы на наиболее детальном уровне счета, что обеспечило учет таких факторов, как ликвидация, оптовые закупки (B2B) и низкое качество. Например, обработка на уровне счета может включать в себя наблюдение за KPI для каждой комбинации магазина и артикула на дневном уровне, как показано на следующем графике.
Затем мы можем пометить даты, когда аномально большие количества продаются как выбросы, и глубже погрузиться в эти выявленные выбросы. Дальнейший анализ показывает, что эти выбросы представляют собой заранее запланированные институциональные закупки.
Затем эти выбросы на уровне счета ограничиваются максимальным объемом продаж на эту дату. Следующие графики показывают разницу в спросе на уровне счета.
Процесс прогнозирования
Команда протестировала несколько методов прогнозирования, таких как модели временных рядов, модели на основе регрессии и модели глубокого обучения, прежде чем выбрать прогноз. Основной причиной выбора прогноза была разница в производительности при сравнении точности прогнозов в сегменте XY с ковшом Z, что было труднее всего предсказать. Хотя большинство традиционных методов обеспечивали более высокую точность в сегменте XY, только алгоритмы машинного обучения в прогнозе обеспечивали 10% -ную инкрементную точность по сравнению с другими моделями. Это произошло в первую очередь из-за способности Forecast изучать другие шаблоны SKU (XY) и применять эти знания к очень нестабильным элементам в Z-корзине. Благодаря AutoML алгоритм Forecast DeepAR + стал победителем и выбран в качестве модели прогноза.
Итерация для дальнейшего повышения точности прогнозов
После того, как команда определила Deep AR + как выигрышный алгоритм, они провели несколько экспериментов с дополнительными функциями для дальнейшего повышения точности. Они выполнили несколько итераций на меньшем наборе выборки с различными комбинациями, такими как чистые данные целевого временного ряда (с обработкой выбросов и без нее), регрессоры, такие как фестивали или закрытие магазинов, и метаданные предметов магазина (иерархия предметов магазина), чтобы понять наилучшую комбинацию для повышение точности прогнозов. Комбинация целевых временных рядов, обработанных выбросами, вместе с метаданными элементов магазина и регрессорами, дала наивысшую точность. Это было сокращено до исходного набора из 6,230 комбинаций магазинов и артикулов, чтобы получить окончательный прогноз.
Расчет количества заказа
После того, как команда разработала модель прогнозирования, следующим шагом было ее использование, чтобы решить, сколько запасов нужно покупать и размещать заказы. На создание заказов влияют прогнозируемый спрос, текущий товарный запас и другие важные факторы в магазине.
Следующая формула послужила основой для построения конструкции заказа.
Команда также рассмотрела другие параметры регулировки отступов для системы автоматического заказа, такие как минимальное количество заказа, коэффициент единицы обслуживания, минимальный конечный запас, минимальный запас демонстрации (на основе планограммы) и корректировка скорости заполнения, тем самым ликвидировав разрыв между машиной и человеком. интеллект.
Сценарии с заниженным и завышенным прогнозом баланса
Чтобы оптимизировать выходную стоимость сокращения с учетом стоимости дефицита и упущенных продаж, команда использовала функцию квантилей прогноза, чтобы переместить прогнозный ответ из модели.
При разработке модели было создано три прогноза для квантилей p40, p50 и p60, причем p50 является базовым квантилем. Выбор квантилей был запрограммирован на основе дефицита и потерь в магазинах в недавнем прошлом. Например, более высокие квантили были автоматически выбраны, если конкретная комбинация магазина и артикула сталкивалась с постоянным дефицитом в течение последних 3 дней, и более низкие квантили были автоматически выбраны, если артикул магазина характеризовался высокими потерями. Количество увеличивающихся и уменьшающихся квантилей основывалось на величине дефицита или сокращения запасов в магазине.
Автоматическое размещение заказов через Oracle ERP
MRL развернула Forecast и системы заказа отступов в производственной среде, интегрировав их с ERP-системой Oracle, которую MRL использует для размещения заказов. Следующая диаграмма иллюстрирует окончательную архитектуру.
Для развертывания системы заказов в производственной среде все данные MRL были перенесены в AWS. Команда настроила задания ETL для перемещения живых таблиц в Амазонка Redshift (хранилище данных для бизнес-аналитики), поэтому Amazon Redshift стал единственным источником данных для будущей обработки всех данных.
Вся архитектура данных была разделена на две части:
- Механизм прогнозирования:
- Использованные исторические данные о спросе (с задержкой в 1 день), присутствующие в Amazon Redshift
- Другие входные данные регрессора, такие как время последнего счета, цена и фестивали, поддерживались в Amazon Redshift.
- An Эластичное вычислительное облако Amazon (Amazon EC2) инстанс был настроен с использованием настроенных скриптов Python для обработки транзакций, регрессоров и других метаданных.
- После обработки данных данные были перемещены в Простой сервис хранения Amazon (Amazon S3) сегмент для создания прогнозов (прогнозы T + 2 для всех комбинаций магазина и артикула)
- Окончательный результат прогноза хранился в отдельной папке в корзине S3.
- Порядок (отступ) движка:
- Все данные, необходимые для преобразования прогнозов в заказы (например, наличные запасы, полученные на склад, заказы за последние 2 дня, размещенные для получения, коэффициент единицы обслуживания и минимальный начальный и конечный запас на основе планограммы), хранились и поддерживались в Amazon Redshift.
- Количество заказа было рассчитано с помощью скриптов Python, запущенных на инстансах EC2
- Затем заказы были перемещены в ERP-систему Oracle, которая разместила заказы поставщикам.
Вся система заказов была разделена на несколько ключевых сегментов. Команда настроила уведомления по электронной почте планировщика Apache Airflow для каждого процесса, чтобы уведомить соответствующие заинтересованные стороны об успешном завершении или неудаче, чтобы они могли немедленно принять меры. Заказы, размещенные через систему ERP, затем перемещались в таблицы Amazon Redshift для расчета заказов на следующие дни. Простота интеграции между системами AWS и ERP привела к созданию полной непрерывной автоматизированной системы заказов с нулевым вмешательством человека.
Заключение
Подход на основе машинного обучения раскрыл истинную мощь данных для MRL. С помощью Forecast мы создали две национальные модели для разных форматов магазинов, в отличие от более 1,000 традиционных моделей, которые мы использовали.
Прогноз также обучается по временным рядам. Алгоритмы машинного обучения в прогнозе обеспечивают перекрестное обучение между комбинациями магазина и артикула, что помогает повысить точность прогнозов.
Кроме того, прогноз позволяет добавлять связанные временные ряды и метаданные товаров, например клиентов, которые отправляют сигналы спроса на основе сочетания товаров в их корзине. Прогноз учитывает всю входящую информацию о спросе и составляет единую модель. В отличие от обычных моделей, в которых добавление переменных приводит к переобучению, Forecast обогащает модель, предоставляя точные прогнозы на основе бизнес-контекста. MRL получила возможность классифицировать продукты на основе таких факторов, как срок годности, рекламные акции, цена, тип магазинов, богатый кластер, конкурентный магазин и пропускная способность магазинов. Мы рекомендуем вам попробовать Amazon Forecast, чтобы улучшить работу вашей цепочки поставок. Вы можете узнать больше об Amazon Forecast здесь. Чтобы узнать больше о Ganit и наших решениях, обратитесь на info@ganininc.com чтобы узнать больше.
Содержание и мнения в этом сообщении принадлежат стороннему автору, и AWS не несет ответственности за содержание или точность этого сообщения.
Об авторах
Супратим Банерджи это Главный директор по трансформации at Больше розничной торговли Ограниченное. Он опытный профессионал с богатой историей работы в сфере венчурного капитала и прямых инвестиций. Он был консультантом КПМГ и работал с такими организациями, как AT Kearney и India Equity Partners. Он имеет степень магистра делового администрирования в области финансов в Индийской школе бизнеса в Хайдарабаде.
Шивапрасад КТ это Соучредитель и генеральный директор at Ганит Инк. У него более 17 лет опыта в обеспечении влияния на выручку и чистую прибыль с помощью науки о данных в США, Австралии, Азии и Индии. Он консультировал CXO в таких компаниях, как Walmart, Sam's Club, Pfizer, Staples, Coles, Lenovo и Citibank. Он имеет степень магистра делового администрирования от SP Jain, Мумбаи, и степень бакалавра технических наук от NITK Surathkal.
Гаурав Х Канкария это Старший научный сотрудник at Ганит Инк. У него более 6 лет опыта в разработке и внедрении решений, которые помогают организациям в области розничной торговли, CPG и BFSI принимать решения на основе данных. Он имеет степень бакалавра Университета VIT в Веллоре.
