Esta postagem é uma colaboração conjunta de Supratim Banerjee da More Retail Limited e Shivaprasad KT e Gaurav H Kankaria da Ganit Inc.
More Retail Ltd. (MRL) é um dos quatro maiores varejistas de alimentos da Índia, com uma receita da ordem de vários bilhões de dólares. Possui uma rede de lojas de 22 hipermercados e 624 supermercados em toda a Índia, apoiada por uma cadeia de suprimentos de 13 centros de distribuição, 7 centros de coleta de frutas e vegetais e 6 centros de processamento de alimentos básicos.
Com uma rede tão grande, é fundamental para a MRL fornecer a qualidade certa do produto com o valor econômico certo, atendendo à demanda do cliente e mantendo os custos operacionais mínimos. A MRL colaborou com a Ganit como seu parceiro analítico de IA para prever a demanda com maior precisão e construir um sistema de pedidos automatizado para superar os gargalos e deficiências do julgamento manual pelos gerentes de loja. MRL usado Previsão da Amazônia para aumentar sua precisão de previsão de 24% para 76%, levando a uma redução no desperdício em até 30% na categoria de produtos frescos, melhorando as taxas de estoque de 80% para 90% e aumentando o lucro bruto em 25%.
Tivemos sucesso em alcançar esses resultados de negócios e construir um sistema de pedidos automatizado por dois motivos principais:
- Capacidade de experimentar - Forecast fornece uma plataforma flexível e modular por meio da qual executamos mais de 200 experimentos usando diferentes regressores e tipos de modelos, que incluíam modelos tradicionais e ML. A equipe seguiu uma abordagem Kaizen, aprendendo com modelos anteriormente malsucedidos e implantando modelos apenas quando eles eram bem-sucedidos. A experimentação continuou enquanto os modelos vencedores eram implantados.
- Gestão da mudança - Pedimos aos proprietários de categorias, que estavam acostumados a fazer pedidos usando o julgamento comercial, que confiassem no sistema de pedidos baseado em ML. Um plano de adoção sistêmica garantiu que os resultados da ferramenta fossem armazenados, e a ferramenta fosse operada com cadência disciplinada, de forma que o estoque preenchido e o atual fossem identificados e registrados no prazo.
Complexidade na previsão da categoria de produtos frescos
A previsão da demanda para a categoria de produtos frescos é um desafio porque os produtos frescos têm uma vida útil curta. Com a previsão em excesso, as lojas acabam vendendo produtos obsoletos ou maduros demais, ou jogam fora a maior parte de seu estoque (denominado como encolhimento) Se a previsão for insuficiente, os produtos podem estar fora de estoque, o que afeta a experiência do cliente. Os clientes podem abandonar seu carrinho se não conseguirem encontrar os itens principais em sua lista de compras, porque não querem esperar na fila do caixa por apenas um punhado de produtos. Para aumentar essa complexidade, a MRL tem muitos SKUs em seus mais de 600 supermercados, levando a mais de 6,000 combinações de SKUs de loja.
No final de 2019, a MRL estava usando métodos estatísticos tradicionais para criar modelos de previsão para cada combinação loja-SKU, o que resultou em uma precisão de até 40%. As previsões eram mantidas por meio de vários modelos individuais, tornando-as caras do ponto de vista computacional e operacional.
Previsão de demanda para colocação de pedido
No início de 2020, a MRL e a Ganit começaram a trabalhar juntas para melhorar ainda mais a precisão da previsão da categoria de frutas frescas, conhecida como Frutas e Vegetais (F&V), e reduzir o encolhimento.
Ganit aconselhou a MRL a dividir o problema em duas partes:
- Previsão de demanda para cada combinação loja-SKU
- Calcular a quantidade do pedido (recuos)
Entraremos em mais detalhes de cada aspecto nas seções a seguir.
Previsão de demanda
Nesta seção, discutimos as etapas de previsão de demanda para cada combinação loja-SKU.
Entenda os impulsionadores da demanda
A equipe de Ganit começou sua jornada entendendo primeiro os fatores que impulsionavam a demanda nas lojas. Isso incluiu várias visitas à loja no local, discussões com gerentes de categoria e reuniões regulares com o CEO do supermercado, juntamente com a experiência de previsão interna da Ganit em vários outros aspectos, como sazonalidade, falta de estoque, fatores socioeconômicos e macroeconômicos .
Após as visitas à loja, aproximadamente 80 hipóteses sobre múltiplos fatores foram formuladas para estudar seu impacto na demanda de F&H. A equipe realizou testes de hipóteses abrangentes usando técnicas como correlação, análise bivariada e univariada e testes de significância estatística (teste t de Student, testes Z) para estabelecer a relação entre a demanda e fatores relevantes, como datas de festivais, clima, promoções e muitos mais .
Segmentação de dados
A equipe enfatizou o desenvolvimento de um modelo granular que pudesse prever com precisão uma combinação de loja-SKU para cada dia. Uma combinação de contribuição de vendas e facilidade de previsão foi construída como uma estrutura ABC-XYZ, com ABC indicando a contribuição de vendas (A sendo a mais alta) e XYZ indicando a facilidade de previsão (Z sendo a mais baixa). Para a construção de modelos, a primeira linha de foco foi nas combinações loja-SKU que tiveram uma grande contribuição para as vendas e eram as mais difíceis de prever. Isso foi feito para garantir que o aprimoramento da precisão da previsão tenha o máximo impacto nos negócios.
Tratamento de dados
Os dados de transações do MRL foram estruturados como dados de pontos de venda convencionais, com campos como número do celular, número da conta, código do item, código da loja, data, quantidade da conta, valor realizado e valor do desconto. A equipe usou dados transacionais diários nos últimos 2 anos para a construção do modelo. A análise de dados históricos ajudou a identificar dois desafios:
- A presença de vários valores ausentes
- Alguns dias tiveram vendas extremamente altas ou baixas em níveis de fatura, o que indicou a presença de outliers nos dados
Tratamento de valor ausente
Um mergulho profundo nos valores ausentes identificou motivos como nenhum estoque disponível na loja (nenhum estoque ou não na temporada) e lojas sendo fechadas devido a feriados planejados ou restrições externas (como uma paralisação regional ou nacional, ou trabalho de construção). Os valores ausentes foram substituídos por 0, e regressores ou sinalizadores apropriados foram adicionados ao modelo para que o modelo pudesse aprender com esses eventos futuros.
Tratamento Outlier
A equipe tratou os outliers no nível de fatura mais granular, o que garantiu que fatores como liquidação, compra a granel (B2B) e má qualidade fossem considerados. Por exemplo, o tratamento no nível da fatura pode incluir a observação de um KPI para cada combinação loja-SKU em um nível de dia, como no gráfico a seguir.
Podemos, então, sinalizar as datas em que quantidades anormalmente altas são vendidas como discrepantes e mergulhar mais fundo nesses valores discrepantes identificados. Uma análise mais aprofundada mostra que esses outliers são compras institucionais pré-planejadas.
Esses valores discrepantes no nível de faturamento são então limitados à quantidade máxima de vendas para aquela data. Os gráficos a seguir mostram a diferença na demanda no nível da fatura.
Processo de previsão
A equipe testou várias técnicas de previsão, como modelos de série temporal, modelos baseados em regressão e modelos de aprendizado profundo antes de escolher a Previsão. O principal motivo para escolher a previsão foi a diferença no desempenho ao comparar as precisões da previsão no intervalo XY com o intervalo Z, que era o mais difícil de prever. Embora a maioria das técnicas convencionais fornecesse precisões mais altas no intervalo XY, apenas os algoritmos de ML na previsão forneceram uma precisão incremental de 10% em comparação com outros modelos. Isso se deveu principalmente à capacidade do Forecast de aprender outros padrões de SKUs (XY) e aplicar esses aprendizados a itens altamente voláteis no intervalo Z. Por meio do AutoML, o algoritmo Forecast DeepAR + foi o vencedor e escolhido como modelo de previsão.
Iterando para melhorar ainda mais a precisão da previsão
Depois que a equipe identificou o Deep AR + como o algoritmo vencedor, eles executaram vários experimentos com recursos adicionais para melhorar ainda mais a precisão. Eles realizaram várias iterações em um conjunto de amostra menor com diferentes combinações, como dados de série temporal de destino puro (com e sem tratamento de outlier), regressores como festivais ou fechamento de loja e metadados de item de loja (hierarquia de item de loja) para entender a melhor combinação para melhorando a precisão das previsões. A combinação de séries temporais de destino tratadas com outlier junto com metadados de item de armazenamento e regressores retornou a maior precisão. Isso foi reduzido para o conjunto original de 6,230 combinações de loja-SKU para obter a previsão final.
Cálculo da quantidade do pedido
Depois que a equipe desenvolveu o modelo de previsão, a próxima etapa imediata foi usá-lo para decidir quanto estoque comprar e fazer pedidos. A geração de pedidos é influenciada pela demanda prevista, estoque atual disponível e outros fatores relevantes na loja.
A fórmula a seguir serviu de base para projetar a construção do pedido.
A equipe também considerou outros parâmetros de ajuste de indentação para o sistema de pedido automático, como quantidade mínima de pedido, fator de unidade de serviço, estoque mínimo de fechamento, estoque mínimo de display (com base no planograma) e ajuste da taxa de preenchimento, diminuindo assim a lacuna entre a máquina e o humano inteligência.
Equilibre os cenários de previsão e superprevisão
Para otimizar o custo de produção de redução com o custo de rupturas de estoque e vendas perdidas, a equipe usou o recurso de quantis do Forecast para mover a resposta da previsão do modelo.
No projeto do modelo, três previsões foram geradas nos quantis p40, p50 e p60, com p50 sendo o quantil base. A seleção de quantis foi programada para ser baseada em rupturas e perdas nas lojas no passado recente. Por exemplo, quantis mais altos eram escolhidos automaticamente se uma combinação de loja-SKU em particular enfrentasse rupturas contínuas de estoque nos últimos 3 dias, e quantis mais baixos eram escolhidos automaticamente se o SKU-loja tivesse testemunhado alto desperdício. O quantum de quantis crescentes e decrescentes foi baseado na magnitude da falta de estoque ou redução dentro da loja.
Colocação automatizada de pedidos por meio do Oracle ERP
A MRL implantou o Forecast e os sistemas de pedido de recuo na produção, integrando-os ao sistema ERP da Oracle, que a MRL usa para fazer pedidos. O diagrama a seguir ilustra a arquitetura final.
Para implantar o sistema de pedidos na produção, todos os dados MRL foram migrados para a AWS. A equipe configurou trabalhos ETL para mover tabelas ativas para Amazon RedShift (data warehouse para trabalho de business intelligence), então o Amazon Redshift se tornou a única fonte de entrada para todo o processamento de dados no futuro.
Toda a arquitetura de dados foi dividida em duas partes:
- Motor de previsão:
- Dados históricos de demanda usados (defasagem de demanda de 1 dia) presentes no Amazon Redshift
- Outras entradas do regressor, como hora da última fatura, preço e festivais foram mantidos no Amazon Redshift
- An Amazon Elastic Compute Nuvem (Amazon EC2) instância foi configurada com scripts Python personalizados para disputar transações, regressores e outros metadados
- Pós-conversão de dados, os dados foram movidos para um Serviço de armazenamento simples da Amazon (Amazon S3) bucket para gerar previsões (previsões T + 2 para todas as combinações de loja-SKU)
- O resultado final da previsão foi armazenado em uma pasta separada em um balde S3
- Mecanismo de pedido (indentação):
- Todos os dados necessários para converter previsões em pedidos (como estoque disponível, quantidade recebida para armazenar, últimos 2 dias de pedidos feitos a receber, fator de unidade de serviço e estoque mínimo de abertura e fechamento baseado em planograma) foram armazenados e mantidos no Amazon Redshift
- A quantidade do pedido foi calculada por meio de scripts Python executados em instâncias EC2
- Os pedidos foram então movidos para o sistema ERP da Oracle, que fez um pedido aos fornecedores
Todo o sistema de pedidos foi desacoplado em vários segmentos principais. A equipe configurou as notificações por e-mail do agendador do Apache Airflow para cada processo para notificar as respectivas partes interessadas sobre a conclusão bem-sucedida ou falha, para que eles pudessem tomar medidas imediatas. Os pedidos feitos por meio do sistema ERP foram então movidos para as tabelas do Amazon Redshift para calcular os pedidos dos próximos dias. A facilidade de integração entre os sistemas AWS e ERP levou a um sistema de pedidos automatizado ponta a ponta completo com nenhuma intervenção humana.
Conclusão
Uma abordagem baseada em ML revelou o verdadeiro poder dos dados para MRL. Com a Forecast, criamos dois modelos nacionais para diferentes formatos de loja, ao contrário dos mais de 1,000 modelos tradicionais que usávamos.
A previsão também aprende com as séries temporais. Os algoritmos de ML dentro do Forecast permitem o aprendizado cruzado entre combinações de loja-SKU, o que ajuda a melhorar a precisão da previsão.
Além disso, a Previsão permite adicionar séries temporais relacionadas e metadados de itens, como clientes que enviam sinais de demanda com base na combinação de itens em sua cesta. A previsão considera todas as informações de demanda de entrada e chega a um único modelo. Ao contrário dos modelos convencionais, onde a adição de variáveis leva ao sobreajuste, o Forecast enriquece o modelo, fornecendo previsões precisas com base no contexto de negócios. A MRL ganhou a capacidade de categorizar produtos com base em fatores como prazo de validade, promoções, preço, tipo de lojas, cluster afluente, loja competitiva e rendimento das lojas. Recomendamos que você experimente o Amazon Forecast para melhorar suas operações da cadeia de suprimentos. Você pode aprender mais sobre a Amazon Forecast SUA PARTICIPAÇÃO FAZ A DIFERENÇA. Para saber mais sobre o Ganit e nossas soluções, entre em contato em info@ganitinc.com para saber mais.
O conteúdo e as opiniões desta postagem são de responsabilidade do autor terceirizado e a AWS não é responsável pelo conteúdo ou precisão desta postagem.
Sobre os autores
Supratim Banerjee é o Diretor Transformacional at Mais varejo Limitado. Ele é um profissional experiente com um histórico comprovado de trabalho nas indústrias de capital de risco e private equity. Ele foi consultor da KPMG e trabalhou com organizações como AT Kearney e India Equity Partners. Ele possui um MBA com foco em Finanças Geral pela Indian School of Business, Hyderabad.
Shivaprasad KT é o Cofundador e CEO at Ganit Inc. Ele tem mais de 17 anos de experiência no fornecimento de impacto de linha de frente e de linha de fundo usando ciência de dados nos Estados Unidos, Austrália, Ásia e Índia. Ele aconselhou CXOs em empresas como Walmart, Sam's Club, Pfizer, Staples, Coles, Lenovo e Citibank. Ele possui MBA pela SP Jain, Mumbai, e bacharelado em Engenharia pela NITK Surathkal.
Gaurav H Kankaria é o Cientista de dados sênior at Ganit Inc. Ele tem mais de 6 anos de experiência no projeto e implementação de soluções para ajudar organizações em domínios de varejo, CPG e BFSI a tomar decisões baseadas em dados. Ele é bacharel pela VIT University, Vellore.
