Este é um post convidado de coautoria de Nafi Ahmet Turgut, Mehmet İkbal Özmen, Hasan Burak Yel, Fatma Nur Dumlupınar Keşir, Mutlu Polatcan e Emre Uzel de Getir.
trouxe é a pioneira na entrega ultrarrápida de alimentos. A empresa de tecnologia revolucionou a entrega de última milha com sua proposta de entrega de alimentos em minutos. A Getir foi fundada em 2015 e opera na Turquia, no Reino Unido, na Holanda, na Alemanha e nos Estados Unidos. Hoje, a Getir é um conglomerado que incorpora nove verticais sob a mesma marca.
Nesta postagem, descrevemos o sistema de gerenciamento de força de trabalho ponta a ponta que começa com a previsão de demanda específica do local, seguida pelo planejamento da força de trabalho do correio e atribuição de turnos usando Previsão da Amazônia e Funções de etapa da AWS.
No passado, as equipas operacionais envolviam-se em práticas manuais de gestão da força de trabalho, o que resultava num desperdício significativo de tempo e esforço. No entanto, com a implementação do nosso projeto abrangente de gestão de força de trabalho, eles agora são capazes de gerar com eficiência os planos de correio necessários para armazéns através de um processo simplificado de um clique, acessível através de uma interface web. Antes do início deste projeto, as equipes de negócios contavam com métodos mais intuitivos de previsão de demanda, o que exigia melhorias em termos de precisão.
Previsão da Amazônia é um serviço totalmente gerenciado que usa algoritmos de aprendizado de máquina (ML) para fornecer previsões de séries temporais altamente precisas. Nesta postagem, descrevemos como reduzimos o tempo de modelagem em 70% fazendo a engenharia e modelagem de recursos usando o Amazon Forecast. Conseguimos uma redução de 90% no tempo decorrido ao executar algoritmos de agendamento para todos os armazéns usando Funções de etapa da AWS, que é um serviço totalmente gerenciado que facilita a coordenação dos componentes de aplicativos distribuídos e microsserviços usando fluxos de trabalho visuais. Esta solução também levou a uma melhoria de 90% na precisão das previsões na Turquia e em vários países europeus.
Visão geral da solução
O Projeto de Gestão de Força de Trabalho Ponta a Ponta (Projeto E2E) é um projeto de grande escala e pode ser descrito em três tópicos:
1. Cálculo dos requisitos de correio
O primeiro passo é estimar a demanda horária de cada armazém, conforme explicado na seção Seleção do algoritmo. Essas previsões, produzidas com o Amazon Forecast, ajudam a determinar quando e quantos entregadores cada armazém precisa.
Com base na taxa de transferência dos transportadores nos armazéns, o número de transportadores necessários para cada armazém é calculado em intervalos de hora em hora. Esses cálculos auxiliam na determinação da contagem viável de correios considerando o horário legal de trabalho, o que envolve modelagem matemática.
2. Resolvendo o problema de atribuição de turnos
Assim que tivermos as necessidades dos transportadores e conhecermos as outras restrições dos transportadores e armazéns, podemos resolver o problema de atribuição de turnos. O problema é modelado com variáveis de decisão determinando os entregadores a serem atribuídos e criando escalas de turnos, minimizando excedentes e faltas que podem causar perda de pedidos. Normalmente, esse é um problema de programação inteira mista (MIP).
3. Utilizando funções AWS Step
Usamos AWS Step Functions para coordenar e gerenciar fluxos de trabalho com sua capacidade de executar trabalhos em paralelo. O processo de atribuição de turno de cada armazém é definido como um fluxo de trabalho separado. O AWS Step Functions inicia e monitora automaticamente esses fluxos de trabalho, simplificando o tratamento de erros.
Como esse processo requer dados extensos e cálculos complexos, serviços como o AWS Step Functions oferecem uma vantagem significativa na organização e otimização de tarefas. Permite melhor controle e gerenciamento eficiente de recursos.
Na arquitetura da solução, também aproveitamos outros serviços da AWS integrando-os ao AWS Step Functions:
Os diagramas a seguir mostram os fluxos de trabalho do AWS Step Functions e a arquitetura da ferramenta de mudança:
Seleção de algoritmo
A previsão da procura local constitui a fase inicial do projecto E2E. O objetivo geral do E2E é determinar o número de entregadores a serem alocados para um armazém específico, começando com uma previsão da demanda desse armazém.
Esta componente de previsão é fundamental no quadro E2E, uma vez que as fases subsequentes dependem destes resultados de previsão. Assim, quaisquer imprecisões de previsão podem impactar negativamente a eficácia de todo o projeto.
O objetivo da fase de previsão de demanda local é gerar previsões específicas do país para cada armazém segmentado de hora em hora durante as próximas duas semanas. Inicialmente, as previsões diárias para cada país são formuladas através de modelos de ML. Essas previsões diárias são posteriormente divididas em segmentos horários, conforme ilustrado no gráfico a seguir. Dados históricos de demanda transacional, informações meteorológicas baseadas em localização, datas de feriados, promoções e dados de campanhas de marketing são os recursos usados no modelo, conforme mostrado no gráfico abaixo.
A equipe inicialmente explorou técnicas tradicionais de previsão, como código aberto SARIMA (Média Móvel Integrada Auto-Regressiva Sazonal), ARIMAX (Média Móvel Integrada Auto-Regressiva usando variáveis exógenas) e Suavização Exponencial.
ARIMA (Média Móvel Integrada Auto-Regressiva) é um método de previsão de série temporal que combina componentes autorregressivos (AR) e média móvel (MA) junto com diferenciação para tornar a série temporal estacionária.
SARIMA estende ARIMA incorporando parâmetros adicionais para levar em conta a sazonalidade na série temporal. Inclui termos auto-regressivos sazonais e médias móveis sazonais para capturar padrões repetidos em intervalos específicos, tornando-o adequado para séries temporais com um componente sazonal.
ARIMAX baseia-se no ARIMA introduzindo variáveis exógenas, que são fatores externos que podem influenciar a série temporal. Estas variáveis adicionais são consideradas no modelo para melhorar a precisão das previsões, contabilizando influências externas além dos valores históricos da série temporal.
Suavização Exponencial é outro método de previsão de séries temporais que, diferentemente do ARIMA, é baseado em médias ponderadas de observações passadas. É particularmente eficaz para capturar tendências e sazonalidade nos dados. O método atribui pesos exponencialmente decrescentes às observações passadas, com observações mais recentes recebendo pesos mais elevados.
Os modelos Amazon Forecast foram eventualmente selecionados para o segmento de modelagem algorítmica. A vasta gama de modelos e os sofisticados recursos de engenharia de recursos oferecidos pelo AWS Forecast provaram ser mais vantajosos e otimizaram a utilização de nossos recursos.
Foram testados seis algoritmos disponíveis no Forecast: Rede Neural Convolucional – Regressão Quantílica (CNN-QR), DeepAR +, Profeta, Séries temporais não paramétricas (NPTS), Média Móvel Integrada Autorregressiva (ARIMA), e Suavização Exponencial (ETS). Após análise dos resultados da previsão, determinamos que o CNN-QR superou os demais em eficácia. CNN-QR é um algoritmo de ML proprietário desenvolvido pela Amazon para previsão de séries temporais escalares (unidimensionais) usando redes neurais convolucionais causais (CNNs). Dada a disponibilidade de diversas fontes de dados neste momento, a utilização do algoritmo CNN-QR facilitou a integração de diversas funcionalidades, operando dentro de uma estrutura de aprendizagem supervisionada. Esta distinção separou-o dos modelos univariados de previsão de séries temporais e melhorou significativamente o desempenho.
A utilização do Forecast provou ser eficaz devido à simplicidade de fornecer os dados necessários e especificar a duração da previsão. Posteriormente, o Forecast emprega o algoritmo CNN-QR para gerar previsões. Essa ferramenta agilizou significativamente o processo de nossa equipe, principalmente na modelagem algorítmica. Além disso, utilizando Serviço de armazenamento simples da Amazon (Amazon S3) para repositórios de dados de entrada e Amazon Redshift para armazenar resultados facilitaram o gerenciamento centralizado de todo o procedimento.
Conclusão
Nesta postagem, mostramos como o projeto E2E da Getir demonstrou como a combinação dos serviços Amazon Forecast e AWS Step Functions agiliza processos complexos de maneira eficaz. Alcançamos uma precisão de previsão impressionante de cerca de 90% em países da Europa e da Turquia, e o uso do Forecast reduziu o tempo de modelagem em 70% devido ao seu tratamento eficiente de engenharia e modelagem de recursos.
O uso do serviço AWS Step Functions gerou vantagens práticas, reduzindo notavelmente o tempo de agendamento em 90% para todos os armazéns. Além disso, ao considerar os requisitos de campo, melhoramos as taxas de conformidade em 3%, ajudando a alocar a força de trabalho de forma mais eficiente. Isto, por sua vez, destaca o sucesso do projeto na otimização das operações e na prestação de serviços.
Para acessar mais detalhes sobre como iniciar sua jornada com o Forecast, consulte o disponível Recursos do Amazon Forecast. Além disso, para obter insights sobre a construção de fluxos de trabalho automatizados e a elaboração de pipelines de aprendizado de máquina, você pode explorar Funções de etapa da AWS para orientação abrangente.
Sobre os autores
Nafi Ahmet Turgut concluiu seu mestrado em Engenharia Elétrica e Eletrônica e trabalhou como pesquisador de pós-graduação. Seu foco era construir algoritmos de aprendizado de máquina para simular anomalias em redes nervosas. Ele ingressou na Getir em 2019 e atualmente trabalha como gerente sênior de ciência de dados e análise. Sua equipe é responsável por projetar, implementar e manter algoritmos de aprendizado de máquina ponta a ponta e soluções baseadas em dados para Getir.
Mehmet İkbal Özmen recebeu seu mestrado em economia e trabalhou como assistente de pesquisa de pós-graduação. Sua área de pesquisa foi principalmente modelos econômicos de séries temporais, simulações de Markov e previsão de recessão. Ele então ingressou na Getir em 2019 e atualmente trabalha como Data Science & Analytics Manager. Sua equipe é responsável por algoritmos de otimização e previsão para resolver os problemas complexos enfrentados pelos negócios de operação e cadeia de suprimentos.
Hasan Burak Yel recebeu seu bacharelado em Engenharia Elétrica e Eletrônica pela Universidade Boğaziçi. Ele trabalhou na Turkcell, focado principalmente em previsão de séries temporais, visualização de dados e automação de redes. Ele ingressou na Getir em 2021 e atualmente trabalha como Data Science & Analytics Manager com responsabilidade pelos domínios de pesquisa, recomendação e crescimento.
Fatma Nur Dumlupınar Keşir recebeu seu diploma de bacharel pelo Departamento de Engenharia Industrial da Universidade Boğaziçi. Ela trabalhou como pesquisadora na TUBITAK, com foco em previsão e visualização de séries temporais. Ela então ingressou na Getir em 2022 como cientista de dados e trabalhou em projetos de mecanismo de recomendação, programação matemática para planejamento de força de trabalho.
Emre Uzel recebeu seu mestrado em Ciência de Dados pela Universidade Koç. Ele trabalhou como consultor de ciência de dados na Eczacıbaşı Bilişim, onde se concentrou principalmente em algoritmos de mecanismo de recomendação. Ele ingressou na Getir em 2022 como Cientista de Dados e começou a trabalhar em previsão de séries temporais e projetos de otimização matemática.
Mutlu Polatcan é engenheiro de dados da equipe da Getir, especializado em projetar e construir plataformas de dados nativas da nuvem. Ele adora combinar projetos de código aberto com serviços em nuvem.
Esra Kayabali é Arquiteto de Soluções Sênior na AWS, especializado no domínio analítico, incluindo armazenamento de dados, data lakes, análise de big data, streaming de dados em lote e em tempo real e integração de dados. Ela tem 12 anos de experiência em arquitetura e desenvolvimento de software. Ela é apaixonada por aprender e ensinar tecnologias de nuvem.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/getir-end-to-end-workforce-management-amazon-forecast-and-aws-step-functions/
- :tem
- :é
- :onde
- 1
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 32
- 7
- 91
- a
- Capaz
- Sobre
- Acesso
- acessível
- Conta
- Contabilidade
- precisão
- preciso
- alcançado
- em
- Adicional
- Adicionalmente
- Vantagem
- vantajoso
- vantagens
- algoritmo
- algorítmico
- algoritmos
- Todos os Produtos
- distribuir
- permite
- juntamente
- tb
- Amazon
- Previsão da Amazônia
- Amazon RedShift
- Amazon Web Services
- an
- análise
- analítica
- e
- anomalias
- Outro
- qualquer
- aplicações
- AR
- arquitetura
- SOMOS
- ÁREA
- por aí
- Ordem
- AS
- atribuído
- auxiliar
- Assistente
- At
- Automatizado
- automaticamente
- Automação
- disponibilidade
- disponível
- média
- AWS
- Funções de etapa da AWS
- baseado
- base
- BE
- antes
- abaixo
- Melhor
- Pós
- Grande
- Big Data
- interesse?
- Quebrado
- Prédio
- Constrói
- negócio
- negócios
- by
- calculado
- cálculo
- cálculos
- Campanha
- CAN
- capacidades
- capacidade
- capturar
- Capturar
- Causar
- centralizada
- cadeia
- Na nuvem
- serviços na nuvem
- combina
- combinando
- começando
- Empresa
- integrações
- compliance
- componente
- componentes
- compreensivo
- cálculos
- conglomerado
- considerado
- considerando
- restrições
- construção
- consultor
- ao controle
- coordenar
- países
- país
- País específico
- Criar
- Atualmente
- diariamente
- dados,
- Análise de Dados
- ciência de dados
- cientista de dados
- Visualização de dados
- orientado por dados
- Datas
- decisão
- definido
- Grau
- entregar
- Entrega
- Demanda
- Previsão de demanda
- demonstraram
- Departamento
- descreve
- descrito
- concepção
- detalhes
- Determinar
- determinado
- determinando
- desenvolvido
- Desenvolvimento
- diagramas
- distinção
- distribuído
- diferente
- fazer
- domínio
- domínios
- down
- dois
- duração
- cada
- mais fácil
- Econômico
- Economia
- Eficaz
- efetivamente
- eficácia
- eficiente
- eficientemente
- esforço
- Eletrônicos
- empregando
- emprega
- end-to-end
- contratado
- Motor
- engenheiro
- Engenharia
- aprimorada
- Todo
- erro
- estimativa
- Europa
- Europa
- Países europeus
- eventualmente
- Cada
- executar
- vasta experiência
- experiente
- explicado
- explorar
- Explorado
- exponencial
- exponencialmente
- se estende
- extenso
- externo
- facilitado
- fatores
- factível
- Característica
- Funcionalidades
- campo
- Primeiro nome
- Foco
- focado
- focando
- seguido
- seguinte
- Escolha
- Previsão
- previsões
- próximo
- Fundado
- Quadro
- da
- totalmente
- funções
- mais distante
- Além disso
- gerar
- Alemanha
- dado
- meta
- pós-graduação
- gráfico
- Growth
- Locatário
- Visitante Mensagem
- orientações
- Manipulação
- Ter
- he
- ajudar
- ajuda
- sua experiência
- superior
- destaques
- altamente
- sua
- histórico
- histórico
- Feriado
- HORÁRIO
- Como funciona o dobrador de carta de canal
- Contudo
- HTML
- http
- HTTPS
- Impacto
- implementação
- implementação
- impressionante
- melhorar
- melhorado
- melhoria
- in
- inclui
- Incluindo
- incorporando
- industrial
- influência
- INFORMAÇÕES
- do estado inicial,
- inicialmente
- iniciar
- entrada
- insights
- integrado
- Integração
- integração
- Interface
- para dentro
- introduzindo
- intuitivo
- IT
- ESTÁ
- Empregos
- ingressou
- viagem
- jpg
- conjuntura
- Saber
- lagos
- em grande escala
- aprendizagem
- levou
- Legal
- como
- Com base na localização
- ama
- máquina
- aprendizado de máquina
- principalmente
- Manter
- fazer
- FAZ
- Fazendo
- gerencia
- gerenciados
- de grupos
- Gerente
- manual
- muitos
- Marketing
- mestre
- matemático
- Posso..
- método
- métodos
- microsserviços
- minimizando
- perdido
- ML
- modelo
- modelagem
- modelagem
- modelos
- Monitore
- mais
- em movimento
- média móvel
- necessário
- Cria
- Nederland
- rede
- redes
- neural
- rede neural
- redes neurais
- nove
- notavelmente
- agora
- número
- objetivo
- of
- oferecer
- oferecido
- on
- open source
- opera
- operando
- operação
- operacional
- Operações
- otimização
- otimizado
- otimizando
- ordens
- organização
- Outros
- Outros
- A Nossa
- resultados
- Acima de
- abrangente
- Paralelo
- parâmetros
- particularmente
- apaixonado
- passado
- padrões
- atuação
- fase
- pioneiro
- essencial
- planejamento
- planos
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- por favor
- Publique
- Prática
- práticas
- Precisão
- predição
- Previsões
- Problema
- problemas
- procedimentos
- processo
- processos
- Produzido
- Programação
- projeto
- projetos
- Promoções
- proposição
- proprietário
- provou
- fornecendo
- Preços
- relação
- em tempo real
- dados em tempo real
- recebido
- receber
- recentemente
- recessão
- Recomendação
- Reduzido
- redução
- redução
- referir
- depender
- requeridos
- Requisitos
- exige
- necessário
- pesquisa
- investigador
- recurso
- responsabilidade
- responsável
- Resultados
- revolucionou
- corrida
- mesmo
- agendamento
- Ciência
- Cientista
- Pesquisar
- sazonal
- Seção
- segmento
- segmentos
- selecionado
- doadores,
- senior
- separado
- Série
- serviço
- Serviços
- vários
- ela
- mudança
- MUDANÇA
- escassez
- mostrar
- mostrou
- mostrando
- periodo
- de forma considerável
- simples
- simplicidade
- simplificada
- simplificando
- Software
- desenvolvimento de software
- solução
- Soluções
- RESOLVER
- Resolvendo
- sofisticado
- Fontes
- especializando
- específico
- Staff
- começado
- Unidos
- Passo
- armazenamento
- armazenar
- de streaming
- Simplifica
- subseqüente
- Subseqüentemente
- sucesso
- tal
- adequado
- supply
- cadeia de suprimentos
- ultrapassado
- superávit
- .
- Tire
- tarefas
- Ensino
- Profissionais
- equipes
- técnicas
- Tecnologias
- Tecnologia
- condições
- testado
- que
- A
- The Graph
- Países Baixos
- do Reino Unido
- Eles
- então
- Este
- deles
- isto
- três
- Através da
- Taxa de transferência
- Assim
- tempo
- Séries temporais
- para
- hoje
- ferramenta
- Temas
- tradicional
- transacional
- Tendências
- Peru
- VIRAR
- dois
- tipicamente
- Uk
- para
- Unido
- Estados Unidos
- universidade
- ao contrário
- sobre
- usar
- usava
- usos
- utilização
- Utilizando
- Valores
- vário
- Grande
- Verticais
- via
- visual
- visualização
- foi
- Desperdício
- we
- Clima
- web
- serviços web
- semanas
- foram
- quando
- qual
- de
- dentro
- trabalhou
- de gestão de documentos
- fluxos de trabalho
- Força de trabalho
- trabalhar
- trabalho
- anos
- Vocês
- investimentos
- zefirnet