Implementazione di Amazon Forecast nel settore della vendita al dettaglio: un viaggio dal POC alla produzione

Previsioni Amazon è un servizio completamente gestito che utilizza algoritmi statistici e di apprendimento automatico (ML) per fornire previsioni di serie temporali altamente accurate. Di recente, sulla base di Amazon Forecast, abbiamo aiutato uno dei nostri clienti al dettaglio a ottenere previsioni accurate della domanda, entro 8 settimane. La soluzione ha migliorato la previsione manuale in media del 10% rispetto al WAPE metrico. Questo porta ad un risparmio diretto di 16 ore di manodopera mensili. Inoltre, abbiamo stimato che soddisfacendo il numero corretto di articoli, le vendite potrebbero aumentare fino all'11.8%. In questo post, presentiamo il flusso di lavoro e gli elementi critici per implementare, dal proof of concept (POC) alla produzione, un sistema di previsione della domanda con Amazon Forecast, incentrato sulle sfide nel settore della vendita al dettaglio.

Contesto e sfide attuali della previsione della domanda nel settore della vendita al dettaglio

L'obiettivo della previsione della domanda è stimare la domanda futura sulla base dei dati storici e aiutare il rifornimento dei negozi e l'allocazione della capacità. Con la previsione della domanda, i rivenditori sono in grado di posizionare la giusta quantità di inventario in ogni sede della loro rete per soddisfare la domanda. Pertanto, un sistema di previsione accurato può generare un'ampia gamma di vantaggi in diverse funzioni aziendali, come ad esempio:

• Aumento delle vendite grazie a una migliore disponibilità dei prodotti e riduzione dello sforzo dovuto agli sprechi di trasferimento tra punti vendita
• Fornire informazioni più affidabili per migliorare l'utilizzo della capacità ed evitare in modo proattivo colli di bottiglia nel provisioning della capacità
• Ridurre al minimo i costi di inventario e di produzione e migliorare la rotazione delle scorte
• Presentare un'esperienza cliente complessivamente migliore

Le tecniche ML dimostrano un grande valore quando è presente un grande volume di dati di buona qualità. Oggi, la gestione del rifornimento basata sull'esperienza o la previsione della domanda è ancora il mainstream per la maggior parte dei rivenditori. Con l'obiettivo di migliorare l'esperienza del cliente, sempre più rivenditori sono disposti a sostituire i sistemi di previsione della domanda basati sull'esperienza con previsioni basate sul machine learning. Tuttavia, i rivenditori devono affrontare molteplici sfide quando implementano sistemi di previsione della domanda basati su ML nella produzione. Riassumiamo le diverse sfide in tre categorie: sfide relative ai dati, sfide ML e sfide operative.

Sfide sui dati

Un grande volume di dati puliti e di qualità è un requisito fondamentale per ottenere previsioni accurate basate sul machine learning. I dati sulla qualità, comprese le vendite storiche e i dati relativi alle vendite (come l'inventario, i prezzi degli articoli e le promozioni), devono essere raccolti e consolidati. La diversità dei dati provenienti da più risorse richiede una moderna piattaforma di dati per unire i silos di dati. Inoltre, l'accesso ai dati in modo tempestivo è necessario per previsioni della domanda frequenti e dettagliate.

Sfide ML

Lo sviluppo di algoritmi ML avanzati richiede esperienza. L'implementazione degli algoritmi giusti per il problema giusto richiede sia una conoscenza approfondita del dominio che competenze ML. Inoltre, l'apprendimento da grandi set di dati disponibili richiede un'infrastruttura ML scalabile. Inoltre, mantenere gli algoritmi ML in produzione richiede competenze ML per analizzare la causa principale del degrado del modello e riaddestrare correttamente il modello.

Per risolvere problemi aziendali pratici, produrre previsioni accurate è solo una parte della storia. I responsabili delle decisioni hanno bisogno di previsioni probabilistiche a diversi quantili per prendere decisioni di compromesso tra l'esperienza del cliente e i risultati finanziari importanti. Devono anche spiegare le previsioni alle parti interessate ed eseguire analisi what-if per indagare su come diversi scenari potrebbero influenzare i risultati delle previsioni.

Sfide operative

Ridurre lo sforzo operativo necessario per mantenere un sistema di previsione economico è la terza sfida principale. In uno scenario comune di previsione della domanda, ogni articolo in ogni ubicazione ha la propria previsione. È necessario un sistema in grado di gestire centinaia di migliaia di previsioni in qualsiasi momento. Inoltre, gli utenti finali aziendali necessitano che il sistema di previsione sia integrato nei sistemi a valle esistenti, come le piattaforme di gestione della supply chain esistenti, in modo da poter utilizzare i sistemi basati sul machine learning senza modificare gli strumenti e i processi esistenti.

Queste sfide sono particolarmente acute quando le aziende sono grandi, dinamiche e in crescita. Per affrontare queste sfide, condividiamo una storia di successo del cliente che riduce gli sforzi per convalidare rapidamente il potenziale guadagno aziendale. Ciò si ottiene attraverso la prototipazione con Amazon Forecast, un servizio completamente gestito che fornisce risultati di previsione accurati senza la necessità di gestire le risorse e gli algoritmi dell'infrastruttura sottostante.

Prototipazione rapida per un sistema di previsione basato su ML con Amazon Forecast

Sulla base della nostra esperienza, vediamo spesso che i clienti al dettaglio sono disposti ad avviare una prova di concetto sui propri dati di vendita. Questa operazione può essere eseguita in un intervallo compreso tra pochi giorni e alcune settimane per la creazione rapida di prototipi, a seconda della complessità dei dati e delle risorse disponibili per l'iterazione del processo di ottimizzazione del modello. Durante la prototipazione, suggeriamo di utilizzare gli sprint per gestire efficacemente il processo e di separare il POC in fasi di esplorazione dei dati, miglioramento iterativo e automazione.

Esplorazione dei dati

L'esplorazione dei dati comporta spesso un'intensa discussione con data scientist o analisti di business intelligence per acquisire familiarità con il set di dati delle vendite storiche e le origini dati disponibili che possono potenzialmente influire sui risultati delle previsioni, come l'inventario e gli eventi promozionali storici. Uno dei modi più efficienti consiste nel consolidare i dati di vendita, come set di dati di destinazione, dal data warehouse nella fase iniziale del progetto. Ciò si basa sul fatto che i risultati delle previsioni sono spesso dominati dai modelli del set di dati di destinazione. I data warehouse spesso memorizzano i dati aziendali quotidiani e una comprensione esaustiva in un breve periodo di tempo è difficile e richiede tempo. Il nostro suggerimento è di concentrarsi sulla generazione del set di dati di destinazione e assicurarsi che questo set di dati sia corretto. Questi risultati di esplorazione dei dati e di base spesso possono essere raggiunti in pochi giorni e questo può determinare se i dati di destinazione possono essere previsti con precisione. Discutiamo la prevedibilità dei dati più avanti in questo post.

Iterazione

Dopo aver ottenuto i risultati di base, possiamo continuare ad aggiungere altri dati correlati per vedere come questi possono influire sulla precisione. Questo viene spesso fatto attraverso un'analisi approfondita di set di dati aggiuntivi; per ulteriori informazioni, fare riferimento a Utilizzo di set di dati di serie storiche correlati ed Utilizzo dei set di dati dei metadati degli elementi.

In alcuni casi, potrebbe essere possibile migliorare la precisione in Amazon Forecast addestrando i modelli con sottoinsiemi del set di dati che si comportano in modo simile o rimuovendo i dati sparsi dal set di dati. Durante questa fase di miglioramento iterativo, la parte difficile, vera per tutti i progetti ML, è che l'iterazione corrente dipende dai risultati e dalle intuizioni chiave dell'iterazione precedente, quindi un'analisi e un reporting rigorosi sono fondamentali per il successo.

L'analisi può essere fatta quantitativamente ed empiricamente. L'aspetto quantitativo si riferisce alla valutazione durante il backtesting e al confronto della metrica di accuratezza, come ad esempio WAPE. L'aspetto empirico si riferisce alla visualizzazione della curva di previsione e dei dati target effettivi e all'utilizzo della conoscenza del dominio per incorporare fattori potenziali. Queste analisi ti aiutano a ripetere più velocemente per colmare il divario tra i risultati previsti e i dati di destinazione. Inoltre, la presentazione di tali risultati tramite un rapporto settimanale può spesso fornire fiducia agli utenti finali aziendali.

Automazione

Il passaggio finale comporta spesso la discussione dal POC alla procedura di produzione e all'automazione. Poiché il progetto ML è vincolato dalla durata totale del progetto, potremmo non avere abbastanza tempo per esplorare ogni possibilità. Pertanto, indicare l'area potenziale in tutti i risultati durante il progetto può spesso guadagnare fiducia. Inoltre, l'automazione può aiutare gli utenti finali aziendali a valutare Forecast per un periodo più lungo, poiché possono utilizzare un predittore esistente per generare previsioni con i dati aggiornati.

I criteri di successo possono essere valutati con i risultati generati, sia dal punto di vista tecnico che commerciale. Durante il periodo di valutazione, possiamo stimare i potenziali benefici per quanto segue:

• Aumentare la precisione della previsione (tecnica) – Calcola l'accuratezza della previsione rispetto ai dati di vendita effettivi e confrontala con il sistema di previsione esistente, comprese le previsioni manuali
• Riduzione dei rifiuti (business) – Ridurre le previsioni eccessive per ridurre gli sprechi
• Miglioramento dei tassi di scorte (business) – Ridurre le sottoprevisioni al fine di migliorare i tassi di scorte
• Stima dell'aumento dell'utile lordo (business) – Ridurre gli sprechi e migliorare i tassi di giacenza al fine di aumentare il profitto lordo

Riassumiamo il flusso di lavoro di sviluppo nel diagramma seguente.

Nelle sezioni seguenti, discutiamo gli elementi importanti da prendere in considerazione durante l'implementazione.

Flusso di lavoro dettagliato per lo sviluppo di un sistema di previsione

Generazione di set di dati di destinazione

Il primo passaggio consiste nel generare il set di dati di destinazione per Forecast. Nel settore della vendita al dettaglio, questo si riferisce alla domanda di serie storiche e ai dati di vendita per gli articoli al dettaglio (SKU). Quando si prepara il set di dati, un aspetto importante è la granularità. Dovremmo considerare la granularità dei dati sia dai requisiti aziendali che dai requisiti tecnici.

L'azienda definisce i risultati della previsione nel sistema di produzione:

• Horizon – Il numero di fasi temporali previste. Questo dipende dal problema aziendale sottostante. Se vogliamo riempire il livello delle scorte ogni settimana, allora una previsione settimanale o una previsione giornaliera sembra appropriata.
• granularità – La granularità delle tue previsioni: frequenza temporale come giornaliera o settimanale, diverse posizioni dei negozi e diverse dimensioni dello stesso articolo. Alla fine, la previsione può essere una combinazione di ogni SKU del negozio, con punti dati giornalieri.

Sebbene l'orizzonte di previsione e la granularità di cui sopra debbano essere definiti per dare la priorità ai requisiti aziendali, potrebbe essere necessario fare dei compromessi tra requisiti e fattibilità. Prendiamo ad esempio il business delle calzature. Se vogliamo prevedere le vendite di ogni numero di scarpe a ogni livello di negozio, i dati diventano presto scarsi e lo schema è difficile da trovare. Tuttavia, per riempire lo stock, dobbiamo stimare questa granularità. Per fare ciò, soluzioni alternative potrebbero richiedere la stima di un rapporto tra diverse misure di scarpe e l'utilizzo di questo rapporto per calcolare risultati a grana fine.

Spesso abbiamo bisogno di bilanciare i requisiti aziendali e il modello di dati che possono essere appresi e utilizzati per le previsioni. Per fornire una qualificazione quantitativa dei modelli di dati, proponiamo di utilizzare la prevedibilità dei dati.

Prevedibilità dei dati e classificazione dei modelli di dati

Una delle informazioni chiave che possiamo raccogliere dal set di dati target è la sua capacità di produrre previsioni di qualità. Questo può essere analizzato nella primissima fase del progetto ML. La previsione brilla quando i dati mostrano stagionalità, tendenze e modelli ciclici.

Per determinare la prevedibilità, ci sono due coefficienti principali: variabilità nei tempi della domanda e variabilità nella quantità della domanda. La variabilità nella tempistica della domanda indica l'intervallo tra due istanze di domanda e misura la regolarità della domanda nel tempo. Variabilità della quantità richiesta significa variazione delle quantità. La figura seguente illustra alcuni modelli diversi. L'accuratezza delle previsioni dipende fortemente dalla prevedibilità del prodotto. Per ulteriori informazioni, fare riferimento a Classificazione della domanda: perché la prevedibilità è importante.

Vale la pena notare che questa analisi di prevedibilità è per ogni articolo a grana fine (ad esempio, SKU-Store-Color-Size). È abbastanza comune che in un sistema di produzione di previsione della domanda, articoli diversi seguano modelli diversi. Pertanto, è importante separare gli elementi seguendo modelli di dati diversi. Un tipico esempio sono gli oggetti che si muovono velocemente e quelli che si muovono lentamente; un altro esempio sarebbero i dati densi e sparsi. Inoltre, un oggetto a grana fine ha più possibilità di produrre uno schema grumoso. Ad esempio, in un negozio di abbigliamento, le vendite di un articolo popolare possono essere abbastanza regolari ogni giorno, ma se separiamo ulteriormente le vendite dell'articolo per ogni colore e taglia, diventano presto scarse. Pertanto, la riduzione della granularità da SKU-Store-Color-Size a SKU-Store può modificare il modello di dati da bitorzoluto a uniforme e viceversa.

Inoltre, non tutti gli articoli contribuiscono allo stesso modo alle vendite. Abbiamo osservato che il contributo degli articoli segue spesso la distribuzione di Pareto, in cui gli articoli migliori contribuiscono alla maggior parte delle vendite. Le vendite di questi articoli di punta sono spesso regolari. Gli articoli con un record di vendite inferiore sono spesso grumosi e irregolari e quindi difficili da stimare. L'aggiunta di questi articoli potrebbe effettivamente ridurre la precisione degli articoli più venduti. Sulla base di queste osservazioni, possiamo separare gli articoli in diversi gruppi, addestrare il modello di previsione sugli articoli con le vendite migliori e gestire gli articoli con vendite inferiori come casi limite.

Arricchimento dei dati e selezione di set di dati aggiuntivi

Quando vogliamo utilizzare set di dati aggiuntivi per migliorare le prestazioni dei risultati delle previsioni, possiamo fare affidamento su set di dati di serie temporali ed set di dati di metadati. Nel dominio della vendita al dettaglio, sulla base dell'intuizione e della conoscenza del dominio, caratteristiche come l'inventario, il prezzo, la promozione e le stagioni invernali o estive potrebbero essere importate come serie temporali correlate. Il modo più semplice per identificare l'utilità delle funzionalità è tramite l'importanza delle funzionalità. In Forecast, questo viene fatto mediante l'analisi della spiegabilità. Previsione Spiegabilità del predittore ci aiuta a capire meglio in che modo gli attributi nei set di dati influiscono sulle previsioni per l'obiettivo. La previsione utilizza una metrica denominata punteggi di impatto per quantificare l'impatto relativo di ciascun attributo e determinare se aumentano o diminuiscono i valori di previsione. Se uno o più attributi hanno un punteggio di impatto pari a zero, questi attributi non hanno un impatto significativo sui valori di previsione. In questo modo, possiamo rimuovere rapidamente le funzionalità che hanno un impatto minore e aggiungere quelle potenziali in modo iterativo. È importante notare che i punteggi di impatto misurano l'impatto relativo degli attributi, che vengono normalizzati insieme ai punteggi di impatto di tutti gli altri attributi.

Come tutti i progetti ML, migliorare la precisione con funzionalità aggiuntive richiede esperimenti iterativi. È necessario sperimentare più combinazioni di set di dati, osservando l'impatto delle modifiche incrementali sull'accuratezza del modello. Puoi provare a eseguire più esperimenti di previsione tramite la console di previsione o con Notebook Python con API di previsione. Inoltre, puoi effettuare l'onboarding con AWS CloudFormazione, che distribuisce AWS ha fornito soluzioni già pronte per casi d'uso comuni (ad esempio, il Miglioramento dell'accuratezza delle previsioni con la soluzione di Machine Learning). Forecast separa automaticamente il set di dati e produce metriche di accuratezza per valutare i predittori. Per ulteriori informazioni, vedere Valutazione dell'accuratezza dei predittori. Questo aiuta i data scientist a iterare più velocemente per ottenere il modello con le migliori prestazioni.

Miglioramento avanzato e gestione dei casi d'angolo

Abbiamo accennato al fatto che gli algoritmi di previsione possono apprendere la stagionalità, le tendenze e le caratteristiche cicliche dai dati. Per gli elementi con queste caratteristiche e la densità e il volume di dati appropriati, possiamo utilizzare Forecast per generare stime. Tuttavia, quando si affrontano modelli di dati irregolari, specialmente quando il volume di dati è ridotto, potrebbe essere necessario gestirli in modo diverso, ad esempio con una stima empirica basata su un set di regole.

Per gli SKU densi, miglioriamo ulteriormente l'accuratezza delle previsioni addestrando i modelli con sottoinsiemi che si comportano in modo simile del set di dati delle serie temporali. Le strategie di separazione dei sottoinsiemi che abbiamo utilizzato sono la logica aziendale, il tipo di prodotto, la densità dei dati e i modelli appresi dall'algoritmo. Dopo aver generato i sottoinsiemi, possiamo addestrare più modelli di previsione per i diversi sottoinsiemi. Per uno di questi esempi, fare riferimento a Cluster di dati di serie temporali da utilizzare con Amazon Forecast.

Verso la produzione: aggiornamento del set di dati, monitoraggio e riqualificazione

Esaminiamo un'architettura di esempio con Forecast, come mostrato nel diagramma seguente. Ogni volta che un utente finale consolida un nuovo set di dati su Servizio di archiviazione semplice Amazon (Amazon S3), si attiva Funzioni AWS Step per orchestrare diversi componenti, tra cui la creazione del processo di importazione del set di dati, la creazione di un predittore automatico e la generazione di previsioni. Dopo che i risultati della previsione sono stati generati, la fase Create Forecast Export li esporta in Amazon S3 per i consumatori a valle. Per ulteriori informazioni su come eseguire il provisioning di questa pipeline automatizzata, fare riferimento a Automazione con AWS CloudFormation. Utilizza uno stack CloudFormation per distribuire automaticamente i set di dati in un bucket S3 e attivare una pipeline di previsione. Puoi utilizzare lo stesso stack di automazione per generare previsioni con i tuoi set di dati.

Esistono due modi per incorporare le tendenze recenti nel sistema di previsione: aggiornare i dati o riaddestrare il predittore.

Per generare la previsione con dati aggiornati che riflettano le tendenze recenti, devi caricare il file di dati di input aggiornato in un bucket S3 (i dati di input aggiornati devono contenere ancora tutti i dati esistenti). Forecast non riaddestra automaticamente un predittore quando si importa un set di dati aggiornato. Puoi generare previsioni come fai di solito. Forecast prevede l'orizzonte di previsione a partire dall'ultimo giorno nei dati di input aggiornati. Pertanto, le tendenze recenti sono incorporate in tutte le nuove inferenze prodotte da Forecast.

Tuttavia, se desideri che il tuo predittore venga addestrato dai nuovi dati, devi creare un nuovo predittore. Potrebbe essere necessario prendere in considerazione la possibilità di ripetere il training del modello quando i modelli di dati (stagionalità, tendenze o cicli) cambiano. Come accennato in Monitora continuamente l'accuratezza dei predittori con Amazon Forecast, le prestazioni di un predittore fluttuano nel tempo, a causa di fattori quali cambiamenti nell'ambiente economico o nel comportamento dei consumatori. Pertanto, potrebbe essere necessario riaddestrare il predittore o potrebbe essere necessario creare un nuovo predittore per garantire che continuino a essere effettuate previsioni altamente accurate. Con l'aiuto di monitoraggio predittivo, Forecast può monitorare la qualità dei tuoi predittori, permettendoti di ridurre gli sforzi operativi, aiutandoti nel contempo a prendere decisioni più informate su come mantenere, riaddestrare o ricostruire i tuoi predittori.

Conclusione

Amazon Forecast è un servizio di previsione di serie temporali basato su ML e creato per l'analisi dei parametri aziendali. Possiamo integrare la previsione della previsione della domanda con elevata precisione combinando le vendite storiche e altre informazioni rilevanti come l'inventario, le promozioni o la stagione. In 8 settimane, abbiamo aiutato uno dei nostri clienti al dettaglio a ottenere una previsione accurata della domanda: un miglioramento del 10% rispetto alla previsione manuale. Ciò porta a un risparmio diretto di 16 ore di manodopera mensili e un aumento delle vendite stimato fino all'11.8%.

Questo post ha condiviso pratiche comuni per portare il tuo progetto di previsione dalla prova del concetto alla produzione. Inizia ora con Previsioni Amazon per ottenere previsioni altamente accurate per la tua attività.

---

Informazioni sugli autori

Yanwei Cui, PhD, è un architetto di soluzioni specializzato in machine learning presso AWS. Ha iniziato la ricerca sull'apprendimento automatico presso l'IRISA (Research Institute of Computer Science and Random Systems) e ha diversi anni di esperienza nella creazione di applicazioni industriali basate sull'intelligenza artificiale nella visione artificiale, nell'elaborazione del linguaggio naturale e nella previsione del comportamento degli utenti online. In AWS, condivide l'esperienza del dominio e aiuta i clienti a sbloccare i potenziali di business e a ottenere risultati attuabili con l'apprendimento automatico su larga scala. Al di fuori del lavoro, ama leggere e viaggiare.

Gordon Wang è Senior Data Scientist nel team Servizi professionali di Amazon Web Services. Supporta i clienti in molti settori, tra cui media, produzione, energia, vendita al dettaglio e assistenza sanitaria. È appassionato di visione artificiale, deep learning e MLOps. Nel tempo libero ama correre e fare escursioni.