Implementacija Amazon Forecast v maloprodajni industriji: Potovanje od POC do proizvodnje

Amazonska napoved je v celoti upravljana storitev, ki uporablja algoritme statističnega in strojnega učenja (ML) za zagotavljanje zelo natančnih napovedi časovnih vrst. Pred kratkim smo na podlagi Amazonove napovedi pomagali eni od naših maloprodajnih strank doseči natančno napoved povpraševanja v 8 tednih. Rešitev je izboljšala ročno napoved v povprečju za 10 % glede na WAPE metrika. To vodi do neposrednega prihranka 16 delovnih ur na mesec. Poleg tega smo ocenili, da bi lahko z izpolnitvijo pravilnega števila artiklov prodajo povečali do 11.8 %. V tej objavi predstavljamo potek dela in kritične elemente za implementacijo – od dokaza koncepta (POC) do proizvodnje – sistem za napovedovanje povpraševanja z Amazon Forecast, osredotočen na izzive v maloprodajni panogi.

Ozadje in trenutni izzivi napovedovanja povpraševanja v maloprodajni industriji

Cilj napovedovanja povpraševanja je oceniti prihodnje povpraševanje na podlagi preteklih podatkov ter pomagati pri dopolnjevanju skladišč in dodeljevanju zmogljivosti. Z napovedovanjem povpraševanja lahko trgovci na drobno postavijo pravo količino zalog na vsako lokacijo v svojem omrežju, da zadostijo povpraševanju. Zato lahko natančen sistem napovedovanja povzroči širok nabor koristi v različnih poslovnih funkcijah, kot so:

• Povečanje prodaje zaradi boljše razpoložljivosti izdelkov in zmanjšanje napora pri prenosu odpadkov med trgovinami
• Zagotavljanje zanesljivejšega vpogleda za izboljšanje izkoriščenosti zmogljivosti in proaktivno izogibanje ozkim grlom pri zagotavljanju zmogljivosti
• Zmanjšanje zalog in proizvodnih stroškov ter izboljšanje obrata zalog
• Predstavitev splošne boljše uporabniške izkušnje

Tehnike ML imajo veliko vrednost, ko je prisotna velika količina kakovostnih podatkov. Danes je upravljanje dopolnjevanja na podlagi izkušenj ali napovedovanje povpraševanja še vedno glavni tok za večino trgovcev na drobno. S ciljem izboljšanja uporabniške izkušnje je vse več trgovcev na drobno pripravljenih zamenjati sisteme za napovedovanje povpraševanja, ki temeljijo na izkušnjah, z napovedmi, ki temeljijo na ML. Vendar pa se trgovci na drobno soočajo s številnimi izzivi pri uvajanju sistemov za napovedovanje povpraševanja, ki temeljijo na strojnem strojnem jeziku, v proizvodnjo. Različne izzive povzemamo v tri kategorije: podatkovni izzivi, izzivi ML in operativni izzivi.

Podatkovni izzivi

Velika količina čistih in kakovostnih podatkov je ključna zahteva za spodbujanje natančnih napovedi, ki temeljijo na ML. Podatke o kakovosti, vključno s preteklo prodajo in s prodajo povezanimi podatki (kot so zaloge, cene artiklov in promocije), je treba zbrati in konsolidirati. Raznolikost podatkov iz več virov zahteva sodobno podatkovno platformo za združevanje podatkovnih silosov. Poleg tega je pravočasen dostop do podatkov nujen za pogoste in natančne napovedi povpraševanja.

Izzivi ML

Za razvoj naprednih algoritmov ML je potrebno strokovno znanje. Implementacija pravih algoritmov za pravo težavo zahteva tako poglobljeno poznavanje področja kot kompetence ML. Poleg tega učenje iz velikih razpoložljivih naborov podatkov zahteva razširljivo infrastrukturo ML. Poleg tega vzdrževanje algoritmov ML v produkciji zahteva kompetence ML za analizo temeljnega vzroka degradacije modela in pravilno ponovno usposabljanje modela.

Pri reševanju praktičnih poslovnih problemov je priprava natančnih napovedi le del zgodbe. Odločevalci potrebujejo verjetnostne napovedi pri različnih kvantilih, da sprejmejo pomembne kompromisne odločitve glede izkušenj strank in finančnih rezultatov. Prav tako morajo zainteresiranim stranem razložiti napovedi in opraviti analize, kaj če, da raziščejo, kako lahko različni scenariji vplivajo na rezultate napovedi.

Operativni izzivi

Zmanjšanje operativnih naporov pri vzdrževanju stroškovno učinkovitega sistema napovedovanja je tretji glavni izziv. V običajnem scenariju napovedovanja povpraševanja ima vsak element na vsaki lokaciji svojo napoved. Potreben je sistem, ki lahko kadar koli upravlja več sto tisoč napovedi. Poleg tega morajo poslovni končni uporabniki sistem za napovedovanje integrirati v obstoječe sisteme na nižji stopnji, kot so obstoječe platforme za upravljanje dobavne verige, tako da lahko uporabljajo sisteme, ki temeljijo na ML, ne da bi spreminjali obstoječa orodja in procese.

Ti izzivi so še posebej pereči, ko so podjetja velika, dinamična in rastoča. Za reševanje teh izzivov delimo zgodbo o uspehu stranke, ki zmanjšuje prizadevanja za hitro potrjevanje potencialne poslovne koristi. To je doseženo z izdelavo prototipov z Amazon Forecast – popolnoma upravljano storitvijo, ki zagotavlja natančne rezultate napovedovanja brez potrebe po upravljanju virov in algoritmov osnovne infrastrukture.

Hitra izdelava prototipov za sistem napovedovanja, ki temelji na ML, z Amazon Forecast

Na podlagi naših izkušenj pogosto vidimo, da so maloprodajni kupci pripravljeni sprožiti dokaz koncepta na svojih podatkih o prodaji. To je mogoče storiti v razponu od nekaj dni do nekaj tednov za hitro izdelavo prototipov, odvisno od kompleksnosti podatkov in razpoložljivih virov za ponavljanje skozi postopek prilagajanja modela. Med izdelavo prototipov predlagamo uporabo sprintov za učinkovito upravljanje procesa in ločevanje POC na faze raziskovanja podatkov, iterativne izboljšave in avtomatizacije.

Raziskovanje podatkov

Raziskovanje podatkov pogosto vključuje intenzivno razpravo s podatkovnimi znanstveniki ali analitiki poslovne inteligence, da se seznanijo s preteklim naborom podatkov o prodaji in razpoložljivimi viri podatkov, ki lahko potencialno vplivajo na rezultate napovedi, kot so zaloge in pretekli promocijski dogodki. Eden najučinkovitejših načinov je konsolidacija podatkov o prodaji, kot ciljnega nabora podatkov, iz podatkovnega skladišča v zgodnji fazi projekta. To temelji na dejstvu, da v rezultatih napovedi pogosto prevladujejo vzorci ciljnega nabora podatkov. Podatkovna skladišča pogosto hranijo vsakodnevne poslovne podatke, izčrpno razumevanje v kratkem času pa je težko in dolgotrajno. Naš predlog je, da se osredotočite na ustvarjanje ciljnega nabora podatkov in zagotovite, da je ta nabor pravilen. To raziskovanje podatkov in osnovne rezultate je pogosto mogoče doseči v nekaj dneh, to pa lahko določi, ali je ciljne podatke mogoče natančno napovedati. O predvidljivosti podatkov razpravljamo kasneje v tej objavi.

Iteracija

Ko imamo osnovne rezultate, lahko nadaljujemo z dodajanjem več povezanih podatkov, da vidimo, kako lahko ti vplivajo na natančnost. To se pogosto naredi s poglobljenim potopom v dodatne nabore podatkov; za več informacij glejte Uporaba sorodnih podatkovnih nizov časovnih vrst in Uporaba naborov metapodatkov o predmetu.

V nekaterih primerih je morda mogoče izboljšati natančnost v Amazon Forecast z usposabljanjem modelov s podobno delujočimi podnabori podatkov ali z odstranitvijo redkih podatkov iz nabora podatkov. Med to fazo iterativnega izboljšanja je izziv – kar velja za vse projekte ML – ta, da je trenutna ponovitev odvisna od ključnih ugotovitev in vpogledov prejšnje ponovitve, zato sta stroga analiza in poročanje ključnega pomena za uspeh.

Analizo lahko opravimo kvantitativno in empirično. Kvantitativni vidik se nanaša na vrednotenje med testiranjem za nazaj in primerjavo metrike točnosti, kot je npr. WAPE. Empirični vidik se nanaša na vizualizacijo napovedne krivulje in dejanskih ciljnih podatkov ter uporabo znanja domene za vključitev potencialnih dejavnikov. Te analize vam pomagajo hitreje ponavljati, da premostite vrzel med napovedanimi rezultati in ciljnimi podatki. Poleg tega lahko predstavitev takšnih rezultatov v tedenskem poročilu pogosto zagotovi zaupanje končnim poslovnim uporabnikom.

Avtomatizacija

Zadnji korak pogosto vključuje razpravo o POC do proizvodnega postopka in avtomatizacije. Ker je projekt ML omejen s skupnim trajanjem projekta, morda ne bomo imeli dovolj časa za raziskovanje vseh možnosti. Zato lahko navedba potencialnega območja skozi ugotovitve med projektom pogosto zasluži zaupanje. Poleg tega lahko avtomatizacija pomaga končnim poslovnim uporabnikom oceniti napoved za daljše obdobje, saj lahko uporabijo obstoječ napovedovalec za ustvarjanje napovedi s posodobljenimi podatki.

Merila uspešnosti je mogoče ovrednotiti z ustvarjenimi rezultati, tako s tehničnega kot poslovnega vidika. V ocenjevalnem obdobju lahko ocenimo možne koristi za naslednje:

• Povečanje natančnosti napovedi (tehnično) – Izračunajte natančnost napovedi glede na dejanske podatke o prodaji in primerjajte z obstoječim sistemom napovedi, vključno z ročnimi napovedmi
• Zmanjševanje odpadkov (posel) – Zmanjšajte pretirano napovedovanje, da zmanjšate količino odpadkov
• Izboljšanje stopnje zalog (posel) – Zmanjšajte premajhne napovedi, da izboljšate stopnje zalog
• Ocenjevanje povečanja bruto dobička (poslovnega) – Zmanjšajte izgubo in izboljšajte stopnje zalog, da povečate bruto dobiček

Potek dela povzemamo v naslednjem diagramu.

V naslednjih razdelkih obravnavamo pomembne elemente, ki jih je treba upoštevati med izvajanjem.

Potek dela po korakih za razvoj sistema napovedovanja

Generiranje ciljnega niza podatkov

Prvi korak je ustvariti ciljni nabor podatkov za napoved. V maloprodajni panogi se to nanaša na pretekle časovne vrste podatkov o povpraševanju in prodaji maloprodajnih artiklov (SKU). Pri pripravi nabora podatkov je pomemben vidik razdrobljenost. Upoštevati moramo razdrobljenost podatkov iz poslovnih in tehničnih zahtev.

Podjetje definira, kako napovedovanje vpliva na proizvodni sistem:

• Horizon – Število napovedanih časovnih korakov. To je odvisno od osnovne poslovne težave. Če želimo zalogo napolniti vsak teden, se zdi primerna tedenska napoved ali dnevna napoved.
• Granularnost – Razdrobljenost vaših napovedi: časovna pogostost, na primer dnevno ali tedensko, različne lokacije trgovin in različne velikosti istega artikla. Na koncu je napoved lahko kombinacija posamezne SKU trgovine z dnevnimi podatkovnimi točkami.

Čeprav bi bilo treba opredeliti zgoraj omenjeno obdobje napovedi in razdrobljenost, da bi dali prednost poslovnim zahtevam, bomo morda morali narediti kompromise med zahtevami in izvedljivostjo. Kot primer vzemite posel z obutvijo. Če želimo predvideti prodajo vsake velikosti čevljev na vsaki ravni trgovine, podatki kmalu postanejo redki in vzorec je težko najti. Vendar pa moramo za ponovno polnjenje zaloge oceniti to razdrobljenost. Za to lahko alternativne rešitve zahtevajo oceno razmerja med različnimi velikostmi čevljev in uporabo tega razmerja za izračun natančnih rezultatov.

Pogosto moramo uravnotežiti poslovne zahteve in podatkovni vzorec, ki se ga je mogoče naučiti in uporabiti za napovedovanje. Da bi zagotovili kvantitativno opredelitev podatkovnih vzorcev, predlagamo uporabo predvidljivosti podatkov.

Predvidljivost podatkov in klasifikacija vzorcev podatkov

Eden od ključnih vpogledov, ki jih lahko zberemo iz ciljnega nabora podatkov, je njegova sposobnost izdelave kakovostnih napovedi. To je mogoče analizirati v zelo zgodnji fazi projekta ML. Napoved zasije, ko podatki kažejo sezonskost, trende in ciklične vzorce.

Za določitev napovedljivosti obstajata dva glavna koeficienta: spremenljivost časovne razporeditve povpraševanja in spremenljivost količine povpraševanja. Spremenljivost časovnega razporeda povpraševanja pomeni interval med dvema primeroma povpraševanja in meri pravilnost povpraševanja v času. Variabilnost v količini povpraševanja pomeni variacijo v količinah. Naslednja slika prikazuje nekaj različnih vzorcev. Natančnost napovedi je močno odvisna od napovedljivosti produkta. Za več informacij glejte Klasifikacija povpraševanja: zakaj je predvidljivost pomembna.

Omeniti velja, da je ta analiza napovedljivosti za vsak natančen element (na primer SKU-Store-Color-Size). Povsem običajno je, da v proizvodnem sistemu za napovedovanje povpraševanja različni artikli sledijo različnim vzorcem. Zato je pomembno, da elemente ločite po različnih vzorcih podatkov. Tipičen primer so hitro in počasi premikajoči se predmeti; drug primer bi bili gosti in redki podatki. Poleg tega ima drobnozrnat predmet več možnosti za nastanek grudastega vzorca. Na primer, v trgovini z oblačili je lahko razprodaja enega priljubljenega artikla dnevno precej tekoča, če pa prodajo artikla še bolj ločimo po barvah in velikostih, postane kmalu redka. Zato lahko zmanjšanje razdrobljenosti z SKU-Store-Color-Size na SKU-Store spremeni vzorec podatkov iz grudastega v gladkega in obratno.

Poleg tega vsi izdelki ne prispevajo k prodaji enako. Opazili smo, da prispevek artiklov pogosto sledi Pareto distribuciji, v kateri vrhunski artikli prispevajo večino prodaje. Prodaja teh vrhunskih izdelkov je pogosto gladka. Artikli z nižjo prodajno evidenco so pogosto grudasti in neredni, zato jih je težko oceniti. Dodajanje teh elementov lahko dejansko zmanjša natančnost najbolj prodajanih artiklov. Na podlagi teh opazovanj lahko ločimo predmete v različne skupine, urimo model napovedi na najbolj prodajnih artiklih in obravnavamo nižje prodajne artikle kot vogalne primere.

Obogatitev podatkov in izbor dodatnega niza podatkov

Ko želimo uporabiti dodatne nabore podatkov za izboljšanje učinkovitosti rezultatov napovedi, se lahko zanesemo na nabori podatkov časovnih vrst in nabori metapodatkov. V maloprodajni domeni bi lahko na podlagi intuicije in poznavanja domene lastnosti, kot so zaloga, cena, promocija ter zimske ali poletne sezone, uvozili kot povezane časovne vrste. Najenostavnejši način za prepoznavanje uporabnosti funkcij je preko pomembnosti lastnosti. V napovedi se to naredi z analizo razložljivosti. Napoved Razložljivost napovedovalca nam pomaga bolje razumeti, kako atributi v naborih podatkov vplivajo na napovedi za cilj. Napoved uporablja metriko, imenovano rezultati vpliva, da količinsko opredeli relativni vpliv vsakega atributa in ugotovi, ali povečajo ali zmanjšajo napovedane vrednosti. Če ima eden ali več atributov rezultat vpliva nič, ti atributi nimajo pomembnega vpliva na napovedane vrednosti. Na ta način lahko hitro odstranimo funkcije, ki imajo manjši vpliv, in dodamo morebitne iterativno. Pomembno je omeniti, da rezultati vpliva merijo relativni vpliv atributov, ki so normalizirani skupaj z rezultati vpliva vseh drugih atributov.

Kot vsi projekti ML, izboljšanje natančnosti z dodatnimi funkcijami zahteva ponavljajoče se poskuse. Preizkusiti morate z več kombinacijami naborov podatkov, pri tem pa opazovati vpliv postopnih sprememb na natančnost modela. Poskusite lahko zagnati več poskusov Forecast prek konzole Forecast ali s Prenosniki Python z API-ji Forecast. Poleg tega se lahko vključite z Oblikovanje oblaka AWS, ki uvaja AWS, je zagotovil že pripravljene rešitve za običajne primere uporabe (na primer Izboljšanje natančnosti napovedi z rešitvijo strojnega učenja). Napoved samodejno loči nabor podatkov in ustvari meritve natančnosti za ovrednotenje napovednikov. Za več informacij glejte Ocenjevanje natančnosti napovedovalca. To pomaga podatkovnim znanstvenikom, da hitreje ponavljajo, da dosežejo najbolj učinkovit model.

Napredne izboljšave in ravnanje z kotnimi primeri

Omenili smo, da se lahko algoritmi napovedi iz podatkov naučijo sezonskosti, trendov in cikličnih značilnosti. Za postavke s temi značilnostmi ter ustrezno gostoto in količino podatkov lahko uporabimo napoved za ustvarjanje ocen. Ko pa se soočamo z grudastimi vzorci podatkov, zlasti kadar je količina podatkov majhna, jih bomo morda morali obravnavati drugače, na primer z empirično oceno na podlagi nabora pravil.

Za goste SKU-je dodatno izboljšamo natančnost napovedi z usposabljanjem modelov s podobno delujočimi podnabori nabora podatkov časovne vrste. Strategije ločevanja podmnožic, ki smo jih uporabili, so poslovna logika, vrsta izdelka, gostota podatkov in vzorci, ki se jih je naučil algoritem. Ko so podnabori ustvarjeni, lahko urimo več modelov napovedi za različne podnabore. Za en tak primer glejte Podatki časovnih vrst grozdov za uporabo z Amazon Forecast.

Produkciji: posodabljanje nabora podatkov, spremljanje in ponovno usposabljanje

Raziščimo primer arhitekture z napovedjo, kot je prikazano v naslednjem diagramu. Vsakič, ko končni uporabnik združi nov nabor podatkov na Preprosta storitev shranjevanja Amazon (Amazon S3), se sproži Korak funkcije AWS za usmerjanje različnih komponent, vključno z ustvarjanjem opravila za uvoz nabora podatkov, ustvarjanjem samodejnega napovedovalca in ustvarjanjem napovedi. Ko so rezultati napovedi ustvarjeni, jih korak Create Forecast Export izvozi v Amazon S3 za nadaljnje uporabnike. Za več informacij o tem, kako zagotoviti ta avtomatizirani cevovod, glejte Avtomatizacija z AWS CloudFormation. Uporablja sklad CloudFormation za samodejno uvajanje naborov podatkov v vedro S3 in sprožitev cevovoda Forecast. Za ustvarjanje napovedi z lastnimi nabori podatkov lahko uporabite isti sklad za avtomatizacijo.

Obstajata dva načina za vključitev nedavnih trendov v sistem napovedovanja: posodabljanje podatkov ali ponovno usposabljanje napovedovalca.

Če želite ustvariti napoved s posodobljenimi podatki, ki odražajo nedavne trende, morate posodobljeno datoteko z vhodnimi podatki naložiti v vedro S3 (posodobljeni vhodni podatki morajo še vedno vsebovati vse vaše obstoječe podatke). Napoved ne usposobi samodejno znova napovedovalca, ko uvozite posodobljen nabor podatkov. Ti lahko ustvariti napovedi kot ponavadi. Napoved napoveduje napovedni horizont od zadnjega dne v posodobljenih vhodnih podatkih. Zato so nedavni trendi vključeni v vse nove sklepe, ki jih pripravi Forecast.

Če pa želite, da se vaš napovedovalec uri na podlagi novih podatkov, morate ustvariti nov napovedovalec. Morda boste morali razmisliti o ponovnem usposabljanju modela, ko se vzorci podatkov (sezonskost, trendi ali cikli) spremenijo. Kot je navedeno v Nenehno spremljajte natančnost napovedovalca z Amazon Forecast, bo uspešnost napovedovalca sčasoma nihala zaradi dejavnikov, kot so spremembe v gospodarskem okolju ali vedenje potrošnikov. Zato bo napovedovalec morda treba ponovno usposobiti ali pa bo treba ustvariti nov napovedovalec, da se zagotovi, da bodo napovedi še naprej zelo natančne. S pomočjo spremljanje prediktorja, Napoved lahko spremlja kakovost vaših napovednikov, kar vam omogoča zmanjšanje operativnih naporov, hkrati pa vam pomaga sprejemati bolj informirane odločitve o ohranjanju, ponovnem usposabljanju ali ponovni izgradnji vaših napovednikov.

zaključek

Amazon Forecast je storitev napovedovanja časovnih vrst, ki temelji na ML in je zasnovana za analizo poslovnih meritev. Napovedovanje napovedi povpraševanja lahko integriramo z visoko natančnostjo s kombinacijo pretekle prodaje in drugih ustreznih informacij, kot so zaloge, promocije ali sezona. V 8 tednih smo eni od naših maloprodajnih strank pomagali doseči natančno napoved povpraševanja – 10 % izboljšanje v primerjavi z ročno napovedjo. To vodi do neposrednega prihranka 16 delovnih ur mesečno in predvidenega povečanja prodaje do 11.8 %.

Ta objava deli skupne prakse za prenos vašega projekta napovedovanja od dokaza koncepta do proizvodnje. Začnite zdaj z Amazonska napoved za doseganje zelo natančnih napovedi za vaše podjetje.

---

O avtorjih

Yanwei Cui, PhD, je specialist za strojno učenje, arhitekt za rešitve pri AWS. Začel je z raziskavami strojnega učenja na IRISA (Raziskovalni inštitut za računalništvo in naključne sisteme) in ima več let izkušenj z gradnjo industrijskih aplikacij, ki jih poganja umetna inteligenca, na področju računalniškega vida, obdelave naravnega jezika in napovedovanja vedenja spletnih uporabnikov. Pri AWS deli strokovno znanje na področju in strankam pomaga sprostiti poslovne potenciale ter doseči uporabne rezultate s strojnim učenjem v velikem obsegu. Zunaj dela rad bere in potuje.

Gordon Wang je višji podatkovni znanstvenik v skupini za strokovne storitve pri Amazon Web Services. Podpira stranke v številnih panogah, vključno z mediji, proizvodnjo, energetiko, maloprodajo in zdravstvenim varstvom. Navdušen je nad računalniškim vidom, globokim učenjem in MLOps. V prostem času rad teče in planinari.