Az Amazon Forecast megvalósítása a kiskereskedelmi ágazatban: Utazás a POC-tól a gyártásig

Amazon előrejelzés egy teljesen felügyelt szolgáltatás, amely statisztikai és gépi tanulási (ML) algoritmusokat használ a rendkívül pontos idősoros előrejelzések biztosítására. A közelmúltban az Amazon Forecast alapján segítettünk az egyik lakossági ügyfelünknek abban, hogy 8 héten belül pontos kereslet-előrejelzést készítsen. A megoldás átlagosan 10%-kal javította a kézi előrejelzést a WAPE metrikus. Ez havi 16 munkaóra közvetlen megtakarítást eredményez. Emellett becsléseink szerint a megfelelő tételszám teljesítésével akár 11.8%-kal is növekedhet az eladás. Ebben a bejegyzésben bemutatjuk a munkafolyamatot és a bevezetendő kritikus elemeket – a proof of concept (POC)-tól a gyártásig – az Amazon Forecast segítségével, a kiskereskedelmi ágazat kihívásaira összpontosító kereslet-előrejelző rendszert.

A kereslet-előrejelzés háttere és jelenlegi kihívásai a kiskereskedelmi ágazatban

A kereslet-előrejelzés célja a jövőbeli kereslet becslése a múltbeli adatokból, valamint az üzletek feltöltésének és a kapacitásallokációnak a segítése. A kereslet-előrejelzéssel a kereskedők képesek a megfelelő mennyiségű készletet elhelyezni hálózatuk minden helyén, hogy kielégítsék a keresletet. Ezért egy pontos előrejelzési rendszer számos előnyhöz juttathatja a különböző üzleti funkciókat, például:

• Növeli az eladásokat a termékek jobb elérhetősége révén, és csökkenti az üzletek közötti átviteli hulladék miatt
• Megbízhatóbb betekintést nyújt a kapacitáskihasználás javítása és a kapacitáskiépítés szűk keresztmetszetek proaktív elkerülése érdekében
• A készlet- és termelési költségek minimalizálása és a készletforgalom javítása
• Általánosságban jobb ügyfélélmény bemutatása

Az ML technikák nagy értéket mutatnak, ha nagy mennyiségű jó minőségű adat van jelen. Manapság a legtöbb kiskereskedőnél még mindig a tapasztalaton alapuló utánpótláskezelés vagy kereslet-előrejelzés a fő irány. A vásárlói élmény javítása érdekében egyre több kereskedő hajlandó lecserélni a tapasztalatalapú kereslet-előrejelző rendszereket ML-alapú előrejelzésekre. A kiskereskedők azonban számos kihívással szembesülnek, amikor ML-alapú kereslet-előrejelző rendszereket implementálnak a termelésbe. A különböző kihívásokat három kategóriába soroljuk: adatkihívások, ML kihívások és működési kihívások.

Adatokkal kapcsolatos kihívások

A tiszta, minőségi adatok nagy mennyisége kulcsfontosságú követelmény a pontos ML-alapú előrejelzésekhez. Össze kell gyűjteni és konszolidálni kell a minőségi adatokat, beleértve a múltbeli eladásokat és az értékesítéssel kapcsolatos adatokat (például készlet, cikkárak és promóciók). A több erőforrásból származó adatok sokfélesége miatt modern adatplatformra van szükség az adatsilók egyesítéséhez. Ezenkívül az adatokhoz való időben történő hozzáférés szükséges a kereslet gyakori és finom előrejelzéséhez.

ML kihívások

A fejlett ML-algoritmusok fejlesztése szakértelmet igényel. A megfelelő probléma megoldásához megfelelő algoritmusok megvalósításához mélyreható szakterületi ismeretekre és ML kompetenciákra van szükség. Ezenkívül a rendelkezésre álló nagy adatkészletekből való tanuláshoz méretezhető ML infrastruktúra szükséges. Ezenkívül az ML-algoritmusok termelésben való fenntartása ML-kompetenciákat igényel a modell leromlásának kiváltó okának elemzéséhez és a modell helyes újraképzéséhez.

A gyakorlati üzleti problémák megoldásához a pontos előrejelzések készítése csak egy része a történetnek. A döntéshozóknak valószínűségi előrejelzésekre van szükségük különböző kvantlisokban, hogy fontos vásárlói élményt és pénzügyi eredményeket hoznak létre. Ezenkívül el kell magyarázniuk az előrejelzéseket az érdekelt feleknek, és „mi lenne, ha” elemzéseket kell végezniük, hogy megvizsgálják, hogyan befolyásolhatják a különböző forgatókönyvek az előrejelzési eredményeket.

Működési kihívások

A költséghatékony előrejelző rendszer fenntartásával kapcsolatos operatív ráfordítások csökkentése a harmadik fő kihívás. A kereslet-előrejelzés általános forgatókönyvében minden egyes helyen lévő tételnek saját előrejelzése van. Olyan rendszerre van szükség, amely bármikor képes több százezer előrejelzést kezelni. Ezen túlmenően az üzleti végfelhasználóknak az előrejelző rendszert integrálniuk kell a meglévő downstream rendszerekbe, például a meglévő ellátási lánc menedzsment platformokba, hogy a meglévő eszközök és folyamatok módosítása nélkül használhatják az ML-alapú rendszereket.

Ezek a kihívások különösen akkor akutak, amikor az üzlet nagy, dinamikus és növekvő. E kihívások kezelése érdekében megosztunk egy vásárlói sikertörténetet, amely csökkenti a potenciális üzleti haszon gyors érvényesítésére irányuló erőfeszítéseket. Ez az Amazon Forecast prototípusgyártásával érhető el – egy teljesen felügyelt szolgáltatás, amely pontos előrejelzési eredményeket biztosít anélkül, hogy a mögöttes infrastruktúra-erőforrásokat és algoritmusokat kellene kezelni.

Gyors prototípus készítés egy ML-alapú előrejelző rendszerhez az Amazon Forecast segítségével

Tapasztalataink alapján gyakran látjuk, hogy a lakossági vásárlók hajlandóak az értékesítési adataikon koncepció bizonyítást kezdeményezni. Ez néhány naptól néhány hétig megtehető a gyors prototípuskészítés érdekében, az adatok összetettségétől és a rendelkezésre álló erőforrásoktól függően a modellhangolási folyamaton keresztül. A prototípuskészítés során javasoljuk a sprintek használatát a folyamat hatékony menedzseléséhez, és a POC-t adatfeltárási, iteratív fejlesztési és automatizálási fázisokra osztjuk fel.

Adatfeltárás

Az adatok feltárása gyakran intenzív megbeszéléseket foglal magában adattudósokkal vagy üzleti intelligencia elemzőkkel, hogy megismerjék a múltbeli értékesítési adatkészletet és a rendelkezésre álló adatforrásokat, amelyek potenciálisan befolyásolhatják az előrejelzési eredményeket, például a készleteket és a korábbi promóciós eseményeket. Az egyik leghatékonyabb módszer az értékesítési adatok mint céladatkészlet konszolidálása az adattárházból a projekt korai szakaszában. Ez azon a tényen alapul, hogy az előrejelzési eredményeket gyakran a céladatkészlet-minták uralják. Az adattárházak gyakran tárolnak napi üzleti adatokat, és ezek rövid időn belüli teljes megértése nehéz és időigényes. Javasoljuk, hogy összpontosítson a céladatkészlet létrehozására, és ellenőrizze, hogy ez az adatkészlet helyes-e. Ezek az adatfeltárási és kiindulási eredmények gyakran néhány napon belül elérhetők, és ez meghatározhatja, hogy a céladatok pontosan előrejelezhetők-e. Az adatok előrejelzését ebben a bejegyzésben később tárgyaljuk.

Ismétlés

Miután megkaptuk az alaperedményeket, folytathatjuk a további kapcsolódó adatok hozzáadását, hogy megnézzük, hogyan befolyásolhatják ezek a pontosságot. Ez gyakran további adatkészletek mélyreható búvárkodásán keresztül történik; további információkért lásd Kapcsolódó idősoros adatkészletek használata és a Elem-metaadat-adatkészletek használata.

Egyes esetekben lehetséges lehet az Amazon Forecast pontosságának javítása, ha a modelleket az adatkészlet hasonlóan viselkedő részhalmazaira tanítja, vagy eltávolítja a ritka adatokat az adatkészletből. Ebben az iteratív fejlesztési szakaszban a kihívást jelentő rész – minden ML projektre igaz – az, hogy a jelenlegi iteráció az előző iteráció kulcsfontosságú megállapításaitól és meglátásaitól függ, így a szigorú elemzés és jelentéstétel kulcsfontosságú a sikerhez.

Az elemzés elvégezhető mennyiségileg és empirikusan is. A kvantitatív szempont az utólagos tesztelés során végzett értékelésre és a pontossági mérőszám összehasonlítására vonatkozik, mint pl. WAPE. Az empirikus szempont az előrejelzési görbe és a tényleges céladatok megjelenítésére, valamint a tartományi tudás felhasználására vonatkozik a potenciális tényezők beépítésére. Ezek az elemzések segítik a gyorsabb iterációt, hogy áthidalják az előre jelzett eredmények és a céladatok közötti szakadékot. Ezenkívül az ilyen eredmények heti jelentésben történő bemutatása gyakran bizalmat adhat az üzleti végfelhasználóknak.

Automatizálás

Az utolsó lépés gyakran magában foglalja a POC megvitatását a gyártási eljárásig és az automatizálásig. Mivel az ML projektet korlátozza a projekt teljes időtartama, előfordulhat, hogy nincs elég időnk minden lehetőség feltárására. Ezért a potenciális terület feltüntetése a projekt során a megállapítások során gyakran bizalmat válthat ki. Ezenkívül az automatizálás segíthet az üzleti végfelhasználóknak az előrejelzés hosszabb ideig tartó értékelésében, mivel egy meglévő előrejelzőt használhatnak előrejelzések generálására a frissített adatokkal.

A sikerkritériumokat generált eredményekkel lehet értékelni, mind technikai, mind üzleti szempontból. Az értékelési időszak során a következő lehetséges előnyöket becsülhetjük meg:

• Az előrejelzés pontosságának növelése (technikai) – Számítsa ki az előrejelzés pontosságát a tényleges értékesítési adatok alapján, és hasonlítsa össze a meglévő előrejelzési rendszerrel, beleértve a kézi előrejelzéseket is
• A hulladék csökkentése (üzleti) – Csökkentse a túlzott előrejelzést a pazarlás csökkentése érdekében
• A raktáron lévő árak javítása (üzleti) – Csökkentse az alul-előrejelzést a készletek arányának javítása érdekében
• A bruttó nyereség (üzleti) növekedésének becslése – Csökkentse a pazarlást és javítsa a készletek arányát a bruttó nyereség növelése érdekében

A fejlesztési munkafolyamatot a következő ábrán foglaljuk össze.

A következő részekben a megvalósítás során figyelembe veendő fontos elemeket tárgyaljuk.

Lépésről lépésre munkafolyamat előrejelző rendszer fejlesztéséhez

Céladatkészlet létrehozása

Az első lépés az előrejelzés céladatkészletének létrehozása. A kiskereskedelmi ágazatban ez a kiskereskedelmi cikkek (SKU) korábbi idősoros keresleti és értékesítési adataira vonatkozik. Az adatkészlet elkészítésekor fontos szempont a részletesség. Figyelembe kell vennünk az adatok részletességét mind az üzleti követelmények, mind a műszaki követelmények tekintetében.

A vállalkozás határozza meg, hogy az előrejelzés hogyan eredményez a termelési rendszerben:

• Horizont – Az előrejelzett időlépések száma. Ez a mögöttes üzleti problémától függ. Ha hetente szeretnénk feltölteni a készletszintet, akkor a heti vagy napi előrejelzés tűnik megfelelőnek.
• részletesség – Az előrejelzések részletessége: időbeli gyakoriság, például napi vagy heti, különböző üzlethelyek és ugyanazon cikk különböző méretei. Végül az előrejelzés lehet az egyes bolti cikkszámok kombinációja, napi adatpontokkal.

Bár a fent említett előrejelzési horizontot és részletességet meg kell határozni az üzleti követelmény prioritása érdekében, előfordulhat, hogy kompromisszumot kell kötnünk a követelmények és a megvalósíthatóság között. Vegyük például a lábbeli üzletágat. Ha meg akarjuk jósolni az egyes cipőméretek eladásait az egyes boltok szintjén, az adatok hamar megritkulnak, és nehéz megtalálni a mintát. A készletek feltöltéséhez azonban meg kell becsülnünk ezt a részletességet. Ehhez alternatív megoldásokhoz szükség lehet a különböző cipőméretek arányának becslésére, és ennek az aránynak a felhasználására a finomszemcsés eredmények kiszámításához.

Gyakran egyensúlyba kell hoznunk az üzleti igényeket és az elsajátítható és előrejelzéshez felhasználható adatmintákat. Az adatminták mennyiségi minősítéséhez javasoljuk az adatok előrejelzésének használatát.

Az adatok előrejelezhetősége és az adatminták osztályozása

Az egyik legfontosabb felismerés, amelyet a céladatkészletből gyűjthetünk, az az, hogy képes minőségi előrejelzéseket készíteni. Ez az ML projekt nagyon korai szakaszában elemezhető. Az előrejelzés akkor ragyog, ha az adatok szezonalitást, trendeket és ciklikus mintákat mutatnak.

Az előrejelezhetőség meghatározásához két fő együttható van: a kereslet időzítésének változékonysága és a kereslet mennyiségének változékonysága. A kereslet időzítésének változékonysága a kereslet két előfordulása közötti intervallumot jelenti, és a kereslet időbeli szabályosságát méri. A kereslet mennyiségének változékonysága a mennyiségek változását jelenti. A következő ábra néhány különböző mintát mutat be. Az előrejelzés pontossága erősen függ a termék előrejelezhetőségétől. További információkért lásd: A kereslet besorolása: miért számít az előrejelezhetőség?.

Érdemes megjegyezni, hogy ez az előrejelzési elemzés minden egyes finomszemcsés tételre vonatkozik (például SKU-Store-Color-Size). Elég gyakori, hogy egy kereslet-előrejelző termelési rendszerben a különböző cikkek eltérő mintákat követnek. Ezért fontos, hogy az elemeket különböző adatminták alapján különítse el. Az egyik tipikus példa a gyorsan mozgó és lassan mozgó tárgyak; egy másik példa a sűrű és ritka adatok. Ezen túlmenően, egy finom szemcséjű tételnek nagyobb az esélye arra, hogy csomós mintát adjon. Például egy ruhaüzletben naponta elég gördülékeny lehet egy-egy népszerű cikk eladása, de ha színenként és méretenként tovább különítjük el a cikk eladásait, hamar megritkul. Ezért a részletességnek az SKU-Store-Color-Size-ről az SKU-Store-ra való csökkentése megváltoztathatja az adatmintát csomósról simara, és fordítva.

Ráadásul nem minden cikk járul hozzá egyformán az eladásokhoz. Megfigyeltük, hogy az árucikk-hozzájárulás gyakran a Pareto-eloszlást követi, amelyben a legfontosabb tételek adják a legtöbb eladást. Ezeknek a csúcstermékeknek az értékesítése gyakran gördülékeny. Az alacsonyabb eladási rekordot mutató cikkek gyakran csomósak és szabálytalanok, ezért nehéz megbecsülni. Ezeknek a tételeknek a hozzáadása ténylegesen csökkentheti a legjobban értékesített cikkek pontosságát. Ezen megfigyelések alapján a cikkeket különböző csoportokba oszthatjuk, a Forecast modellt betaníthatjuk a legjobb eladási cikkekre, és az alacsonyabb eladási tételeket sarokesetekként kezelhetjük.

Adatgazdagítás és további adatkészlet kiválasztása

Ha további adatkészleteket szeretnénk használni az előrejelzési eredmények teljesítményének javítására, támaszkodhatunk rá idősoros adatkészletek és a metaadat-adatkészletek. A kiskereskedelmi területen az intuíció és a tartományi ismeretek alapján olyan jellemzők importálhatók, mint a készlet, az ár, a promóció, valamint a téli vagy nyári szezonok kapcsolódó idősorként. A funkciók hasznosságának azonosításának legegyszerűbb módja a funkció fontossága. Az Előrejelzésben ez a magyarázhatóság elemzésével történik. Előrejelzés Előrejelző magyarázhatóság segít jobban megérteni, hogy az adatkészletekben lévő attribútumok hogyan befolyásolják a cél előrejelzéseit. Az előrejelzés egy hatáspontszámnak nevezett mérőszámot használ az egyes attribútumok relatív hatásának számszerűsítésére, és annak meghatározására, hogy növelik-e vagy csökkentik-e az előrejelzési értékeket. Ha egy vagy több attribútum hatáspontszáma nulla, akkor ezeknek az attribútumoknak nincs jelentős hatása az előrejelzési értékekre. Így gyorsan eltávolíthatjuk a kisebb hatású funkciókat, és iteratívan hozzáadhatjuk a potenciálisakat. Fontos megjegyezni, hogy a hatáspontszámok az attribútumok relatív hatását mérik, amelyeket az összes többi attribútum hatáspontszámával együtt normalizálnak.

Mint minden ML projekt, a pontosság további szolgáltatásokkal történő javítása iteratív kísérleteket igényel. Kísérleteznie kell az adatkészletek több kombinációjával, miközben figyeli a növekményes változtatások hatását a modell pontosságára. Megpróbálhat több előrejelzési kísérletet futtatni az előrejelzési konzolon keresztül vagy a következővel Python notebookok Forecast API-kkal. Ezen kívül, akkor a fedélzeten AWS felhőképződés, amely az AWS-t telepíti, kész megoldásokat kínált a gyakori felhasználási esetekre (például a Az előrejelzés pontosságának javítása gépi tanulási megoldással). Az előrejelzés automatikusan szétválasztja az adatkészletet, és pontossági mutatókat állít elő az előrejelzők értékeléséhez. További információkért lásd Az előrejelző pontosságának értékelése. Ez segít az adatkutatóknak gyorsabban iterálni a legjobban teljesítő modell elérése érdekében.

Fejlett fejlesztés és saroktokok kezelése

Említettük, hogy az előrejelzési algoritmusok megtanulhatják az adatokból a szezonalitást, a trendeket és a ciklikus jellemzőket. Az ilyen jellemzőkkel, valamint a megfelelő adatsűrűséggel és mennyiséggel rendelkező tételek esetében használhatjuk az Előrejelzést a becslések generálására. Ha azonban csomós adatmintákkal szembesülünk, különösen akkor, ha az adatmennyiség kicsi, előfordulhat, hogy másképpen kell kezelnünk őket, például egy szabálykészleten alapuló empirikus becsléssel.

A sűrű SKU-k esetében tovább javítjuk az előrejelzés pontosságát azáltal, hogy a modelleket az idősor-adatkészlet hasonlóan viselkedő részhalmazaira tanítjuk. Az általunk használt részhalmaz-elválasztási stratégiák az üzleti logika, a terméktípus, az adatsűrűség és az algoritmus által megtanult minták. Az alhalmazok létrehozása után több előrejelzési modellt is betaníthatunk a különböző részhalmazokhoz. Egy ilyen példához lásd a Klaszter idősorok adatai az Amazon Forecast használatához.

A termelés felé: az adatkészlet frissítése, figyelés és átképzés

Tekintsünk meg egy példa architektúrát az előrejelzéssel, amint az a következő diagramon látható. Minden alkalommal, amikor egy végfelhasználó egy új adatkészletet konszolidál Amazon egyszerű tárolási szolgáltatás (Amazon S3), kiváltja AWS lépésfunkciók a különböző összetevők összehangolásához, beleértve az adatkészlet importálási feladat létrehozását, az automatikus előrejelző létrehozását és az előrejelzések generálását. Az előrejelzési eredmények létrehozása után az Előrejelzés exportálása lépéssel exportálják azokat az Amazon S3-ba a későbbi fogyasztók számára. Az automatizált folyamat létrehozásával kapcsolatos további információkért lásd: Automatizálás az AWS CloudFormation segítségével. Egy CloudFormation verem segítségével automatikusan telepíti az adatkészleteket egy S3 tárolóba, és elindít egy előrejelzési folyamatot. Ugyanazt az automatizálási veremet használhatja előrejelzések generálására saját adatkészleteivel.

Kétféleképpen lehet a legújabb trendeket beépíteni az előrejelző rendszerbe: az adatok frissítésével vagy az előrejelző átképzésével.

A legújabb trendeket tükröző frissített adatokkal történő előrejelzés generálásához fel kell töltenie a frissített bemeneti adatfájlt egy S3 tárolóba (a frissített bemeneti adatoknak továbbra is tartalmazniuk kell az összes meglévő adatot). Az előrejelzés nem tanítja automatikusan újra a prediktort, amikor frissített adatkészletet importál. tudsz előrejelzéseket generálni ahogy szoktad. A Forecast előrejelzi az előrejelzési horizontot az utolsó naptól kezdve a frissített bemeneti adatokban. Ezért a közelmúlt trendjeit beépítik a Forecast által készített új következtetésekbe.

Ha azonban azt szeretné, hogy a prediktort az új adatok alapján képezzék ki, létre kell hoznia egy új előrejelzőt. Előfordulhat, hogy meg kell fontolnia a modell átképzését, amikor az adatminták (szezonalitás, trendek vagy ciklusok) megváltoznak. Mint említettük Folyamatosan figyelje az előrejelző pontosságát az Amazon Forecast segítségével, egy előrejelző teljesítménye idővel ingadozni fog olyan tényezők miatt, mint a gazdasági környezet vagy a fogyasztói magatartás változásai. Ezért előfordulhat, hogy a prediktort át kell képezni, vagy új előrejelzőt kell létrehozni a rendkívül pontos előrejelzések folytatásához. Segítségével előrejelző monitorozás, Az előrejelzés nyomon követheti az előrejelzők minőségét, lehetővé téve az operatív erőfeszítések csökkentését, miközben segít megalapozottabb döntéseket hozni az előrejelzők megtartásával, átképzésével vagy újjáépítésével kapcsolatban.

Következtetés

Az Amazon Forecast egy ML-alapú idősoros előrejelzési szolgáltatás, amelyet üzleti metrikák elemzésére fejlesztettek ki. Nagy pontossággal integrálhatjuk a kereslet-előrejelzési előrejelzéseket a múltbeli eladások és egyéb releváns információk, például készletek, promóciók vagy szezon kombinálásával. 8 héten belül segítettünk egy kiskereskedelmi ügyfelünknek pontos kereslet-előrejelzést elérni – 10%-os javulást a kézi előrejelzéshez képest. Ez havi 16 munkaóra közvetlen megtakarítást eredményez, és a becsült eladások akár 11.8%-kal is növekednek.

Ez a bejegyzés megosztja azokat a gyakori gyakorlatokat, amelyekkel az előrejelzési projektet a koncepció bizonyításától a gyártásig eljuttatja. Kezdje el most Amazon előrejelzés hogy rendkívül pontos előrejelzéseket készítsen vállalkozása számára.

---

A szerzőkről

Yanwei Cui, PhD, az AWS gépi tanulási megoldások szakértője. Gépi tanulási kutatásokat kezdett az IRISA-nál (Research Institute of Computer Science and Random Systems), és több éves tapasztalattal rendelkezik mesterséges intelligencia által hajtott ipari alkalmazások kiépítésében a számítógépes látás, a természetes nyelvi feldolgozás és az online felhasználói viselkedés előrejelzése terén. Az AWS-nél megosztja a domain szakértelmét, és segít ügyfeleinek abban, hogy kiaknázzák az üzleti lehetőségeket, és megvalósítható eredményeket érjenek el a nagyszabású gépi tanulással. Munkán kívül szeret olvasni és utazni.

Gordon Wang az Amazon Web Services Professional Services csapatának vezető adattudósa. Számos iparágban támogatja az ügyfeleket, beleértve a médiát, a gyártást, az energiát, a kiskereskedelmet és az egészségügyet. Szenvedélyes a számítógépes látás, a mély tanulás és az MLOps. Szabadidejében szeret futni és túrázni.