Ez egy vendégbejegyzés, amelynek társszerzője Nafi Ahmet Turgut, Mutlu Polatcan, Pınar Baki, Mehmet İkbal Özmen, Hasan Burak Yel és Hamza Akyıldız Getirből.
hozott az ultragyors élelmiszer-kiszállítás úttörője. A technológiai vállalat forradalmasította az utolsó mérföldes szállítást az „élelmiszer percek alatt” kiszállítási javaslatával. A Getirt 2015-ben alapították, és Törökországban, az Egyesült Királyságban, Hollandiában, Németországban, Franciaországban, Spanyolországban, Olaszországban, Portugáliában és az Egyesült Államokban működik. Ma a Getir egy konglomerátum, amely kilenc vertikumot foglal magában ugyanazon márka alatt.
A jövőbeli kereslet előrejelzése a Getir számára az egyik legfontosabb felismerés, és az egyik legnagyobb kihívás, amellyel szembe kell néznünk. A Getir nagymértékben támaszkodik a pontos kereslet-előrejelzésekre SKU-szinten, amikor üzleti döntéseket hoz számos területen, beleértve a marketinget, a termelést, a készleteket és a pénzügyeket. Pontos előrejelzésekre van szükség a készlettartási és -feltöltési döntések alátámasztásához. Ha világos és megbízható képet kapunk a következő napra vagy hétre előre jelzett keresletről, akkor módosíthatjuk stratégiánkat, és növelhetjük az értékesítési és bevételi céljaink teljesítésének képességét.
Getir használt Amazon előrejelzés, egy teljesen felügyelt szolgáltatás, amely gépi tanulási (ML) algoritmusokat használ, hogy rendkívül pontos idősoros előrejelzéseket készítsen, hogy négy százalékkal növelje a bevételt és 50 százalékkal csökkentse a hulladékköltséget. Ebben a bejegyzésben leírjuk, hogyan használtuk az előrejelzést ezen előnyök eléréséhez. Felvázoljuk, hogyan építettünk fel egy automatizált kereslet-előrejelzési folyamatot a Forecast és a hangszerelés segítségével AWS lépésfunkciók az SKU-k napi keresletének előrejelzésére. Ez a megoldás rendkívül pontos előrejelzést eredményezett több mint 10,000 XNUMX termékváltozatra vonatkozóan minden országban, ahol működünk, és jelentősen hozzájárult ahhoz, hogy nagy mértékben skálázható belső ellátási lánc folyamatokat tudjunk kifejleszteni.
Az előrejelzés automatizálja az idősoros előrejelzési folyamat nagy részét, lehetővé téve, hogy az adatkészletek elkészítésére és az előrejelzések értelmezésére összpontosítson.
A Step Functions egy teljesen felügyelt szolgáltatás, amely megkönnyíti az elosztott alkalmazások és mikroszolgáltatások összetevőinek koordinálását vizuális munkafolyamatok segítségével. Alkalmazások összeállítása egyedi komponensekből, amelyek mindegyike különálló funkciót lát el, megkönnyíti a méretezést és az alkalmazások gyorsabb cseréjét. A Step Functions automatikusan elindítja és nyomon követi az egyes lépéseket, és újrapróbálkozik, ha hiba lép fel, így az alkalmazás a várt sorrendben és a várt módon fut le.
Megoldás áttekintése
A Getir adattudományi és infrastrukturális csapatából hat ember dolgozott együtt ezen a projekten. A projekt 3 hónap alatt fejeződött be, és 2 hónapos tesztelés után üzembe helyezték.
A következő ábra a megoldás architektúráját mutatja be.
A modell-folyamat országonként külön-külön kerül végrehajtásra. Az architektúra négy Airflow cron feladatot tartalmaz, amelyek meghatározott ütemezés szerint futnak. A folyamat a jellemzők létrehozásával kezdődik, amely először létrehozza és betölti a szolgáltatásokat Amazon RedShift. Ezután egy jellemzőfeldolgozási feladat előkészíti az Amazon Redshiftben tárolt napi funkciókat, és kirakja az idősorok adatait Amazon egyszerű tárolási szolgáltatás (Amazon S3). Egy második Airflow feladat felelős az előrejelzési folyamat elindításához Amazon EventBridge. A folyamat Amazon Lambda függvényeiből áll, amelyek előrejelzőket és előrejelzéseket hoznak létre az Amazon S3-ban tárolt paraméterek alapján. A Forecast beolvassa az Amazon S3 adatait, betanítja a modellt hiperparaméter-optimalizálással (HPO) a modell teljesítményének optimalizálása érdekében, és jövőbeli előrejelzéseket készít a termékeladásokról. Ezután a Step Functions „WaitInProgress” csővezeték minden ország számára aktiválódik, amely lehetővé teszi egy folyamat párhuzamos végrehajtását minden országban.
Algoritmus kiválasztása
Az Amazon Forecast hat beépített algoritmussal rendelkezik (ARIMA, ETS, NPTS, próféta, DeepAR+, CNN-QR), amelyek két csoportba sorolhatók: statisztikai és mély/neurális hálózatok. Ezen algoritmusok közül a mély/neurális hálózatok alkalmasabbak az e-kereskedelem előrejelzési problémáira, mivel elfogadják a tételek metaadatait, a kampány- és marketingtevékenységek előremutató funkcióit, és – ami a legfontosabb – a kapcsolódó idősor-funkciókat. A mély/neurális hálózati algoritmusok nagyon jól teljesítenek ritka adathalmazokon és hidegindításos (új elem bevezetése) forgatókönyvekben is.
Kísérleteink során összességében azt tapasztaltuk, hogy a mély/neurális hálózati modellek szignifikánsan jobban teljesítettek, mint a statisztikai modellek. Ezért a mélymerülési tesztelésünket a DeepAR+-ra és a CNN-QR-re összpontosítottuk
Az Amazon Forecast egyik legfontosabb előnye a méretezhetőség és a pontos eredmények számos termék- és országkombináció esetén. Tesztelésünk során a DeepAR+ és a CNN-QR algoritmusok is sikert hoztak a trendek és a szezonalitás rögzítésében, lehetővé téve számunkra, hogy hatékony eredményeket érjünk el olyan termékekben, amelyek kereslete nagyon gyakran változik.
A Deep AutoRegressive Plus (DeepAR+) egy felügyelt egyváltozós előrejelző algoritmus, amely az általa létrehozott visszatérő neurális hálózatokon (RNN) alapul. Amazon Research. Fő előnye, hogy könnyen skálázható, képes releváns kovariánsokat beépíteni az adatokba (például kapcsolódó adatok és metaadatok), valamint hidegindítási tételek előrejelzésére. Ahelyett, hogy minden egyes idősorhoz külön modelleket illesztene, globális modellt hoz létre a kapcsolódó idősorokból, hogy átméretezéssel és sebesség alapú mintavétellel kezelje a széles körben változó léptékeket. Az RNN architektúra magában foglalja a binomiális valószínűséget a valószínűségi előrejelzések előállítására, és a szerzők azt javasolják, hogy felülmúlja a hagyományos egyelemes előrejelzési módszereket (mint például a Prophet). DeepAR: Valószínűségi előrejelzés autoregresszív visszatérő hálózatokkal.
Végül kiválasztottuk a Amazon CNN-QR (Konvolúciós Neurális Hálózat – Kvantilis Regresszió) algoritmus az előrejelzésünkhöz a visszatesztelési folyamatban nyújtott nagy teljesítménye miatt. A CNN-QR egy szabadalmaztatott ML algoritmus, amelyet az Amazon fejlesztett ki skaláris (egydimenziós) idősorok előrejelzésére kauzális konvolúciós neurális hálózatok (CNN-ek) segítségével.
Mint korábban említettük, a CNN-QR képes kapcsolódó idősorokat és metaadatokat használni az előrejelzett tételekről. A metaadatoknak tartalmazniuk kell egy bejegyzést a célidősor minden egyedi elemére vonatkozóan, amelyek esetünkben azok a termékek, amelyek keresletét előre jelezzük. A pontosság növelése érdekében kategória és alkategória metaadatokat használtunk, amelyek segítettek a modellnek megérteni bizonyos termékek közötti kapcsolatot, beleértve a kiegészítőket és a helyettesítőket. Például az italoknál a rágcsálnivalóknál további zászlót adunk, mivel a két kategória kiegészíti egymást.
A CNN-QR egyik jelentős előnye a jövőbeli kapcsolódó idősorok nélküli előrejelzés lehetősége, ami akkor fontos, ha nem tud kapcsolódó funkciókat biztosítani az előrejelzési ablakhoz. Ez a képesség az előrejelzés pontosságával együtt azt jelentette, hogy a CNN-QR a legjobb eredményeket produkálta adataink és használati eseteink alapján.
Előrejelzési kimenet
A rendszeren keresztül létrehozott előrejelzések országonkénti beérkezésük után külön S3 gyűjtőkbe íródnak. Ezután az Amazon Redshiftnek előrejelzéseket írnak az SKU és a napi munkák országa alapján. Ezt követően előrejelzéseink alapján napi termékkészlettervezést végzünk.
Folyamatosan számítjuk ki az átlagos abszolút százalékos hibaarányt (MAPE) a termékalapú adatokkal, és optimalizáljuk a modell- és funkciófelvételi folyamatokat.
Következtetés
Ebben a bejegyzésben az Amazon Forecast és az AWS Step Functions segítségével épített automatizált kereslet-előrejelzési folyamaton mentünk keresztül.
Az Amazon Forecast segítségével 10 százalékkal javítottuk országspecifikus MAPE-ünket. Ez négy százalékos bevételnövekedést eredményezett, és 50 százalékkal csökkentette hulladékköltségeinket. Emellett a skálázhatóság tekintetében 80 százalékos javulást értünk el az edzésidőinkben a napi előrejelzésekben. Naponta több mint 10,000 XNUMX SKU-t tudunk előre jelezni az általunk kiszolgált összes országban.
Ha további információra van szüksége arról, hogyan kezdje meg saját csővezetékeinek építését az előrejelzéssel, lásd: Amazon Forecast források. Látogathat is AWS lépésfunkciók hogy további információkat kapjon az automatizált folyamatok felépítéséről, valamint az ML folyamatok összehangolásáról és létrehozásáról. Jó előrejelzést, és kezdje el vállalkozása fejlesztését még ma!
A szerzőkről
Nafi Ahmet Turgut Elektromos és elektronikai mérnöki mesterképzésben végzett, és diplomás kutatóként dolgozott. Fókuszában az ideghálózati anomáliák szimulálására szolgáló gépi tanulási algoritmusok felépítése volt. 2019-ben csatlakozott a Getirhez, jelenleg Senior Data Science & Analytics Managerként dolgozik. Csapata felelős a Getir teljes körű gépi tanulási algoritmusainak és adatvezérelt megoldásainak tervezéséért, megvalósításáért és karbantartásáért.
Mutlu Polatcan a Getir személyzeti adatmérnöke, aki felhőalapú adatplatformok tervezésére és építésére specializálódott. Szereti a nyílt forráskódú projekteket felhőszolgáltatásokkal kombinálni.
Pinar Baki A Boğaziçi Egyetem Számítástechnika Tanszékén szerzett mesterfokozatot. Adattudósként dolgozott az Arceliknél, ahol a tartalékalkatrész-ajánlási modellekre, valamint a beszédadatokból származó kor, nem és érzelemelemzésre összpontosított. Ezután 2022-ben csatlakozott a Getirhez vezető adattudósként, aki előrejelzési és keresőmotor-projekteken dolgozott.
Mehmet İkbal Özmen Közgazdasági mesterképzésben szerzett diplomát, és kutatói asszisztensként dolgozott. Kutatási területe elsősorban a gazdasági idősoros modellek, a Markov-szimulációk és a recesszió-előrejelzés volt. Ezután 2019-ben csatlakozott a Getirhez, és jelenleg Data Science & Analytics Managerként dolgozik. Csapata felelős az optimalizálási és előrejelzési algoritmusokért, amelyek megoldják az üzemeltetési és ellátási lánc üzletágakban tapasztalt összetett problémákat.
Hasan Burak Yel Elektromos és elektronikai mérnöki diplomát szerzett a Boğaziçi Egyetemen. A Turkcellnél dolgozott, főként idősoros előrejelzéssel, adatvizualizációval és hálózati automatizálással foglalkozott. 2021-ben csatlakozott a Getirhez, és jelenleg vezető adattudósként dolgozik a kereső- és ajánlási motorok, valamint a vásárlói viselkedési modellek felelősségével.
Hamza Akyıldız A Boğaziçi Egyetemen szerzett matematikai és számítástechnikai alapdiplomát. A gépi tanulási algoritmusok matematikai hátterének optimalizálására összpontosít. 2021-ben csatlakozott a Getirhez, és Data Scientistként dolgozik. Személyre szabással és ellátási lánccal kapcsolatos projekteken dolgozott.
Esra Kayabalı az AWS vezető megoldástervezője, az analitikai tartományra szakosodott, beleértve az adattárházat, a data lakeket, a nagy adatelemzést, a kötegelt és valós idejű adatfolyamot és adatintegrációt. 12 éves szoftverfejlesztési és építészeti tapasztalattal rendelkezik. Szenvedélye a felhőtechnológiák tanulása és tanítása.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- :van
- :is
- :ahol
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- képesség
- Képes
- Rólunk
- Abszolút
- Elfogad!
- pontosság
- pontos
- Elérése
- elért
- át
- tevékenységek
- mellett
- További
- Előny
- előnyei
- Után
- kor
- algoritmus
- algoritmusok
- Minden termék
- lehetővé téve
- lehetővé teszi, hogy
- mentén
- Is
- amazon
- Amazon előrejelzés
- Amazon RedShift
- Az Amazon Web Services
- között
- an
- elemzés
- analitika
- és a
- és az infrastruktúra
- Alkalmazás
- alkalmazások
- építészet
- VANNAK
- TERÜLET
- területek
- AS
- Helyettes
- At
- szerzők
- Automatizált
- automaták
- automatikusan
- Automatizálás
- AWS
- AWS lépésfunkciók
- háttér
- Backtest
- alapján
- alap
- óta
- hogy
- Előnyök
- BEST
- Jobb
- között
- Nagy
- Big adatok
- Legnagyobb
- mindkét
- márka
- hozott
- épít
- Épület
- épült
- beépített
- üzleti
- vállalkozások
- by
- számít
- Kampány
- TUD
- Rögzítése
- visz
- eset
- kategóriák
- Kategória
- bizonyos
- lánc
- kihívások
- változik
- Változások
- világos
- felhő
- felhő szolgáltatások
- kombinációk
- kombinálása
- vállalat
- kiegészítő
- Befejezett
- bonyolult
- alkatrészek
- számítógép
- Informatika
- konglomerátum
- hozzájárultak
- koordináta
- Költség
- kiadások
- országok
- ország
- ország-specifikus
- teremt
- készítette
- teremt
- teremtés
- Jelenleg
- vevő
- vevői viselkedés
- napi
- dátum
- Adatelemzés
- adat-tudomány
- adattudós
- adatkészlet
- adatmegjelenítés
- adatalapú
- adatkészletek
- nap
- határozatok
- meghatározott
- Fok
- szállít
- kézbesítés
- Kereslet
- Igény előrejelzése
- osztály
- telepített
- leírni
- tervezés
- Fejleszt
- fejlett
- Fejlesztés
- megosztott
- domain
- hajtott
- két
- e-commerce
- minden
- könnyebb
- könnyen
- Gazdasági
- Közgazdaságtan
- hatékony
- Elektronika
- lehetővé teszi
- lehetővé téve
- végtől végig
- Motor
- mérnök
- Mérnöki
- belépés
- hiba
- hibák
- példa
- végrehajtja
- végrehajtás
- várható
- tapasztalat
- tapasztalt
- Arc
- Funkció
- Jellemzők
- finanszíroz
- vezetéknév
- szerelvény
- Összpontosít
- összpontosított
- koncentrál
- összpontosítás
- következő
- A
- Előrejelzés
- előrejelzések
- előretekintő
- Alapított
- négy
- Franciaország
- gyakran
- ból ből
- teljesen
- funkció
- funkciók
- jövő
- nem
- Németország
- kap
- Globális
- Célok
- diplomás
- Csoportok
- Vendég
- Vendég bejegyzés
- fogantyú
- boldog
- tekintettel
- he
- súlyosan
- segített
- segít
- neki
- Magas
- nagyon
- övé
- holding
- Hogyan
- How To
- HTML
- HTTPS
- Hiperparaméter optimalizálás
- végrehajtási
- fontos
- javul
- javított
- javulás
- javuló
- in
- tartalmaz
- magában foglalja a
- Beleértve
- bele
- amely magában foglalja
- Növelje
- egyéni
- információ
- Infrastruktúra
- meglátások
- helyette
- integráció
- belső
- bele
- Bevezetés
- leltár
- IT
- Olaszország
- tételek
- ITS
- Munka
- Állások
- csatlakozott
- jpg
- vezet
- tanulás
- Led
- szint
- mint
- terhelések
- szeret
- gép
- gépi tanulás
- Fő
- főleg
- fenntartása
- KÉSZÍT
- Gyártás
- sikerült
- menedzser
- sok
- Marketing
- mester
- matematikai
- matematika
- jelent
- jelentett
- Találkozik
- említett
- Metaadatok
- mód
- microservices
- ML
- modell
- modellek
- hónap
- több
- a legtöbb
- sok
- kell
- elengedhetetlen
- Hollandia
- hálózat
- hálózatok
- neurális hálózat
- neurális hálózatok
- Új
- következő
- szerez
- of
- on
- ONE
- folyamatban lévő
- nyílt forráskódú
- működik
- működik
- működés
- optimalizálás
- Optimalizálja
- optimalizálása
- or
- hangszerelt
- érdekében
- Más
- mi
- ki
- vázlat
- teljesítményben felülmúl
- felett
- saját
- Párhuzamos
- paraméterek
- szenvedélyes
- Emberek (People)
- százalék
- százalék
- Teljesít
- teljesítmény
- Testreszabás
- kép
- úttörő
- csővezeték
- tervezés
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- plusz
- Portugália
- állás
- előre
- jósolt
- Tippek
- Előkészíti
- előkészítése
- korábban
- problémák
- folyamat
- Folyamatok
- feldolgozás
- gyárt
- Készült
- Termékek
- Termelés
- Termékek
- program
- projektek
- ajánlat
- szabadalmazott
- ad
- gyorsan
- hatótávolság
- real-time
- valós idejű adatok
- kapott
- recesszió
- Ajánlást
- csökkenteni
- csökkenteni a hulladékot
- összefüggő
- kapcsolat
- megbízható
- kutatás
- felelősség
- felelős
- Eredmények
- jövedelem
- forradalmasította
- futás
- értékesítés
- azonos
- skálázhatóság
- skálázható
- Skála
- Mérleg
- forgatókönyvek
- menetrend
- Tudomány
- Tudós
- Keresés
- kereső
- Második
- lát
- kiválasztott
- idősebb
- különálló
- Series of
- szolgál
- szolgáltatás
- Szolgáltatások
- készlet
- ő
- Műsorok
- jelentős
- jelentősen
- Egyszerű
- óta
- SIX
- snack
- So
- szoftver
- szoftverfejlesztés
- megoldások
- Megoldások
- SOLVE
- Spanyolország
- szakosodott
- beszéd
- Személyzet
- kezdet
- kezdődött
- kezdődik
- Államok
- statisztikai
- Lépés
- készlet
- tárolás
- memorizált
- Stratégia
- folyó
- siker
- ilyen
- megfelelő
- kínálat
- ellátási lánc
- Támogató
- rendszer
- cél
- Tanítási
- csapat
- tech
- Tech cég
- Technologies
- feltételek
- Tesztelés
- mint
- hogy
- A
- Hollandia
- Az Egyesült Királyságban
- azok
- Őket
- akkor
- Ott.
- ebből adódóan
- Ezek
- ők
- ezt
- azok
- Keresztül
- idő
- Idősorok
- alkalommal
- nak nek
- Ma
- együtt
- hagyományos
- Képzések
- vonatok
- Trends
- váltott
- kioldás
- Törökország
- kettő
- Uk
- Végül
- alatt
- megért
- egyedi
- Egyesült
- Egyesült Államok
- egyetemi
- us
- használ
- használati eset
- használt
- segítségével
- függőlegesek
- nagyon
- keresztül
- Látogat
- megjelenítés
- sétált
- volt
- Hulladék
- we
- háló
- webes szolgáltatások
- hét
- JÓL
- amikor
- ami
- akinek
- széles
- Széleskörű
- val vel
- nélkül
- dolgozott
- munkafolyamatok
- dolgozó
- művek
- írott
- év
- te
- A te
- zephyrnet