Automatiseerige oma aegridade prognoosimine rakenduses Snowflake Amazon Forecasti abil

See postitus on tehtud ühistööna Andries Engelbrechti ja James Suniga ettevõttest Snowflake, Inc.

Pilvandmetöötluse revolutsioon on võimaldanud ettevõtetel koguda ja säilitada ettevõtte ja organisatsiooni andmeid ilma võimsuse planeerimise või andmete säilitamise piiranguteta. Nüüd, kus on mitmekesised ja suured pikisuunaliste andmete reservid, on ettevõtetel üha enam võimalik leida uudseid ja mõjukaid viise oma digitaalsete varade kasutamiseks lühi- ja pikaajaliste planeerimisotsuste tegemisel paremate ja teadlike otsuste tegemiseks. Aegridade prognoosimine on ainulaadne ja oluline teadus, mis võimaldab ettevõtetel teha kirurgilisi planeerimisotsuseid, et aidata tasakaalustada klienditeeninduse taset sageli konkureerivate optimaalse kasumlikkuse eesmärkidega.

AWS-is töötame mõnikord klientidega, kes on valinud meie tehnoloogiapartneri Lumehelves pilvandmeplatvormi kogemuse pakkumiseks. Platvorm, mis suudab meelde tuletada aastaid ja aastaid ajaloolisi andmeid, on võimas, kuid kuidas saate neid andmeid kasutada tulevikku vaatamiseks ja eilseid tõendeid homse päeva planeerimiseks? Kujutage ette, et Snowflake'is pole juhtunu saadaval ainult teie ühes versioonis tõest, vaid ka külgnevat kogumit silomata andmeid, mis pakuvad tõenäosuslikku prognoosi päevadeks, nädalateks või kuudeks tulevikuks.

Koostöölises tarneahelas võib teabe jagamine partnerite vahel parandada jõudlust, suurendada konkurentsivõimet ja vähendada raisatud ressursse. Tulevikuprognooside jagamist saab hõlbustada Lumehelbe andmete jagamine, mis võimaldab teil oma äripartneritega turvaliselt koostööd teha ja äriteavet tuvastada. Kui paljud partnerid jagavad oma prognoose, võib see aidata kontrolli all hoida ühendatud tarneahelas esinevat mõju. Saate tõhusalt kasutada Lumehelbe turg aastal toodetud andmekogumite põhjal ennustava analüüsi raha teenimiseks Amazoni prognoos.

Selles postituses arutame, kuidas rakendada automaatset aegridade prognoosimise lahendust, kasutades Snowflake ja Forecast.

Olulised AWS-teenused, mis seda lahendust võimaldavad

Prognoos pakub mitmeid nüüdisaegseid aegridade algoritme ja haldab piisava hajutatud arvutusvõimsuse jaotamist, et rahuldada peaaegu igasuguse töökoormuse vajadusi. Forecastiga ei saa te ühte mudelit; saate paljude mudelite tugevuse, mis on veelgi optimeeritud kordumatult kaalutud mudeliks iga komplekti kuuluva aegrea jaoks. Lühidalt öeldes pakub teenus kogu teaduse, andmetöötluse ja ressursside haldamise lihtsa API-kõnega.

AWS-i astmefunktsioonid pakub protsesside juhtimise mehhanismi, mis haldab üldist töövoogu. Teenus kapseldab API-kõned Amazonase Athena, AWS Lambdaja Forecast, et luua automatiseeritud lahendus, mis kogub andmeid Snowflake'ist, kasutab Forecasti ajalooliste andmete tulevikuennustusteks teisendamiseks ja loob seejärel andmed Snowflake'is.

Athena liitpäringud võivad luua ühenduse mitme ettevõtte andmeallikaga, sealhulgas Amazon DynamoDB, Amazoni punane nihe, Amazon OpenSearchi teenus, MySQL, PostgreSQL, Redis ja muud populaarsed kolmanda osapoole andmesalved, nagu Snowflake. Andmepistikud töötavad Lambda funktsioonidena – saate selle lähtekoodi abil käivitada Amazon Athena Lambda lumehelbe pistik ja ühendage AWS PrivateLink või NAT-lüüsi kaudu.

Lahenduse ülevaade

Üks asi, mida me AWS-is sageli teeme, on töö selle nimel, et aidata klientidel oma eesmärke realiseerida, eemaldades samal ajal ka eristamatute raskuste tõstmise koormuse. Seda silmas pidades teeme järgmise ettepaneku lahendus AWS-i ja Snowflake'i klientide abistamiseks toimige järgmiselt.

1. Andmete eksportimine rakendusest Snowflake. Saate kasutada paindlikke metaandmeid, et maha laadida vajalikud ajaloolised andmed, mida juhib töövalmis töövoog.
2. Importige andmed Prognoosi. Olenemata kasutusjuhtumist, tööstusest või mastaabist on ettevalmistatud andmesisendite importimine lihtne ja automatiseeritud.
3. Treenige nüüdisaegset aegridade mudelit. Saate automatiseerida aegridade prognoosimist ilma aluseks olevat andmeteadust või riistvara pakkumist haldamata.
4. Looge koolitatud mudeli põhjal järeldus. Prognoosiga toodetud väljundeid on lihtne kasutada mis tahes eesmärgil. Need on saadaval lihtsate CSV- või parkettfailidena Amazoni lihtne salvestusteenus (Amazon S3).
5. Kasutage ajalugu ja tulevikuennustusi kõrvuti otse rakenduses Snowflake.

Järgmine diagramm illustreerib, kuidas rakendada automatiseeritud töövoogu, mis võimaldab Snowflake'i klientidel saada kasu ülitäpsetest aegridade prognoosidest, mida toetab AWS-i hallatav teenus Forecast. Siin pakutav disain, mis ületab kasutusjuhtu ja tööstust, võtab kõigepealt välja ajaloolised andmed Snowflake'ist. Järgmisena esitab töövoog ettevalmistatud andmed aegridade arvutamiseks. Lõpuks on tulevase perioodi ennustused saadaval Snowflake'is, mis loob sujuva kasutajakogemuse AWS-i ja Snowflake'i ühisklientidele.

Kuigi see arhitektuur tõstab esile ainult peamised tehnilised üksikasjad, on lahendust lihtne kokku panna, mõnikord 1–2 tööpäeva jooksul. Pakume teile toimivat näidiskoodi, mis aitab kõrvaldada eristumatut rasket koormust lahenduse loomisel üksinda ja ilma edumaa. Kui olete avastanud, kuidas seda mustrit ühe töökoormuse jaoks rakendada, saate ennustusprotsessi korrata kõigi Snowflake'is hoitavate andmete jaoks. Järgmistes jaotistes kirjeldame peamisi samme, mis võimaldavad teil luua automatiseeritud torujuhtme.

Hankige Snowflake'i ajaloolised andmed

Selles esimeses etapis kasutate SQL-i, et määratleda, milliseid andmeid soovite prognoosida, ja lasete Athena Federated Queryl luua ühenduse Snowflake'iga, käitada kohandatud SQL-i ja säilitada sellest tulenev kirje Amazon S3-s. Prognoos nõuab, et ajaloolised treeninguandmed oleksid Amazon S3-s enne allaneelamist saadaval; seetõttu toimib Amazon S3 vahemälupuhvrina Snowflake'i ja Forecast'i vahel. Lumehelbe ja muude heterogeensete andmeallikate võimaldamiseks kasutame selles kujunduses Athena. Kui soovite, on teine ​​​​lähenemine käsu Snowflake COPY kasutamine ja salvestuse integreerimine päringutulemuste kirjutamiseks Amazon S3-sse.

Olenemata kasutatavast transpordimehhanismist kirjeldame nüüd, millist tüüpi andmeid prognoosimiseks vaja on ning kuidas andmeid määratletakse, valmistatakse ette ja ekstraheeritakse. Järgmises jaotises kirjeldame, kuidas andmeid Prognoosi importida.

Järgmisel ekraanipildil on kujutatud, milline võib andmekogum oma loomulikus Snowflake skeemis välja näha.

Kuigi see ekraanipilt näitab, kuidas andmed loomulikus olekus välja näevad, nõuab prognoos andmete vormimist kolmeks erinevaks andmekogumiks.

• Sihitud aegrida – See on nõutav andmestik, mis sisaldab sihtmuutujat ja mida kasutatakse tulevase väärtuse treenimiseks ja ennustamiseks. Üksinda toimib see andmestik ühemõõtmelise aegrea mudelina.
• Seotud aegread – See on valikuline andmestik, mis sisaldab ajalisi muutujaid, millel peaks olema seos sihtmuutujaga. Näited hõlmavad muutuvat hinda, reklaamitegevust, hüperlokaalset sündmuste liiklust, majandusväljavaadete andmeid – kõik, mis teie arvates võib aidata selgitada siht-aegridade erinevusi ja luua parema prognoosi. Seotud aegridade andmestik muudab teie ühemõõtmelise mudeli täpsuse parandamiseks mitme muutujaga mudeliks.
• Üksuse metaandmed – See on valikuline andmestik, mis sisaldab prognoositava üksuse kategoorilisi andmeid. Üksuse metaandmed aitavad sageli suurendada uute toodete jõudlust, mida me nimetame a külm algus.

Kui prognooside andmekogumi ulatus on määratletud, saate Snowflake'i kirjutada päringuid, mis hangivad vajalikest lähtetabelitest õiged andmeväljad koos õigete filtritega, et saada soovitud andmete alamhulk. Järgmised on kolm SQL-i näidet, mida kasutatakse iga andmestiku genereerimiseks, mida Forecast vajab konkreetse toidunõudluse planeerimise stsenaariumi jaoks.

Alustame siht-aegrea päringuga:

select LOCATION_ID, ITEM_ID, 
DATE_DEMAND as TIMESTAMP, QTY_DEMAND as TARGET_VALUE 
from DEMO.FOOD_DEMAND

Valikuline seotud aegrea päring tõmbab ühismuutujaid, nagu hind ja reklaam:

select LOCATION_ID,ITEM_ID, DATE_DEMAND as TIMESTAMP,
CHECKOUT_PRICE, BASE_PRICE,
EMAILER_FOR_PROMOTION, HOMEPAGE_FEATURED
from DEMO.FOOD_DEMAND

Üksuse metaandmete päring hangib erinevad kategoorilised väärtused, mis aitavad anda dimensiooni ja täpsustada prognoositavat üksust.

select DISTINCT ITEM_ID, FOOD_CATEGORY, FOOD_CUISINE
from DEMO.FOOD_DEMAND

Kui lähtepäringud on määratletud, saame Athena Federated Query kaudu ühenduse luua Snowflake'iga, et esitada päringud ja säilitada saadud andmekogumid prognoosimiseks. Lisateabe saamiseks vaadake Tehke päring Snowflake'i kohta, kasutades Athena Federated Query'i ja ühendage oma Amazon S3 andmejärve andmetega.

. Athena Snowflake Connector GitHubi repo aitab paigaldada lumehelbe pistiku. The Prognoos MLOps GitHubi repo aitab korraldada kõiki selles postituses määratletud makroetappe ja muudab need korratavaks ilma koodi kirjutamata.

Importige andmed Prognoosi

Kui oleme eelmise sammu lõpetanud, on siht-aegridade andmekogum Amazon S3-s ja valmis Prognoosi importimiseks. Lisaks võivad valikulised seotud aegridad ja üksuste metaandmete andmekogumid olla ette valmistatud ja sissevõtmiseks valmis. Koos pakutavaga MLOps-i lahenduse prognoos, peate siin vaid käivitama andmete importimise eest vastutava sammufunktsioonide olekumasina – koodi pole vaja. Prognoos käivitab iga teie esitatud andmekogumi jaoks klastri ja muudab andmed teenuse jaoks valmis kasutamiseks ML-mudeli koostamiseks ja mudeli järelduste tegemiseks.

Looge täpsusstatistikaga aegrea ML-mudel

Pärast andmete importimist luuakse ülitäpsed aegridade mudelid lihtsalt API kutsumisega. See samm on kapseldatud Step Functions olekumasinasse, mis käivitab Forecast API mudeli koolituse alustamiseks. Pärast ennustajamudeli väljaõpetamist ekspordib olekumasin mudeli statistika ja ennustused tagasitestimise akna ajal Amazon S3-sse. Backtest eksportimine on Snowflake'i välise etapina päritav, nagu on näidatud järgmisel ekraanipildil. Soovi korral saate andmeid salvestada sisemises etapis. Mõte on kasutada tagasitesti mõõdikuid, et hinnata teie esitatud andmestiku aegridade toimivuse jaotust.

Loo tulevikuennustusi

Eelmises etapis koolitatud mudeliga kutsub otstarbekohaselt ehitatud Step Functions olekumasin prognooside API-le, et luua tulevikuprognoose. Prognoos loob klastri järelduse tegemiseks ja tõmbab imporditud sihtajaread, seotud aegread ja üksuse metaandmete andmekogumid läbi eelmises etapis loodud nimelise ennustaja mudeli. Pärast ennustuste genereerimist kirjutab olekumasin need Amazon S3-sse, kus taaskord saab neid päringuid teha kui Snowflake'i välist staadiumi või teisaldada Snowflake'i sisemise etapina.

Kasutage tulevasi ennustusandmeid otse rakenduses Snowflake

AWS pole selle sammu jaoks täielikult automatiseeritud lahendust loonud; aga selle postituse lahendusega tootis Forecast andmeid juba kahes eelmises etapis. Võite käsitleda väljundeid elluviidavate sündmustena või koostada andmetele äriteabe armatuurlauad. Samuti võite andmeid kasutada tulevaste tootmisplaanide ja ostutellimuste koostamiseks, tulevaste tulude prognoosimiseks, personaliressursiplaanide koostamiseks ja muuks. Iga kasutusjuhtum on erinev, kuid selle sammu eesmärk on edastada ennustused teie organisatsiooni või väljaspool seda õigetesse tarbivatesse süsteemidesse.

Järgmine koodilõik näitab, kuidas teha päringuid Amazon S3 andmetest otse rakendusest Snowflake:

CREATE or REPLACE FILE FORMAT mycsvformat
type = 'CSV'
field_delimiter = ','
empty_field_as_null = TRUE
ESCAPE_UNENCLOSED_FIELD = None
skip_header = 1;

CREATE or REPLACE STORAGE INTEGRATION amazon_forecast_integration
TYPE = EXTERNAL_STAGE
STORAGE_PROVIDER = S3
STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::nnnnnnnnnn:role/snowflake-forecast-poc-role'
ENABLED = true
STORAGE_ALLOWED_LOCATIONS = (
's3://bucket/folder/forecast',
's3://bucket/folder/backtest-export/accuracy-metrics-values',
's3://bucket/folder/backtest-export/forecasted-values';

CREATE or REPLACE STAGE backtest_accuracy_metrics
storage_integration = amazon_forecast_integration
url = 's3://bucket/folder/backtest-export/accuracy-metrics-values'
file_format = mycsvformat;

CREATE or REPLACE EXTERNAL TABLE FOOD_DEMAND_BACKTEST_ACCURACY_METRICS (
ITEM_ID varchar AS (value:c1::varchar),
LOCATION_ID varchar AS (value:c2::varchar),
backtest_window varchar AS (value:c3::varchar),
backtestwindow_start_time varchar AS (value:c4::varchar),
backtestwindow_end_time varchar AS (value:c5::varchar),
wQL_10 varchar AS (value:c6::varchar),
wQL_30 varchar AS (value:c7::varchar),
wQL_50 varchar AS (value:c8::varchar),
wQL_70 varchar AS (value:c9::varchar),
wQL_90 varchar AS (value:c10::varchar),
AVG_wQL varchar AS (value:c11::varchar),
RMSE varchar AS (value:c12::varchar),
WAPE varchar AS (value:c13::varchar),
MAPE varchar AS (value:c14::varchar),
MASE varchar AS (value:c15::varchar)
)
with location = @backtest_accuracy_metrics
FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = ',' SKIP_HEADER = 1);

Lubade seadistamise kohta lisateabe saamiseks vaadake Valik 1: Snowflake'i salvestusruumi integreerimise konfigureerimine Amazon S3-le juurdepääsuks. Lisaks saate kasutada AWS-i teenuste kataloog Amazon S3 salvestusruumi integreerimise konfigureerimiseks; rohkem teavet on saadaval aadressil GitHub repo.

Käivitage ajakava- või sündmusepõhine töövoog

Pärast konkreetsele töökoormusele vastava lahenduse installimist on teie viimane samm automatiseerida protsess ajakava järgi, mis vastab teie ainulaadsele nõudele (nt iga päev või kord nädalas). Peaasi on otsustada, kuidas protsessi alustada. Üks meetod on kasutada Snowflake'i sammufunktsioonide olekumasina käivitamiseks ja seejärel sammude järjestikuseks orkestreerimiseks. Teine lähenemisviis on aheldada olekumasinad kokku ja alustada üldist jooksu läbi an Amazon EventBridge reegel, mille saate konfigureerida käivituma sündmusest või ajastatud toimingust – näiteks igal pühapäeva õhtul kell 9:00 GMT-8.

Järeldus

Kõige suurema kogemusega; kõige usaldusväärsem, skaleeritavam ja turvalisem pilv; ja kõige põhjalikum teenuste ja lahenduste komplekt, AWS on parim koht andmete väärtuse avamiseks ja nende ülevaateks muutmiseks. Selles postituses näitasime teile, kuidas luua automatiseeritud aegridade prognoosimise töövoogu. Parem prognoosimine võib tuua kaasa paremaid klienditeeninduse tulemusi, vähem jäätmeid, vähem seisvaid laoseisu ja rohkem raha bilansis.

Kui olete valmis prognoosimist automatiseerima ja täiustama, aitame teid teie teekonnal aidata. Võtke ühendust oma AWS-i või Snowflake'i kontomeeskonnaga, et alustada juba täna ja osaleda prognoosimise töökojas, et näha, millist väärtust saate oma andmetest vabastada.

Autoritest

Bosco Albuquerque on AWS-i vanempartnerlahenduste arhitekt ning tal on üle 20-aastane kogemus ettevõtete andmebaasimüüjate ja pilveteenuste pakkujate andmebaasi- ja analüüsitoodetega. Ta on aidanud tehnoloogiaettevõtetel kavandada ja juurutada andmeanalüütika lahendusi ja tooteid.

Frank Dallezotte on AWS-i vanemlahenduste arhitekt ja kirglik koostöö sõltumatute tarkvaramüüjatega, et kavandada ja luua AWS-is skaleeritavaid rakendusi. Tal on kogemusi tarkvara loomisel, ehituskonveierite juurutamisel ja nende lahenduste pilves juurutamisel.

Andries Engelbrecht on Snowflake'i peamine partnerlahenduste arhitekt ja töötab koos strateegiliste partneritega. Ta tegeleb aktiivselt selliste strateegiliste partneritega nagu AWS, toetades toodete ja teenuste integreerimist ning koostööpartneritega ühiste lahenduste väljatöötamist. Andriesel on üle 20-aastane kogemus andme- ja analüütika valdkonnas.

Charles Laughlin on AI/ML spetsialistilahenduste peaarhitekt ja töötab AWS-i aegseeria ML-i meeskonnas. Ta aitab kujundada Amazon Forecast teenuse tegevuskava ja teeb iga päev koostööd erinevate AWS-i klientidega, et aidata nende ettevõtteid muuta, kasutades tipptasemel AWS-tehnoloogiaid ja mõtteviisi. Charlesil on tarneahela juhtimise MS ja ta on viimase kümnendi töötanud tarbekaupade pakendatud kaupade tööstuses.

James Sun on Snowflake'i vanempartnerilahenduste arhitekt. Jamesil on üle 20-aastane kogemus salvestamise ja andmeanalüütika vallas. Enne Snowflake'i töötas ta mitmel juhtival tehnilisel ametikohal ettevõtetes AWS ja MapR. Jamesil on doktorikraad Stanfordi ülikoolist.