Jälgige Amazon Forecastiga pidevalt ennustajate täpsust

Meil on hea meel teatada, et saate nüüd automaatselt jälgida oma täpsust Amazoni prognoos ennustajad aja jooksul. Uute andmete esitamisel arvutab prognoos automaatselt uue andmestiku ennustajate täpsusmõõdikud, pakkudes teile rohkem teavet, et otsustada, kas jätkata ennustajate kasutamist, ümberõppida või luua uusi ennustajaid.

Ennustajate kvaliteedi jälgimine ja täpsuse aja jooksul halvenemise tuvastamine on ärieesmärkide saavutamiseks oluline. Ennustajate täpsusmõõdikute pidevaks jälgimiseks vajalike protsesside seadistamine võib aga olla aeganõudev ja nende haldamine keeruline: prognoose tuleb hinnata ja ajakohastatud täpsusmõõdikuid arvutada. Lisaks tuleb mõõdikuid salvestada ja kaardistada, et mõista suundumusi ja teha otsuseid ennustajate säilitamise, ümberõppe või taasloomise kohta. Need protsessid võivad kaasa tuua kuluka arendus- ja hoolduskoormuse ning anda andmeteaduse ja analüütikute meeskondadele märkimisväärse töökoormuse. Ja klientide jaoks, kes ei soovi seda aeganõudvat protsessi ette võtta (nad eelistaksid uusi ennustajaid ümber õpetada isegi siis, kui neid pole vaja), raiskab see aega ja arvutusi.

Tänase käivitamisega jälgib Forecast nüüd automaatselt ennustaja täpsust aja jooksul, kui uusi andmeid imporditakse. Nüüd saate kvantifitseerida oma ennustaja kõrvalekalde esialgsetest kvaliteedimõõdikutest ja süstemaatiliselt hinnata mudeli kvaliteeti, visualiseerides suundumusi ning teha teadlikumaid otsuseid oma mudelite säilitamise, ümberõppe või ümberehitamise kohta uute andmete saabumisel. Uute ennustajate jaoks saab ennustaja jälgimise lubada juba alguses. või olemasolevate mudelite jaoks sisse lülitatud. Saate selle funktsiooni lubada ühe klõpsuga AWS-i juhtimiskonsool või kasutades Prognoosi API-d.

Ennustaja täpsus aja jooksul

Ennustaja on masinõppemudel, mis on loodud teatud ajahetkel, kasutades algset treeningandmete komplekti. Pärast ennustaja loomist kasutatakse seda pidevalt päevade, nädalate või kuude jooksul, et luua aegridade prognoose tegelike tehingute kaudu genereeritud uute tõepõhiste andmetega. Uute andmete importimisel loob ennustaja uusi prognoositud andmepunkte talle esitatud viimaste andmete põhjal.

Kui ennustaja esmakordselt luuakse, loob prognoos ennustaja täpsuse kvantifitseerimiseks täpsusmõõdikud, nagu kaalutud kvantiilikadu (wQL), keskmine absoluutne protsentuaalne viga (MAPE) või ruutkeskmine viga (RMSE). Neid täpsusmõõdikuid kasutatakse selleks, et teha kindlaks, kas ennustaja võetakse kasutusele. Ennustaja jõudlus aga aja jooksul kõikub. Välised tegurid, nagu muutused majanduskeskkonnas või tarbijakäitumises, võivad muuta ennustaja aluseks olevaid põhitegureid. Muud tegurid hõlmavad uusi tooteid, esemeid ja teenuseid, mida võidakse luua; muutused finants- või majanduskeskkonnas; või muudatused andmete jaotuses.

Näiteks kaaluge ennustajat, kes on koolitatud siis, kui toote teatud värv oli populaarne. Kuude pärast võivad ilmuda või muutuda populaarsemaks uued värvid ja muutuda väärtuste jaotus. Või toimub ärikeskkonnas nihe, mis muudab pikaajalisi ostumustreid (nt kõrge marginaaliga toodetelt madala marginaaliga toodetele). Kõike arvesse võttes võib ennustaja vajada ümberõpet või luua uus ennustaja, et tagada ülitäpsete ennustuste jätkamine.

Automaatne ennustaja jälgimine

Ennustaja jälgimine on loodud teie ennustaja toimivuse automaatseks analüüsimiseks, kui uued maatõe aegridade andmed muutuvad kättesaadavaks ja neid kasutatakse uute prognooside koostamiseks. See seire annab teile pidevat mudeli jõudlust käsitlevat teavet ja säästab teie aega, nii et te ei pea protsessi ise seadistama.

Kui ennustajate jälgimine on Prognoosis lubatud, värskendatakse toimivusstatistikat automaatselt iga kord, kui impordite uusi andmeid ja koostate uue prognoosi. Seni oli see jõudlusstatistika saadaval ainult siis, kui ennustaja oli algselt koolitatud; nüüd koostatakse seda statistikat pidevalt uute tõepõhiste andmete põhjal ja seda saab aktiivselt jälgida, et hinnata ennustajate toimivust.

See võimaldab teil ennustaja jõudluse statistika abil otsustada, millal uut ennustajat koolitada või ümber õpetada. Näiteks kuna keskmine wQL-i mõõdik erineb algsetest lähteväärtustest, saate määrata, kas uus ennustaja ümber õpetada. Kui otsustate ennustaja ümber õpetada või luua uue, võite alustada uute prognoositud andmepunktide genereerimist täpsema ennustaja abil.

Järgmistel graafikutel on kaks näidet ennustaja jälgimise kohta. Esimeses diagrammis väheneb keskmine wQL-i mõõdik algtasemest (esialgne väärtus ennustaja koolitamisel), mis näitab, et prognoosi täpsus aja jooksul suureneb. Diagramm näitab, et keskmine wQL langeb mõne päeva jooksul 0.3-lt 0.15-le, mis tähendab, et prognooside täpsus suureneb. Sel juhul ei ole vaja ennustajat ümber õpetada, kuna see annab täpsemaid prognoose kui esmakordsel väljaõppel.

Järgmisel joonisel on vastupidine: keskmine wQL suureneb, mis näitab, et täpsus aja jooksul väheneb. Sel juhul peaksite kaaluma ennustaja ümberõpetamist või ümberehitamist uute andmetega.

Prognoosis on teil valida, kas praegune ennustaja ümber õpetada või see nullist uuesti üles ehitada. Ümberõpe tehakse ühe klõpsuga ja sisaldab rohkem ajakohaseid andmeid ning Prognoosi algoritmide värskendusi ja täiustusi. Ümberehitamine ennustaja võimaldab teil anda uue ennustaja loomiseks uusi sisendeid (nt prognoosi sagedus, horisont või uus mõõde).

Ennustajate jälgimise lubamine

Saate lubada ennustajate jälgimise uue ennustaja loomisel või lülitada selle sisse olemasolevate ennustajate jaoks. Selles jaotises olevad sammud näitavad, kuidas neid toiminguid prognoosikonsooli kasutades teha. Seal on ka Jupyter märkmik mis läbib toimingute jada, et võimaldada ennustajate jälgimist API-de abil ja genereerida ennustajate jälgimise tulemusi.

See näide kasutab ennustaja monitooringust saadaolevat ajalõikudega näidisandmestikku märkmik. Meie näites alustame 100,000 XNUMX reast New Yorgi takso pealevõtmiste andmestikku, mis sisaldab ajatemplit, asukoha ID-d ja sihtväärtust (koha ID ajatempli ajal taotletud pealevõtmiste arv).

Tehke järgmised toimingud.

1. Valige prognoosikonsoolil Kuva andmekogumi rühmad navigeerimispaanil.
2. Vali Loo andmestikurühm ja esitage oma andmestikurühma üksikasjad.
   Pärast andmestikurühma loomist palutakse teil luua sihtaegridade andmekogum. Saate seda andmestikku kasutada ennustaja koolitamiseks ja prognooside loomiseks.
3. Kohta Looge sihtaegridade andmestik lehele, esitage oma andmete skeem, sagedus ja asukoht.
4. Vali Avaleht sihtandmestiku importimiseks.
   Järgmisena koostate ennustaja ja treenite seda esialgse andmestiku abil.
5. Valige navigeerimispaanil Ennustajad.
6. Vali Treenige uut ennustajat.
   
7. aasta Ennustaja seaded sisestage oma ennustaja nimi, kui kaua tulevikus soovite prognoosi teha ja mis sagedusega ning kvantiilide arv, mille kohta soovite prognoosida.
   
8. eest Optimeerimise mõõdik, saate optimeerimiseks valida optimeerimismõõdiku AutoPredictor mudeli häälestamiseks teie valitud konkreetse täpsusmõõdiku jaoks. Jätame selle oma juhendi vaikevalikuks.
9. Ennustaja seletatavuse aruande hankimiseks valige Luba ennustaja seletatavus.
10. Ennustaja jälgimise lubamiseks valige Ennustajate jälgimise lubamine.
11. Sisendandmete konfiguratsiooni all saate täpsema nõudluse prognoosimiseks lisada kohalikku ilmateavet ja riigipühasid.
12. Vali Avaleht et alustada oma ennustaja treenimist.
    
    Prognoos treenib nüüd ennustajat selle esialgse andmekogumiga. Kui ennustajate jälgimine on lubatud, suudab Forecast iga kord, kui selles andmestikurühmas esitatakse uusi andmeid, arvutada värskendatud ennustaja täpsusmõõdikuid.
13. Pärast ennustaja koolitamist valige see esialgsete täpsusmõõdikute hindamiseks.
    
    . Meetrika vahekaart näitab esialgseid ennustaja kvaliteedimõõdikuid. Kuna te pole oma ennustajast ühtegi prognoosi genereerinud ega uusi põhitõeandmeid importinud, pole ekraanil midagi näidata. Järelevalve Tab.
    Järgmine samm on prognoosi genereerimine uue ennustaja abil.
14. Vali Prognoosid navigeerimispaanil.
15. Vali Loo prognoos äsja imporditud aegridade andmete ja ennustaja sätete põhjal uue prognoosi loomiseks.
16. Esitage prognoosi nimi, ennustaja nimi ja kõik täiendavad kvantiilimõõdikud, mida soovite arvutada.

Pärast prognoosi loomist saate selle üksikasju ja tulemusi lehel vaadata ja eksportida Prognoosi üksikasjad lehel.

Ennustaja jälgimine: täpsuse hindamine aja jooksul

Aja jooksul loovad teie äriprotsessid uusi tõendeid, näiteks värskendatud müüginäitajaid, töötajate arvu või tootmistoodangut. Uute andmete põhjal uute prognooside loomiseks saate oma andmed importida loodud andmekogumisse.

1. Amazon Forecasti konsoolil Andmekogumi rühmad lehel, valige oma andmestikurühm.
   
2. Valige oma andmestik.
   
3. aasta Andmestiku impordid Valige jaotises Andmestiku impordi loomine.
   
4. Esitage oma värskendatud andmete, sealhulgas nende asukoha kohta täiendavaid üksikasju.
   
5. Vali Avaleht.

Ennustaja jälgimise abil võrdleb prognoos neid uusi andmeid eelmise loodud prognoosiga ja arvutab ennustaja täpsusmõõdikud. Värskendatud ennustaja kvaliteedimõõdikuid arvutatakse jooksvalt, kui andmekogumisse lisatakse uusi andmeid.

Saate järgida neid samme, et importida täiendavaid andmeid, mis esindavad aja jooksul toimunud täiendavaid tehinguid.

Hinnake ennustaja monitooringu tulemusi

Ennustajate monitooringu tulemuste nägemiseks peate pärast esialgsete prognooside koostamist lisama uued põhitõeandmed. Prognoos võrdleb neid uusi põhitõeandmeid eelmise prognoosiga ja loob jälgimiseks uuendatud mudeli täpsuse väärtused.

1. Kohta Andmekogumi rühmad lehele, valige asjakohased andmestikurühmad ja valige sihtajaseeria, et värskendada seda uute tõepõhiste andmetega.
   
2. Vali Loo andmekomplekti import ja lisage oma uued põhitõe andmed.
   
   Pärast täiendavate põhitõeandmete esitamist saate avada ennustaja ja vaadata esialgset ennustaja jälgimise statistikat.
3. Valige oma ennustaja ja navigeerige lehele Järelevalve Tab.
   

Selle ennustaja abil täiendavate prognooside käitamiseks ja põhitõeandmete täiendavate iteratsioonide lisamiseks võite järgida neid samme. Teie ennustaja mudeli täpsuse statistika edenemine on saadaval aadressil Järelevalve Tab.

See näide näitab mudeli täpsuse statistikat ennustaja jaoks, mida on hinnatud nelja täiendava andmevärskendusega. Ennustaja algse väljaõppe algväärtus oli MAPE 0.55. Täiendavate andmete laadimisel langes MAPE väärtuseni 42 esimese lisaandmestikuga, mis näitab täpsemat ennustajat, ja kõikus järgnevate andmekogumitega kitsas vahemikus 42 kuni 48.

Täiendavate mõõdikute vaatamiseks saate diagrammi vahetada. Järgmistes näidetes näitavad MASE ja keskmine wQL aja jooksul sarnaseid kõikumisi algtasemest.

. Jälgimise ajalugu lehe allosas olev jaotis sisaldab kõiki aja jooksul jälgitud ennustaja täpsuse mõõdikuid.

Olemasoleva ennustaja ennustuste jälgimise seadistamine

Saate hõlpsasti lubada olemasolevate ennustajate jälgimise. Selleks tehke järgmised sammud.

1. Valige navigeerimispaanil oma andmestiku all Ennustajad.
2. Siin on jälgimise lubamiseks kaks võimalust:
   1. Vali Alustage jälgimist Vastavalt Järelevalve kolonni.
      
   2. Valige oma ennustaja ja Järelevalve sakk, all Jälgige üksikasju, vali Käivitage monitor.
      
3. Hüpikaknas valige Avaleht valitud ennustaja jälgimise alustamiseks.
   

. Järelevalve Vahekaart näitab nüüd, et ennustajate jälgimine on alanud ja tulemusi luuakse, kui impordite rohkem andmeid.

Peatage ja taaskäivitage ennustaja jälgimine

Samuti saate ennustaja jälgimise peatada ja taaskäivitada. Kaaluge järgmist.

• Maksma – Prediktor-seire kulutab lisaressursse. Tüüpiliste väikeste andmekogumite puhul on kulu minimaalne, kuid võib suureneda suurte andmekogumite korral (üksuste arv sisendandmestikus ja prognoosihorisont).
• Privaatsus – Teie prognoosi koopia salvestatakse jälgimise ajal. Kui te ei soovi seda koopiat salvestada, võite jälgimise lõpetada.
• müra – Kui katsetate ennustajaga ega soovi ennustaja jälgimise tulemustes müra näha, saate ennustaja jälgimise ajutiselt peatada ja uuesti alustada, kui ennustaja on taas stabiilne.

Ennustaja jälgimise peatamiseks toimige järgmiselt.

1. Liikuge Järelevalve vahekaart ennustaja jaoks, kus jälgimine on lubatud.
2. Vali Stop Monitor ennustaja jälgimise peatamiseks.
   
3. Küsimisel kontrollige oma valikut.
   

Järgmisel lehel kuvatakse teade, mis näitab, et ennustaja jälgimine on peatatud.

Saate ennustaja jälgimise taaskäivitada, valides Jätkamise monitor.

Järeldus

Ennustajate kvaliteedi jälgimine aja jooksul on oluline nõudluse planeerimise ja prognoosimise eesmärkide ning lõpuks ka ärieesmärkide saavutamiseks. Ennustajate jälgimine võib aga olla aeganõudev tegevus ning vajalike töövoogude püsti seismiseks ja säilitamiseks vajalikud protsessid võivad kaasa tuua suuremad tegevuskulud.

Prognoos saab nüüd automaatselt jälgida teie ennustajate kvaliteeti, mis võimaldab teil vähendada operatiivseid jõupingutusi, aidates samal ajal teha teadlikumaid otsuseid ennustajate hoidmise, ümberõppe või taastamise kohta. Ennustajate jälgimise lubamiseks võite järgida selles postituses kirjeldatud samme või meie GitHubi märkmikku.

Pange tähele, et ennustaja jälgimine on saadaval ainult koos AutoPredictor. Lisateabe saamiseks vaadake Uus Amazon Forecast API, mis loob kuni 40% täpsemaid prognoose ja pakub seletatavust ja Loo AutoPredictor.

Lisateabe saamiseks vaadake Ennustaja jälgimine. Samuti soovitame üle vaadata hinnapoliitika nende uute funktsioonide kasutamiseks. Kõik need uued võimalused on saadaval kõigis piirkondades, kus prognoos on avalikult saadaval. Lisateavet piirkonna saadavuse kohta vt AWS piirkondlikud teenused.

---

Autoritest

Dan Sinnreich on Amazon Forecasti vanem tootejuht. Ta on keskendunud madala koodi/koodita masinõppe demokratiseerimisele ja selle rakendamisele äritulemuste parandamiseks. Töövälisel ajal võib teda kohata hokit mängimas, tenniseservi parandada ja ulmet lugemas.

 Adarsh ​​Singh töötab Amazon Forecasti meeskonnas tarkvaraarenduse insenerina. Oma praeguses rollis keskendub ta inseneriprobleemidele ja skaleeritavate hajutatud süsteemide ehitamisele, mis pakuvad lõppkasutajatele kõige rohkem väärtust. Vabal ajal meeldib talle vaadata anime ja mängida videomänge.

Shannon Killingsworth on Amazon Forecasti kasutajakogemuse kujundaja. Tema praegune töö on luua konsoolikogemusi, mis on kõigile kasutatavad, ja integreerida uusi funktsioone konsoolikogemusse. Vabal ajal on ta fitnessi- ja autohuviline.

• Münditark. Euroopa parim Bitcoini ja krüptobörs.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
• CryptoHawk. Altcoini radar. Tasuta prooviversioon.
• Allikas: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/