Seuraa jatkuvasti ennustajan tarkkuutta Amazon Forecastin avulla

Meillä on ilo ilmoittaa, että voit nyt automaattisesti valvoa tarkkuuttasi Amazonin sääennuste ennustajia ajan mittaan. Kun uusia tietoja toimitetaan, Forecast laskee automaattisesti ennustajien tarkkuusmittaukset uudelle tietojoukolle ja antaa sinulle lisätietoja, joiden avulla voit päättää, haluatko jatkaa käyttöä, kouluttaako uudelleen vai luodako uusia ennustajia.

Ennusteiden laadun seuranta ja tarkkuuden ajan mittaan heikkenemisen tunnistaminen on tärkeää liiketoimintatavoitteiden saavuttamiseksi. Prosessit, joita tarvitaan ennustajien tarkkuusmittareiden jatkuvaan seurantaan, voivat kuitenkin olla aikaa vieviä määrityksiä ja haastavia hallita: ennusteet on arvioitava ja päivitetyt tarkkuusmetriikot on laskettava. Lisäksi mittareita on tallennettava ja kartoitettava, jotta voidaan ymmärtää trendejä ja tehdä päätöksiä ennustajien säilyttämisestä, uudelleenkoulutuksesta tai uudelleenluomisesta. Nämä prosessit voivat aiheuttaa kalliita kehitys- ja ylläpitorasituksia ja aiheuttaa merkittävää toiminnallista stressiä datatieteelle ja analyytikkoryhmille. Ja asiakkaille, jotka eivät halua ottaa tätä aikaa vievää prosessia (he mieluummin kouluttaisivat uusia ennustajia, vaikka niitä ei tarvita), tämä hukkaa aikaa ja laskelmia.

Tämän päivän julkaisun myötä Forecast seuraa automaattisesti ennustajan tarkkuutta ajan kuluessa, kun uusia tietoja tuodaan. Voit nyt kvantifioida ennustajan poikkeaman alkuperäisistä laatumittareista ja arvioida mallin laatua systemaattisesti visualisoimalla trendejä ja tehdä tietoisempia päätöksiä mallien säilyttämisestä, uudelleenkouluttamisesta tai rakentamisesta sitä mukaa, kun uutta dataa tulee. Ennustajavalvonta voidaan ottaa käyttöön uusille ennustajille heti alussa. , tai käytössä olemassa olevissa malleissa. Voit ottaa tämän ominaisuuden käyttöön yhdellä napsautuksella AWS-hallintakonsoli Tai käyttää Ennuste API:t.

Ennusteen tarkkuus ajan kuluessa

Ennustaja on koneoppimismalli, joka on luotu tiettynä ajankohtana käyttämällä alkuperäistä harjoitustietosarjaa. Kun ennustaja on luotu, sitä käytetään jatkuvasti päivien, viikkojen tai kuukausien ajan tulevaisuudessa aikasarjaennusteiden luomiseen uusilla todellisilla tapahtumilla luotujen totuustietojen pohjalta. Kun uutta dataa tuodaan, ennustaja luo uusia ennustettuja datapisteitä uusimpien sille toimitettujen tietojen perusteella.

Kun ennustaja luodaan ensimmäisen kerran, Forecast tuottaa tarkkuusmittareita, kuten painotetun kvantiilihäviön (wQL), keskimääräisen absoluuttisen prosentuaalisen virheen (MAPE) tai keskimääräisen neliövirheen (RMSE) ennustajan tarkkuuden kvantifioimiseksi. Näitä tarkkuusmittareita käytetään määrittämään, otetaanko ennustaja tuotantoon. Ennustajan suorituskyky kuitenkin vaihtelee ajan myötä. Ulkoiset tekijät, kuten muutokset taloudellisessa ympäristössä tai kuluttajakäyttäytymisessä, voivat muuttaa ennustajan taustalla olevia perustekijöitä. Muita tekijöitä ovat uudet tuotteet, tuotteet ja palvelut, joita voidaan luoda; muutokset rahoitus- tai taloudellisessa ympäristössä; tai muutoksia tietojen jakelussa.

Harkitse esimerkiksi ennustajaa, joka on koulutettu, kun tuotteen tietty väri oli suosittu. Kuukausia myöhemmin uusia värejä saattaa ilmestyä tai tulla suositummiksi ja arvojen jakautuminen muuttuu. Tai liiketoimintaympäristössä tapahtuu muutos, joka muuttaa pitkäaikaisia ​​ostotottumuksia (kuten korkean katteen tuotteista matalakatteisiin tuotteisiin). Kaiken kaikkiaan ennustaja on ehkä koulutettava uudelleen tai uusi ennustaja on ehkä luotava, jotta voidaan varmistaa erittäin tarkkojen ennusteiden tekeminen.

Automaattinen ennustajavalvonta

Predictor-seuranta on suunniteltu automaattisesti analysoimaan ennustajan suorituskykyä, kun uusia maaperän totuusaikasarjatietoja tulee saataville ja sitä käytetään uusien ennusteiden luomiseen. Tämä valvonta tarjoaa jatkuvaa mallin suorituskykyä koskevia tietoja ja säästää aikaa, joten sinun ei tarvitse määrittää prosessia itse.

Jos ennustajavalvonta on käytössä Ennusteissa, suorituskykytilastot päivitetään automaattisesti aina, kun tuot uusia tietoja ja luot uuden ennusteen. Tähän asti nämä suorituskykytilastot olivat saatavilla vain, kun ennustaja oli alun perin koulutettu; nyt näitä tilastoja tuotetaan jatkuvasti käyttämällä uutta perustotuusdataa, ja niitä voidaan aktiivisesti seurata ennustajan suorituskyvyn mittaamiseksi.

Tämän avulla voit käyttää ennustajan suorituskykytilastoja päättääksesi, milloin kouluttaa tai kouluttaa uudelleen uusi ennustaja. Esimerkiksi kun keskimääräinen wQL-metriikka poikkeaa alkuperäisistä perusarvoista, voit määrittää, opetetaanko uusi ennustaja. Jos päätät kouluttaa ennustajan uudelleen tai luoda uuden, voit aloittaa uusien ennustettujen datapisteiden luomisen käyttämällä tarkempaa ennustajaa.

Seuraavat kaaviot tarjoavat kaksi esimerkkiä ennustajan seurannasta. Ensimmäisessä kaaviossa keskimääräinen wQL-metriikka laskee perustasosta (alkuarvo, kun ennustaja koulutettiin), mikä osoittaa, että ennusteen tarkkuus kasvaa ajan myötä. Kaaviossa näkyy, että keskimääräinen wQL putoaa 0.3:sta 0.15:een muutaman päivän aikana, mikä tarkoittaa, että ennusteen tarkkuus kasvaa. Tässä tapauksessa ennustajaa ei tarvitse kouluttaa uudelleen, koska se tuottaa tarkempia ennusteita kuin ensimmäisen koulutuksen aikana.

Seuraavassa kuvassa asia on päinvastoin: keskimääräinen wQL kasvaa, mikä osoittaa, että tarkkuus vähenee ajan myötä. Tässä tapauksessa sinun tulee harkita ennustajan uudelleenkouluttamista tai rakentamista uusilla tiedoilla.

Ennusteessa voit valita, kouluttaako nykyinen ennustaja uudelleen tai rakentaa se uudelleen tyhjästä. Uudelleenkoulutus tehdään yhdellä napsautuksella, ja se sisältää ajantasaisempia tietoja sekä ennustealgoritmien päivitykset ja parannukset. Uudelleenrakentaminen ennustajan avulla voit antaa uusia syötteitä (kuten ennusteen taajuutta, horisonttia tai uutta ulottuvuutta) uuden ennustajan luomiseksi.

Ota ennustajan valvonta käyttöön

Voit ottaa ennustajavalvonnan käyttöön luodessasi uutta ennustajaa tai ottaa sen käyttöön olemassa oleville ennustajille. Tämän osan vaiheet osoittavat, kuinka nämä vaiheet suoritetaan Forecast-konsolin avulla. Siellä on myös Jupyter muistikirja joka käy läpi vaiheiden sarjan mahdollistaakseen ennustajan valvonnan API:iden avulla ja luodakseen ennustajan valvontatuloksia.

Tässä esimerkissä käytetään ennustajan valvonnasta saatavaa aikalohkottua näytetietojoukkoa muistikirja. Esimerkissämme aloitamme 100,000 XNUMX rivin tietojoukosta New York Cityn taksin noutoja, jotka sisältävät aikaleiman, sijaintitunnuksen ja kohdearvon (paikkatunnuksen aikaleiman aikana pyydettyjen noutojen määrä).

Suorita seuraavat vaiheet:

1. Valitse Ennustekonsolissa Näytä tietojoukkoryhmät navigointipaneelissa.
2. Valita Luo tietojoukoryhmä ja anna tietojoukkoryhmäsi tiedot.
   Kun olet luonut tietojoukkoryhmän, sinua pyydetään luomaan kohdeaikasarjatietojoukko. Käytät tätä tietojoukkoa ennustajan kouluttamiseen ja ennusteiden luomiseen.
3. On Luo tavoiteaikasarjatietojoukko sivulla, anna tietosi skeema, tiheys ja sijainti.
4. Valita Aloita tuodaksesi kohdetietojoukon.
   Seuraavaksi rakennat ennustajan ja harjoittelet sitä käyttämällä alkuperäistä tietojoukkoasi.
5. Valitse siirtymisruudussa ennustajat.
6. Valita Kouluta uusi ennustaja.
   
7. In Ennusteen asetukset -osiossa, anna ennustajallesi nimi, kuinka kauan haluat ennustaa tulevaisuudessa ja millä tiheydellä sekä kvantiilien lukumäärä, joille haluat ennustaa.
   
8. varten Optimointimittari, voit valita optimointimittarin optimoitavaksi AutoPredictor virittääksesi mallin valitsemaasi tiettyä tarkkuusmittaria varten. Jätämme tämän oletusarvoksi esittelyssämme.
9. Saat ennustajan selitettävyysraportin valitsemalla Ota ennustajan selitettävyys käyttöön.
10. Ota ennustajavalvonta käyttöön valitsemalla Ota ennustajan valvonta käyttöön.
11. Syötetietojen määritysten alle voit lisätä paikallisia säätietoja ja kansallisia vapaapäiviä tarkempia kysyntäennusteita varten.
12. Valita Aloita aloittaaksesi ennustajan harjoittelun.
    
    Ennuste opettaa nyt ennustajaa tällä alkuperäisellä tietojoukolla. Kun ennustajavalvonta on käytössä, aina kun tässä tietojoukkoryhmässä tarjotaan uutta dataa, Forecast pystyy laskemaan päivitetyt ennustajan tarkkuusmetriikat.
13. Kun ennustaja on koulutettu, valitse se arvioidaksesi alkuperäiset tarkkuusmittarit.
    
    - Metrics -välilehti näyttää alustavat ennustajan laatumittarit. Koska et ole luonut ennusteita ennustajastasi tai tuonut uusia perustotuustietoja, näytössä ei ole mitään näytettävää. Seuranta Tab.
    Seuraava vaihe on luoda ennuste käyttämällä uutta ennustajaa.
14. Valita ennusteet navigointipaneelissa.
15. Valita Luo ennuste luodaksesi uuden ennusteen juuri tuomiesi aikasarjatietojen ja ennustajan asetusten perusteella.
16. Anna ennusteen nimi, ennustajan nimi ja muut kvantiilimittarit, jotka haluat laskea.

Kun olet luonut ennusteen, voit tarkastella ja viedä sen tietoja ja tuloksia Ennusteen yksityiskohdat sivu.

Ennustava seuranta: Tarkkuuden arvioiminen ajan kuluessa

Ajan kuluessa liiketoimintaprosessisi luovat uutta perustotuustietoa, esimerkiksi päivitetyt myyntiluvut, henkilöstömäärät tai tuotantotuotanto. Voit luoda uusia ennusteita uusien tietojen perusteella tuomalla tietosi luomaasi tietojoukkoon.

1. Amazon Forecast -konsolissa Dataset-ryhmät sivulla, valitse tietojoukkoryhmäsi.
   
2. Valitse tietojoukkosi.
   
3. In Tietojoukon tuonti osiossa, valitse Luo tietojoukon tuonti.
   
4. Anna lisätietoja päivitetyistä tiedoistasi, mukaan lukien niiden sijainti.
   
5. Valita Aloita.

Ennusteen valvonnan avulla Forecast vertaa näitä uusia tietoja aiempiin luotuihin ennusteisiin ja laskee ennustajan tarkkuusmetriikkaa. Päivitetyt ennustajan laatumittarit lasketaan jatkuvasti, kun uutta dataa lisätään tietojoukkoon.

Voit tuoda lisää tietoja, jotka edustavat ajan kuluessa tapahtuneita lisätapahtumia, noudattamalla näitä ohjeita.

Arvioi ennustajan seurantatulokset

Nähdäksesi ennustajan seurantatulokset, sinun on lisättävä uusia perustotuustietoja alkuperäisten ennusteiden luomisen jälkeen. Ennuste vertaa tätä uutta pohjatotuustietoa edelliseen ennusteeseen ja tuottaa päivitetyt mallin tarkkuusarvot seurantaa varten.

1. On Dataset-ryhmät -sivulla, valitse asianmukaiset tietojoukkoryhmät ja valitse Tavoiteaikasarja päivittääksesi sen uudella pohjatotuusdatalla.
   
2. Valita Luo tietojoukon tuonti ja lisää uudet perustotuustietosi.
   
   Kun olet antanut lisätotuustiedot, voit avata ennustajan ja tarkastella alustavia ennustajan seurantatilastoja.
3. Valitse ennustajasi ja siirry kohtaan Seuranta Tab.
   

Voit suorittaa lisäennusteita käyttämällä tätä ennustajaa ja lisätä totuustietojen iteraatioita seuraamalla näitä ohjeita. Ennustajasi mallin tarkkuustilastojen eteneminen on saatavilla osoitteessa Seuranta Tab.

Tämä esimerkki näyttää mallin tarkkuustilastot ennustajalle, joka on arvioitu neljällä lisätietopäivityksellä. Ennustajan alkuperäinen lähtötason MAPE oli 0.55, kun sitä alun perin harjoiteltiin. Kun lisätietoa ladattiin, MAPE putosi arvoon 42 ensimmäisen lisätietojoukon kanssa, mikä osoitti tarkempaa ennustajaa, ja vaihteli tiukalla alueella 42:sta 48:aan seuraavien tietojoukkojen kanssa.

Voit tarkastella muita mittareita vaihtamalla kaaviota. Seuraavissa esimerkeissä MASE ja keskimääräinen wQL osoittavat samanlaisia ​​vaihteluita perusviivasta ajan kuluessa.

- Seurantahistoria -osiossa sivun alalaidassa on täydelliset tiedot kaikista ajan mittaan seuratuista ennustajan tarkkuusmittareista.

Määritä ennusteen seuranta olemassa olevaan ennustajaan

Voit ottaa helposti käyttöön olemassa olevien ennustajien seurannan. Voit tehdä tämän suorittamalla seuraavat vaiheet:

1. Valitse siirtymisruudussa tietojoukon alla ennustajat.
2. Tässä on kaksi tapaa ottaa valvonta käyttöön:
   1. Valita Aloita seuranta alla Seuranta sarake.
      
   2. Valitse ennustajasi ja Seuranta välilehti Monitorin tiedot, valitse Käynnistä monitori.
      
3. Valitse ponnahdusikkunassa Aloita aloittaaksesi valitun ennustajan seurannan.
   

- Seuranta -välilehti näyttää nyt, että ennustajan seuranta on alkanut, ja tuloksia luodaan, kun tuot lisää tietoja.

Lopeta ja käynnistä ennustajan valvonta uudelleen

Voit myös pysäyttää ja käynnistää uudelleen ennustajan seurannan. Harkitse seuraavaa:

• Hinta – Ennakoiva seuranta kuluttaa lisäresursseja. Tyypillisillä pienillä tietojoukoilla kustannukset ovat minimaaliset, mutta voivat nousta suurilla tietojoukoilla (syöttötietojoukon kohteiden määrä ja ennustehorisontti).
• yksityisyys – Kopio ennusteesta tallennetaan tarkkailun aikana. Jos et halua tallentaa tätä kopiota, voit lopettaa seurannan.
• Melu – Jos kokeilet ennustajaa etkä halua nähdä kohinaa ennustajamonitorin tuloksissa, voit tilapäisesti lopettaa ennustajan seurannan ja aloittaa sen uudelleen, kun ennustajasi on taas vakaa.

Voit lopettaa ennustajan seurannan suorittamalla seuraavat vaiheet:

1. Siirry Seuranta -välilehti ennustajalle, jossa valvonta on käytössä.
2. Valita Pysäytysnäyttö lopettaa ennustajan seurannan.
   
3. Vahvista valintasi pyydettäessä.
   

Seuraavalla sivulla näkyy viesti, joka osoittaa, että ennustajan valvonta on lopetettu.

Voit käynnistää ennustajan seurannan uudelleen valitsemalla Jatka seurantaa.

Yhteenveto

Ennusteiden laadun seuranta ajan mittaan on tärkeää kysynnän suunnittelu- ja ennustetavoitteiden saavuttamiseksi ja viime kädessä liiketoimintatavoitteiden saavuttamiseksi. Ennusteiden seuranta voi kuitenkin olla aikaa vievää työtä, ja tarvittavien työnkulkujen ylläpitämiseen ja ylläpitämiseen vaadittavat prosessit voivat johtaa korkeampiin käyttökustannuksiin.

Ennuste voi nyt automaattisesti seurata ennustamiesi laatua, jolloin voit vähentää operatiivisia ponnisteluja ja auttaa sinua tekemään tietoisempia päätöksiä ennustajien säilyttämisestä, uudelleenkoulutuksesta tai uudelleen rakentamisesta. Voit ottaa ennustajavalvonnan käyttöön noudattamalla tässä viestissä kuvattuja vaiheita tai seurata GitHub-muistikirjaamme.

Huomaa, että ennustajavalvonta on käytettävissä vain AutoPredictor. Lisätietoja on kohdassa Uusi Amazon Forecast API, joka luo jopa 40 % tarkempia ennusteita ja tarjoaa selitettävyyden ja Luo AutoPredictor.

Lisätietoja saat osoitteesta Ennustajan seuranta. Suosittelemme myös tutustumaan hinnoittelu näiden uusien ominaisuuksien käyttöön. Kaikki nämä uudet ominaisuudet ovat saatavilla kaikilla alueilla, joilla Forecast on julkisesti saatavilla. Lisätietoja alueen saatavuudesta, katso AWS: n alueelliset palvelut.

---

Tietoja Tekijät

Dan Sinnreich on Amazon Forecastin vanhempi tuotepäällikkö. Hän on keskittynyt demokratisoimaan matalan koodin/koodittoman koneoppimisen ja soveltamaan sitä liiketoiminnan tulosten parantamiseen. Työn ulkopuolella hänet voi tavata pelaamassa jääkiekkoa, yrittämässä parantaa tennispalveluaan ja lukemassa tieteiskirjallisuutta.

 Adarsh ​​Singh työskentelee ohjelmistokehitysinsinöörinä Amazon Forecast -tiimissä. Nykyisessä tehtävässään hän keskittyy suunnitteluongelmiin ja skaalautuvien hajautettujen järjestelmien rakentamiseen, jotka tuottavat eniten lisäarvoa loppukäyttäjille. Vapaa-ajallaan hän katselee animea ja pelaa videopelejä.

Shannon Killingsworth on UX-suunnittelija Amazon Forecastille. Hänen nykyinen työnsä on luoda konsolikokemuksia, jotka ovat kaikkien käytettävissä, ja integroida uusia ominaisuuksia konsolikokemukseen. Vapaa-ajallaan hän harrastaa kuntoilua ja autoilua.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/