Overvåk prediktorens nøyaktighet kontinuerlig med Amazon Forecast

Vi er glade for å kunngjøre at du nå automatisk kan overvåke nøyaktigheten til din Amazon Prognose prediktorer over tid. Etter hvert som nye data leveres, beregner Forecast automatisk prediktornøyaktighetsmålinger på det nye datasettet, og gir deg mer informasjon for å bestemme om du vil fortsette å bruke, omskolere eller opprette nye prediktorer.

Overvåking av prediktorkvalitet og identifisering av forringelse av nøyaktighet over tid er viktig for å oppnå forretningsmål. Imidlertid kan prosessene som kreves for å kontinuerlig overvåke prediktornøyaktighetsmålinger være tidkrevende å sette opp og utfordrende å administrere: prognoser må evalueres, og oppdaterte nøyaktighetsberegninger må beregnes. I tillegg må beregninger lagres og kartlegges for å forstå trender og ta beslutninger om å beholde, omskolere eller gjenskape prediktorer. Disse prosessene kan resultere i kostbare utviklings- og vedlikeholdsbyrder, og legge betydningsfullt operativt stress på datavitenskap og analytikerteam. Og for kunder som ikke er villige til å ta på seg denne tidkrevende prosessen (de foretrekker å omskolere nye prediktorer selv når de ikke er nødvendige), kaster dette bort tid og beregning.

Med dagens lansering sporer Forecast nå automatisk prediktorens nøyaktighet over tid når nye data importeres. Du kan nå kvantifisere prediktorens avvik fra innledende kvalitetsmålinger og systematisk evaluere modellkvalitet ved å visualisere trender, og ta mer informerte beslutninger om å beholde, omskolere eller bygge om modellene dine etter hvert som nye data kommer inn. Prediktorovervåking kan aktiveres for nye prediktorer ved oppstart , eller slått på for eksisterende modeller. Du kan aktivere denne funksjonen med ett klikk på AWS-administrasjonskonsoll eller bruk Prognose APIer.

Prediktornøyaktighet over tid

En prediktor er en maskinlæringsmodell opprettet på et tidspunkt, ved å bruke et originalt sett med treningsdata. Etter at en prediktor er opprettet, brukes den på løpende basis over dager, uker eller måneder inn i fremtiden for å generere tidsserieprognoser med nye grunnsannhetsdata generert gjennom faktiske transaksjoner. Etter hvert som nye data importeres, genererer prediktoren nye prognostiserte datapunkter basert på de siste dataene som er gitt til den.

Når en prediktor først opprettes, produserer Forecast nøyaktighetsmålinger som vektet kvantiltap (wQL), gjennomsnittlig absolutt prosent feil (MAPE) eller rotmiddelkvadratfeil (RMSE) for å kvantifisere nøyaktigheten til prediktoren. Disse nøyaktighetsmålingene brukes til å bestemme om en prediktor vil bli satt i produksjon. Imidlertid vil ytelsen til en prediktor svinge over tid. Eksterne faktorer som endringer i det økonomiske miljøet eller i forbrukeratferd kan endre de grunnleggende faktorene som ligger til grunn for en prediktor. Andre faktorer inkluderer nye produkter, varer og tjenester som kan opprettes; endringer i det finansielle eller økonomiske miljøet; eller endringer i distribusjonen av data.

Tenk for eksempel på en prediktor som ble trent når en bestemt farge på et produkt var populær. Måneder senere kan nye farger dukke opp eller bli mer populære og fordelingen av verdier endres. Eller det skjer et skifte i forretningsmiljøet som endrer langvarige kjøpsmønstre (som fra høymargin til lavmarginprodukter). Alt tatt i betraktning, kan det hende at prediktoren må omskoleres, eller en ny prediktor må opprettes for å sikre at svært nøyaktige spådommer fortsetter å bli gjort.

Automatisert prediktorovervåking

Prediktorovervåking er designet for å automatisk analysere prediktorens ytelse når nye jordsannhetstidsseriedata blir tilgjengelige og brukes til å lage nye prognoser. Denne overvåkingen gir deg kontinuerlig informasjon om modellytelse og sparer tid slik at du ikke trenger å sette opp prosessen selv.

Hvis prediktorovervåking er aktivert i Forecast, oppdateres ytelsesstatistikken automatisk hver gang du importerer nye data og produserer en ny prognose. Inntil nå var denne ytelsesstatistikken bare tilgjengelig når prediktoren først ble trent; nå produseres denne statistikken på en kontinuerlig basis ved hjelp av nye grunnsannhetsdata, og kan aktivt overvåkes for å måle prediktorens ytelse.

Dette lar deg bruke prediktorytelsesstatistikk for å bestemme når du skal trene eller omskolere en ny prediktor. For eksempel, ettersom den gjennomsnittlige wQL-beregningen avviker fra de opprinnelige grunnlinjeverdiene, kan du bestemme om du skal omskolere en ny prediktor. Hvis du bestemmer deg for å omskolere en prediktor eller lage en ny, kan du begynne å generere nye prognosedatapunkter ved å bruke den mer nøyaktige prediktoren.

De følgende grafene gir to eksempler på prediktorovervåking. I det første diagrammet synker den gjennomsnittlige wQL-metrikken fra grunnlinjen (startverdien da prediktoren ble trent), noe som indikerer at prognosenøyaktigheten øker over tid. Diagrammet viser at gjennomsnittlig wQL faller fra 0.3 til 0.15 i løpet av noen dager, noe som betyr at prognosenøyaktigheten øker. I dette tilfellet er det ikke nødvendig å omskolere prediktoren fordi den produserer mer nøyaktige prognoser enn da den først ble trent.

I den neste figuren er det motsatt: gjennomsnittlig wQL øker, noe som indikerer at nøyaktigheten avtar over tid. I dette tilfellet bør du vurdere å omskolere eller bygge om prediktoren med nye data.

I Forecast har du valget mellom å omskolere gjeldende prediktor eller gjenoppbygge den fra bunnen av. Omskolering gjøres med ett klikk og inneholder mer oppdaterte data og eventuelle oppdateringer og forbedringer i prognosealgoritmene. Gjenoppbygging prediktoren lar deg gi nye input (som prognosefrekvens, horisont eller ny dimensjon) for å lage en ny prediktor.

Aktiver prediktorovervåking

Du kan aktivere prediktorovervåking når du oppretter en ny prediktor, eller slå den på for eksisterende prediktorer. Trinnene i denne delen viser hvordan du utfører disse trinnene ved hjelp av prognosekonsollen. Det er også en Jupyter bærbare som går gjennom en sekvens av trinn for å aktivere prediktorovervåking ved hjelp av APIer og generere prediktorovervåkingsresultater.

Dette eksemplet bruker det tidssnittede prøvedatasettet som er tilgjengelig fra prediktorovervåkingen bærbare. I vårt eksempel starter vi med et datasett på 100,000 XNUMX rader med taxihentinger i New York City som inneholder et tidsstempel, steds-ID og målverdi (antall hentinger som er forespurt under tidsstemplet ved steds-ID).

Fullfør følgende trinn:

1. På prognosekonsollen velger du Se datasettgrupper i navigasjonsruten.
2. Velg Opprett datasettgruppe og oppgi datagruppedetaljer.
   Etter at du har opprettet datasettgruppen, blir du bedt om å opprette et måltidsseriedatasett. Du bruker dette datasettet til å trene prediktoren og lage prognoser.
3. På Opprett måltidsseriedatasett side, oppgi dataens skjema, frekvens og plassering.
4. Velg Start for å importere måldatasettet.
   Deretter bygger du prediktoren din og trener den ved å bruke det første datasettet ditt.
5. Velg i navigasjonsruten prediktorer.
6. Velg Tren ny prediktor.
   
7. på Prediktorinnstillinger seksjon, skriv inn et navn for prediktoren din, hvor lang tid i fremtiden du vil spå og med hvilken frekvens, og antall kvantiler du vil spå for.
   
8. Til Optimaliseringsberegning, kan du velge en optimaliseringsberegning for å optimalisere AutoPredictor for å stille inn en modell for en spesifikk nøyaktighetsmåling du velger. Vi lar dette være standard for gjennomgangen vår.
9. For å få prediktorens forklaringsrapport, velg Aktiver prediktorforklaring.
10. For å aktivere prediktorovervåking, velg Aktiver prediktorovervåking.
11. Under inndatakonfigurasjonen kan du legge til lokal værinformasjon og nasjonale helligdager for mer nøyaktige etterspørselsprognoser.
12. Velg Start for å begynne å trene prediktoren din.
    
    Forecast trener nå prediktoren med dette første datasettet. Med prediktorovervåking aktivert, hver gang nye data leveres i denne datasettgruppen, er Forecast i stand til å beregne oppdaterte prediktornøyaktighetsmålinger.
13. Etter at prediktoren har blitt trent, velger du den for å evaluere de innledende nøyaktighetsmålingene.
    
    De Metrics fanen viser innledende prediktorkvalitetsmålinger. Fordi du ikke har generert noen prognoser fra prediktoren din eller importert noen nye grunnsannhetsdata, er det ingenting å vise på Overvåking fanen.
    Det neste trinnet er å generere en prognose ved å bruke den nye prediktoren.
14. Velg Prognoser i navigasjonsruten.
15. Velg Lag prognose for å lage en ny prognose basert på tidsseriedataene du nettopp importerte og prediktorinnstillingene.
16. Oppgi prognosenavnet, prediktornavnet og eventuelle ekstra kvantilberegninger du ønsker å beregne.

Etter at du har opprettet prognosen, kan du se og eksportere detaljer og resultater på Prognosedetaljer side.

Prediktorovervåking: Evaluering av nøyaktighet over tid

Gjennom tidens gang skapes nye grunnleggende sannhetsdata av forretningsprosessene dine, for eksempel oppdaterte salgstall, bemanningsnivåer eller produksjonsresultater. For å lage nye prognoser basert på de nye dataene, kan du importere dataene dine til datasettet du opprettet.

1. På Amazon Forecast-konsollen, på Datasettgrupper siden, velg datasettgruppen din.
   
2. Velg datasettet ditt.
   
3. på Import av datasett delen velger Lag datasettimport.
   
4. Oppgi ytterligere detaljer om de oppdaterte dataene dine, inkludert plasseringen.
   
5. Velg Start.

Med prediktorovervåking sammenligner Forecast disse nye dataene med den forrige genererte prognosen, og beregner nøyaktighetsmålinger for prediktoren. Oppdaterte prediktorkvalitetsmålinger beregnes fortløpende etter hvert som nye data legges til datasettet.

Du kan følge disse trinnene for å importere tilleggsdata, som representerer ytterligere transaksjoner som har skjedd over tid.

Evaluer prediktorovervåkingsresultater

For å se prediktorovervåkingsresultater, må du legge til nye grunnsannhetsdata etter generering av de første prognosene. Forecast sammenligner disse nye grunnsannhetsdataene med den forrige prognosen, og produserer oppdaterte modellnøyaktighetsverdier for overvåking.

1. På Datasettgrupper siden, velg de relevante datasettgruppene og velg måltidsserien for å oppdatere den med nye grunnsannhetsdata.
   
2. Velg Opprett Datasettimport og legg til dine nye grunnsannhetsdata.
   
   Etter at du har gitt de ekstra grunnsannhetsdataene, kan du åpne prediktoren og se innledende prediktorovervåkingsstatistikk.
3. Velg din prediktor og naviger til Overvåking fanen.
   

Du kan følge disse trinnene for å kjøre flere prognoser ved å bruke denne prediktoren og legge til flere iterasjoner av grunnsannhetsdata. Progresjonen av modellnøyaktighetsstatistikk for prediktoren din er tilgjengelig på Overvåking fanen.

Dette eksemplet viser modellnøyaktighetsstatistikk for en prediktor som har blitt evaluert med fire ekstra dataoppdateringer. Prediktoren hadde en initial baseline MAPE på 0.55 da den først ble trent. Etter hvert som tilleggsdata ble lastet, falt MAPE til 42 med det første tilleggsdatasettet, noe som indikerer en mer nøyaktig prediktor, og svingte innenfor et stramt område fra 42 til 48 med påfølgende datasett.

Du kan veksle mellom diagrammet for å se flere beregninger. I de følgende eksemplene viser MASE og gjennomsnittlig wQL lignende fluktuasjoner fra grunnlinjen over tid.

De Overvåkingshistorikk delen nederst på siden gir full informasjon om alle prediktornøyaktighetsmålinger sporet over tid.

Sett opp prediksjonsovervåking på en eksisterende prediktor

Du kan enkelt aktivere overvåking for eksisterende prediktorer. For å gjøre det, fullfør følgende trinn:

1. I navigasjonsruten, under datasettet ditt, velger du prediktorer.
2. Herfra er det to måter å aktivere overvåking på:
   1. Velg Begynn å overvåke under Overvåking kolonne.
      
   2. Velg din prediktor og på Overvåking under fanen Overvåk detaljer, velg Start monitor.
      
3. Velg i popup-dialogen Start for å starte overvåking for den valgte prediktoren.
   

De Overvåking fanen viser nå at prediktorovervåking har startet, og resultater genereres etter hvert som du importerer mer data.

Stopp og start prediktorovervåking på nytt

Du kan også stoppe og starte prediktorovervåking på nytt. Vurder følgende:

• Kostnad – Prediktorovervåking bruker ekstra ressurser. Med typiske små datasett er kostnadene minimale, men kan øke med store datasett (antall elementer i inngangsdatasettet og prognosehorisont).
• Privatliv – En kopi av prognosen din lagres under overvåking. Hvis du ikke vil lagre denne kopien, kan du slutte å overvåke.
• Bråk – Hvis du eksperimenterer med en prediktor og ikke vil se støy i resultatene fra prediktormonitoren, kan du midlertidig stoppe prediktorovervåkingen og starte den på nytt når prediktoren er stabil igjen.

For å stoppe prediktorovervåking, fullfør følgende trinn:

1. Naviger til Overvåking fanen for en prediktor der overvåking er aktivert.
2. Velg Stopp monitor for å stoppe overvåkingen av prediktoren.
   
3. Bekreft valget ditt når du blir bedt om det.
   

En melding vises på neste side for å indikere at prediktorovervåking er stoppet.

Du kan starte prediktorovervåking på nytt ved å velge Fortsett overvåking.

konklusjonen

Å overvåke kvaliteten på prediktorene dine over tid er viktig for å nå dine behovsplanleggings- og prognosemål, og til slutt dine forretningsmål. Prediktorovervåking kan imidlertid være en tidkrevende øvelse, og prosessene som kreves for å stå opp og opprettholde de nødvendige arbeidsflytene kan føre til høyere driftskostnader.

Forecast kan nå automatisk spore kvaliteten på prediktorene dine, slik at du kan redusere operativ innsats, samtidig som det hjelper deg å ta mer informerte beslutninger om å beholde, omskolere eller gjenoppbygge prediktorene dine. For å aktivere prediktorovervåking kan du følge trinnene som er skissert i dette innlegget, eller følge vår GitHub-notatbok.

Vær oppmerksom på at prediktorovervåking kun er tilgjengelig med AutoPredictor. For mer informasjon, se Ny Amazon Forecast API som lager opptil 40 % mer nøyaktige prognoser og gir forklaringsmuligheter og Lag AutoPredictor.

For å lære mer, se Prediktorovervåking. Vi anbefaler også å gjennomgå prising for å bruke disse nye funksjonene. Alle disse nye funksjonene er tilgjengelige i alle regioner der prognosen er offentlig tilgjengelig. For mer informasjon om regiontilgjengelighet, se AWS regionale tjenester.

---

Om forfatterne

Dan Sinnreich er senior produktsjef for Amazon Forecast. Han er fokusert på å demokratisere maskinlæring med lav kode/ingen kode og bruke det for å forbedre forretningsresultater. Utenom jobben kan han bli funnet å spille hockey, prøve å forbedre tennisserven og lese science fiction.

 Adarsh ​​Singh jobber som programvareutviklingsingeniør i Amazon Forecast-teamet. I sin nåværende rolle fokuserer han på tekniske problemer og å bygge skalerbare distribuerte systemer som gir mest verdi for sluttbrukerne. På fritiden liker han å se anime og spille videospill.

Shannon Killingsworth er en UX-designer for Amazon Forecast. Hans nåværende arbeid er å skape konsollopplevelser som kan brukes av alle, og integrere nye funksjoner i konsollopplevelsen. På fritiden er han trenings- og bilentusiast.

• Myntsmart. Europas beste Bitcoin og Crypto Exchange.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
• CryptoHawk. Altcoin Radar. Gratis prøveperiode.
• Kilde: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/