Overvåg konstant prædiktorens nøjagtighed med Amazon Forecast

Vi er glade for at kunne meddele, at du nu automatisk kan overvåge nøjagtigheden af ​​din Amazon prognose prædiktorer over tid. Efterhånden som nye data leveres, beregner Forecast automatisk prædiktornøjagtighedsmetrikker på det nye datasæt, hvilket giver dig flere oplysninger til at beslutte, om du vil fortsætte med at bruge, genoptræne eller oprette nye forudsigere.

Overvågning af prædiktorkvalitet og identificering af forringelse af nøjagtighed over tid er vigtig for at nå forretningsmål. De processer, der kræves for løbende at overvåge prædiktornøjagtighedsmålinger, kan være tidskrævende at opsætte og udfordrende at administrere: prognoser skal evalueres, og opdaterede nøjagtighedsmålinger skal beregnes. Derudover skal metrikker lagres og kortlægges for at forstå tendenser og træffe beslutninger om at beholde, genoptræne eller genskabe forudsigelser. Disse processer kan resultere i dyre udviklings- og vedligeholdelsesbyrder og lægge meningsfuldt operationelt stress på datavidenskabs- og analytikerteams. Og for kunder, der ikke er villige til at påtage sig denne tidskrævende proces (de foretrækker at genoptræne nye forudsigere, selv når det ikke er nødvendigt), spilder dette tid og beregning.

Med dagens lancering sporer Forecast nu automatisk prædiktorens nøjagtighed over tid, efterhånden som nye data importeres. Du kan nu kvantificere din prædiktors afvigelse fra indledende kvalitetsmålinger og systematisk evaluere modelkvalitet ved at visualisere trends og træffe mere informerede beslutninger om at beholde, genoptræne eller genopbygge dine modeller, efterhånden som nye data kommer ind. Prediktorovervågning kan aktiveres for nye prædiktorer ved starten , eller slået til for eksisterende modeller. Du kan aktivere denne funktion med et enkelt klik på AWS Management Console eller brug af Forecast API'er.

Prædiktornøjagtighed over tid

En prædiktor er en maskinlæringsmodel, der er oprettet på et tidspunkt ved hjælp af et originalt sæt træningsdata. Efter at en forudsigelse er oprettet, bruges den løbende over dage, uger eller måneder ud i fremtiden til at generere tidsserieprognoser med nye grundsandhedsdata genereret gennem faktiske transaktioner. Efterhånden som nye data importeres, genererer prædiktoren nye forudsagte datapunkter baseret på de seneste data, som den har fået.

Når en forudsigelse først oprettes, producerer Forecast nøjagtighedsmålinger såsom vægtet kvantiltab (wQL), gennemsnitlig absolut procentvis fejl (MAPE) eller root mean squared error (RMSE) for at kvantificere prædiktorens nøjagtighed. Disse nøjagtighedsmålinger bruges til at bestemme, om en prædiktor vil blive sat i produktion. En prædiktors ydeevne vil dog svinge over tid. Eksterne faktorer såsom ændringer i det økonomiske miljø eller i forbrugeradfærd kan ændre de grundlæggende faktorer, der ligger til grund for en forudsigelse. Andre faktorer omfatter nye produkter, varer og tjenester, der kan blive oprettet; ændringer i det finansielle eller økonomiske miljø; eller ændringer i distributionen af ​​data.

Overvej f.eks. en prædiktor, der er trænet, når en bestemt farve på et produkt var populær. Måneder senere kan nye farver dukke op eller blive mere populære, og fordelingen af ​​værdier ændres. Eller der sker et skift i forretningsmiljøet, der ændrer langvarige indkøbsmønstre (såsom fra højmarginprodukter til lavmarginprodukter). Alt taget i betragtning kan det være nødvendigt at omskole prædiktoren, eller der skal oprettes en ny prædiktor for at sikre, at der fortsat bliver lavet meget nøjagtige forudsigelser.

Automatiseret prædiktorovervågning

Prædiktorovervågning er designet til automatisk at analysere din prædiktors præstation, efterhånden som nye jordsandhedstidsseriedata bliver tilgængelige og bruges til at skabe nye prognoser. Denne overvågning giver dig løbende information om modellens ydeevne og sparer tid, så du ikke selv skal opsætte processen.

Hvis forudsigelsesovervågning er aktiveret i Forecast, opdateres præstationsstatistikken automatisk, hver gang du importerer nye data og producerer en ny prognose. Indtil nu var disse præstationsstatistikker kun tilgængelige, når forudsigeren oprindeligt blev trænet; nu produceres disse statistikker på en kontinuerlig basis ved hjælp af nye jordsandhedsdata og kan overvåges aktivt for at måle prædiktorens ydeevne.

Dette giver dig mulighed for at bruge prædiktorpræstationsstatistikker til at beslutte, hvornår du skal træne eller genoptræne en ny prædiktor. For eksempel, da den gennemsnitlige wQL-metrik afviger fra de oprindelige basislinjeværdier, kan du bestemme, om du vil genoptræne en ny forudsigelse. Hvis du beslutter dig for at genoptræne en forudsigelse eller oprette en ny, kan du begynde at generere nye forudsagte datapunkter ved at bruge den mere nøjagtige forudsigelse.

De følgende grafer giver to eksempler på prædiktorovervågning. I det første diagram er den gennemsnitlige wQL-metrik faldende fra basislinjen (den begyndelsesværdi, da forudsigeren blev trænet), hvilket indikerer, at prognosenøjagtigheden stiger over tid. Diagrammet viser, at gennemsnitlig wQL falder fra 0.3 til 0.15 i løbet af et par dage, hvilket betyder, at prognosenøjagtigheden er stigende. I dette tilfælde er der ingen grund til at genoptræne forudsigeren, fordi den producerer mere nøjagtige prognoser, end da den først blev trænet.

I den næste figur er det modsatte sandt: den gennemsnitlige wQL stiger, hvilket indikerer, at nøjagtigheden falder over tid. I dette tilfælde bør du overveje at genoptræne eller genopbygge prædiktoren med nye data.

I Forecast har du valget mellem at genoptræne den nuværende forudsigelse eller genopbygge den fra bunden. Omskoling udføres med et enkelt klik og inkorporerer mere opdaterede data og eventuelle opdateringer og forbedringer i Forecast-algoritmerne. Ombygning forudsigeren giver dig mulighed for at give nye input (såsom prognosefrekvens, horisont eller ny dimension) for at skabe en ny forudsigelse.

Aktiver prædiktorovervågning

Du kan aktivere prædiktorovervågning, når du opretter en ny prædiktor, eller slå den til for eksisterende prædiktorer. Trinene i dette afsnit viser, hvordan du udfører disse trin ved hjælp af prognosekonsollen. Der er også en Jupyter notesbog der går gennem en række trin for at aktivere prædiktorovervågning ved hjælp af API'er og generere prædiktormonitorresultater.

Dette eksempel bruger det tidsudskårne prøvedatasæt, der er tilgængeligt fra prædiktorovervågningen notesbog. I vores eksempel starter vi med et datasæt på 100,000 rækker af New York City taxa-afhentninger, der indeholder et tidsstempel, lokations-id og målværdi (antallet af afhentninger, der anmodes om under tidsstemplet ved lokations-id'et).

Udfør følgende trin:

1. På prognosekonsollen skal du vælge Se datasætgrupper i navigationsruden.
2. Vælg Opret datasætgruppe og angiv dine datasætgruppeoplysninger.
   Når du har oprettet datasætgruppen, bliver du bedt om at oprette et måltidsseriedatasæt. Du bruger dette datasæt til at træne prædiktoren og oprette prognoser.
3. På Opret måltidsseriedatasæt side, angiv dine datas skema, frekvens og placering.
4. Vælg Starten for at importere dit måldatasæt.
   Dernæst bygger du din forudsigelse og træner den ved hjælp af dit oprindelige datasæt.
5. Vælg i navigationsruden prædiktorer.
6. Vælg Træn ny prædiktor.
   
7. I Indstillinger for forudsigelse sektion, skal du indtaste et navn til din prædiktor, hvor lang tid i fremtiden du ønsker at forecaste og med hvilken frekvens, og antallet af kvantiler du ønsker at forecaste for.
   
8. Til Optimeringsmetrik, kan du vælge en optimeringsmetrik for at optimere AutoPredictor at tune en model til en specifik nøjagtighedsmetrik efter eget valg. Vi lader dette være standard for vores gennemgang.
9. For at få forudsigelsesrapporten, skal du vælge Aktiver prædiktorforklarlighed.
10. For at aktivere prædiktorovervågning skal du vælge Aktiver prædiktorovervågning.
11. Under inputdatakonfigurationen kan du tilføje lokale vejroplysninger og nationale helligdage for mere nøjagtige efterspørgselsprognoser.
12. Vælg Starten for at begynde at træne din prædiktor.
    
    Forecast træner nu forudsigeren med dette indledende datasæt. Med prædiktorovervågning aktiveret, hver gang nye data leveres i denne datasætgruppe, er Forecast i stand til at beregne opdaterede prædiktornøjagtighedsmetrikker.
13. Når forudsigeren er blevet trænet, skal du vælge den for at evaluere de indledende nøjagtighedsmetrikker.
    
    Metrics fanen viser indledende prædiktorkvalitetsmålinger. Fordi du ikke har genereret nogen prognoser fra din forudsigelse eller importeret nogen nye grundsandhedsdata, er der intet at vise på Overvågning fane.
    Det næste trin er at generere en prognose ved hjælp af den nye forudsigelse.
14. Vælg Prognoser i navigationsruden.
15. Vælg Opret prognose for at oprette en ny prognose baseret på de tidsseriedata, du lige har importeret, og forudsigelsesindstillingerne.
16. Angiv prognosenavnet, forudsigelsesnavnet og eventuelle yderligere kvantil-metrics, du ønsker at beregne.

Når du har oprettet prognosen, kan du se og eksportere dens detaljer og resultater på Vejrudsigt detaljer .

Prædiktorovervågning: Evaluering af nøjagtighed over tid

I tidens løb skabes nye jordsandhedsdata af dine forretningsprocesser, for eksempel opdaterede salgstal, personaleniveauer eller produktionsoutput. For at oprette nye prognoser baseret på de nye data kan du importere dine data til det datasæt, du har oprettet.

1. På Amazon Forecast-konsollen, på Datasætgrupper side, skal du vælge din datasætgruppe.
   
2. Vælg dit datasæt.
   
3. I Datasætimport sektion, skal du vælge Opret datasætimport.
   
4. Angiv yderligere oplysninger om dine opdaterede data, herunder deres placering.
   
5. Vælg Starten.

Med prædiktorovervågning sammenligner Forecast disse nye data med den tidligere genererede prognose og beregner nøjagtighedsmålinger for prædiktoren. Opdaterede prædiktorkvalitetsmålinger beregnes løbende, efterhånden som nye data tilføjes til datasættet.

Du kan følge disse trin for at importere yderligere data, der repræsenterer yderligere transaktioner, der har fundet sted gennem tiden.

Evaluer prædiktorovervågningsresultater

For at se prædiktorovervågningsresultater skal du tilføje nye jordsandhedsdata efter at have genereret de indledende prognoser. Forecast sammenligner disse nye jordsandhedsdata med den tidligere prognose og producerer opdaterede modelnøjagtighedsværdier til overvågning.

1. På Datasætgrupper side, vælg de relevante datasætgrupper og vælg Target Time Series for at opdatere den med nye jordsandhedsdata.
   
2. Vælg Opret datasætimport og tilføje dine nye grundsandhedsdata.
   
   Når du har givet de yderligere jordsandhedsdata, kan du åbne din forudsigelse og se indledende prædiktorovervågningsstatistikker.
3. Vælg din forudsigelse og naviger til Overvågning fane.
   

Du kan følge disse trin for at køre yderligere prognoser ved hjælp af denne forudsigelse og tilføje yderligere iterationer af jordsandhedsdata. Progressionen af ​​modelnøjagtighedsstatistikker for din prædiktor er tilgængelige på Overvågning fane.

Dette eksempel viser modelnøjagtighedsstatistikker for en prædiktor, der er blevet evalueret med fire yderligere dataopdateringer. Prædiktoren havde en initial baseline MAPE på 0.55, da den oprindeligt blev trænet. Efterhånden som yderligere data blev indlæst, faldt MAPE til 42 med det første ekstra datasæt, hvilket indikerer en mere nøjagtig forudsigelse, og svingede inden for et stramt interval fra 42 til 48 med efterfølgende datasæt.

Du kan skifte diagrammet for at se yderligere metrics. I de følgende eksempler viser MASE og gennemsnitlig wQL lignende udsving fra basislinjen over tid.

Overvågningshistorie sektionen nederst på siden giver alle detaljer om alle prædiktornøjagtighedsmålinger, der spores over tid.

Opsæt forudsigelsesovervågning på en eksisterende prædiktor

Du kan nemt aktivere overvågning for eksisterende prædiktorer. For at gøre det skal du udføre følgende trin:

1. Vælg i navigationsruden under dit datasæt prædiktorer.
2. Herfra er der to måder at aktivere overvågning på:
   1. Vælg Start overvågning under Overvågning kolonne.
      
   2. Vælg din forudsigelse og på Overvågning fane, under Overvåg detaljer, vælg Start monitor.
      
3. Vælg i pop op-dialogen Starten for at begynde at overvåge den valgte prædiktor.
   

Overvågning fanen viser nu, at prædiktorovervågning er startet, og resultater genereres, efterhånden som du importerer flere data.

Stop og genstart prædiktorovervågning

Du kan også stoppe og genstarte prædiktorovervågning. Overvej følgende:

• Koste – Prædiktorovervågning bruger yderligere ressourcer. Med typiske små datasæt er omkostningerne minimale, men kan stige med store datasæt (antal elementer i inputdatasættet og prognosehorisont).
• Privatliv – En kopi af din prognose gemmes under overvågning. Hvis du ikke ønsker at gemme denne kopi, kan du stoppe overvågningen.
• Støj – Hvis du eksperimenterer med en prædiktor og ikke ønsker at se støj i dine prædiktormonitorresultater, kan du midlertidigt stoppe prædiktorovervågningen og starte den igen, når din prædiktor er stabil igen.

For at stoppe prædiktorovervågning skal du udføre følgende trin:

1. Naviger til Overvågning fane for en forudsigelse, hvor overvågning er aktiveret.
2. Vælg Stop Monitor at stoppe overvågningen af ​​prædiktoren.
   
3. Bekræft dit valg, når du bliver bedt om det.
   

Der vises en meddelelse på næste side for at angive, at prædiktorovervågning er stoppet.

Du kan genstarte prædiktorovervågning ved at vælge Genoptag monitor.

Konklusion

Overvågning af kvaliteten af ​​dine forudsigelser over tid er vigtig for at nå dine behovsplanlægning og prognosemål og i sidste ende dine forretningsmål. Prediktorovervågning kan dog være en tidskrævende øvelse, og de processer, der kræves for at stå op og vedligeholde de nødvendige arbejdsgange, kan føre til højere driftsomkostninger.

Forecast kan nu automatisk spore kvaliteten af ​​dine forudsigere, hvilket giver dig mulighed for at reducere den operationelle indsats, samtidig med at det hjælper dig med at træffe mere informerede beslutninger om at beholde, genoptræne eller genopbygge dine forudsigelser. For at aktivere prædiktorovervågning kan du følge trinene beskrevet i dette indlæg eller følge vores GitHub-notesbog.

Bemærk venligst, at prædiktorovervågning kun er tilgængelig med AutoPredictor. For mere information, se Ny Amazon Forecast API, der skaber op til 40 % mere nøjagtige prognoser og giver forklaring , Opret AutoPredictor.

For at lære mere, se Prædiktorovervågning. Vi anbefaler også at gennemgå prissætning for at bruge disse nye funktioner. Alle disse nye funktioner er tilgængelige i alle regioner, hvor prognose er offentligt tilgængelig. For mere information om tilgængelighed i regionen, se AWS regionale tjenester.

---

Om forfatterne

Dan Sinnreich er Sr. Product Manager for Amazon Forecast. Han er fokuseret på at demokratisere maskinlæring med lav kode/ingen kode og anvende det til at forbedre forretningsresultater. Uden for arbejdet kan man finde, at han spiller hockey, prøver at forbedre sin tennisserv og læser science fiction.

 Adarsh ​​Singh arbejder som softwareudviklingsingeniør i Amazon Forecast-teamet. I sin nuværende rolle fokuserer han på tekniske problemer og opbygning af skalerbare distribuerede systemer, der giver mest værdi for slutbrugerne. I sin fritid nyder han at se anime og spille videospil.

Shannon Killingsworth er en UX-designer til Amazon Forecast. Hans nuværende arbejde er at skabe konsoloplevelser, der kan bruges af alle, og integrere nye funktioner i konsoloplevelsen. I sin fritid er han fitness- og bilentusiast.

• Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
• CryptoHawk. Altcoin radar. Gratis prøveversion.
• Kilde: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/