Övervaka prediktornoggrannheten kontinuerligt med Amazon-prognosen

Återutgiven av Platon

anhängare: 0

Vi är glada att kunna meddela att du nu automatiskt kan övervaka noggrannheten i din Amazon Prognos prediktorer över tid. När ny data tillhandahålls, beräknar Forecast automatiskt prediktornoggrannhetsmått på den nya datamängden, vilket ger dig mer information för att bestämma om du ska fortsätta använda, träna om eller skapa nya prediktorer.

Att övervaka prediktorkvaliteten och identifiera försämring i noggrannhet över tid är viktigt för att uppnå affärsmål. Processerna som krävs för att kontinuerligt övervaka prediktornoggrannhetsmått kan dock vara tidskrävande att ställa in och utmanande att hantera: prognoser måste utvärderas och uppdaterade noggrannhetsmått måste beräknas. Dessutom måste mätvärden lagras och kartläggas för att förstå trender och fatta beslut om att behålla, omskola eller återskapa prediktorer. Dessa processer kan resultera i kostsamma utvecklings- och underhållsbördor och lägga en meningsfull operativ stress på datavetenskap och analytikerteam. Och för kunder som inte är villiga att ta sig an denna tidskrävande process (de föredrar att träna om nya prediktorer även när de inte behövs), slösar detta med tid och beräkning.

Med dagens lansering spårar Forecast nu automatiskt prediktornoggrannheten över tid när ny data importeras. Du kan nu kvantifiera din prediktors avvikelse från initiala kvalitetsmått och systematiskt utvärdera modellkvalitet genom att visualisera trender och fatta mer välgrundade beslut om att behålla, omskola eller bygga om dina modeller när ny data kommer in. Prediktorövervakning kan aktiveras för nya prediktorer vid starten , eller aktiverat för befintliga modeller. Du kan aktivera den här funktionen med ett klick på AWS Management Console Eller använda Prognos API:er.

Prediktornoggrannhet över tid

En prediktor är en maskininlärningsmodell skapad vid en tidpunkt, med hjälp av en originaluppsättning träningsdata. Efter att en prediktor har skapats, används den kontinuerligt över dagar, veckor eller månader in i framtiden för att generera tidsserieprognoser med ny marksanningsdata genererad genom faktiska transaktioner. När ny data importeras genererar prediktorn nya prognostiserade datapunkter baserat på de senaste data som den har fått.

När en prediktor först skapas producerar Forecast noggrannhetsmått som vägd kvantilförlust (wQL), genomsnittlig absolut procentuell felprocent (MAPE) eller root mean squared error (RMSE) för att kvantifiera prediktorns noggrannhet. Dessa noggrannhetsmått används för att avgöra om en prediktor kommer att tas i produktion. Men prestandan för en prediktor kommer att fluktuera över tiden. Externa faktorer som förändringar i den ekonomiska miljön eller i konsumentbeteende kan förändra de grundläggande faktorerna bakom en prediktor. Andra faktorer inkluderar nya produkter, artiklar och tjänster som kan skapas; förändringar i den finansiella eller ekonomiska miljön; eller förändringar i distributionen av data.

Tänk till exempel en prediktor som tränats när en viss färg på en produkt var populär. Månader senare kan nya färger dyka upp eller bli mer populära och fördelningen av värden förändras. Eller så sker en förändring i affärsmiljön som ändrar långvariga köpmönster (som från produkter med hög marginal till lågmarginal). Allt taget kan prediktorn behöva tränas om, eller så kan en ny prediktor behöva skapas för att säkerställa att mycket exakta förutsägelser fortsätter att göras.

Automatiserad prediktorövervakning

Prediktorövervakning är utformad för att automatiskt analysera din prediktors prestanda när nya jordsannningstidsseriedata blir tillgängliga och används för att skapa nya prognoser. Denna övervakning ger dig kontinuerlig information om modellprestanda och sparar tid så att du inte behöver ställa in processen själv.

Om prediktorövervakning är aktiverad i Forecast uppdateras prestationsstatistiken automatiskt varje gång du importerar ny data och producerar en ny prognos. Fram till nu var denna prestationsstatistik endast tillgänglig när prediktorn först tränades; nu produceras denna statistik på en kontinuerlig basis med hjälp av ny marksanningsdata, och kan aktivt övervakas för att mäta prediktorprestanda.

Detta gör att du kan använda prediktorprestandastatistik för att bestämma när du ska träna eller omskola en ny prediktor. Till exempel, eftersom det genomsnittliga wQL-måttet avviker från de initiala baslinjevärdena, kan du bestämma om du ska träna om en ny prediktor. Om du bestämmer dig för att träna om en prediktor eller skapa en ny, kan du börja generera nya prognostiserade datapunkter med den mer exakta prediktorn.

Följande grafer ger två exempel på prediktorövervakning. I det första diagrammet minskar det genomsnittliga wQL-måttet från baslinjen (det initiala värdet när prediktorn tränades), vilket indikerar att prognosnoggrannheten ökar över tiden. Diagrammet visar att genomsnittlig wQL sjunker från 0.3 till 0.15 under loppet av några dagar, vilket betyder att prognosnoggrannheten ökar. I det här fallet finns det inget behov av att träna om prediktorn eftersom den producerar mer exakta prognoser än när den först tränades.

I nästa figur är det motsatta: den genomsnittliga wQL ökar, vilket indikerar att noggrannheten minskar med tiden. I det här fallet bör du överväga att omskola eller bygga om prediktorn med nya data.

I Forecast kan du välja att träna om den nuvarande prediktorn eller bygga om den från grunden. Omskolning görs med ett klick och innehåller mer uppdaterad data och eventuella uppdateringar och förbättringar i Prognosalgoritmerna. ombyggnad prediktorn låter dig tillhandahålla nya indata (som prognosfrekvens, horisont eller ny dimension) för att skapa en ny prediktor.

Aktivera prediktorövervakning

Du kan aktivera prediktorövervakning när du skapar en ny prediktor, eller aktivera den för befintliga prediktorer. Stegen i det här avsnittet visar hur du utför dessa steg med hjälp av Forecast-konsolen. Det finns också en Jupyter anteckningsbok som går igenom en sekvens av steg för att möjliggöra prediktorövervakning med API:er och generera resultat för prediktorövervakare.

Det här exemplet använder den tidsuppdelade provdatauppsättningen som är tillgänglig från prediktorövervakningen anteckningsbok. I vårt exempel börjar vi med en datauppsättning på 100,000 XNUMX rader av taxihämtningar i New York City som innehåller en tidsstämpel, plats-ID och målvärde (antalet hämtningar som begärts under tidsstämpeln vid plats-ID).

Följ följande steg:

Välj på prognoskonsolen Visa datasetgrupper i navigeringsfönstret.
Välja Skapa datagrupp och ange information om din datauppsättningsgrupp.
När du har skapat datasetgruppen uppmanas du att skapa en måltidsseriedatauppsättning. Du använder denna datauppsättning för att träna prediktorn och skapa prognoser.
På Skapa måltidsseriedatauppsättning sida, ange din datas schema, frekvens och plats.
Välja Start för att importera din måluppsättning.
Därefter bygger du din prediktor och tränar den med din ursprungliga datauppsättning.
Välj i navigeringsfönstret prediktorer.
Välja Träna ny prediktor.
I Prediktorinställningar sektion, ange ett namn för din prediktor, hur lång tid i framtiden du vill prognostisera och vid vilken frekvens, och antalet kvantiler du vill prognostisera för.
För Optimeringsmått, kan du välja ett optimeringsmått att optimera AutoPredictor för att ställa in en modell för ett specifikt noggrannhetsmått som du väljer. Vi lämnar detta som standard för vår genomgång.
För att få prediktorns förklaringsrapport, välj Aktivera prediktorförklaring.
För att aktivera prediktorövervakning, välj Aktivera prediktorövervakning.
Under indatakonfigurationen kan du lägga till lokal väderinformation och nationella helgdagar för mer exakta efterfrågeprognoser.
Välja Start för att börja träna din prediktor.

Forecast tränar nu prediktorn med denna initiala datamängd. Med prediktorövervakning aktiverad, varje gång ny data tillhandahålls i denna datauppsättningsgrupp, kan Forecast beräkna uppdaterade prediktornoggrannhetsmått.
När prediktorn har tränats, välj den för att utvärdera de initiala noggrannhetsmåtten.

Smakämnen Metrics fliken visar initiala prediktorkvalitetsmått. Eftersom du inte har genererat några prognoser från din prediktor eller importerat några nya grundsanningsdata, finns det inget att visa på Övervakning fliken.
Nästa steg är att generera en prognos med den nya prediktorn.
Välja Prognoser i navigeringsfönstret.
Välja Skapa prognos för att skapa en ny prognos baserat på tidsseriedata du just importerade och prediktorinställningarna.
Ange prognosnamn, prediktornamn och eventuella ytterligare kvantilmått som du vill beräkna.

När du har skapat prognosen kan du visa och exportera dess detaljer och resultat på Prognosinformation sida.

Prediktorövervakning: Utvärdering av noggrannhet över tid

Genom tidens gång skapas nya grunddata av dina affärsprocesser, till exempel uppdaterade försäljningssiffror, bemanningsnivåer eller tillverkningsresultat. För att skapa nya prognoser baserade på den nya datan kan du importera dina data till den datauppsättning du skapade.

På Amazon Forecast-konsolen, på Datasättgrupper sida, välj din datauppsättningsgrupp.
Välj din datauppsättning.
I Dataset importerar avsnitt väljer Skapa datasimport.
Ange ytterligare information om din uppdaterade data, inklusive dess plats.
Välja Start.

Med prediktorövervakning jämför Forecast dessa nya data med den tidigare genererade prognosen och beräknar noggrannhetsmått för prediktorn. Uppdaterade prediktorkvalitetsmått beräknas löpande allt eftersom nya data läggs till i datamängden.

Du kan följa dessa steg för att importera ytterligare data, som representerar ytterligare transaktioner som har inträffat genom tiden.

Utvärdera resultat för prediktorövervakning

För att se resultat från prediktorövervakning måste du lägga till ny marksanningsdata efter att ha genererat de initiala prognoserna. Forecast jämför dessa nya marksanningsdata med den tidigare prognosen och producerar uppdaterade modellnoggrannhetsvärden för övervakning.

På Datasättgrupper sida, välj de relevanta datamängdsgrupperna och välj Target Time Series för att uppdatera den med ny marksanningsdata.
Välja Skapa datamängdsimport och lägg till dina nya grunddata.

Efter att du har tillhandahållit ytterligare grundsanningsdata kan du öppna din prediktor och se inledande prediktorövervakningsstatistik.
Välj din prediktor och navigera till Övervakning fliken.

Du kan följa dessa steg för att köra ytterligare prognoser med den här prediktorn och lägga till ytterligare iterationer av marksanningsdata. Progressionen av modellnoggrannhetsstatistik för din prediktor är tillgänglig på Övervakning fliken.

Det här exemplet visar modellnoggrannhetsstatistik för en prediktor som har utvärderats med fyra ytterligare datauppdateringar. Prediktorn hade en initial baslinje MAPE på 0.55 när den först tränades. När ytterligare data laddades, sjönk MAPE till 42 med den första extra datamängden, vilket indikerar en mer exakt prediktor, och fluktuerade inom ett snävt intervall från 42 till 48 med efterföljande datauppsättningar.

Du kan växla diagrammet för att visa ytterligare mätvärden. I följande exempel visar MASE och genomsnittlig wQL liknande fluktuationer från baslinjen över tid.

Smakämnen Övervakningshistorik avsnittet längst ned på sidan ger fullständig information om alla mätvärden för prediktornoggrannhet som spåras över tid.

Ställ in prediktionsövervakning på en befintlig prediktor

Du kan enkelt aktivera övervakning för befintliga prediktorer. För att göra det, slutför följande steg:

Välj i navigeringsfönstret under din dataset prediktorer.
Härifrån finns det två sätt att aktivera övervakning:
1. Välja Börja övervaka under Övervakning kolonn.
2. Välj din prediktor och på Övervakning flik, under Övervaka detaljerväljer Starta monitorn.
Välj i popup-dialogrutan Start för att börja övervaka den valda prediktorn.

Smakämnen Övervakning fliken visar nu att prediktorövervakning har startat och resultat genereras när du importerar mer data.

Stoppa och starta om prediktorövervakning

Du kan också stoppa och starta om prediktorövervakning. Tänk på följande:

Pris – Prediktorövervakning förbrukar ytterligare resurser. Med typiska små datamängder är kostnaden minimal, men kan öka med stora datamängder (antal poster i indatauppsättningen och prognoshorisont).
Integritetspolicy – En kopia av din prognos lagras under övervakningen. Om du inte vill lagra denna kopia kan du sluta bevaka.
Brus – Om du experimenterar med en prediktor och inte vill se brus i resultaten från din prediktormonitor, kan du tillfälligt stoppa prediktorövervakningen och starta den igen när din prediktor är stabil igen.

För att stoppa prediktorövervakning, slutför följande steg:

Navigera till Övervakning flik för en prediktor där övervakning är aktiverad.
Välja Stoppa monitor för att stoppa övervakningen av prediktorn.
Verifiera ditt val när du uppmanas.

Ett meddelande visas på nästa sida för att indikera att prediktorövervakning har stoppats.

Du kan starta om prediktorövervakning genom att välja Fortsätt övervaka.

Slutsats

Att övervaka kvaliteten på dina prediktorer över tid är viktigt för att uppnå dina mål för efterfrågeplanering och prognoser, och i slutändan dina affärsmål. Prediktorövervakning kan dock vara en tidskrävande övning, och de processer som krävs för att stå upp och upprätthålla nödvändiga arbetsflöden kan leda till högre driftskostnader.

Forecast kan nu automatiskt spåra kvaliteten på dina prediktorer, vilket gör att du kan minska operativa ansträngningar samtidigt som det hjälper dig att fatta mer välgrundade beslut om att behålla, omskola eller bygga om dina prediktorer. För att aktivera prediktorövervakning kan du följa stegen som beskrivs i det här inlägget eller följa vår GitHub-anteckningsbok.

Observera att prediktorövervakning endast är tillgänglig med AutoPredictor. För mer information, se Nytt Amazon Forecast API som skapar upp till 40 % mer exakta prognoser och ger förklaringsmöjligheter och Skapa AutoPredictor.

För att lära dig mer, se Prediktorövervakning. Vi rekommenderar också att du granskar prissättning för att använda dessa nya funktioner. Alla dessa nya funktioner är tillgängliga i alla regioner där Prognos är allmänt tillgänglig. För mer information om Regionens tillgänglighet, se AWS regionala tjänster.

Om författarna

Dan Sinnreich är en senior produktchef för Amazon Forecast. Han är fokuserad på att demokratisera maskininlärning med låg kod/ingen kod och att tillämpa det för att förbättra affärsresultat. Utanför jobbet kan han hittas som spelar hockey, försöker förbättra sin tennisserv och läser science fiction.

Adarsh Singh arbetar som mjukvaruutvecklingsingenjör i Amazon Forecast-teamet. I sin nuvarande roll fokuserar han på ingenjörsproblem och att bygga skalbara distribuerade system som ger mest värde för slutanvändarna. På fritiden tycker han om att titta på anime och spela tv-spel.

Shannon Killingsworth är en UX-designer för Amazon Forecast. Hans nuvarande arbete är att skapa konsolupplevelser som kan användas av alla och att integrera nya funktioner i konsolupplevelsen. På fritiden är han en fitness- och bilentusiast.