Monitorizați continuu precizia predictorilor cu Amazon Forecast

Suntem încântați să vă anunțăm că acum puteți monitoriza automat acuratețea dvs Prognoza Amazon predictori de-a lungul timpului. Pe măsură ce sunt furnizate date noi, Forecast calculează automat valorile de precizie a predictorilor pe noul set de date, oferindu-vă mai multe informații pentru a decide dacă să continuați să utilizați, să reeducați sau să creați noi predictori.

Monitorizarea calității predictorilor și identificarea deteriorării acurateței în timp sunt importante pentru atingerea obiectivelor de afaceri. Cu toate acestea, procesele necesare pentru a monitoriza continuu valorile de precizie ale predictorilor pot consuma mult timp pentru a fi configurate și dificil de gestionat: prognozele trebuie evaluate, iar valorile actualizate de precizie trebuie calculate. În plus, valorile trebuie stocate și reprezentate pentru a înțelege tendințele și pentru a lua decizii cu privire la păstrarea, reinstruirea sau recrearea predictorilor. Aceste procese pot duce la sarcini costisitoare de dezvoltare și întreținere și pot pune un stres operațional semnificativ asupra științei datelor și echipelor de analiști. Iar pentru clienții care nu sunt dispuși să preia acest proces consumator de timp (ar prefera să reantreneze noi predictori chiar și atunci când nu sunt necesari), acest lucru pierde timp și calculează.

Odată cu lansarea de astăzi, Forecast urmărește automat acuratețea predictorilor în timp, pe măsură ce sunt importate date noi. Acum puteți cuantifica abaterea predictorului de la valorile inițiale de calitate și puteți evalua sistematic calitatea modelului prin vizualizarea tendințelor și puteți lua decizii mai informate cu privire la păstrarea, reinstruirea sau reconstruirea modelelor dvs. pe măsură ce apar noi date. Monitorizarea predictorilor poate fi activată pentru noi predictori la început. , sau activat pentru modelele existente. Puteți activa această funcție cu un singur clic pe Consola de administrare AWS sau folosind API-uri de prognoză.

Precizia predictorului în timp

Un predictor este un model de învățare automată creat la un moment dat, folosind un set original de date de antrenament. După ce se creează un predictor, acesta este utilizat în mod continuu de-a lungul zilelor, săptămânilor sau lunilor din viitor pentru a genera previziuni în serii cronologice cu noi date de adevăr de teren generate prin tranzacții reale. Pe măsură ce sunt importate date noi, predictorul generează noi puncte de date prognozate pe baza celor mai recente date furnizate acestuia.

Când un predictor este creat pentru prima dată, Forecast produce valori de precizie, cum ar fi pierderea cuantilă ponderată (wQL), eroarea procentuală medie absolută (MAPE) sau eroarea medie pătratică (RMSE) pentru a cuantifica acuratețea predictorului. Aceste valori de precizie sunt utilizate pentru a determina dacă un predictor va fi pus în producție. Cu toate acestea, performanța unui predictor va fluctua în timp. Factorii externi, cum ar fi schimbările în mediul economic sau în comportamentul consumatorului, pot modifica factorii fundamentali care stau la baza unui predictor. Alți factori includ produse, articole și servicii noi care pot fi create; schimbări în mediul financiar sau economic; sau modificări în distribuția datelor.

De exemplu, luați în considerare un predictor antrenat atunci când o anumită culoare a unui produs a fost populară. Luni mai târziu, pot apărea sau deveni mai populare culori noi, iar distribuția valorilor se schimbă. Sau are loc o schimbare în mediul de afaceri care modifică modelele de cumpărare de lungă durată (cum ar fi de la produse cu marjă mare la produse cu marjă scăzută). Luând în considerare toate lucrurile, este posibil ca predictorul să fie nevoie să fie reeducat sau poate fi necesar să fie creat un nou predictor pentru a asigura continuarea unor predicții foarte precise.

Monitorizare automată a predictorilor

Monitorizarea predictorilor este concepută pentru a analiza automat performanța predictorului dvs. pe măsură ce devin disponibile noi date de serie temporală a adevărului de la sol și sunt utilizate pentru a crea noi prognoze. Această monitorizare vă oferă informații continue despre performanța modelului și vă economisește timp, astfel încât să nu fiți nevoit să configurați singur procesul.

Dacă monitorizarea predictorilor este activată în Prognoză, de fiecare dată când importați date noi și produceți o nouă prognoză, statisticile de performanță sunt actualizate automat. Până acum, aceste statistici de performanță erau disponibile doar atunci când predictorul a fost antrenat inițial; acum aceste statistici sunt produse în mod continuu folosind date noi de adevăr de la sol și pot fi monitorizate activ pentru a evalua performanța predictorilor.

Acest lucru vă permite să utilizați statisticile de performanță a predictorilor pentru a decide când să antrenați sau să reeducați un nou predictor. De exemplu, deoarece valoarea medie wQL se abate de la valorile inițiale de referință, puteți determina dacă să reeducați un nou predictor. Dacă decideți să reeducați un predictor sau să creați unul nou, puteți începe să generați noi puncte de date prognozate folosind predictorul mai precis.

Următoarele grafice oferă două exemple de monitorizare a predictorilor. În primul grafic, valoarea medie wQL este în scădere față de linia de bază (valoarea inițială când predictorul a fost antrenat), indicând faptul că acuratețea prognozei crește în timp. Graficul arată că wQL-ul mediu scade de la 0.3 la 0.15 în decurs de câteva zile, ceea ce înseamnă că acuratețea prognozei crește. În acest caz, nu este nevoie să reantrenați predictorul, deoarece produce previziuni mai precise decât atunci când a fost antrenat pentru prima dată.

În figura următoare, opusul este adevărat: wQL-ul mediu este în creștere, ceea ce indică faptul că precizia scade în timp. În acest caz, ar trebui să luați în considerare reantrenarea sau reconstruirea predictorului cu date noi.

În Forecast, aveți posibilitatea de a reinstrui predictorul curent sau de a-l reconstrui de la zero. Recalificare se face cu un singur clic și încorporează mai multe date actualizate și orice actualizări și îmbunătățiri ale algoritmilor de prognoză. Reconstrucţie predictorul vă permite să furnizați noi intrări (cum ar fi frecvența de prognoză, orizont sau dimensiune nouă) pentru a crea un nou predictor.

Activați monitorizarea predictorilor

Puteți activa monitorizarea predictorilor atunci când creați un nou predictor sau îl puteți activa pentru predictorii existenți. Pașii din această secțiune demonstrează cum să efectuați acești pași folosind consola Forecast. Există și un Jupyter caiet care parcurge o secvență de pași pentru a permite monitorizarea predictorilor folosind API-uri și pentru a genera rezultatele monitorizării predictorilor.

Acest exemplu folosește setul de date eșantion segmentat în timp disponibil din monitorizarea predictorului caiet. În exemplul nostru, începem cu un set de date de 100,000 de rânduri de ridicări de taxi din New York, care conține un marcaj de timp, un ID de locație și o valoare țintă (numărul de ridicări solicitate în timpul marcajului de timp la ID-ul locației).

Urmați pașii următori:

1. În consola Forecast, alegeți Vizualizați grupuri de seturi de date în panoul de navigare.
2. Alege Creați un grup de set de date și furnizați detaliile grupului dvs. de date.
   După ce creați grupul de seturi de date, vi se solicită să creați un set de date țintă în serie de timp. Utilizați acest set de date pentru a antrena predictorul și pentru a crea prognoze.
3. Pe Creați un set de date țintă în serie de timp pagina, furnizați schema datelor dvs., frecvența și locația.
4. Alege acasă pentru a importa setul de date țintă.
   Apoi, vă construiți predictorul și îl antrenați folosind setul de date inițial.
5. În panoul de navigare, alegeți predictori.
6. Alege Antrenează un nou predictor.
   
7. În Setări pentru predictori secțiunea, introduceți un nume pentru predictor, cât timp în viitor doriți să prognozați și cu ce frecvență și numărul de cuantile pentru care doriți să prognozați.
   
8. Pentru Valoarea de optimizare, puteți alege o valoare de optimizare pentru optimizare AutoPredictor pentru a regla un model pentru o anumită măsurătoare de precizie la alegere. Lăsăm acest lucru ca implicit pentru procedura noastră.
9. Pentru a obține raportul explicativ al predictorului, selectați Activați explicabilitatea predictorilor.
10. Pentru a activa monitorizarea predictorilor, selectați Activați monitorizarea predictorilor.
11. În configurația datelor de intrare, puteți adăuga informații meteo locale și sărbători naționale pentru prognoze mai precise ale cererii.
12. Alege acasă pentru a începe să vă antrenați predictorul.
    
    Forecast antrenează acum predictorul cu acest set de date inițial. Cu monitorizarea predictorilor activată, de fiecare dată când sunt furnizate date noi în acest grup de set de date, Forecast poate calcula valori actualizate de precizie a predictorilor.
13. După ce predictorul a fost antrenat, alegeți-l pentru a evalua valorile inițiale de acuratețe.
    
    Metrici fila arată valorile inițiale ale calității predictorului. Deoarece nu ați generat nicio prognoză din predictorul dvs. sau nu ați importat date noi de adevăr de la sol, nu există nimic de afișat pe Monitorizarea tab.
    Următorul pas este generarea unei prognoze folosind noul predictor.
14. Alege prognozele în panoul de navigare.
15. Alege Creați prognoza pentru a crea o nouă prognoză bazată pe datele din seria temporală pe care tocmai le-ați importat și pe setările predictorilor.
16. Furnizați numele prognozei, numele predictorului și orice măsurători cuantile suplimentare pe care doriți să le calculați.

După ce creați prognoza, puteți vizualiza și exporta detaliile și rezultatele acesteia pe site-ul Detalii de prognoză .

Monitorizarea predictorilor: Evaluarea acurateței în timp

De-a lungul timpului, procesele dvs. comerciale creează noi date reale, de exemplu, cifre actualizate de vânzări, niveluri de personal sau producție. Pentru a crea previziuni noi pe baza acestor date noi, vă puteți importa datele în setul de date pe care l-ați creat.

1. Pe consola Amazon Forecast, pe Grupuri de seturi de date pagina, alegeți grupul de seturi de date.
   
2. Alegeți setul de date.
   
3. În Importuri de seturi de date secțiune, pentru a alege Creați importul setului de date.
   
4. Furnizați detalii suplimentare despre datele dvs. actualizate, inclusiv locația acestora.
   
5. Alege acasă.

Cu monitorizarea predictorilor, Forecast compară aceste date noi cu prognoza generată anterior și calculează valorile de precizie pentru predictor. Valorile actualizate privind calitatea predictorilor sunt calculate în mod continuu pe măsură ce se adaugă date noi la setul de date.

Puteți urma acești pași pentru a importa date suplimentare, reprezentând tranzacții suplimentare care au avut loc de-a lungul timpului.

Evaluați rezultatele monitorizării predictorilor

Pentru a vedea rezultatele monitorizării predictorilor, trebuie să adăugați noi date de adevăr la sol după generarea prognozelor inițiale. Forecast compară aceste date noi de adevăr la sol cu ​​prognoza anterioară și produce valori actualizate de precizie a modelului pentru monitorizare.

1. Pe Grupuri de seturi de date pagina, alegeți grupurile relevante de seturi de date și selectați seria temporală țintă pentru a o actualiza cu noi date de adevăr de la sol.
   
2. Alege Creați importul setului de date și adăugați noile date despre adevărul de la sol.
   
   După ce furnizați date suplimentare de adevăr de la sol, puteți deschide predictorul și puteți vizualiza statisticile inițiale de monitorizare a predictorului.
3. Alegeți predictorul și navigați la Monitorizarea tab.
   

Puteți urma acești pași pentru a rula prognoze suplimentare folosind acest predictor și pentru a adăuga iterații suplimentare ale datelor adevărului de la sol. Progresia statisticilor de precizie a modelului pentru predictorul dvs. sunt disponibile pe site-ul Monitorizarea tab.

Acest exemplu arată statisticile de precizie a modelului pentru un predictor care a fost evaluat cu patru actualizări suplimentare de date. Predictorul a avut un MAPE inițial de bază de 0.55 când a fost antrenat inițial. Pe măsură ce au fost încărcate date suplimentare, MAPE a scăzut la .42 cu primul set de date suplimentar, indicând un predictor mai precis și a fluctuat într-un interval strâns de la .42 la .48 cu seturile de date ulterioare.

Puteți comuta graficul pentru a vedea valori suplimentare. În următoarele exemple, MASE și wQL mediu arată fluctuații similare față de linia de bază în timp.

Istoricul monitorizării secțiunea din partea de jos a paginii oferă detalii complete despre toate valorile de precizie a predictorilor urmărite de-a lungul timpului.

Configurați monitorizarea predicțiilor pe un predictor existent

Puteți activa cu ușurință monitorizarea pentru predictorii existenți. Pentru a face acest lucru, parcurgeți următorii pași:

1. În panoul de navigare, sub setul de date, alegeți predictori.
2. De aici, există două moduri de a activa monitorizarea:
   1. Alege Începeți monitorizarea în temeiul Monitorizarea coloana.
      
   2. Alegeți predictorul și pe Monitorizarea filă, sub Monitorizați detaliile, alege Porniți monitorul.
      
3. În fereastra de dialog pop-up, alegeți acasă pentru a începe monitorizarea pentru predictorul selectat.
   

Monitorizarea fila arată acum că monitorizarea predictorilor a început și rezultatele sunt generate pe măsură ce importați mai multe date.

Opriți și reporniți monitorizarea predictorilor

De asemenea, puteți opri și reporni monitorizarea predictorilor. Luați în considerare următoarele:

• A costat – Monitorizarea predictorilor consumă resurse suplimentare. Cu seturi de date mici tipice, costul este minim, dar poate crește cu seturi de date mari (numărul de articole din setul de date de intrare și orizontul de prognoză).
• Privacy – O copie a prognozei dvs. este stocată în timpul monitorizării. Dacă nu doriți să stocați această copie, puteți opri monitorizarea.
• Zgomot – Dacă experimentați cu un predictor și nu doriți să vedeți zgomot în rezultatele monitorului dvs. de predictor, puteți opri temporar monitorizarea predictorului și o puteți porni din nou când predictorul este din nou stabil.

Pentru a opri monitorizarea predictorilor, parcurgeți următorii pași:

1. Navigați către Monitorizarea fila pentru un predictor în care monitorizarea este activată.
2. Alege Opriți monitorul pentru a opri monitorizarea predictorului.
   
3. Verificați alegerea când vi se solicită.
   

Pe pagina următoare apare un mesaj pentru a indica că monitorizarea predictorilor este oprită.

Puteți reporni monitorizarea predictorilor alegând Reluați monitorizarea.

Concluzie

Monitorizarea calității predictorilor dvs. în timp este importantă pentru a vă atinge obiectivele de planificare și prognoză a cererii și, în cele din urmă, obiectivele dvs. de afaceri. Cu toate acestea, monitorizarea predictorilor poate fi un exercițiu consumator de timp, iar procesele necesare pentru a se ridica și a menține fluxurile de lucru necesare pot duce la costuri operaționale mai mari.

Forecast poate urmări automat calitatea predictorilor dvs., permițându-vă să reduceți eforturile operaționale, ajutându-vă în același timp să luați decizii mai informate cu privire la păstrarea, reinstruirea sau reconstruirea predictorilor. Pentru a activa monitorizarea predictorilor, puteți urma pașii descriși în această postare sau puteți urma notebook-ul nostru GitHub.

Vă rugăm să rețineți că monitorizarea predictorilor este disponibilă numai cu AutoPredictor. Pentru mai multe informații, consultați Noul Amazon Forecast API care creează prognoze cu până la 40% mai precise și oferă explicabilitate și Creați AutoPredictor.

Pentru a afla mai multe, consultați Monitorizarea predictorilor. De asemenea, vă recomandăm să revizuiți de stabilire a prețurilor pentru utilizarea acestor noi caracteristici. Toate aceste noi capabilități sunt disponibile în toate regiunile în care Forecast este disponibil public. Pentru mai multe informații despre disponibilitatea regiunii, consultați Servicii regionale AWS.

---

Despre Autori

Dan Sinnreich este manager de produs senior pentru Amazon Forecast. El se concentrează pe democratizarea învățării automate cu cod redus/fără cod și pe aplicarea acestuia pentru a îmbunătăți rezultatele în afaceri. În afara serviciului, poate fi găsit jucând hochei, încercând să-și îmbunătățească serviciul de tenis și citind science fiction.

 Adarsh ​​Singh lucrează ca inginer de dezvoltare software în echipa Amazon Forecast. În rolul său actual, el se concentrează pe probleme de inginerie și pe construirea de sisteme distribuite scalabile care oferă cea mai mare valoare utilizatorilor finali. În timpul liber, îi place să urmărească anime și să joace jocuri video.

Shannon Killingsworth este UX Designer pentru Amazon Forecast. Munca lui actuală este crearea de experiențe de consolă care pot fi utilizate de oricine și integrarea de noi funcții în experiența de consolă. În timpul liber, este un pasionat de fitness și de automobile.

• Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
• CryptoHawk. Radar Altcoin. Încercare gratuită.
• Sursa: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/