Pregătiți datele serii cronologice cu Amazon SageMaker Data Wrangler

Datele din seria temporală sunt prezente pe scară largă în viața noastră. Prețurile acțiunilor, prețurile caselor, informațiile despre vreme și datele despre vânzări capturate de-a lungul timpului sunt doar câteva exemple. Pe măsură ce companiile caută din ce în ce mai mult noi modalități de a obține informații semnificative din datele din serii de timp, capacitatea de a vizualiza datele și de a aplica transformările dorite sunt pași fundamentali. Cu toate acestea, datele din seria temporală posedă caracteristici și nuanțe unice în comparație cu alte tipuri de date tabelare și necesită considerații speciale. De exemplu, datele standard tabelare sau transversale sunt colectate la un anumit moment în timp. În schimb, datele din seria temporală sunt captate în mod repetat de-a lungul timpului, fiecare punct de date succesiv depinzând de valorile sale trecute.

Deoarece majoritatea analizelor seriilor cronologice se bazează pe informațiile colectate într-un set contigu de observații, datele lipsă și rarefia inerentă pot reduce acuratețea prognozelor și pot introduce părtiniri. În plus, cele mai multe abordări de analiză a seriilor de timp se bazează pe o distanță egală între punctele de date, cu alte cuvinte, periodicitate. Prin urmare, capacitatea de a remedia neregulile de spațiere a datelor este o condiție prealabilă critică. În cele din urmă, analiza seriilor temporale necesită adesea crearea de caracteristici suplimentare care pot ajuta la explicarea relației inerente dintre datele de intrare și previziunile viitoare. Toți acești factori diferențiază proiectele în serie de timp de scenariile tradiționale de învățare automată (ML) și necesită o abordare distinctă a analizei acesteia.

Această postare prezintă modul de utilizare Amazon SageMaker Data Wrangler pentru a aplica transformări în serii temporale și pentru a vă pregăti setul de date pentru cazurile de utilizare a seriilor temporale.

Cazuri de utilizare pentru Data Wrangler

Data Wrangler oferă o soluție fără cod/low-code pentru analiza serii cronologice, cu funcții de curățare, transformare și pregătire a datelor mai rapid. De asemenea, le permite oamenilor de știință de date să pregătească date din seria temporală în conformitate cu cerințele de format de intrare ale modelului lor de prognoză. Următoarele sunt câteva moduri în care puteți utiliza aceste capabilități:

• Analiza descriptivă– De obicei, primul pas al oricărui proiect de știință a datelor este înțelegerea datelor. Când trasăm datele din seria temporală, obținem o imagine de ansamblu la nivel înalt a tiparelor acestora, cum ar fi tendințele, sezonalitatea, ciclurile și variațiile aleatorii. Ne ajută să decidem metodologia corectă de prognoză pentru reprezentarea corectă a acestor modele. De asemenea, graficul poate ajuta la identificarea valorii aberante, prevenind prognozele nerealiste și inexacte. Data Wrangler vine cu un vizualizarea descompunere a tendințelor sezoniere pentru reprezentarea componentelor unei serii temporale și an vizualizare de detectare a valorii aberante pentru a identifica valori aberante.
• Analiza explicativă– Pentru serii de timp multivariate, abilitatea de a explora, identifica și modela relația dintre două sau mai multe serii de timp este esențială pentru obținerea de previziuni semnificative. The A se grupa cu transform în Data Wrangler creează mai multe serii temporale prin gruparea datelor pentru celulele specificate. În plus, transformările seriilor temporale Data Wrangler, acolo unde este cazul, permit specificarea coloanelor ID suplimentare pentru grupare, permițând analiza complexă a seriilor temporale.
• Pregătirea datelor și ingineria caracteristicilor– Datele serii de timp sunt rareori în formatul așteptat de modelele de serie de timp. Adesea necesită pregătirea datelor pentru a converti datele brute în caracteristici specifice seriei de timp. Este posibil să doriți să validați că datele din seria temporală sunt în mod regulat sau egal distanțate înainte de analiză. Pentru prognoza cazurilor de utilizare, este posibil să doriți să încorporați și caracteristici suplimentare ale seriei temporale, cum ar fi autocorelarea și proprietățile statistice. Cu Data Wrangler, puteți crea rapid funcții de serie cronologică, cum ar fi coloane de decalaj pentru mai multe perioade de întârziere, reeșantionați datele la mai multe granularități de timp și puteți extrage automat proprietățile statistice ale unei serii temporale, pentru a numi câteva capabilități.

Prezentare generală a soluțiilor

Această postare detaliază modul în care oamenii de știință și analiștii de date pot folosi Data Wrangler pentru a vizualiza și a pregăti datele din seria temporală. Folosim setul de date criptomonede bitcoin de la descărcare criptodate cu detalii de tranzacționare cu bitcoin pentru a prezenta aceste capacități. Curățăm, validăm și transformăm setul de date brute cu funcții de serie cronologică și, de asemenea, generăm previziuni ale prețului volumului bitcoin folosind setul de date transformat ca intrare.

Eșantionul de date de tranzacționare cu bitcoin este din 1 ianuarie – 19 noiembrie 2021, cu 464,116 puncte de date. Atributele setului de date includ un marcaj temporal al înregistrării prețului, prețul de deschidere sau primul la care moneda a fost schimbată pentru o anumită zi, prețul cel mai mare la care a fost schimbată moneda în ziua respectivă, ultimul preț la care a fost schimbată moneda în ziua respectivă. ziua, volumul schimbat în valoarea criptomonedei în ziua respectivă în BTC și moneda USD corespunzătoare.

Cerințe preliminare

Descărcați Bitstamp_BTCUSD_2021_minute.csv fișier din descărcare criptodate și încărcați-l în Serviciul Amazon de stocare simplă (Amazon S3).

Importați setul de date bitcoin în Data Wrangler

Pentru a începe procesul de asimilare în Data Wrangler, parcurgeți următorii pași:

1. Pe SageMaker Studio consola, pe Fișier meniu, alegeți Nou, Apoi alegeți Fluxul de date Wrangler.
2. Redenumiți fluxul după cum doriți.
3. Pentru Date de import, alege Amazon S3.
4. Încărcați Bitstamp_BTCUSD_2021_minute.csv fișierul din bucket-ul S3.

Acum puteți previzualiza setul de date.

5. În Detalii panoul, alegeți Configurare avansată și deselectați Activați eșantionarea.

Acesta este un set de date relativ mic, deci nu avem nevoie de eșantionare.

6. Alege Import.

Ați creat cu succes diagrama de flux și sunteți gata să adăugați pași de transformare.

Adăugați transformări

Pentru a adăuga transformări de date, alegeți semnul plus de lângă Tipuri de date Și alegeți Editați tipurile de date.

Asigurați-vă că Data Wrangler a dedus automat tipurile de date corecte pentru coloanele de date.

În cazul nostru, tipurile de date deduse sunt corecte. Totuși, să presupunem că un tip de date este incorect. Le puteți modifica cu ușurință prin interfața de utilizare, așa cum se arată în următoarea captură de ecran.

Să începem analiza și să începem să adăugăm transformări.

Curățarea datelor

Mai întâi efectuăm câteva transformări de curățare a datelor.

Aruncați coloana

Să începem prin a renunța la unix coloana, deoarece folosim date coloană ca index.

1. Alege Înapoi la fluxul de date.
2. Alegeți semnul plus de lângă Tipuri de date Și alegeți Adăugați transformare.
3. Alege + Adăugați pas în TRANSFORMĂ panoul.
4. Alege Gestionați coloanele.
5. Pentru Transforma, alege Aruncați coloana.
6. Pentru Coloană de aruncat, alege unix.
7. Alege Anunţ.
8. Alege Adăuga pentru a salva pasul.

Mânerul lipsește

Lipsa datelor este o problemă bine-cunoscută în seturile de date din lumea reală. Prin urmare, este cea mai bună practică să verificați prezența oricăror valori lipsă sau nule și să le gestionați corespunzător. Setul nostru de date nu conține valori lipsă. Dar dacă ar exista, am folosi Mânerul lipsește serii cronologice se transformă pentru a le remedia. Strategiile utilizate în mod obișnuit pentru gestionarea datelor lipsă includ eliminarea rândurilor cu valori lipsă sau completarea valorilor lipsă cu estimări rezonabile. Deoarece datele din seria temporală se bazează pe o secvență de puncte de date în timp, completarea valorilor lipsă este abordarea preferată. Procesul de completare a valorilor lipsă este denumit imputare. Mânerul lipsește Transformarea serii temporale vă permite să alegeți dintre mai multe strategii de imputare.

1. Alege + Adăugați pas în TRANSFORMĂ panoul.
2. Alege Seria de timp transforma.
3. Pentru Transforma, Alegeți Mânerul lipsește.
4. Pentru Tip de intrare în serie de timp, alege De-a lungul coloanei.
5. Pentru Metoda de imputare a valorilor, alege Umplere înainte.

Umplere înainte metoda înlocuiește valorile lipsă cu valorile care nu lipsesc precedând valorile lipsă.

Umplere înapoi, Valoare constantă, Cea mai comună valoare și Interpola sunt alte strategii de imputare disponibile în Data Wrangler. Tehnicile de interpolare se bazează pe valorile vecine pentru completarea valorilor lipsă. Datele din seria temporală prezintă adesea o corelație între valorile învecinate, făcând interpolarea o strategie de umplere eficientă. Pentru detalii suplimentare despre funcțiile pe care le puteți utiliza pentru aplicarea interpolării, consultați panda.DataFrame.interpolate.

Validați marcajul de timp

În analiza seriilor temporale, coloana de marcaj temporal acționează ca coloană index, în jurul căreia se învârte analiza. Prin urmare, este esențial să vă asigurați că coloana de marcaj de timp nu conține valori de marcaj de timp nevalide sau formatate incorect. Pentru că folosim date coloană ca coloană și index pentru marca temporală, să confirmăm că valorile acesteia sunt formatate corect.

1. Alege + Adăugați pas în TRANSFORMĂ panoul.
2. Alege Seria de timp transforma.
3. Pentru Transforma, alege Validați marcajele de timp.

Validați marcajele de timp transform vă permite să verificați dacă coloana de marcaj temporal din setul de date nu are valori cu o marca temporală incorectă sau valori lipsă.

4. Pentru Coloana Timpul, alege data.
5. Pentru Politică meniu derulant, alege Indica.

Indica opțiunea de politică creează o coloană booleană care indică dacă valoarea din coloana de marcaj temporal este un format de dată/oră valid. Alte optiuni pt Politică includ:

• Eroare – Afișează o eroare dacă coloana de marcaj de timp lipsește sau este invalidă
• Picătură – Eliminați rândul dacă coloana de marcaj de timp lipsește sau este invalidă

6. Alege Anunţ.

O nouă coloană booleană numită date_is_valid a fost creat, cu true valori care indică formatul corect și intrări non-nule. Setul nostru de date nu conține valori nevalide de marcaj de timp în date coloană. Dar dacă ar fi, ați putea folosi noua coloană booleană pentru a identifica și a remedia acele valori.

7. Alege Adăuga pentru a salva acest pas.

Vizualizarea serii temporale

După ce curățăm și validăm setul de date, putem vizualiza mai bine datele pentru a înțelege diferitele sale componente.

Reeșantionați

Pentru că ne interesează predicțiile zilnice, să transformăm frecvența datelor în zilnic.

Reeșantionați transformarea schimbă frecvența observațiilor seriei de timp la o granularitate specificată și vine cu opțiuni de eșantionare și de eșantionare redusă. Aplicarea supraeșantionării crește frecvența observațiilor (de exemplu de la zilnic la orar), în timp ce subeșantionarea scade frecvența observațiilor (de exemplu de la oră la zilnic).

Deoarece setul nostru de date este la o granularitate minimă, să folosim opțiunea de eșantionare redusă.

1. Alege + Adăugați pas.
2. Alege Seria de timp transforma.
3. Pentru Transforma, alege Reeșantionați.
4. Pentru Marcaj de timp, alege data.
5. Pentru Unitate de frecvență, alege Zi calendaristică.
6. Pentru Cantitatea de frecventa, introduceți 1.
7. Pentru Metodă de agregare a valorilor numerice, alege însemna.
8. Alege Anunţ.

Frecvența setului nostru de date s-a schimbat de la pe minut la zilnic.

9. Alege Adăuga pentru a salva acest pas.

Descompunere sezonieră

După reeșantionare, putem vizualiza seria transformată și componentele asociate STL (seasonal and Trend descomposition using LOESS) folosind Sezon-Trend-descompunere vizualizare. Acest lucru descompune seria temporală inițială în tendințe distincte, sezonalitate și componente reziduale, oferindu-ne o bună înțelegere a modului în care se comportă fiecare model. Putem folosi informațiile și atunci când modelăm problemele de prognoză.

Data Wrangler folosește LOESS, o metodă statistică robustă și versatilă pentru modelarea componentelor de tendințe și sezoniere. Implementarea de bază folosește regresia polinomială pentru estimarea relațiilor neliniare prezente în componentele seriei temporale (sezonalitate, tendință și reziduală).

1. Alege Înapoi la fluxul de date.
2. Alegeți semnul plus de lângă paşi on Flux de date.
3. Alege Adăugați analiza.
4. În Creați o analiză panou, pentru tipul analizei, alege Seria de timp.
5. Pentru Vizualizare, alege Descompunere sezonieră.
6. Pentru Numele analizei, introduceți un nume.
7. Pentru Coloana marca temporală, alege data.
8. Pentru Coloana valoare, alege Volumul USD.
9. Alege Anunţ.

Analiza ne permite să vizualizăm seria temporală de intrare și sezonalitatea, tendința și rezidualul descompus.

10. Alege Economisiți pentru a salva analiza.

Cu vizualizarea descompunere a tendințelor sezoniere, putem genera patru modele, așa cum se arată în captura de ecran anterioară:

• Original – Seria temporală originală reeșantionată la granularitatea zilnică.
• tendință – Tendința polinomială cu un model general de tendință negativ pentru anul 2021, indicând o scădere a Volume USD valoare.
• Sezon – Sezonalitatea multiplicativă reprezentată de modelele variate de oscilație. Observăm o scădere a variației sezoniere, caracterizată prin scăderea amplitudinii oscilațiilor.
• rezidual – Zgomotul rezidual sau aleator rămas. Seria reziduală este seria rezultată după ce componentele de tendință și sezoniere au fost eliminate. Privind atent, observăm vârfuri între ianuarie și martie și între aprilie și iunie, sugerând spațiu pentru modelarea unor astfel de evenimente particulare folosind date istorice.

Aceste vizualizări oferă informații valoroase oamenilor de știință și analiștilor de date în modelele existente și vă pot ajuta să alegeți o strategie de modelare. Cu toate acestea, este întotdeauna o practică bună să validați rezultatul descompunerii STL cu informațiile adunate prin analiză descriptivă și expertiză în domeniu.

Pentru a rezuma, observăm o tendință descendentă în concordanță cu vizualizarea seriei originale, ceea ce ne crește încrederea în încorporarea informațiilor transmise de vizualizarea tendințelor în procesul decizional din aval. În schimb, vizualizarea sezonierului ajută la informarea prezenței sezonului și a necesității eliminării acesteia prin aplicarea unor tehnici precum diferențierea, nu oferă nivelul dorit de perspectivă detaliată asupra diferitelor modele sezoniere prezente, necesitând astfel o analiză mai profundă.

Ingineria caracteristicilor

După ce înțelegem tiparele prezente în setul nostru de date, putem începe să proiectăm noi funcții menite să creștem acuratețea modelelor de prognoză.

Prezentați data și ora

Să începem procesul de inginerie a caracteristicilor cu funcții de dată/ora mai simple. Caracteristicile de dată/ora sunt create din timestamp coloană și oferă o cale optimă pentru oamenii de știință de date pentru a începe procesul de inginerie a caracteristicilor. Începem cu Prezentați data și ora Transformarea seriei temporale pentru a adăuga caracteristicile luna, ziua lunii, ziua anului, săptămâna anului și trimestrul la setul nostru de date. Deoarece furnizăm componentele dată/ora ca caracteristici separate, activăm algoritmii ML pentru a detecta semnale și modele pentru a îmbunătăți acuratețea predicției.

1. Alege + Adăugați pas.
2. Alege Seria de timp transforma.
3. Pentru Transforma, alege Prezentați data și ora.
4. Pentru Coloana de intrare, alege data.
5. Pentru Coloana de ieșire, introduce date (acest pas este optional).
6. Pentru Mod de ieșire, alege Ordinal.
7. Pentru Format de iesire, alege Coloane.
8. Pentru a extrage caracteristicile date/ora, selectați Lună, Zi, Săptămâna anului, Ziua anului, și Trimestru.
9. Alege Anunţ.

Setul de date conține acum coloane noi numite date_month, date_day, date_week_of_year, date_day_of_year, și date_quarter. Informațiile preluate din aceste noi caracteristici ar putea ajuta oamenii de știință din date să obțină informații suplimentare din date și despre relația dintre caracteristicile de intrare și caracteristicile de ieșire.

10. Alege Adăuga pentru a salva acest pas.

Codificați categoric

Caracteristicile date/ora nu sunt limitate la valori întregi. De asemenea, puteți alege să luați în considerare anumite caracteristici date/ora extrase ca variabile categoriale și să le reprezentați ca caracteristici codificate one-hot, fiecare coloană conținând valori binare. Cel nou creat date_quarter coloana conține valori cuprinse între 0-3 și poate fi codificată folosind patru coloane binare. Să creăm patru noi caracteristici binare, fiecare reprezentând trimestrul corespunzător al anului.

1. Alege + Adăugați pas.
2. Alege Codificați categoric transforma.
3. Pentru Transforma, alege One-hot codificare.
4. Pentru Coloana de intrare, alege data_trimestru.
5. Pentru Stilul de ieșire, alege Coloane.
6. Alege Anunţ.
7. Alege Adăuga pentru a adăuga pasul.

Funcția de întârziere

Apoi, să creăm caracteristici de decalaj pentru coloana țintă Volume USD. Caracteristicile de decalaj în analiza seriilor temporale sunt valori la marcajele temporale anterioare care sunt considerate utile în deducerea valorilor viitoare. De asemenea, ajută la identificarea autocorelației (cunoscută și ca corelație serială) modele din seria reziduală prin cuantificarea relației dintre observație cu observațiile din pașii de timp anteriori. Autocorelația este similară cu corelația obișnuită, dar între valorile dintr-o serie și valorile sale trecute. Acesta formează baza pentru modelele de prognoză autoregresive din seria ARIMA.

Cu Data Wrangler Funcția de întârziere transformați, puteți crea cu ușurință caracteristici de întârziere n perioade distanță. În plus, deseori dorim să creăm mai multe caracteristici de întârziere la diferite întârzieri și să lăsăm modelul să decidă caracteristicile cele mai semnificative. Pentru un astfel de scenariu, Caracteristici de întârziere transform ajută la crearea mai multor coloane de decalaj peste o dimensiune specificată a ferestrei.

1. Alege Înapoi la fluxul de date.
2. Alegeți semnul plus de lângă paşi on Flux de date.
3. Alege + Adăugați pas.
4. Alege Seria de timp transforma.
5. Pentru Transforma, alege Caracteristici de întârziere.
6. Pentru Generați caracteristici de decalaj pentru această coloană, alege Volumul USD.
7. Pentru Coloana Timpul, alege data.
8. Pentru echipă, introduce 7.
9. Deoarece suntem interesați să observăm până la cele șapte valori anterioare de decalaj, să selectăm Includeți întreaga fereastră de întârziere.
10. Pentru a crea o coloană nouă pentru fiecare valoare de decalaj, selectați Aplatizați ieșirea.
11. Alege Anunţ.

Sunt adăugate șapte coloane noi, sufixate cu lag_number cuvânt cheie pentru coloana țintă Volume USD.

12. Alege Adăuga pentru a salva pasul.

Caracteristici ferestre rulante

De asemenea, putem calcula rezumate statistice semnificative într-un interval de valori și le putem include ca caracteristici de intrare. Să extragem caracteristicile comune ale seriei temporale statistice.

Data Wrangler implementează capabilități automate de extragere a caracteristicilor serii de timp folosind sursa deschisă ts fresh pachet. Cu transformările de extracție a caracteristicilor în serie de timp, puteți automatiza procesul de extragere a caracteristicilor. Acest lucru elimină timpul și efortul petrecut altfel pentru implementarea manuală a bibliotecilor de procesare a semnalului. Pentru această postare, extragem funcții folosind Caracteristici ferestre rulante transforma. Această metodă calculează proprietăți statistice într-un set de observații definite de dimensiunea ferestrei.

1. Alege + Adăugați pas.
2. Alege Seria de timp transforma.
3. Pentru Transforma, alege Caracteristici ferestre rulante.
4. Pentru Generați caracteristici ferestre rulante pentru această coloană, alege Volumul USD.
5. Pentru Coloana Timpul, alege data.
6. Pentru Dimensiunea ferestrei, introduce 7.

Specificarea unei dimensiuni de fereastră de 7 calculează caracteristicile combinând valoarea de la marcajul temporal actual și valorile celor șapte marcaje temporale anterioare.

7. Selectați Aplatiza pentru a crea o nouă coloană pentru fiecare caracteristică calculată.
8. Alege-ți strategia ca Subset minim.

Această strategie extrage opt caracteristici care sunt utile în analizele din aval. Alte strategii includ Subset eficient, Subset personalizat, și Toate caracteristicile. Pentru lista completă a caracteristicilor disponibile pentru extragere, consultați Prezentare generală asupra caracteristicilor extrase.

9. Alege Anunţ.

Putem vedea opt coloane noi cu dimensiunea ferestrei specificată de 7 în numele lor, anexate la setul nostru de date.

10. Alege Adăuga pentru a salva pasul.

Exportați setul de date

Am transformat setul de date din seria de timp și suntem gata să folosim setul de date transformat ca intrare pentru un algoritm de prognoză. Ultimul pas este să exportați setul de date transformat în Amazon S3. În Data Wrangler, puteți alege Pasul de export pentru a genera automat un blocnotes Jupyter cu codul de procesare Amazon SageMaker pentru procesarea și exportul setului de date transformat într-o găleată S3. Cu toate acestea, deoarece setul nostru de date conține puțin peste 300 de înregistrări, să profităm de Export de date opțiune în Adăugați Transform vizualizare pentru a exporta setul de date transformat direct pe Amazon S3 din Data Wrangler.

1. Alege Export de date.

2. Pentru Locația S3, alege Browser și alegeți-vă găleata S3.
3. Alege Export de date.

Acum că am transformat cu succes setul de date bitcoin, îl putem folosi Prognoza Amazon pentru a genera predicții bitcoin.

A curăța

Dacă ați terminat cu acest caz de utilizare, curățați resursele pe care le-ați creat pentru a evita costurile suplimentare. Pentru Data Wrangler, puteți închide instanța de bază când ați terminat. A se referi la Închideți Data Wrangler documentatie pentru detalii. Alternativ, puteți continua Partea 2 din această serie pentru a utiliza acest set de date pentru prognoză.

Rezumat

Această postare a demonstrat cum să utilizați Data Wrangler pentru a simplifica și accelera analiza seriilor de timp folosind capabilitățile sale încorporate în serie de timp. Am explorat modul în care oamenii de știință de date pot curăța, formata, valida și transforma cu ușurință și interactiv datele din seria temporală în formatul dorit, pentru o analiză semnificativă. De asemenea, am explorat modul în care vă puteți îmbogăți analiza seriilor temporale prin adăugarea unui set cuprinzător de caracteristici statistice folosind Data Wrangler. Pentru a afla mai multe despre transformările seriilor temporale în Data Wrangler, consultați Transformarea datelor.

---

Despre autor

Roop Bains este arhitect de soluții la AWS, care se concentrează pe AI/ML. Este pasionat de a ajuta clienții să inoveze și să-și atingă obiectivele de afaceri folosind inteligența artificială și învățarea automată. În timpul liber, lui Roop îi place să citească și să facă drumeții.

Nikita Ivkin este un om de știință aplicat, Amazon SageMaker Data Wrangler.

• Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
• CryptoHawk. Radar Altcoin. Încercare gratuită.
• Sursa: https://aws.amazon.com/blogs/machine-learning/prepare-time-series-data-with-amazon-sagemaker-data-wrangler/