Forbered tidsseriedata med Amazon SageMaker Data Wrangler

Tidsseriedata er meget til stede i vores liv. Aktiekurser, huspriser, vejroplysninger og salgsdata, der er registreret over tid, er blot nogle få eksempler. Efterhånden som virksomheder i stigende grad leder efter nye måder at få meningsfuld indsigt fra tidsseriedata, er evnen til at visualisere data og anvende ønskede transformationer grundlæggende trin. Tidsseriedata har dog unikke egenskaber og nuancer sammenlignet med andre former for tabeldata og kræver særlige overvejelser. For eksempel indsamles standarddata i tabelform eller tværsnit på et bestemt tidspunkt. I modsætning hertil fanges tidsseriedata gentagne gange over tid, hvor hvert efterfølgende datapunkt afhænger af dets tidligere værdier.

Fordi de fleste tidsserieanalyser er afhængige af den information, der er indsamlet på tværs af et sammenhængende sæt observationer, kan manglende data og iboende sparsomhed reducere nøjagtigheden af ​​prognoser og indføre bias. Derudover er de fleste tilgange til tidsserieanalyse afhængige af lige stor afstand mellem datapunkter, med andre ord periodicitet. Derfor er evnen til at rette uregelmæssigheder i dataafstande en kritisk forudsætning. Endelig kræver tidsserieanalyse ofte oprettelse af yderligere funktioner, der kan hjælpe med at forklare det iboende forhold mellem inputdata og fremtidige forudsigelser. Alle disse faktorer adskiller tidsserieprojekter fra traditionelle maskinlæringsscenarier (ML) og kræver en særskilt tilgang til deres analyse.

Dette indlæg gennemgår, hvordan du bruger Amazon SageMaker Data Wrangler at anvende tidsserietransformationer og forberede dit datasæt til tidsseriebrug.

Use cases til Data Wrangler

Data Wrangler leverer en kodefri/lavkodeløsning til tidsserieanalyse med funktioner til at rense, transformere og forberede data hurtigere. Det gør det også muligt for dataforskere at forberede tidsseriedata i overensstemmelse med deres prognosemodels inputformatkrav. Følgende er et par måder, du kan bruge disse funktioner på:

• Deskriptiv analyse- Normalt er trin et i et datavidenskabsprojekt at forstå dataene. Når vi plotter tidsseriedata, får vi et overblik over dets mønstre på højt niveau, såsom trend, sæsonbestemthed, cyklusser og tilfældige variationer. Det hjælper os med at bestemme den korrekte prognosemetode til nøjagtigt at repræsentere disse mønstre. Plotning kan også hjælpe med at identificere outliers og forhindre urealistiske og unøjagtige prognoser. Data Wrangler leveres med en visualisering af nedbrydning af sæsonbestemt tendens til at repræsentere komponenter i en tidsserie, og en visualisering af afvigende detektering at identificere outliers.
• Forklarende analyse– For multivariate tidsserier er evnen til at udforske, identificere og modellere forholdet mellem to eller flere tidsserier afgørende for at opnå meningsfulde prognoser. Det Gruppe af transformer i data Wrangler opretter flere tidsserier ved at gruppere data for specificerede celler. Derudover tillader Data Wrangler-tidsserietransformationer, hvor det er relevant, specifikation af yderligere ID-kolonner at gruppere på, hvilket muliggør kompleks tidsserieanalyse.
• Dataforberedelse og feature engineering– Tidsseriedata er sjældent i det format, der forventes af tidsseriemodeller. Det kræver ofte dataforberedelse at konvertere rådata til tidsseriespecifikke funktioner. Det kan være en god ide at validere, at tidsseriedata er regelmæssigt eller lige fordelt før analyse. Til prognosebrug kan du også ønske at inkorporere yderligere tidsseriekarakteristika, såsom autokorrelation og statistiske egenskaber. Med Data Wrangler kan du hurtigt oprette tidsseriefunktioner såsom forsinkelseskolonner for flere forsinkelsesperioder, gensample data til flere tidsgranulariteter og automatisk udtrække statistiske egenskaber for en tidsserie, for at nævne nogle få muligheder.

Løsningsoversigt

Dette indlæg uddyber, hvordan dataforskere og analytikere kan bruge Data Wrangler til at visualisere og forberede tidsseriedata. Vi bruger bitcoin cryptocurrency datasættet fra download af kryptodata med bitcoin-handelsdetaljer for at fremvise disse muligheder. Vi renser, validerer og transformerer det rå datasæt med tidsseriefunktioner og genererer også bitcoin-volumenprisprognoser ved at bruge det transformerede datasæt som input.

Prøven af ​​bitcoin-handelsdata er fra 1. januar – 19. november 2021 med 464,116 datapunkter. Datasættets attributter inkluderer et tidsstempel for prisposten, åbnings- eller førstekursen, hvortil mønten blev vekslet til en bestemt dag, den højeste pris, som mønten blev vekslet til på dagen, den sidste pris, hvortil mønten blev vekslet den. dagen, den udvekslede mængde i kryptovalutaværdien på dagen i BTC og tilsvarende USD-valuta.

Forudsætninger

Download Bitstamp_BTCUSD_2021_minute.csv fil fra download af kryptodata og upload det til Amazon Simple Storage Service (Amazon S3).

Importer bitcoin-datasæt i Data Wrangler

For at starte indlæsningsprocessen til Data Wrangler skal du udføre følgende trin:

1. På SageMaker Studio konsol, på File (Felt) menu, vælg Ny, Og vælg derefter Data Wrangler Flow.
2. Omdøb flowet som ønsket.
3. Til Import datoer, vælg Amazon S3.
4. Upload Bitstamp_BTCUSD_2021_minute.csv fil fra din S3-bøtte.

Du kan nu forhåndsvise dit datasæt.

5. I Detaljer vælg Avanceret konfiguration og fravælg Aktiver prøveudtagning.

Dette er et relativt lille datasæt, så vi behøver ikke prøveudtagning.

6. Vælg Importere.

Du har oprettet flowdiagrammet og er klar til at tilføje transformationstrin.

Tilføj transformationer

For at tilføje datatransformationer skal du vælge plustegnet ud for Datatyper Og vælg Rediger datatyper.

Sørg for, at Data Wrangler automatisk udledte de korrekte datatyper for datakolonnerne.

I vores tilfælde er de udledte datatyper korrekte. Antag dog, at én datatype var forkert. Du kan nemt ændre dem gennem brugergrænsefladen, som vist på det følgende skærmbillede.

Lad os starte analysen og begynde at tilføje transformationer.

Datarengøring

Vi udfører først flere datarensningstransformationer.

Drop kolonne

Lad os starte med at droppe unix kolonne, fordi vi bruger date kolonne som indeks.

1. Vælg Tilbage til dataflow.
2. Vælg plustegnet ved siden af Datatyper Og vælg Tilføj transformation.
3. Vælg + Tilføj trin i TRANSFORMER rude.
4. Vælg Administrer kolonner.
5. Til Transform, vælg Drop kolonne.
6. Til Kolonne for at slippe, vælg unix.
7. Vælg Eksempel.
8. Vælg Tilføj for at gemme trinnet.

Håndtag mangler

Manglende data er et velkendt problem i datasæt fra den virkelige verden. Derfor er det en god praksis at verificere tilstedeværelsen af ​​eventuelle manglende eller nulværdier og håndtere dem korrekt. Vores datasæt indeholder ikke manglende værdier. Men hvis der var, ville vi bruge den Håndtag mangler tidsserietransformation for at rette dem. De almindeligt anvendte strategier til håndtering af manglende data omfatter at slette rækker med manglende værdier eller udfylde de manglende værdier med rimelige estimater. Fordi tidsseriedata er afhængig af en sekvens af datapunkter over tid, er udfyldning af manglende værdier den foretrukne tilgang. Processen med at udfylde manglende værdier kaldes imputation. Det Håndtag mangler tidsserietransformation giver dig mulighed for at vælge mellem flere imputationsstrategier.

1. Vælg + Tilføj trin i TRANSFORMER rude.
2. Vælg den Tidsserier transformere.
3. Til Transform, Vælg Håndtag mangler.
4. Til Tidsserie input type, vælg Langs søjle.
5. Til Metode til imputering af værdier, vælg Fremad fyld.

Fremad fyld metode erstatter de manglende værdier med de ikke-manglende værdier forud for de manglende værdier.

Baglæns fyld, Konstant værdi, Mest almindelige værdi , Interpoler er andre imputationsstrategier tilgængelige i Data Wrangler. Interpolationsteknikker er afhængige af naboværdier for at udfylde manglende værdier. Tidsseriedata udviser ofte korrelation mellem naboværdier, hvilket gør interpolation til en effektiv udfyldningsstrategi. For yderligere detaljer om de funktioner, du kan bruge til at anvende interpolation, se pandas.DataFrame.interpolere.

Bekræft tidsstempel

Ved tidsserieanalyse fungerer tidsstempelkolonnen som indekskolonnen, som analysen drejer sig om. Derfor er det vigtigt at sikre, at tidsstempelkolonnen ikke indeholder ugyldige eller forkert formaterede tidsstempelværdier. Fordi vi bruger date kolonne som tidsstempelkolonnen og indekset, lad os bekræfte, at dens værdier er korrekt formateret.

1. Vælg + Tilføj trin i TRANSFORMER rude.
2. Vælg den Tidsserier transformere.
3. Til Forvandle, vælge Valider tidsstempler.

Valider tidsstempler transform giver dig mulighed for at kontrollere, at tidsstempelkolonnen i dit datasæt ikke har værdier med et forkert tidsstempel eller manglende værdier.

4. Til Tidsstempelkolonne, vælg dato.
5. Til Politik dropdown, vælg Angive.

Angive politikindstillingen opretter en boolsk kolonne, der angiver, om værdien i tidsstemplingskolonnen er et gyldigt dato/tidsformat. Andre muligheder for Politik omfatte:

• Fejl – Afgiver en fejl, hvis tidsstempelkolonnen mangler eller er ugyldig
• Drop – Sletter rækken, hvis tidsstempelkolonnen mangler eller er ugyldig

6. Vælg Eksempel.

En ny boolsk kolonne navngivet date_is_valid blev skabt, med true værdier, der angiver korrekt format og ikke-nul-indtastninger. Vores datasæt indeholder ikke ugyldige tidsstempelværdier i date kolonne. Men hvis det gjorde det, kunne du bruge den nye boolske kolonne til at identificere og rette disse værdier.

7. Vælg Tilføj for at gemme dette trin.

Visualisering af tidsserier

Efter at vi har renset og valideret datasættet, kan vi bedre visualisere dataene for at forstå dets forskellige komponent.

Resample

Fordi vi er interesserede i daglige forudsigelser, lad os omdanne frekvensen af ​​data til daglig.

Resample transformation ændrer frekvensen af ​​tidsserieobservationerne til en specificeret granularitet og kommer med både upsampling og downsampling muligheder. Anvendelse af upsampling øger frekvensen af ​​observationerne (f.eks. fra daglig til time), hvorimod downsampling reducerer frekvensen af ​​observationerne (f.eks. fra time til daglig).

Fordi vores datasæt er på minutgranularitet, lad os bruge downsampling-muligheden.

1. Vælg + Tilføj trin.
2. Vælg den Tidsserier transformere.
3. Til Transform, vælg Resample.
4. Til Timestamp, vælg dato.
5. Til Frekvens enhed, vælg Kalenderdag.
6. Til Frekvens mængde, indtast 1.
7. Til Metode til at aggregere numeriske værdier, vælg betyde.
8. Vælg Eksempel.

Hyppigheden af ​​vores datasæt har ændret sig fra pr. minut til dagligt.

9. Vælg Tilføj for at gemme dette trin.

Sæsonbestemt-trend-nedbrydning

Efter resampling kan vi visualisere den transformerede serie og dens tilknyttede STL (Sæsonbestemt og Trend-nedbrydning ved hjælp af LOESS) komponenter ved hjælp af Sæsonbestemt-trend-nedbrydning visualisering. Dette opdeler originale tidsserier i distinkte trend, sæsonbestemte og resterende komponenter, hvilket giver os en god forståelse af, hvordan hvert mønster opfører sig. Vi kan også bruge oplysningerne til modellering af prognoseproblemer.

Data Wrangler bruger LOESS, en robust og alsidig statistisk metode til modellering af trend- og sæsonkomponenter. Dens underliggende implementering bruger polynomiel regression til at estimere ikke-lineære relationer, der er til stede i tidsseriekomponenterne (sæsonbestemt, trend og residual).

1. Vælg Tilbage til dataflow.
2. Vælg plustegnet ved siden af Steps on Dataflow.
3. Vælg Tilføj analyse.
4. I Lav analyse rude, for Analyse type, vælge Tidsserier.
5. Til Visualisering, vælg Sæsonbestemt-trend-nedbrydning.
6. Til Analyse navn, indtast et navn.
7. Til Tidsstempel kolonne, vælg dato.
8. Til Værdi kolonne, vælg Volumen USD.
9. Vælg Eksempel.

Analysen giver os mulighed for at visualisere inputtidsserierne og dekomponerede sæsonbestemte, trends og residualer.

10. Vælg Gem for at gemme analysen.

Med visualisering af sæsonbestemt nedbrydning, kan vi generere fire mønstre, som vist på det foregående skærmbillede:

• Original – Den oprindelige tidsserie gen-samplet til daglig granularitet.
• Trend – Polynomietrenden med et generelt negativt trendmønster for år 2021, hvilket indikerer et fald i Volume USD værdi.
• Sæson – Den multiplikative sæsonvariation repræsenteret af de varierende svingningsmønstre. Vi ser et fald i sæsonvariation, karakteriseret ved faldende amplitude af svingninger.
• Resterende – Den resterende resterende eller tilfældige støj. Den resterende serie er den resulterende serie efter at trend- og sæsonkomponenter er blevet fjernet. Ser vi nærmere efter, observerer vi stigninger mellem januar og marts og mellem april og juni, hvilket tyder på plads til at modellere sådanne særlige begivenheder ved hjælp af historiske data.

Disse visualiseringer giver værdifulde leads til datavidenskabsfolk og analytikere i eksisterende mønstre og kan hjælpe dig med at vælge en modelleringsstrategi. Det er dog altid en god praksis at validere outputtet af STL-nedbrydning med de oplysninger, der er indsamlet gennem beskrivende analyse og domæneekspertise.

For at opsummere, observerer vi en nedadgående tendens i overensstemmelse med original serievisualisering, hvilket øger vores tillid til at inkorporere informationen formidlet af trendvisualisering i downstream beslutningstagning. I modsætning hertil hjælper sæsonvisualiseringen med at informere om tilstedeværelsen af ​​sæsonbestemte mønstre og behovet for dens fjernelse ved at anvende teknikker som f.eks. differentiering, den giver ikke det ønskede niveau af detaljeret indsigt i forskellige tilstedeværende sæsonbestemte mønstre og kræver derved en dybere analyse.

Funktionsteknik

Når vi har forstået mønstrene i vores datasæt, kan vi begynde at udvikle nye funktioner, der har til formål at øge nøjagtigheden af ​​prognosemodellerne.

Vis dato og klokkeslæt

Lad os starte funktionsudviklingsprocessen med mere ligetil dato/tidsfunktioner. Dato/tidsfunktioner oprettes fra timestamp kolonne og giver dataforskere en optimal mulighed for at starte funktionsudviklingsprocessen. Vi begynder med Vis dato og klokkeslæt tidsserietransformation for at tilføje funktionerne måned, dag i måned, dag i året, uge ​​i året og kvartal til vores datasæt. Fordi vi leverer dato/klokkeslæt-komponenterne som separate funktioner, aktiverer vi ML-algoritmer til at registrere signaler og mønstre for at forbedre forudsigelsesnøjagtigheden.

1. Vælg + Tilføj trin.
2. Vælg den Tidsserier transformere.
3. Til Forvandle, vælge Vis dato og klokkeslæt.
4. Til Input kolonne, vælg dato.
5. Til Output kolonne, gå ind date (dette trin er valgfrit).
6. Til Output mode, vælg ordenstal.
7. Til Output format, vælg Kolonner.
8. For at udtrække dato/klokkeslæt skal du vælge Måned, Dag, Årets uge, Dag på åretog Kvarter.
9. Vælg Eksempel.

Datasættet indeholder nu nye navngivne kolonner date_month, date_day, date_week_of_year, date_day_of_yearog date_quarter. Informationen hentet fra disse nye funktioner kan hjælpe dataforskere med at få yderligere indsigt fra dataene og i forholdet mellem inputfunktioner og outputfunktioner.

10. Vælg Tilføj for at gemme dette trin.

Indkode kategorisk

Dato-/tidsfunktioner er ikke begrænset til heltalsværdier. Du kan også vælge at betragte visse udtrukne dato/tidspunkter som kategoriske variabler og repræsentere dem som one-hot-kodede funktioner, hvor hver kolonne indeholder binære værdier. Den nyoprettede date_quarter kolonne indeholder værdier mellem 0-3 og kan være one-hot-kodet ved hjælp af fire binære kolonner. Lad os oprette fire nye binære funktioner, der hver repræsenterer det tilsvarende kvartal af året.

1. Vælg + Tilføj trin.
2. Vælg den Indkode kategorisk transformere.
3. Til Transform, vælg One-hot encode.
4. Til Input kolonne, vælg dato_kvartal.
5. Til Output stil, vælg Kolonner.
6. Vælg Eksempel.
7. Vælg Tilføj for at tilføje trinnet.

Lag funktion

Lad os derefter oprette lagfunktioner til målkolonnen Volume USD. Lagfunktioner i tidsserieanalyse er værdier ved tidligere tidsstempler, der anses for nyttige til at udlede fremtidige værdier. De hjælper også med at identificere autokorrelation (også kendt som seriel sammenhæng) mønstre i restserien ved at kvantificere observationens forhold til observationer ved tidligere tidstrin. Autokorrelation ligner almindelig korrelation, men mellem værdierne i en serie og dens tidligere værdier. Det danner grundlaget for de autoregressive prognosemodeller i ARIMA-serien.

Med Data Wrangler Lag funktion transformere, kan du nemt oprette lag-funktioner med n perioder fra hinanden. Derudover ønsker vi ofte at oprette flere lag-funktioner med forskellige forsinkelser og lade modellen bestemme de mest meningsfulde funktioner. For et sådant scenarie er Lag funktioner transform hjælper med at skabe flere lagkolonner over en bestemt vinduesstørrelse.

1. Vælg Tilbage til dataflow.
2. Vælg plustegnet ved siden af Steps on Dataflow.
3. Vælg + Tilføj trin.
4. Vælg Tidsserier transformere.
5. Til Transform, vælg Lag funktioner.
6. Til Generer forsinkelsesfunktioner for denne kolonne, vælg Volumen USD.
7. Til Tidsstempelkolonne, vælg dato.
8. Til Lov, gå ind 7.
9. Fordi vi er interesserede i at observere op til de foregående syv forsinkelsesværdier, lad os vælge Inkluder hele forsinkelsesvinduet.
10. For at oprette en ny kolonne for hver forsinkelsesværdi skal du vælge Flad outputtet ud.
11. Vælg Eksempel.

Syv nye kolonner tilføjes med suffikset lag_number søgeord for målkolonnen Volume USD.

12. Vælg Tilføj for at gemme trinnet.

Rullevindue funktioner

Vi kan også beregne meningsfulde statistiske opsummeringer på tværs af en række værdier og inkludere dem som inputfunktioner. Lad os udtrække almindelige statistiske tidsseriefunktioner.

Data Wrangler implementerer automatiske funktioner til tidsserieudtræk ved hjælp af open source tsfrisk pakke. Med tidsseriefunktionsudtrækningstransformationerne kan du automatisere funktionsudtrækningsprocessen. Dette eliminerer den tid og indsats, der ellers er brugt på manuelt at implementere signalbehandlingsbiblioteker. Til dette indlæg udtrækker vi funktioner ved hjælp af Rullevindue funktioner transformere. Denne metode beregner statistiske egenskaber på tværs af et sæt observationer defineret af vinduesstørrelsen.

1. Vælg + Tilføj trin.
2. Vælg den Tidsserier transformere.
3. Til Transform, vælg Rullevindue funktioner.
4. Til Generer rullende vinduesfunktioner for denne kolonne, vælg Volumen USD.
5. Til Tidsstempelkolonne, vælg dato.
6. Til Vinduesstørrelse, gå ind 7.

Angivelse af en vinduesstørrelse på 7 beregner funktioner ved at kombinere værdien ved det aktuelle tidsstempel og værdier for de foregående syv tidsstempler.

7. Type Samkopier for at oprette en ny kolonne for hver beregnet funktion.
8. Vælg din strategi som Minimal delmængde.

Denne strategi udtrækker otte funktioner, der er nyttige i downstream-analyser. Andre strategier omfatter Effektiv undergruppe, Tilpasset undersætog Alle funktioner. Se en komplet liste over funktioner, der er tilgængelige for udvinding Oversigt over udtrukne funktioner.

9. Vælg Eksempel.

Vi kan se otte nye kolonner med specificeret vinduesstørrelse på 7 i deres navn, vedhæftet vores datasæt.

10. Vælg Tilføj for at gemme trinnet.

Eksporter datasættet

Vi har transformeret tidsseriedatasættet og er klar til at bruge det transformerede datasæt som input til en prognosealgoritme. Det sidste trin er at eksportere det transformerede datasæt til Amazon S3. I Data Wrangler kan du vælge Eksporttrin til automatisk at generere en Jupyter notesbog med Amazon SageMaker Processing-kode til behandling og eksport af det transformerede datasæt til en S3-bøtte. Men fordi vores datasæt indeholder lidt over 300 poster, lad os drage fordel af Eksporter data valgmulighed i Tilføj Transform view for at eksportere det transformerede datasæt direkte til Amazon S3 fra Data Wrangler.

1. Vælg Eksporter data.

2. Til S3 placering, vælg browser og vælg din S3 skovl.
3. Vælg Eksporter data.

Nu hvor vi med succes har transformeret bitcoin-datasættet, kan vi bruge Amazon prognose at generere bitcoin-forudsigelser.

Ryd op

Hvis du er færdig med denne use case, skal du rydde op i de ressourcer, du har oprettet, for at undgå at pådrage dig yderligere omkostninger. For Data Wrangler kan du lukke den underliggende instans, når du er færdig. Henvise til Sluk Data Wrangler dokumentation for detaljer. Alternativt kan du fortsætte til del 2 af denne serie for at bruge dette datasæt til prognoser.

Resumé

Dette indlæg demonstrerede, hvordan man bruger Data Wrangler til at forenkle og accelerere tidsserieanalyse ved hjælp af dens indbyggede tidsseriefunktioner. Vi undersøgte, hvordan datavidenskabsmænd nemt og interaktivt kan rense, formatere, validere og transformere tidsseriedata til det ønskede format til meningsfuld analyse. Vi undersøgte også, hvordan du kan berige din tidsserieanalyse ved at tilføje et omfattende sæt statistiske funktioner ved hjælp af Data Wrangler. For at lære mere om tidsserietransformationer i Data Wrangler, se Transform data.

---

Om forfatteren

Roop Bains er Solutions Architect hos AWS med fokus på AI/ML. Han brænder for at hjælpe kunder med at innovere og nå deres forretningsmål ved hjælp af kunstig intelligens og maskinlæring. I sin fritid nyder Roop at læse og vandre.

Nikita Ivkin er en anvendt videnskabsmand, Amazon SageMaker Data Wrangler.

• Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
• CryptoHawk. Altcoin radar. Gratis prøveversion.
• Kilde: https://aws.amazon.com/blogs/machine-learning/prepare-time-series-data-with-amazon-sagemaker-data-wrangler/