Forbered tidsseriedata med Amazon SageMaker Data Wrangler

Tidsseriedata er mye til stede i livene våre. Aksjekurser, boligpriser, værinformasjon og salgsdata registrert over tid er bare noen få eksempler. Ettersom bedrifter i økende grad ser etter nye måter å få meningsfull innsikt fra tidsseriedata på, er muligheten til å visualisere data og bruke ønskede transformasjoner grunnleggende trinn. Tidsseriedata har imidlertid unike egenskaper og nyanser sammenlignet med andre typer tabelldata, og krever spesielle hensyn. For eksempel samles standard tabell- eller tverrsnittsdata inn på et bestemt tidspunkt. Derimot fanges tidsseriedata gjentatte ganger over tid, med hvert påfølgende datapunkt avhengig av tidligere verdier.

Fordi de fleste tidsserieanalyser er avhengige av informasjonen samlet over et sammenhengende sett med observasjoner, kan manglende data og iboende sparsomhet redusere nøyaktigheten av prognoser og introdusere skjevheter. I tillegg er de fleste tilnærminger til tidsserieanalyse avhengige av lik avstand mellom datapunkter, med andre ord periodisitet. Derfor er evnen til å fikse uregelmessigheter i dataavstand en kritisk forutsetning. Til slutt krever tidsserieanalyse ofte opprettelse av tilleggsfunksjoner som kan bidra til å forklare det iboende forholdet mellom inputdata og fremtidige spådommer. Alle disse faktorene skiller tidsserieprosjekter fra tradisjonelle maskinlæringsscenarier (ML) og krever en distinkt tilnærming til analysen.

Dette innlegget går gjennom hvordan du bruker Amazon SageMaker Data Wrangler å bruke tidsserietransformasjoner og forberede datasettet for brukstilfeller for tidsserier.

Brukssaker for Data Wrangler

Data Wrangler tilbyr en løsning uten kode/lav kode for tidsserieanalyse med funksjoner for å rense, transformere og klargjøre data raskere. Det gjør det også mulig for dataforskere å utarbeide tidsseriedata i samsvar med prognosemodellens krav til inputformat. Følgende er noen måter du kan bruke disse egenskapene på:

• Deskriptiv analyse– Vanligvis er trinn én i et datavitenskapelig prosjekt å forstå dataene. Når vi plotter tidsseriedata, får vi en oversikt over mønstrene på høyt nivå, for eksempel trend, sesongvariasjoner, sykluser og tilfeldige variasjoner. Det hjelper oss med å bestemme riktig prognosemetodikk for nøyaktig å representere disse mønstrene. Plotting kan også bidra til å identifisere uteliggere, og forhindre urealistiske og unøyaktige prognoser. Data Wrangler kommer med en visualisering av dekomponering av sesongmessige trender for å representere komponenter i en tidsserie, og en visualisering av avvikdeteksjon å identifisere uteliggere.
• Forklarende analyse– For multivariate tidsserier er evnen til å utforske, identifisere og modellere forholdet mellom to eller flere tidsserier avgjørende for å oppnå meningsfulle prognoser. De Gruppe av transform in Data Wrangler oppretter flere tidsserier ved å gruppere data for spesifiserte celler. I tillegg tillater Data Wrangler-tidsserietransformasjoner, der det er aktuelt, spesifikasjon av ytterligere ID-kolonner å gruppere på, noe som muliggjør kompleks tidsserieanalyse.
• Dataforberedelse og funksjonsutvikling– Tidsseriedata er sjelden i formatet som forventes av tidsseriemodeller. Det krever ofte dataforberedelse å konvertere rådata til tidsseriespesifikke funksjoner. Det kan være lurt å validere at tidsseriedata er jevnlig eller likt fordelt før analyse. For prognosebruk kan det også være lurt å inkludere flere tidsseriekarakteristikker, for eksempel autokorrelasjon og statistiske egenskaper. Med Data Wrangler kan du raskt lage tidsseriefunksjoner som lagkolonner for flere etterslepperioder, resample data til flere tidsgranulariteter og automatisk trekke ut statistiske egenskaper for en tidsserie, for å nevne noen funksjoner.

Løsningsoversikt

Dette innlegget utdyper hvordan dataforskere og analytikere kan bruke Data Wrangler til å visualisere og forberede tidsseriedata. Vi bruker bitcoin-kryptovalutadatasettet fra nedlasting av kryptodata med bitcoin-handelsdetaljer for å vise frem disse egenskapene. Vi renser, validerer og transformerer rådatasettet med tidsseriefunksjoner og genererer også volumprisprognoser for bitcoin ved å bruke det transformerte datasettet som input.

Utvalget av bitcoin-handelsdata er fra 1. januar – 19. november 2021, med 464,116 XNUMX datapunkter. Datasettattributtene inkluderer et tidsstempel for prisposten, åpnings- eller førstekursen som mynten ble byttet til for en bestemt dag, den høyeste prisen mynten ble byttet til på dagen, den siste prisen mynten ble byttet til den. dagen, volumet utvekslet i kryptovalutaverdien på dagen i BTC, og tilsvarende USD-valuta.

Forutsetninger

Last ned Bitstamp_BTCUSD_2021_minute.csv fil fra nedlasting av kryptodata og last den opp til Amazon Simple Storage Service (Amazon S3).

Importer bitcoin-datasett i Data Wrangler

For å starte innføringsprosessen til Data Wrangler, fullfør følgende trinn:

1. På SageMaker Studio konsoll, på filet meny, velg Ny, velg deretter Data Wrangler Flow.
2. Gi nytt navn til flyten som ønsket.
3. Til Import datoer, velg Amazon S3.
4. Last opp Bitstamp_BTCUSD_2021_minute.csv fil fra S3-bøtten din.

Du kan nå forhåndsvise datasettet.

5. på Detaljer ruten, velg Avansert konfigurasjon og fravelg Aktiver prøvetaking.

Dette er et relativt lite datasett, så vi trenger ikke prøvetaking.

6. Velg Import.

Du har opprettet flytdiagrammet og er klar til å legge til transformasjonstrinn.

Legg til transformasjoner

For å legge til datatransformasjoner, velg plusstegnet ved siden av Datatyper Og velg Rediger datatyper.

Sørg for at Data Wrangler automatisk utledet de riktige datatypene for datakolonnene.

I vårt tilfelle er de utledede datatypene riktige. Anta imidlertid at én datatype var feil. Du kan enkelt endre dem gjennom brukergrensesnittet, som vist i følgende skjermbilde.

La oss starte analysen og begynne å legge til transformasjoner.

Datarengjøring

Vi utfører først flere datarensende transformasjoner.

Slipp kolonne

La oss starte med å droppe unix kolonne, fordi vi bruker date kolonne som indeks.

1. Velg Tilbake til dataflyt.
2. Velg plusstegnet ved siden av Datatyper Og velg Legg til transform.
3. Velg + Legg til trinn i FORANDRINGER ruten.
4. Velg Administrer kolonner.
5. Til Transform, velg Slipp kolonne.
6. Til Kolonne å slippe, velg unix.
7. Velg Forhåndsvisning.
8. Velg Legg til for å redde trinnet.

Håndtak mangler

Manglende data er et velkjent problem i datasett i den virkelige verden. Derfor er det en beste praksis å verifisere tilstedeværelsen av eventuelle manglende eller nullverdier og håndtere dem på riktig måte. Datasettet vårt inneholder ikke manglende verdier. Men hvis det var det, ville vi brukt Håndtak mangler tidsserieforvandling for å fikse dem. Vanlige strategier for håndtering av manglende data inkluderer å droppe rader med manglende verdier eller fylle de manglende verdiene med rimelige estimater. Fordi tidsseriedata er avhengig av en sekvens av datapunkter over tid, er det å fylle ut manglende verdier den foretrukne tilnærmingen. Prosessen med å fylle ut manglende verdier refereres til som imputasjon. De Håndtak mangler tidsserietransformasjon lar deg velge mellom flere imputeringsstrategier.

1. Velg + Legg til trinn i FORANDRINGER ruten.
2. Velg Tidsserier forvandle.
3. Til Transform, Velg Håndtak mangler.
4. Til Tidsserieinndatatype, velg Langs kolonne.
5. Til Metode for å beregne verdier, velg Forover fyll.

De Forover fyll metoden erstatter de manglende verdiene med de ikke-manglende verdiene foran de manglende verdiene.

Fylling bakover, Konstant verdi, Mest vanlig verdi og Interpolere er andre imputeringsstrategier tilgjengelig i Data Wrangler. Interpolasjonsteknikker er avhengige av nærliggende verdier for å fylle ut manglende verdier. Tidsseriedata viser ofte korrelasjon mellom naboverdier, noe som gjør interpolering til en effektiv fyllingsstrategi. For ytterligere detaljer om funksjonene du kan bruke for å bruke interpolering, se pandas.DataFrame.interpolere.

Bekreft tidsstempel

I tidsserieanalyse fungerer tidsstempelkolonnen som indekskolonnen, som analysen dreier seg om. Derfor er det viktig å sørge for at tidsstempelkolonnen ikke inneholder ugyldige eller feilformaterte tidsstempelverdier. Fordi vi bruker date kolonne som tidsstempelkolonnen og indeksen, la oss bekrefte at verdiene er riktig formatert.

1. Velg + Legg til trinn i FORANDRINGER ruten.
2. Velg Tidsserier forvandle.
3. Til Forvandle, velge Bekreft tidsstempler.

De Bekreft tidsstempler transform lar deg sjekke at tidsstempelkolonnen i datasettet ditt ikke har verdier med feil tidsstempel eller manglende verdier.

4. Til Tidsstempelkolonne, velg data.
5. Til Retningslinjer rullegardinmenyen, velg Indikerer.

De Indikerer policyalternativet oppretter en boolsk kolonne som angir om verdien i tidsstempelkolonnen er et gyldig dato/tidsformat. Andre alternativer for Retningslinjer inkluderer:

• Feil – Gir en feil hvis tidsstempelkolonnen mangler eller er ugyldig
• Drop – Slipper raden hvis tidsstempelkolonnen mangler eller er ugyldig

6. Velg Forhåndsvisning.

En ny boolsk kolonne kalt date_is_valid ble opprettet, med true verdier som indikerer riktig format og ikke-null-oppføringer. Datasettet vårt inneholder ikke ugyldige tidsstempelverdier i date kolonne. Men hvis den gjorde det, kan du bruke den nye boolske kolonnen til å identifisere og fikse disse verdiene.

7. Velg Legg til for å lagre dette trinnet.

Visualisering av tidsserier

Etter at vi har renset og validert datasettet, kan vi bedre visualisere dataene for å forstå dens forskjellige komponent.

Resample

Fordi vi er interessert i daglige spådommer, la oss transformere frekvensen av data til daglig.

De Resample transformasjon endrer frekvensen av tidsserieobservasjonene til en spesifisert granularitet, og kommer med både oppsamplings- og nedsamplingsalternativer. Ved å bruke oppsampling øker frekvensen av observasjonene (for eksempel fra daglig til time), mens nedsampling reduserer frekvensen av observasjonene (for eksempel fra time til daglig).

Fordi datasettet vårt har liten granularitet, la oss bruke nedsamplingsalternativet.

1. Velg + Legg til trinn.
2. Velg Tidsserier forvandle.
3. Til Transform, velg Resample.
4. Til Tidsstempel, velg data.
5. Til Frekvensenhet, velg Kalenderdag.
6. Til Frekvens mengde, skriv inn 1.
7. Til Metode for å samle numeriske verdier, velg bety.
8. Velg Forhåndsvisning.

Frekvensen av datasettet vårt har endret seg fra per minutt til daglig.

9. Velg Legg til for å lagre dette trinnet.

Sesongmessig-trend nedbrytning

Etter resampling kan vi visualisere den transformerte serien og dens tilknyttede STL-komponenter (Seasonal and Trend decomposition using LOESS) ved å bruke Sesongmessig-trend-nedbrytning visualisering. Dette bryter ned originale tidsserier i distinkte trender, sesongvariasjoner og gjenværende komponenter, noe som gir oss en god forståelse av hvordan hvert mønster oppfører seg. Vi kan også bruke informasjonen ved modellering av prognoseproblemer.

Data Wrangler bruker LOESS, en robust og allsidig statistisk metode for modellering av trend- og sesongkomponenter. Den underliggende implementeringen bruker polynomregresjon for å estimere ikke-lineære forhold som er tilstede i tidsseriekomponentene (sesongvariasjon, trend og residual).

1. Velg Tilbake til dataflyt.
2. Velg plusstegnet ved siden av Steps on Dataflyt.
3. Velg Legg til analyse.
4. på Lag analyse rute, for Analysetype, velge Tidsserier.
5. Til Visualisering, velg Sesongmessig-trend nedbrytning.
6. Til Analysenavn, skriv inn et navn.
7. Til Tidsstempelkolonne, velg data.
8. Til Verdi kolonne, velg Volum USD.
9. Velg Forhåndsvisning.

Analysen lar oss visualisere inputtidsseriene og dekomponerte sesongvariasjoner, trender og rester.

10. Velg Spar for å lagre analysen.

Med visualisering av sesongmessig trendnedbrytning, kan vi generere fire mønstre, som vist i det foregående skjermbildet:

• original – Den opprinnelige tidsserien re-samplet til daglig granularitet.
• Trend – Polynomtrenden med et generelt negativt trendmønster for år 2021, som indikerer en nedgang i Volume USD verdi.
• Årstid – Den multiplikative sesongvariasjonen representert av de varierende oscillasjonsmønstrene. Vi ser en nedgang i sesongvariasjon, preget av synkende amplitude av svingninger.
• residual – Den gjenværende eller tilfeldige støyen. Restserien er den resulterende serien etter at trend- og sesongkomponenter er fjernet. Ser vi nøye etter, observerer vi topper mellom januar og mars, og mellom april og juni, noe som antyder rom for å modellere slike spesielle hendelser ved hjelp av historiske data.

Disse visualiseringene gir verdifulle ledetråder til dataforskere og analytikere inn i eksisterende mønstre og kan hjelpe deg med å velge en modelleringsstrategi. Det er imidlertid alltid en god praksis å validere resultatet av STL-dekomponering med informasjonen samlet gjennom beskrivende analyse og domeneekspertise.

For å oppsummere, observerer vi en nedadgående trend i samsvar med original serievisualisering, noe som øker vår tillit til å inkludere informasjonen som formidles av trendvisualisering i nedstrøms beslutningstaking. I motsetning til dette hjelper sesongvisualiseringen å informere om tilstedeværelsen av sesongvariasjoner og behovet for fjerning ved å bruke teknikker som differensiering, den gir ikke det ønskede nivået av detaljert innsikt i ulike sesongmessige mønstre som er tilstede, og krever dermed dypere analyse.

Funksjonsteknikk

Etter at vi har forstått mønstrene i datasettet vårt, kan vi begynne å konstruere nye funksjoner som har som mål å øke nøyaktigheten til prognosemodellene.

Vis dato og klokkeslett

La oss starte funksjonsutviklingsprosessen med mer enkle dato/klokkeslett-funksjoner. Dato/klokkeslett-funksjoner opprettes fra timestamp kolonne og gi en optimal vei for dataforskere til å starte funksjonsutviklingsprosessen. Vi begynner med Vis dato og klokkeslett tidsserietransformasjon for å legge til funksjoner for måned, dag i måned, dag i året, uke i året og kvartalsfunksjoner til datasettet vårt. Fordi vi leverer dato/klokkeslett-komponentene som separate funksjoner, aktiverer vi ML-algoritmer for å oppdage signaler og mønstre for å forbedre prediksjonsnøyaktigheten.

1. Velg + Legg til trinn.
2. Velg Tidsserier forvandle.
3. Til Forvandle, velge Vis dato og klokkeslett.
4. Til Inndatakolonne, velg data.
5. Til Utgangskolonne, Tast inn date (dette trinnet er valgfritt).
6. Til Output-modus, velg ordens~~POS=TRUNC.
7. Til Utgående format, velg kolonner.
8. For dato/klokkeslett-funksjoner å trekke ut, velg Måned, dag, Årets uke, Dag i åretog Fjerdedel.
9. Velg Forhåndsvisning.

Datasettet inneholder nå nye navngitte kolonner date_month, date_day, date_week_of_year, date_day_of_yearog date_quarter. Informasjonen hentet fra disse nye funksjonene kan hjelpe dataforskere med å få ytterligere innsikt fra dataene og i forholdet mellom inputfunksjoner og utdatafunksjoner.

10. Velg Legg til for å lagre dette trinnet.

Kode kategorisk

Dato/klokkeslett-funksjoner er ikke begrenset til heltallsverdier. Du kan også velge å betrakte visse ekstraherte dato/klokkeslettfunksjoner som kategoriske variabler og representere dem som one-hot-kodede funksjoner, der hver kolonne inneholder binære verdier. Den nyopprettede date_quarter kolonne inneholder verdier mellom 0-3, og kan være one-hot-kodet ved hjelp av fire binære kolonner. La oss lage fire nye binære funksjoner, som hver representerer det tilsvarende kvartalet i året.

1. Velg + Legg til trinn.
2. Velg Kode kategorisk forvandle.
3. Til Transform, velg En-varm koding.
4. Til Inndatakolonne, velg dato_kvartal.
5. Til Utgangsstil, velg kolonner.
6. Velg Forhåndsvisning.
7. Velg Legg til for å legge til trinnet.

Lag funksjon

La oss deretter lage lagfunksjoner for målkolonnen Volume USD. Lagfunksjoner i tidsserieanalyse er verdier ved tidligere tidsstempler som anses som nyttige for å utlede fremtidige verdier. De hjelper også med å identifisere autokorrelasjon (også kjent som seriell korrelasjon) mønstre i restserien ved å kvantifisere forholdet mellom observasjonen og observasjoner ved tidligere tidstrinn. Autokorrelasjon ligner på vanlig korrelasjon, men mellom verdiene i en serie og dens tidligere verdier. Den danner grunnlaget for de autoregressive prognosemodellene i ARIMA-serien.

Med Data Wrangler Lag funksjon transformere, kan du enkelt lage lagfunksjoner med n perioder fra hverandre. I tillegg ønsker vi ofte å lage flere etterslep-funksjoner med forskjellige etterslep og la modellen bestemme de mest meningsfulle funksjonene. For et slikt scenario vil Lagfunksjoner transform hjelper til med å lage flere lagkolonner over en spesifisert vindusstørrelse.

1. Velg Tilbake til dataflyt.
2. Velg plusstegnet ved siden av Steps on Dataflyt.
3. Velg + Legg til trinn.
4. Velg Tidsserier forvandle.
5. Til Transform, velg Lagfunksjoner.
6. Til Generer etterslep-funksjoner for denne kolonnen, velg Volum USD.
7. Til Tidsstempelkolonne, velg data.
8. Til Lag, Tast inn 7.
9. Fordi vi er interessert i å observere opp til de forrige syv forsinkelsesverdiene, la oss velge Ta med hele lagvinduet.
10. For å opprette en ny kolonne for hver etterslep-verdi, velg Flat ut utgangen.
11. Velg Forhåndsvisning.

Syv nye kolonner er lagt til, suffikset med lag_number nøkkelord for målkolonnen Volume USD.

12. Velg Legg til for å redde trinnet.

Rullevindusfunksjoner

Vi kan også beregne meningsfulle statistiske sammendrag på tvers av en rekke verdier og inkludere dem som inputfunksjoner. La oss trekke ut vanlige statistiske tidsseriefunksjoner.

Data Wrangler implementerer automatiske funksjoner for tidsseriefunksjoner ved å bruke åpen kildekode tsfresh pakke. Med tidsseriefunksjonsutvinningstransformasjonene kan du automatisere funksjonsutvinningsprosessen. Dette eliminerer tiden og innsatsen ellers brukt på å manuelt implementere signalbehandlingsbiblioteker. For dette innlegget trekker vi ut funksjoner ved å bruke Rullevindusfunksjoner forvandle. Denne metoden beregner statistiske egenskaper på tvers av et sett med observasjoner definert av vindusstørrelsen.

1. Velg + Legg til trinn.
2. Velg Tidsserier forvandle.
3. Til Transform, velg Rullevindusfunksjoner.
4. Til Generer rullende vindusfunksjoner for denne kolonnen, velg Volum USD.
5. Til Tidsstempelkolonne, velg data.
6. Til Vindusstørrelse, Tast inn 7.

Angi en vindusstørrelse på 7 beregner funksjoner ved å kombinere verdien ved gjeldende tidsstempel og verdier for de forrige syv tidsstemplene.

7. Plukke ut Flate ut for å opprette en ny kolonne for hver beregnede funksjon.
8. Velg din strategi som Minimal delmengde.

Denne strategien trekker ut åtte funksjoner som er nyttige i nedstrømsanalyser. Andre strategier inkluderer Effektiv undergruppe, Egendefinert delsettog Alle funksjoner. For fullstendig liste over funksjoner som er tilgjengelige for utvinning, se Oversikt over utpakkede funksjoner.

9. Velg Forhåndsvisning.

Vi kan se åtte nye kolonner med spesifisert vindusstørrelse på 7 i deres navn, vedlagt datasettet vårt.

10. Velg Legg til for å redde trinnet.

Eksporter datasettet

Vi har transformert tidsseriedatasettet og er klare til å bruke det transformerte datasettet som input for en prognosealgoritme. Det siste trinnet er å eksportere det transformerte datasettet til Amazon S3. I Data Wrangler kan du velge Eksporter trinn å automatisk generere en Jupyter-notisbok med Amazon SageMaker-behandlingskode for å behandle og eksportere det transformerte datasettet til en S3-bøtte. Men fordi datasettet vårt inneholder litt over 300 poster, la oss dra nytte av det Eksporter data alternativet i Legg til Transform view for å eksportere det transformerte datasettet direkte til Amazon S3 fra Data Wrangler.

1. Velg Eksporter data.

2. Til S3 beliggenhet, velg nett~~POS=TRUNC leseren~~POS=HEADCOMP og velg din S3-bøtte.
3. Velg Eksporter data.

Nå som vi har transformert bitcoin-datasettet, kan vi bruke Amazon Prognose å generere bitcoin-spådommer.

Rydd opp

Hvis du er ferdig med denne brukssaken, må du rydde opp i ressursene du opprettet for å unngå ekstra kostnader. For Data Wrangler kan du slå av den underliggende forekomsten når du er ferdig. Referere til Slå av Data Wrangler dokumentasjon for detaljer. Alternativt kan du fortsette til Del 2 av denne serien for å bruke dette datasettet til prognoser.

Oppsummering

Dette innlegget demonstrerte hvordan du kan bruke Data Wrangler til å forenkle og akselerere tidsserieanalyse ved å bruke dens innebygde tidsseriefunksjoner. Vi undersøkte hvordan dataforskere enkelt og interaktivt kan rense, formatere, validere og transformere tidsseriedata til ønsket format, for meningsfull analyse. Vi har også utforsket hvordan du kan berike tidsserieanalysen din ved å legge til et omfattende sett med statistiske funksjoner ved hjelp av Data Wrangler. For å lære mer om tidsserietransformasjoner i Data Wrangler, se Transformer data.

---

om forfatteren

Roop Bains er en løsningsarkitekt hos AWS med fokus på AI/ML. Han brenner for å hjelpe kunder med å innovere og nå forretningsmålene sine ved å bruke kunstig intelligens og maskinlæring. På fritiden liker Roop å lese og gå på tur.

Nikita Ivkin er en Applied Scientist, Amazon SageMaker Data Wrangler.

• Myntsmart. Europas beste Bitcoin og Crypto Exchange.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
• CryptoHawk. Altcoin Radar. Gratis prøveperiode.
• Kilde: https://aws.amazon.com/blogs/machine-learning/prepare-time-series-data-with-amazon-sagemaker-data-wrangler/