Bruk mobilitetsdata for å få innsikt ved å bruke Amazon SageMaker geospatiale muligheter | Amazon Web Services

Geospatiale data er data om spesifikke steder på jordens overflate. Det kan representere et geografisk område som helhet, eller det kan representere en hendelse knyttet til et geografisk område. Analyse av geospatiale data er ettertraktet i noen få bransjer. Det innebærer å forstå hvor dataene eksisterer fra et romlig perspektiv og hvorfor de eksisterer der.

Det finnes to typer geospatiale data: vektordata og rasterdata. Rasterdata er en matrise av celler representert som et rutenett, som for det meste representerer fotografier og satellittbilder. I dette innlegget fokuserer vi på vektordata, som er representert som geografiske koordinater for breddegrad og lengdegrad samt linjer og polygoner (områder) som forbinder eller omslutter dem. Vektordata har en rekke bruksområder for å utlede mobilitetsinnsikt. Brukermobildata er en slik komponent av det, og det er hovedsakelig avledet fra den geografiske posisjonen til mobile enheter som bruker GPS eller app-utgivere som bruker SDK-er eller lignende integrasjoner. For formålet med dette innlegget refererer vi til disse dataene som mobilitetsdata.

Dette er en todelt serie. I dette første innlegget introduserer vi mobilitetsdata, deres kilder og et typisk skjema for disse dataene. Deretter diskuterer vi de ulike brukstilfellene og utforsker hvordan du kan bruke AWS-tjenester til å rense dataene, hvordan maskinlæring (ML) kan hjelpe til med denne innsatsen, og hvordan du kan gjøre etisk bruk av dataene til å generere bilder og innsikt. Det andre innlegget vil være mer teknisk og dekke disse trinnene i detalj sammen med eksempelkoden. Dette innlegget har ikke et eksempeldatasett eller en prøvekode, men dekker hvordan du bruker dataene etter at de er kjøpt fra en dataaggregator.

Du kan bruke Amazon SageMaker geospatiale muligheter å overlegge mobilitetsdata på et basiskart og gi lagvis visualisering for å gjøre samarbeid enklere. Den GPU-drevne interaktive visualiseringen og Python-notatbøker gir en sømløs måte å utforske millioner av datapunkter i ett enkelt vindu og dele innsikt og resultater.

Kilder og skjema

Det er få kilder til mobilitetsdata. Bortsett fra GPS-pinger og app-utgivere, brukes andre kilder for å utvide datasettet, for eksempel Wi-Fi-tilgangspunkter, budstrømdata innhentet via visning av annonser på mobile enheter og spesifikke maskinvaresendere plassert av bedrifter (for eksempel i fysiske butikker) ). Det er ofte vanskelig for bedrifter å samle inn disse dataene selv, så de kan kjøpe dem fra datainnsamlere. Dataaggregatorer samler inn mobilitetsdata fra ulike kilder, renser dem, legger til støy og gjør dataene tilgjengelige på daglig basis for spesifikke geografiske regioner. På grunn av selve dataenes natur og fordi de er vanskelige å få tak i, kan nøyaktigheten og kvaliteten på disse dataene variere betydelig, og det er opp til virksomhetene å vurdere og verifisere dette ved å bruke beregninger som daglige aktive brukere, totale daglige ping, og gjennomsnittlig daglig ping per enhet. Tabellen nedenfor viser hvordan et typisk skjema for en daglig datafeed sendt av dataaggregatorer kan se ut.

Egenskap	Beskrivelse
ID eller MAID	Mobile Advertising ID (MAID) for enheten (hashed)
lat	Enhetens breddegrad
lng	Lengdegrad på enheten
geoash	Geohash plassering av enheten
Enhetstype	Operativsystemet til enheten = IDFA eller GAID
horisontal_nøyaktighet	Nøyaktighet av horisontale GPS-koordinater (i meter)
tidsstempel	Tidsstempel for arrangementet
ip	IP-adresse
alt	Høyde på enheten (i meter)
fart	Enhetens hastighet (i meter/sekund)
land	ISO tosifret kode for opprinnelseslandet
stat	Koder som representerer staten
by	Koder som representerer byen
post kode	Postnummer for hvor enhets-ID er sett
carrier	Bærer for enheten
device_manufacturer	Produsent av enheten

Bruksmåter

Mobilitetsdata har utbredt bruk i ulike bransjer. Følgende er noen av de vanligste brukstilfellene:

• Tetthetsmålinger – Fottrafikkanalyse kan kombineres med befolkningstetthet for å observere aktiviteter og besøk til interessepunkter (POI). Disse beregningene gir et bilde av hvor mange enheter eller brukere som aktivt stopper og engasjerer seg i en bedrift, som kan brukes videre til valg av nettsteder eller til og med analysere bevegelsesmønstre rundt en begivenhet (for eksempel folk som reiser for en kampdag). For å få slik innsikt går de innkommende rådataene gjennom en prosess for uttrekk, transformasjon og lasting (ETL) for å identifisere aktiviteter eller engasjementer fra den kontinuerlige strømmen av enhetsplasseringspinger. Vi kan analysere aktiviteter ved å identifisere stopp gjort av brukeren eller mobilenheten ved å gruppere ping ved å bruke ML-modeller i Amazon SageMaker.
• Turer og baner – En enhets daglige posisjonsfeed kan uttrykkes som en samling av aktiviteter (stopp) og turer (bevegelse). Et par aktiviteter kan representere en tur mellom dem, og sporing av turen ved hjelp av den bevegelige enheten i geografisk rom kan føre til kartlegging av den faktiske banen. Banemønstre for brukerbevegelser kan føre til interessant innsikt som trafikkmønstre, drivstofforbruk, byplanlegging og mer. Den kan også gi data for å analysere ruten tatt fra reklamepunkter, for eksempel en reklametavle, identifisere de mest effektive leveringsrutene for å optimere forsyningskjeden, eller analysere evakueringsruter i naturkatastrofer (for eksempel orkanevakuering).
• Nedslagsfeltanalyse - A nedslagsfelt refererer til steder et gitt område trekker sine besøkende fra, som kan være kunder eller potensielle kunder. Detaljhandelsbedrifter kan bruke denne informasjonen til å finne det optimale stedet for å åpne en ny butikk, eller finne ut om to butikksteder er for nær hverandre med overlappende nedslagsfelt og hindrer hverandres virksomhet. De kan også finne ut hvor de faktiske kundene kommer fra, identifisere potensielle kunder som passerer området på reise til jobb eller hjem, analysere lignende besøksmål for konkurrenter og mer. Marketing Tech (MarTech) og Advertisement Tech (AdTech) selskaper kan også bruke denne analysen til å optimalisere markedsføringskampanjer ved å identifisere publikum i nærheten av et merkes butikk eller for å rangere butikker etter ytelse for annonsering utenfor hjemmet.

Det er flere andre brukstilfeller, inkludert generering av stedsintelligens for kommersiell eiendom, utvidelse av satellittbildedata med antall fotgjengere, identifisere leveringsknutepunkter for restauranter, bestemme sannsynligheten for evakuering av nabolag, oppdage folks bevegelsesmønstre under en pandemi og mer.

Utfordringer og etisk bruk

Etisk bruk av mobilitetsdata kan føre til mange interessante innsikter som kan hjelpe organisasjoner med å forbedre sine operasjoner, utføre effektiv markedsføring eller til og med oppnå et konkurransefortrinn. For å bruke disse dataene etisk, må flere trinn følges.

Det starter med selve innsamlingen av data. Selv om de fleste mobilitetsdata forblir fri for personlig identifiserbar informasjon (PII) som navn og adresse, må datainnsamlere og aggregatorer ha brukerens samtykke for å samle inn, bruke, lagre og dele dataene deres. Personvernlover som GDPR og CCPA må overholdes fordi de gir brukerne mulighet til å bestemme hvordan bedrifter kan bruke dataene deres. Dette første trinnet er et betydelig grep mot etisk og ansvarlig bruk av mobilitetsdata, men mer kan gjøres.

Hver enhet er tilordnet en hashed Mobile Advertising ID (MAID), som brukes til å forankre de individuelle pingene. Dette kan tilsløres ytterligere ved å bruke Amazon Macie, Amazon S3 Object Lambda, Amazon Comprehend, eller til og med AWS Lim Studio Oppdag PII-transformasjon. For mer informasjon, se Vanlige teknikker for å oppdage PHI- og PII-data ved hjelp av AWS Services.

Bortsett fra PII, bør det tas hensyn til å maskere brukerens hjemmeposisjon så vel som andre sensitive steder som militærbaser eller steder for tilbedelse.

Det siste trinnet for etisk bruk er å utlede og eksportere kun aggregerte beregninger fra Amazon SageMaker. Dette betyr å få beregninger som gjennomsnittlig antall eller totalt antall besøkende i motsetning til individuelle reisemønstre; få daglige, ukentlige, månedlige eller årlige trender; eller indeksere mobilitetsmønstre over offentlig tilgjengelige data som folketellingsdata.

Løsningsoversikt

Som nevnt tidligere er AWS-tjenestene du kan bruke for analyse av mobilitetsdata Amazon S3, Amazon Macie, AWS Glue, S3 Object Lambda, Amazon Comprehend og Amazon SageMaker geospatiale muligheter. Amazon SageMaker geospatiale evner gjør det enkelt for dataforskere og ML-ingeniører å bygge, trene og distribuere modeller ved hjelp av geospatiale data. Du kan effektivt transformere eller berike store geospatiale datasett, akselerere modellbygging med forhåndstrente ML-modeller og utforske modellprediksjoner og geospatiale data på et interaktivt kart ved hjelp av 3D-akselerert grafikk og innebygde visualiseringsverktøy.

Følgende referansearkitektur viser en arbeidsflyt som bruker ML med geospatiale data.

I denne arbeidsflyten blir rådata samlet fra ulike datakilder og lagret i en Amazon enkel lagringstjeneste (S3) bøtte. Amazon Macie brukes på denne S3-bøtten for å identifisere og redigere og PII. AWS Glue brukes deretter til å rense og transformere rådataene til ønsket format, deretter lagres de modifiserte og rensede dataene i en separat S3-bøtte. For de datatransformasjonene som ikke er mulig via AWS Glue, bruker du AWS Lambda for å endre og rense rådataene. Når dataene er renset, kan du bruke Amazon SageMaker til å bygge, trene og distribuere ML-modeller på de forberedte geospatiale dataene. Du kan også bruke geospatial Processing jobber funksjon av Amazon SageMaker geospatiale muligheter for å forhåndsbehandle dataene – for eksempel ved å bruke en Python-funksjon og SQL-setninger for å identifisere aktiviteter fra de rå mobilitetsdataene. Dataforskere kan oppnå denne prosessen ved å koble til via Amazon SageMaker-notatbøker. Du kan også bruke Amazon QuickSight å visualisere forretningsresultater og andre viktige beregninger fra dataene.

Amazon SageMaker geospatiale muligheter og geospatiale behandlingsjobber

Etter at dataene er innhentet og matet inn i Amazon S3 med en daglig feed og renset for eventuelle sensitive data, kan de importeres til Amazon SageMaker ved hjelp av en Amazon SageMaker Studio notatbok med et geospatialt bilde. Følgende skjermbilde viser et eksempel på daglige enhetspinger lastet opp til Amazon S3 som en CSV-fil og deretter lastet inn i en panda-dataramme. Amazon SageMaker Studio-notisboken med geospatialt bilde leveres forhåndslastet med geospatiale biblioteker som GDAL, GeoPandas, Fiona og Shapely, og gjør det enkelt å behandle og analysere disse dataene.

Dette eksempeldatasettet inneholder omtrent 400,000 5,000 daglige enhetspinger fra 14,000 15 enheter fra 2023 XNUMX unike steder registrert fra brukere som besøker Arrowhead Mall, et populært kjøpesenterkompleks i Phoenix, Arizona, XNUMX. mai XNUMX. Det foregående skjermbildet viser et undersett av kolonner i dataskjema. De MAID kolonnen representerer enhets-ID, og ​​hver MAID genererer ping hvert minutt som videresender bredde- og lengdegraden til enheten, registrert i eksempelfilen som Lat og Lng kolonner.

Følgende er skjermbilder fra kartvisualiseringsverktøyet til Amazon SageMaker geospatiale funksjoner drevet av Foursquare Studio, som viser utformingen av ping fra enheter som besøker kjøpesenteret mellom 7:00 og 6:00.

Følgende skjermbilde viser ping fra kjøpesenteret og områdene rundt.

Følgende viser ping fra ulike butikker i kjøpesenteret.

Hver prikk i skjermbildene viser et ping fra en gitt enhet på et gitt tidspunkt. En klynge av ping representerer populære steder der enheter samlet seg eller stoppet, for eksempel butikker eller restauranter.

Som en del av den innledende ETL, kan disse rådataene lastes inn på tabeller ved hjelp av AWS Glue. Du kan opprette en AWS Glue-crawler for å identifisere skjemaet til dataene og skjematabellene ved å peke på rådataplasseringen i Amazon S3 som datakilden.

Som nevnt ovenfor, vil rådataene (de daglige enhetspingene), selv etter innledende ETL, representere en kontinuerlig strøm av GPS-pinger som indikerer enhetens plassering. For å trekke ut praktisk innsikt fra disse dataene, må vi identifisere stopp og turer (baner). Dette kan oppnås ved å bruke geospatial Processing jobber funksjon av SageMaker geospatiale evner. Amazon SageMaker-prosessering bruker en forenklet, administrert opplevelse på SageMaker for å kjøre databehandlingsarbeidsmengder med den spesialbygde geospatiale beholderen. Den underliggende infrastrukturen for en SageMaker Processing-jobb administreres fullt ut av SageMaker. Denne funksjonen gjør det mulig å kjøre tilpasset kode på geospatiale data lagret på Amazon S3 ved å kjøre en geospatial ML-beholder på en SageMaker Processing-jobb. Du kan kjøre tilpassede operasjoner på åpne eller private geospatiale data ved å skrive tilpasset kode med åpen kildekode-biblioteker, og kjøre operasjonen i skala ved å bruke SageMaker Processing-jobber. Den containerbaserte tilnærmingen løser behov rundt standardisering av utviklingsmiljø med vanlig brukte åpen kildekode-biblioteker.

For å kjøre slike store arbeidsbelastninger trenger du en fleksibel dataklynge som kan skaleres fra titalls forekomster for å behandle en byblokk, til tusenvis av forekomster for prosessering i planetarisk skala. Manuell administrasjon av en DIY-dataklynge er treg og dyr. Denne funksjonen er spesielt nyttig når mobilitetsdatasettet involverer mer enn noen få byer til flere stater eller til og med land og kan brukes til å kjøre en to-trinns ML-tilnærming.

Det første trinnet er å bruke tetthetsbasert romlig klynging av applikasjoner med støyalgoritme (DBSCAN) for å klynge stopp fra ping. Det neste trinnet er å bruke støttevektormaskiner (SVM)-metoden for å forbedre nøyaktigheten til de identifiserte stoppene ytterligere, og også for å skille mellom stopp med engasjementer med en POI og stopp uten en (som hjemme eller jobb). Du kan også bruke SageMaker Processing-jobb til å generere turer og baner fra de daglige enhetspingene ved å identifisere påfølgende stopp og kartlegge banen mellom kilde- og destinasjonsstoppene.

Etter å ha behandlet rådataene (daglige enhetspinger) i skala med geospatiale prosesseringsjobber, skal det nye datasettet kalt stops ha følgende skjema.

Egenskap	Beskrivelse
ID eller MAID	Mobilannonserings-ID for enheten (hashed)
lat	Breddegrad for tyngdepunktet til stoppklyngen
lng	Lengdegrad av tyngdepunktet til stoppklyngen
geoash	Geohash plassering av POI
Enhetstype	Operativsystemet til enheten (IDFA eller GAID)
tidsstempel	Starttidspunkt for stoppet
holdetid	Dveletid for stoppet (i sekunder)
ip	IP-adresse
alt	Høyde på enheten (i meter)
land	ISO tosifret kode for opprinnelseslandet
stat	Koder som representerer staten
by	Koder som representerer byen
post kode	Postnummer for hvor enhets-ID er sett
carrier	Bærer for enheten
device_manufacturer	Produsent av enheten

Stoppene konsolideres ved å gruppere pingene per enhet. Tetthetsbasert clustering kombineres med parametere som at stoppterskelen er 300 sekunder og minimumsavstanden mellom stoppene er 50 meter. Disse parametrene kan justeres i henhold til ditt bruksområde.

Følgende skjermbilde viser omtrent 15,000 400,000 stopp identifisert fra XNUMX XNUMX ping. Et undersett av det foregående skjemaet er også til stede, der kolonnen Dwell Time representerer stoppvarigheten, og Lat og Lng kolonner representerer bredde- og lengdegraden til tyngdene i stoppklyngen per enhet per plassering.

Post-ETL lagres data i Parquet-filformat, som er et kolonneformet lagringsformat som gjør det enklere å behandle store datamengder.

Følgende skjermbilde viser holdeplassene konsolidert fra ping per enhet inne i kjøpesenteret og områdene rundt.

Etter å ha identifisert stopp, kan dette datasettet slås sammen med offentlig tilgjengelige POI-data eller tilpassede POI-data som er spesifikke for brukstilfellet for å identifisere aktiviteter, for eksempel engasjement med merkevarer.

Følgende skjermbilde viser holdeplassene identifisert ved store POIer (butikker og merker) inne i Arrowhead Mall.

Hjemmepostnummer har blitt brukt til å maskere hver besøkendes hjemsted for å opprettholde personvernet i tilfelle det er en del av turen deres i datasettet. Bredde- og lengdegrad i slike tilfeller er de respektive koordinatene til tyngdepunktet til postnummeret.

Følgende skjermbilde er en visuell representasjon av slike aktiviteter. Det venstre bildet kartlegger holdeplassene til butikkene, og det høyre bildet gir en idé om utformingen av selve kjøpesenteret.

Dette resulterende datasettet kan visualiseres på en rekke måter, som vi diskuterer i de følgende avsnittene.

Tetthetsmålinger

Vi kan beregne og visualisere tettheten av aktiviteter og besøk.

Eksempel 1 – Følgende skjermbilde viser topp 15 besøkte butikker i kjøpesenteret.

Eksempel 2 – Følgende skjermbilde viser antall besøk til Apple Store per time.

Turer og baner

Som nevnt tidligere, representerer et par påfølgende aktiviteter en tur. Vi kan bruke følgende tilnærming til å utlede turer fra aktivitetsdataene. Her brukes vindusfunksjoner med SQL for å generere trips tabellen, som vist på skjermbildet.

Etter trips tabellen genereres, turer til et POI kan bestemmes.

Eksempel 1 – Følgende skjermbilde viser de 10 beste butikkene som dirigerer fottrafikk mot Apple Store.

Eksempel 2 – Følgende skjermbilde viser alle turene til Arrowhead Mall.

Eksempel 3 – Den følgende videoen viser bevegelsesmønstrene inne i kjøpesenteret.

Eksempel 4 – Den følgende videoen viser bevegelsesmønstrene utenfor kjøpesenteret.

Nedslagsfeltanalyse

Vi kan analysere alle besøk til et POI og bestemme nedslagsfeltet.

Eksempel 1 – Følgende skjermbilde viser alle besøk til Macy's-butikken.

Eksempel 2 – Følgende skjermbilde viser de 10 beste postnumrene for hjemmeområdet (grenser uthevet) hvor besøkene skjedde.

Datakvalitetssjekk

Vi kan sjekke den daglige innkommende datastrømmen for kvalitet og oppdage uregelmessigheter ved å bruke QuickSight-dashboard og dataanalyser. Følgende skjermbilde viser et eksempel på dashbord.

konklusjonen

Mobilitetsdata og deres analyse for å få kundeinnsikt og oppnå konkurransefortrinn er fortsatt et nisjeområde fordi det er vanskelig å få et konsistent og nøyaktig datasett. Imidlertid kan disse dataene hjelpe organisasjoner med å legge kontekst til eksisterende analyser og til og med produsere ny innsikt rundt kundebevegelsesmønstre. Amazon SageMaker geospatiale evner og geospatiale prosesseringsjobber kan bidra til å implementere disse brukstilfellene og utlede innsikt på en intuitiv og tilgjengelig måte.

I dette innlegget demonstrerte vi hvordan du bruker AWS-tjenester for å rense mobilitetsdataene og deretter bruke Amazon SageMaker geospatiale muligheter for å generere avledede datasett som stopp, aktiviteter og turer ved hjelp av ML-modeller. Deretter brukte vi de avledede datasettene til å visualisere bevegelsesmønstre og generere innsikt.

Du kan komme i gang med Amazon SageMaker geospatiale muligheter på to måter:

For å lære mer, besøk Amazon SageMaker geospatiale muligheter og Komme i gang med Amazon SageMaker geospatial. Besøk også vår GitHub repo, som har flere eksempler på notatbøker på Amazon SageMaker geospatiale muligheter.

---

Om forfatterne

Jimy Matthews er en AWS Solutions Architect, med ekspertise innen AI/ML-teknologi. Jimy er basert i Boston og jobber med bedriftskunder mens de transformerer virksomheten sin ved å ta i bruk skyen og hjelper dem med å bygge effektive og bærekraftige løsninger. Han er lidenskapelig opptatt av familien, bilene og Mixed martial arts.

Girish Keshav er en løsningsarkitekt hos AWS, og hjelper kunder i deres skymigrasjonsreise for å modernisere og kjøre arbeidsbelastninger sikkert og effektivt. Han jobber med ledere av teknologiteam for å veilede dem om applikasjonssikkerhet, maskinlæring, kostnadsoptimalisering og bærekraft. Han er basert i San Francisco, og elsker å reise, gå på fotturer, se på sport og utforske håndverksbryggerier.

Ramesh Jetty er seniorleder for Solutions Architecture med fokus på å hjelpe AWS-bedriftskunder med å tjene penger på datamidlene sine. Han råder ledere og ingeniører til å designe og bygge svært skalerbare, pålitelige og kostnadseffektive skyløsninger, spesielt fokusert på maskinlæring, data og analyser. På fritiden liker han friluftsliv, sykling og fotturer med familien.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/