Use dados de mobilidade para obter insights usando recursos geoespaciais do Amazon SageMaker | Amazon Web Services

Dados geoespaciais são dados sobre locais específicos na superfície da Terra. Pode representar uma área geográfica como um todo ou pode representar um evento associado a uma área geográfica. A análise de dados geoespaciais é procurada em alguns setores. Envolve compreender onde os dados existem a partir de uma perspectiva espacial e por que eles existem ali.

Existem dois tipos de dados geoespaciais: dados vetoriais e dados raster. Os dados raster são uma matriz de células representadas como uma grade, representando principalmente fotografias e imagens de satélite. Neste post, nos concentramos em dados vetoriais, que são representados como coordenadas geográficas de latitude e longitude, bem como linhas e polígonos (áreas) que os conectam ou abrangem. Os dados vetoriais têm uma infinidade de casos de uso na obtenção de insights de mobilidade. Os dados móveis do usuário são um desses componentes e são derivados principalmente da posição geográfica de dispositivos móveis que usam GPS ou de editores de aplicativos que usam SDKs ou integrações semelhantes. Para os fins desta postagem, nos referimos a esses dados como dados de mobilidade.

Esta é uma série de duas partes. Neste primeiro post apresentamos dados de mobilidade, suas fontes e um esquema típico desses dados. Em seguida, discutiremos os vários casos de uso e exploraremos como você pode usar os serviços da AWS para limpar os dados, como o aprendizado de máquina (ML) pode ajudar nesse esforço e como você pode fazer uso ético dos dados na geração de recursos visuais e insights. A segunda postagem será de natureza mais técnica e cobrirá essas etapas detalhadamente junto com o código de exemplo. Esta postagem não possui um conjunto de dados ou código de amostra, mas aborda como usar os dados depois de adquiridos de um agregador de dados.

Você pode usar Recursos geoespaciais do Amazon SageMaker para sobrepor dados de mobilidade em um mapa básico e fornecer visualização em camadas para facilitar a colaboração. O visualizador interativo alimentado por GPU e os notebooks Python fornecem uma maneira perfeita de explorar milhões de pontos de dados em uma única janela e compartilhar insights e resultados.

Fontes e esquema

Existem poucas fontes de dados de mobilidade. Além de pings de GPS e editores de aplicativos, outras fontes são usadas para aumentar o conjunto de dados, como pontos de acesso Wi-Fi, dados de fluxo de lances obtidos por meio da veiculação de anúncios em dispositivos móveis e transmissores de hardware específicos colocados por empresas (por exemplo, em lojas físicas). ). Muitas vezes é difícil para as empresas coletarem esses dados por conta própria, por isso podem adquiri-los de agregadores de dados. Os agregadores de dados coletam dados de mobilidade de diversas fontes, limpam-nos, adicionam ruído e disponibilizam os dados diariamente para regiões geográficas específicas. Devido à natureza dos dados em si e porque são difíceis de obter, a precisão e a qualidade destes dados podem variar consideravelmente, e cabe às empresas avaliar e verificar isso usando métricas como usuários ativos diários, total de pings diários, e média de pings diários por dispositivo. A tabela a seguir mostra a aparência de um esquema típico de um feed de dados diário enviado por agregadores de dados.

Atributo	Descrição
ID ou EMPREGADA	ID de publicidade móvel (MAID) do dispositivo (com hash)
lat	Latitude do dispositivo
lng	Longitude do dispositivo
geohash	Localização geohash do dispositivo
tipo de dispositivo	Sistema operacional do dispositivo = IDFA ou GAID
precisão_horizontal	Precisão das coordenadas GPS horizontais (em metros)
timestamp	Data e hora do evento
ip	Endereço IP
alt	Altitude do dispositivo (em metros)
velocidade	Velocidade do dispositivo (em metros/segundo)
país	Código ISO de dois dígitos para o país de origem
estado	Códigos que representam o estado
cidade	Códigos representando a cidade
Cep	CEP de onde o ID do dispositivo é visto
portador	Transportadora do dispositivo
fabricante_do_dispositivo	Fabricante do dispositivo

Os casos de uso

Os dados de mobilidade têm aplicações generalizadas em diversos setores. A seguir estão alguns dos casos de uso mais comuns:

• Métricas de densidade – A análise do tráfego pedonal pode ser combinada com a densidade populacional para observar atividades e visitas a pontos de interesse (POIs). Essas métricas apresentam uma imagem de quantos dispositivos ou usuários estão ativamente parando e interagindo com uma empresa, o que pode ser usado posteriormente para seleção de locais ou até mesmo para analisar padrões de movimento em torno de um evento (por exemplo, pessoas viajando para um dia de jogo). Para obter esses insights, os dados brutos recebidos passam por um processo de extração, transformação e carregamento (ETL) para identificar atividades ou compromissos do fluxo contínuo de pings de localização de dispositivos. Podemos analisar atividades identificando paradas feitas pelo usuário ou dispositivo móvel, agrupando pings usando modelos de ML em Amazon Sage Maker.
• Viagens e trajetórias – O feed diário de localização de um dispositivo pode ser expresso como um conjunto de atividades (paradas) e viagens (movimento). Um par de atividades pode representar uma viagem entre elas, e traçar a viagem pelo dispositivo móvel no espaço geográfico pode levar ao mapeamento da trajetória real. Os padrões de trajetória dos movimentos dos usuários podem levar a insights interessantes, como padrões de tráfego, consumo de combustível, planejamento urbano e muito mais. Também pode fornecer dados para analisar a rota seguida a partir de pontos publicitários, como um outdoor, identificar as rotas de entrega mais eficientes para otimizar as operações da cadeia de abastecimento ou analisar rotas de evacuação em desastres naturais (por exemplo, evacuação de furacões).
• Análise da área de captação - UMA área de captação refere-se a locais de onde uma determinada área atrai visitantes, que podem ser clientes ou potenciais clientes. As empresas de varejo podem usar essas informações para determinar o local ideal para abrir uma nova loja ou determinar se duas lojas estão muito próximas uma da outra com áreas de influência sobrepostas e estão prejudicando os negócios uma da outra. Eles também podem descobrir de onde vêm os clientes reais, identificar clientes em potencial que passam pela área viajando para o trabalho ou para casa, analisar métricas de visitação semelhantes para concorrentes e muito mais. As empresas de Marketing Tech (MarTech) e Advertisement Tech (AdTech) também podem usar essa análise para otimizar campanhas de marketing, identificando o público próximo à loja de uma marca ou para classificar as lojas por desempenho para publicidade fora de casa.

Existem vários outros casos de uso, incluindo a geração de inteligência de localização para imóveis comerciais, o aumento de dados de imagens de satélite com números de passos, a identificação de centros de entrega para restaurantes, a determinação da probabilidade de evacuação de bairros, a descoberta de padrões de movimento de pessoas durante uma pandemia e muito mais.

Desafios e uso ético

O uso ético dos dados de mobilidade pode levar a muitos insights interessantes que podem ajudar as organizações a melhorar suas operações, realizar um marketing eficaz ou até mesmo obter uma vantagem competitiva. Para utilizar esses dados de forma ética, várias etapas precisam ser seguidas.

Tudo começa com a própria coleta de dados. Embora a maioria dos dados de mobilidade permaneça livre de informações de identificação pessoal (PII), como nome e endereço, os coletores e agregadores de dados devem ter o consentimento do usuário para coletar, usar, armazenar e compartilhar seus dados. As leis de privacidade de dados, como GDPR e CCPA, precisam ser cumpridas porque permitem que os usuários determinem como as empresas podem usar seus dados. Este primeiro passo representa um passo substancial no sentido da utilização ética e responsável dos dados de mobilidade, mas é possível fazer mais.

Cada dispositivo recebe um ID de publicidade móvel (MAID) com hash, que é usado para ancorar os pings individuais. Isso pode ser ainda mais ofuscado usando Amazon Macie, Objeto Lambda do Amazon S3, Amazon Comprehend, ou até mesmo o Estúdio do AWS Glue Detectar transformação PII. Para obter mais informações, consulte Técnicas comuns para detectar dados PHI e PII usando serviços da AWS.

Além das PII, devem ser feitas considerações para mascarar a localização residencial do usuário, bem como outros locais sensíveis, como bases militares ou locais de culto.

A etapa final para o uso ético é derivar e exportar apenas métricas agregadas do Amazon SageMaker. Isso significa obter métricas como número médio ou total de visitantes, em oposição a padrões de viagens individuais; obter tendências diárias, semanais, mensais ou anuais; ou indexar padrões de mobilidade em dados disponíveis publicamente, como dados de censos.

Visão geral da solução

Conforme mencionado anteriormente, os serviços da AWS que você pode usar para análise de dados de mobilidade são Amazon S3, Amazon Macie, AWS Glue, S3 Object Lambda, Amazon Comprehend e recursos geoespaciais do Amazon SageMaker. Os recursos geoespaciais do Amazon SageMaker facilitam que cientistas de dados e engenheiros de ML criem, treinem e implantem modelos usando dados geoespaciais. Você pode transformar ou enriquecer com eficiência conjuntos de dados geoespaciais em grande escala, acelerar a construção de modelos com modelos de ML pré-treinados e explorar previsões de modelos e dados geoespaciais em um mapa interativo usando gráficos 3D acelerados e ferramentas de visualização integradas.

A arquitetura de referência a seguir descreve um fluxo de trabalho usando ML com dados geoespaciais.

Neste fluxo de trabalho, os dados brutos são agregados de várias fontes de dados e armazenados em um Serviço de armazenamento simples da Amazon (S3) balde. O Amazon Macie é usado neste bucket S3 para identificar e redigir PII. O AWS Glue é então usado para limpar e transformar os dados brutos no formato necessário e, em seguida, os dados modificados e limpos são armazenados em um bucket S3 separado. Para as transformações de dados que não são possíveis por meio do AWS Glue, você usa AWS Lambda para modificar e limpar os dados brutos. Quando os dados são limpos, você pode usar o Amazon SageMaker para criar, treinar e implantar modelos de ML nos dados geoespaciais preparados. Você também pode usar o Trabalhos de processamento geoespacial recurso dos recursos geoespaciais do Amazon SageMaker para pré-processar os dados — por exemplo, usando uma função Python e instruções SQL para identificar atividades a partir dos dados brutos de mobilidade. Os cientistas de dados podem realizar esse processo conectando-se por meio de notebooks Amazon SageMaker. Você também pode usar AmazonQuickSight para visualizar resultados de negócios e outras métricas importantes dos dados.

Recursos geoespaciais e trabalhos de processamento geoespacial do Amazon SageMaker

Depois que os dados forem obtidos e alimentados no Amazon S3 com um feed diário e limpos de quaisquer dados confidenciais, eles poderão ser importados para o Amazon SageMaker usando um Estúdio Amazon SageMaker caderno com uma imagem geoespacial. A captura de tela a seguir mostra uma amostra de pings diários de dispositivos carregados no Amazon S3 como um arquivo CSV e depois carregados em um quadro de dados do pandas. O notebook Amazon SageMaker Studio com imagem geoespacial vem pré-carregado com bibliotecas geoespaciais, como GDAL, GeoPandas, Fiona e Shapely, e simplifica o processamento e a análise desses dados.

Este conjunto de dados de amostra contém aproximadamente 400,000 pings diários de dispositivos de 5,000 dispositivos de 14,000 locais únicos registrados de usuários que visitaram o Arrowhead Mall, um popular complexo de shopping center em Phoenix, Arizona, em 15 de maio de 2023. A captura de tela anterior mostra um subconjunto de colunas no esquema de dados. O MAID coluna representa o ID do dispositivo, e cada MAID gera pings a cada minuto, retransmitindo a latitude e longitude do dispositivo, registradas no arquivo de amostra como Lat e Lng colunas.

A seguir estão capturas de tela da ferramenta de visualização de mapas dos recursos geoespaciais do Amazon SageMaker com tecnologia Foursquare Studio, representando o layout dos pings de dispositivos que visitam o shopping entre 7h e 00h.

A captura de tela a seguir mostra pings do shopping e arredores.

O seguinte mostra pings de dentro de várias lojas do shopping.

Cada ponto nas capturas de tela representa um ping de um determinado dispositivo em um determinado momento. Um conjunto de pings representa locais populares onde os dispositivos se reuniram ou pararam, como lojas ou restaurantes.

Como parte do ETL inicial, esses dados brutos podem ser carregados em tabelas usando o AWS Glue. Você pode criar um rastreador do AWS Glue para identificar o esquema dos dados e formar tabelas apontando para o local dos dados brutos no Amazon S3 como a fonte de dados.

Conforme mencionado acima, os dados brutos (os pings diários do dispositivo), mesmo após o ETL inicial, representarão um fluxo contínuo de pings GPS indicando a localização dos dispositivos. Para extrair insights acionáveis ​​desses dados, precisamos identificar paradas e viagens (trajetórias). Isto pode ser conseguido usando o Trabalhos de processamento geoespacial recurso dos recursos geoespaciais do SageMaker. Processamento do Amazon SageMaker usa uma experiência simplificada e gerenciada no SageMaker para executar cargas de trabalho de processamento de dados com o contêiner geoespacial desenvolvido especificamente. A infraestrutura subjacente para um trabalho de processamento do SageMaker é totalmente gerenciada pelo SageMaker. Esse recurso permite que código personalizado seja executado em dados geoespaciais armazenados no Amazon S3 executando um contêiner de ML geoespacial em um trabalho do SageMaker Processing. Você pode executar operações personalizadas em dados geoespaciais abertos ou privados escrevendo código personalizado com bibliotecas de código aberto e executar a operação em escala usando trabalhos do SageMaker Processing. A abordagem baseada em contêiner atende às necessidades de padronização do ambiente de desenvolvimento com bibliotecas de código aberto comumente usadas.

Para executar essas cargas de trabalho em grande escala, você precisa de um cluster de computação flexível que possa escalar de dezenas de instâncias para processar um quarteirão de uma cidade até milhares de instâncias para processamento em escala planetária. Gerenciar manualmente um cluster de computação DIY é lento e caro. Esse recurso é particularmente útil quando o conjunto de dados de mobilidade envolve mais do que algumas cidades para vários estados ou mesmo países e pode ser usado para executar uma abordagem de ML em duas etapas.

A primeira etapa é usar o algoritmo de agrupamento espacial de aplicativos com ruído (DBSCAN) baseado em densidade para agrupar paradas de pings. A próxima etapa é usar o método de máquinas de vetores de suporte (SVMs) para melhorar ainda mais a precisão das paradas identificadas e também para distinguir paradas com compromissos com um POI versus paradas sem ele (como em casa ou no trabalho). Você também pode usar o trabalho de processamento do SageMaker para gerar viagens e trajetórias a partir dos pings diários do dispositivo, identificando paradas consecutivas e mapeando o caminho entre as paradas de origem e de destino.

Depois de processar os dados brutos (pings diários do dispositivo) em escala com trabalhos de processamento geoespacial, o novo conjunto de dados chamado paradas deverá ter o esquema a seguir.

Atributo	Descrição
ID ou EMPREGADA	ID de publicidade móvel do dispositivo (com hash)
lat	Latitude do centróide do cluster de parada
lng	Longitude do centróide do cluster de parada
geohash	Localização geohash do POI
tipo de dispositivo	Sistema operacional do dispositivo (IDFA ou GAID)
timestamp	Hora de início da parada
tempo_de_moradia	Tempo de espera da parada (em segundos)
ip	Endereço IP
alt	Altitude do dispositivo (em metros)
país	Código ISO de dois dígitos para o país de origem
estado	Códigos que representam o estado
cidade	Códigos representando a cidade
Cep	CEP de onde o ID do dispositivo é visto
portador	Transportadora do dispositivo
fabricante_do_dispositivo	Fabricante do dispositivo

As paradas são consolidadas agrupando os pings por dispositivo. O agrupamento baseado em densidade é combinado com parâmetros como o limite de parada de 300 segundos e a distância mínima entre as paradas de 50 metros. Esses parâmetros podem ser ajustados de acordo com seu caso de uso.

A captura de tela a seguir mostra aproximadamente 15,000 paradas identificadas em 400,000 pings. Um subconjunto do esquema anterior também está presente, onde a coluna Dwell Time representa a duração da parada e o Lat e Lng as colunas representam a latitude e a longitude dos centróides do cluster de paradas por dispositivo e por local.

Pós-ETL, os dados são armazenados no formato de arquivo Parquet, que é um formato de armazenamento colunar que facilita o processamento de grandes quantidades de dados.

A captura de tela a seguir mostra as paradas consolidadas a partir de pings por dispositivo dentro do shopping e arredores.

Depois de identificar as paradas, esse conjunto de dados pode ser unido a dados de POI disponíveis publicamente ou a dados de POI personalizados específicos do caso de uso para identificar atividades, como envolvimento com marcas.

A captura de tela a seguir mostra as paradas identificadas nos principais POIs (lojas e marcas) dentro do Arrowhead Mall.

Os códigos postais residenciais foram usados ​​para mascarar a localização residencial de cada visitante para manter a privacidade caso isso faça parte de sua viagem no conjunto de dados. A latitude e a longitude, nesses casos, são as respectivas coordenadas do centróide do código postal.

A captura de tela a seguir é uma representação visual de tais atividades. A imagem da esquerda mapeia as paradas das lojas, e a imagem da direita dá uma ideia do layout do próprio shopping.

Esse conjunto de dados resultante pode ser visualizado de várias maneiras, que discutiremos nas seções a seguir.

Métricas de densidade

Podemos calcular e visualizar a densidade de atividades e visitas.

Exemplo 1 – A captura de tela a seguir mostra as 15 lojas mais visitadas no shopping.

Exemplo 2 – A captura de tela a seguir mostra o número de visitas à Apple Store por hora.

Viagens e trajetórias

Conforme mencionado anteriormente, um par de atividades consecutivas representa uma viagem. Podemos usar a seguinte abordagem para derivar viagens a partir dos dados de atividades. Aqui, funções de janela são usadas com SQL para gerar o trips tabela, conforme mostrado na captura de tela.

Após trips é gerada, as viagens para um POI podem ser determinadas.

Exemplo 1 - A captura de tela a seguir mostra as 10 principais lojas que direcionam o tráfego de pedestres para a Apple Store.

Exemplo 2 – A captura de tela a seguir mostra todas as viagens ao Arrowhead Mall.

Exemplo 3 – O vídeo a seguir mostra os padrões de movimento dentro do shopping.

Exemplo 4 – O vídeo a seguir mostra os padrões de movimento fora do shopping.

Análise da área de captação

Podemos analisar todas as visitas a um POI e determinar a área de influência.

Exemplo 1 - A captura de tela a seguir mostra todas as visitas à loja Macy’s.

Exemplo 2 – A captura de tela a seguir mostra os 10 principais CEPs da área residencial (limites destacados) de onde ocorreram as visitas.

Verificação de qualidade de dados

Podemos verificar a qualidade do feed de dados recebido diariamente e detectar anomalias usando painéis QuickSight e análises de dados. A captura de tela a seguir mostra um painel de exemplo.

Conclusão

Os dados de mobilidade e a sua análise para obter informações sobre os clientes e obter vantagem competitiva continuam a ser uma área de nicho porque é difícil obter um conjunto de dados consistente e preciso. No entanto, esses dados podem ajudar as organizações a adicionar contexto às análises existentes e até mesmo a produzir novos insights sobre os padrões de movimentação dos clientes. Os recursos geoespaciais e os trabalhos de processamento geoespacial do Amazon SageMaker podem ajudar a implementar esses casos de uso e obter insights de maneira intuitiva e acessível.

Nesta postagem, demonstramos como usar os serviços da AWS para limpar os dados de mobilidade e, em seguida, usar os recursos geoespaciais do Amazon SageMaker para gerar conjuntos de dados derivados, como paradas, atividades e viagens usando modelos de ML. Em seguida, usamos os conjuntos de dados derivados para visualizar padrões de movimento e gerar insights.

Você pode começar a usar os recursos geoespaciais do Amazon SageMaker de duas maneiras:

Para saber mais, visite Recursos geoespaciais do Amazon SageMaker e Conceitos básicos do Amazon SageMaker geoespacial. Visite também nosso GitHub repo, que tem vários blocos de anotações de exemplo sobre recursos geoespaciais do Amazon SageMaker.

---

Sobre os autores

Jimmy Matthews é arquiteto de soluções da AWS, com experiência em tecnologia de IA/ML. Jimy mora em Boston e trabalha com clientes empresariais à medida que eles transformam seus negócios adotando a nuvem e os ajuda a criar soluções eficientes e sustentáveis. Ele é apaixonado por sua família, carros e artes marciais mistas.

Girish Keshav é arquiteto de soluções na AWS, ajudando clientes em sua jornada de migração para a nuvem para modernizar e executar cargas de trabalho com segurança e eficiência. Ele trabalha com líderes de equipes de tecnologia para orientá-los sobre segurança de aplicações, aprendizado de máquina, otimização de custos e sustentabilidade. Ele mora em São Francisco e adora viajar, fazer caminhadas, assistir esportes e explorar cervejarias artesanais.

Cais Ramesh é líder sênior de arquitetura de soluções focada em ajudar clientes empresariais da AWS a monetizar seus ativos de dados. Ele aconselha executivos e engenheiros a projetar e construir soluções em nuvem altamente escaláveis, confiáveis ​​e econômicas, especialmente focadas em aprendizado de máquina, dados e análises. Em seu tempo livre, ele gosta de atividades ao ar livre, andar de bicicleta e fazer caminhadas com sua família.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/