Используйте данные о мобильности для получения ценной информации с помощью геопространственных возможностей Amazon SageMaker | Веб-сервисы Amazon

Геопространственные данные — это данные об определенных местах на поверхности Земли. Он может представлять географическую область в целом или событие, связанное с географической областью. Анализ геопространственных данных востребован в нескольких отраслях. Это предполагает понимание того, где данные существуют с пространственной точки зрения и почему они там существуют.

Существует два типа геопространственных данных: векторные данные и растровые данные. Растровые данные представляют собой матрицу ячеек, представленную в виде сетки, в основном представляющую фотографии и спутниковые изображения. В этом посте мы сосредоточимся на векторных данных, которые представлены в виде географических координат широты и долготы, а также линий и многоугольников (областей), соединяющих или охватывающих их. Векторные данные имеют множество вариантов использования для получения информации о мобильности. Мобильные данные пользователей являются одним из таких компонентов, и они в основном основаны на географическом положении мобильных устройств, использующих GPS, или на основе издателей приложений, использующих SDK или аналогичные интеграции. Для целей этой статьи мы будем называть эти данные данные о мобильности.

Это серия из двух частей. В этом первом посте мы представляем данные о мобильности, их источники и типичную схему этих данных. Затем мы обсудим различные варианты использования и исследуем, как вы можете использовать сервисы AWS для очистки данных, как машинное обучение (ML) может помочь в этих усилиях и как вы можете этически использовать данные для создания визуальных эффектов и аналитической информации. Второй пост будет носить более технический характер и будет подробно освещать эти шаги вместе с примером кода. В этом посте нет примера набора данных или примера кода, а скорее рассказывается, как использовать данные после их приобретения у агрегатора данных.

Вы можете использовать Геопространственные возможности Amazon SageMaker для наложения данных о мобильности на базовую карту и обеспечения многоуровневой визуализации для упрощения совместной работы. Интерактивный визуализатор на базе графического процессора и блокноты Python предоставляют удобный способ исследовать миллионы точек данных в одном окне и обмениваться информацией и результатами.

Исходники и схема

Источников данных о мобильности немного. Помимо сигналов GPS и издателей приложений, для дополнения набора данных используются и другие источники, такие как точки доступа Wi-Fi, данные потока ставок, полученные посредством показа рекламы на мобильных устройствах, а также специальные аппаратные передатчики, размещаемые предприятиями (например, в обычных магазинах). ). Предприятиям зачастую сложно собирать эти данные самостоятельно, поэтому они могут приобретать их у агрегаторов данных. Агрегаторы данных собирают данные о мобильности из различных источников, очищают их, добавляют шум и ежедневно делают данные доступными для конкретных географических регионов. Из-за характера самих данных и сложности их получения точность и качество этих данных могут значительно различаться, и компании должны оценивать и проверять это, используя такие показатели, как количество активных пользователей в день, общее количество ежедневных пингов и т. д. и средний ежедневный пинг на устройство. В следующей таблице показано, как может выглядеть типичная схема ежедневного потока данных, отправляемого агрегаторами данных.

Атрибут	Описание
Идентификатор или горничная	Идентификатор мобильной рекламы (MAID) устройства (хешированный)
лат	Широта устройства
СПГ	Долгота устройства
геохеш	Геохеш местоположения устройства
тип устройства	Операционная система устройства = IDFA или GAID
горизонтальная_точность	Точность горизонтальных координат GPS (в метрах)
отметка времени	Временная метка события
ip	IP-адрес
альт	Высота устройства (в метрах)
скорость	Скорость устройства (в метрах/секунду)
страна	Двузначный код ISO страны происхождения.
состояние	Коды, представляющие состояние
город	Коды, представляющие город
почтовый индекс	Почтовый индекс, где виден идентификатор устройства
перевозчик	Перевозчик устройства
устройство_производитель	Производитель устройства

Use cases

Данные о мобильности широко применяются в различных отраслях. Ниже приведены некоторые из наиболее распространенных случаев использования:

• Показатели плотности – Анализ пешеходного трафика можно сочетать с плотностью населения для наблюдения за деятельностью и посещением достопримечательностей (POI). Эти показатели дают представление о том, сколько устройств или пользователей активно останавливаются и взаимодействуют с бизнесом, что в дальнейшем можно использовать для выбора места или даже для анализа моделей движения вокруг мероприятия (например, люди, путешествующие на игровой день). Чтобы получить такую ​​информацию, входящие необработанные данные проходят процесс извлечения, преобразования и загрузки (ETL) для идентификации действий или взаимодействий из непрерывного потока проверок местоположения устройств. Мы можем анализировать действия, определяя остановки, сделанные пользователем или мобильным устройством, путем кластеризации пингов с использованием моделей ML в Создатель мудреца Амазонки.
• Поездки и траектории – Ежедневная информация о местоположении устройства может быть выражена как совокупность действий (остановок) и поездок (движений). Пара действий может представлять собой путешествие между ними, а отслеживание путешествия движущегося устройства в географическом пространстве может привести к составлению карты фактической траектории. Траектории движения пользователей могут привести к интересным выводам, таким как структура дорожного движения, расход топлива, городское планирование и многое другое. Он также может предоставлять данные для анализа маршрута, пройденного от рекламных точек, таких как рекламный щит, определения наиболее эффективных маршрутов доставки для оптимизации операций цепочки поставок или анализа маршрутов эвакуации в случае стихийных бедствий (например, эвакуации во время урагана).
• Анализ площади водосбора - площадь водосбора относится к местам, откуда данная территория привлекает посетителей, которые могут быть клиентами или потенциальными клиентами. Предприятия розничной торговли могут использовать эту информацию, чтобы определить оптимальное место для открытия нового магазина или определить, не находятся ли два магазина слишком близко друг к другу с перекрывающимися зонами обслуживания и мешают бизнесу друг друга. Они также могут узнать, откуда приходят настоящие клиенты, выявить потенциальных клиентов, которые проходят мимо этого района по дороге на работу или домой, проанализировать аналогичные показатели посещений конкурентов и многое другое. Компании, занимающиеся маркетинговыми технологиями (MarTech) и рекламными технологиями (AdTech), также могут использовать этот анализ для оптимизации маркетинговых кампаний путем определения аудитории, расположенной рядом с магазином бренда, или для ранжирования магазинов по эффективности наружной рекламы.

Существует несколько других вариантов использования, включая сбор данных о местоположении коммерческой недвижимости, дополнение данных спутниковых изображений количеством шагов, определение центров доставки для ресторанов, определение вероятности эвакуации из района, обнаружение моделей передвижения людей во время пандемии и многое другое.

Проблемы и этическое использование

Этичное использование данных о мобильных устройствах может привести к множеству интересных идей, которые помогут организациям улучшить свою деятельность, провести эффективный маркетинг или даже получить конкурентное преимущество. Чтобы использовать эти данные с этической точки зрения, необходимо выполнить несколько шагов.

Все начинается со сбора самих данных. Хотя большинство мобильных данных по-прежнему не содержат личной информации (PII), такой как имя и адрес, сборщики и агрегаторы данных должны иметь согласие пользователя на сбор, использование, хранение и передачу своих данных. Необходимо соблюдать законы о конфиденциальности данных, такие как GDPR и CCPA, поскольку они дают пользователям возможность определять, как предприятия могут использовать их данные. Этот первый шаг представляет собой существенный шаг к этичному и ответственному использованию мобильных данных, но можно сделать еще больше.

Каждому устройству присваивается хешированный идентификатор мобильной рекламы (MAID), который используется для привязки отдельных пингов. Это можно еще больше запутать, используя Амазонка Мэйси, Лямбда объекта Amazon S3, Amazon Comprehendили даже Клей-студия AWS Обнаружение преобразования PII. Для получения дополнительной информации см. Общие методы обнаружения данных PHI и PII с помощью сервисов AWS.

Помимо PII, следует принять меры для маскировки домашнего местоположения пользователя, а также других конфиденциальных мест, таких как военные базы или места отправления культа.

Последним шагом этического использования является получение и экспорт только агрегированных показателей из Amazon SageMaker. Это означает получение таких показателей, как среднее или общее количество посетителей, а не индивидуальных моделей поездок; получение ежедневных, еженедельных, ежемесячных или ежегодных тенденций; или индексирование моделей мобильности по общедоступным данным, таким как данные переписи населения.

Обзор решения

Как упоминалось ранее, для анализа данных о мобильности можно использовать сервисы AWS: Amazon S3, Amazon Macie, AWS Glue, S3 Object Lambda, Amazon Comprehend и геопространственные возможности Amazon SageMaker. Геопространственные возможности Amazon SageMaker упрощают специалистам по данным и инженерам машинного обучения создание, обучение и развертывание моделей с использованием геопространственных данных. Вы можете эффективно преобразовывать или обогащать крупномасштабные наборы геопространственных данных, ускорять построение моделей с помощью предварительно обученных моделей машинного обучения, а также исследовать прогнозы моделей и геопространственные данные на интерактивной карте с помощью 3D-ускоренной графики и встроенных инструментов визуализации.

Следующая эталонная архитектура изображает рабочий процесс с использованием машинного обучения с геопространственными данными.

В этом рабочем процессе необработанные данные агрегируются из различных источников данных и сохраняются в Простой сервис хранения Amazon (S3) ведро. Amazon Macie используется в этом сегменте S3 для идентификации и редактирования личных данных. Затем AWS Glue используется для очистки и преобразования необработанных данных в необходимый формат, после чего измененные и очищенные данные сохраняются в отдельной корзине S3. Для тех преобразований данных, которые невозможны с помощью AWS Glue, вы используете AWS Lambda для изменения и очистки необработанных данных. После очистки данных вы можете использовать Amazon SageMaker для создания, обучения и развертывания моделей машинного обучения на основе подготовленных геопространственных данных. Вы также можете использовать геопространственные работы по обработке особенность геопространственных возможностей Amazon SageMaker для предварительной обработки данных — например, использование функции Python и операторов SQL для определения действий на основе необработанных данных о мобильности. Ученые, работающие с данными, могут выполнить этот процесс, подключившись через блокноты Amazon SageMaker. Вы также можете использовать Amazon QuickSight для визуализации бизнес-результатов и других важных показателей на основе данных.

Геопространственные возможности Amazon SageMaker и задания геопространственной обработки

После того как данные получены и загружены в Amazon S3 с ежедневной подачей и очищены от любых конфиденциальных данных, их можно импортировать в Amazon SageMaker с помощью Студия Amazon SageMaker блокнот с геопространственным изображением. На следующем снимке экрана показан пример ежедневных пингов устройств, загруженных в Amazon S3 в виде CSV-файла, а затем загруженных в фрейм данных pandas. В блокнот Amazon SageMaker Studio с геопространственными изображениями предварительно загружены геопространственные библиотеки, такие как GDAL, GeoPandas, Fiona и Shapely, что упрощает обработку и анализ этих данных.

Этот пример набора данных содержит около 400,000 5,000 ежедневных пингов устройств с 14,000 15 устройств из 2023 XNUMX уникальных мест, записанных от пользователей, посещавших Arrowhead Mall, популярный торговый комплекс в Фениксе, штат Аризона, XNUMX мая XNUMX года. На предыдущем снимке экрана показано подмножество столбцов в схема данных. MAID столбец представляет идентификатор устройства, а каждый MAID каждую минуту генерирует пинги, передавая широту и долготу устройства, записанные в файле примера как Lat и Lng колонны.

Ниже приведены снимки экрана из инструмента визуализации карт геопространственных возможностей Amazon SageMaker на базе Foursquare Studio, на которых показана схема пингов от устройств, посещающих торговый центр с 7:00 до 6:00.

На следующем снимке экрана показаны пинги из торгового центра и прилегающих территорий.

Ниже показаны сигналы из различных магазинов торгового центра.

Каждая точка на скриншотах отображает пинг с данного устройства в данный момент времени. Группа пингов представляет собой популярные места, где собираются или останавливаются устройства, например магазины или рестораны.

В рамках первоначального ETL эти необработанные данные можно загрузить в таблицы с помощью AWS Glue. Вы можете создать сканер AWS Glue для определения схемы данных и формирования таблиц, указав расположение необработанных данных в Amazon S3 в качестве источника данных.

Как упоминалось выше, необработанные данные (ежедневные пинги устройств), даже после первоначального ETL, будут представлять собой непрерывный поток пингов GPS, указывающих местоположение устройств. Чтобы извлечь полезную информацию из этих данных, нам необходимо определить остановки и поездки (траектории). Этого можно добиться с помощью геопространственные работы по обработке особенность геопространственных возможностей SageMaker. Обработка Amazon SageMaker использует упрощенный управляемый интерфейс SageMaker для выполнения рабочих нагрузок по обработке данных с помощью специального геопространственного контейнера. Базовая инфраструктура для задания обработки SageMaker полностью управляется SageMaker. Эта функция позволяет запускать собственный код с геопространственными данными, хранящимися в Amazon S3, путем запуска геопространственного контейнера ML в задании обработки SageMaker. Вы можете запускать пользовательские операции с открытыми или частными геопространственными данными, написав собственный код с помощью библиотек с открытым исходным кодом, и запускать операцию в масштабе с помощью заданий обработки SageMaker. Подход на основе контейнеров решает потребности, связанные со стандартизацией среды разработки с помощью широко используемых библиотек с открытым исходным кодом.

Для выполнения таких крупномасштабных рабочих нагрузок необходим гибкий вычислительный кластер, который может масштабироваться от десятков экземпляров для обработки городского квартала до тысяч экземпляров для обработки планетарного масштаба. Управление вычислительным кластером, сделанным своими руками, вручную — это медленно и дорого. Эта функция особенно полезна, когда набор данных о мобильности включает в себя несколько городов и несколько штатов или даже стран, и ее можно использовать для запуска двухэтапного подхода ML.

Первым шагом является использование алгоритма пространственной кластеризации приложений с шумом на основе плотности (DBSCAN) для кластеризации остановок из-за пингов. Следующим шагом является использование метода опорных векторов (SVM) для дальнейшего повышения точности идентифицированных остановок, а также для различения остановок с взаимодействием с POI и остановок без такового (например, дома или работы). Вы также можете использовать задание обработки SageMaker для создания поездок и траекторий на основе ежедневных сигналов устройства, определяя последовательные остановки и сопоставляя путь между остановками источника и пункта назначения.

После обработки необработанных данных (ежедневных пингов устройств) в масштабе с помощью заданий геопространственной обработки новый набор данных, называемый остановками, должен иметь следующую схему.

Атрибут	Описание
Идентификатор или горничная	Идентификатор мобильной рекламы устройства (хешированный)
лат	Широта центроида стоп-кластера
СПГ	Долгота центроида стоп-кластера
геохеш	Геохеш местоположения POI
тип устройства	Операционная система устройства (IDFA или GAID)
отметка времени	Время начала остановки
время пребывания	Время задержки остановки (в секундах)
ip	IP-адрес
альт	Высота устройства (в метрах)
страна	Двузначный код ISO страны происхождения.
состояние	Коды, представляющие состояние
город	Коды, представляющие город
почтовый индекс	Почтовый индекс, где виден идентификатор устройства
перевозчик	Перевозчик устройства
устройство_производитель	Производитель устройства

Остановки объединяются путем кластеризации пингов для каждого устройства. Кластеризация на основе плотности сочетается с такими параметрами, как порог остановки в 300 секунд и минимальное расстояние между остановками в 50 метров. Эти параметры можно настроить в соответствии с вашим вариантом использования.

На следующем снимке экрана показано примерно 15,000 400,000 остановок, выявленных по XNUMX XNUMX пингов. Также присутствует подмножество предыдущей схемы, где столбец Dwell Time представляет продолжительность остановки, а Lat и Lng столбцы представляют широту и долготу центроидов кластера остановок для каждого устройства в каждом местоположении.

После ETL данные хранятся в формате файлов Parquet, который представляет собой столбчатый формат хранения, упрощающий обработку больших объемов данных.

На следующем снимке экрана показаны остановки, объединенные на основе пингов каждого устройства внутри торгового центра и прилегающих территорий.

После определения остановок этот набор данных можно объединить с общедоступными данными POI или пользовательскими данными POI, специфичными для конкретного варианта использования, для идентификации действий, таких как взаимодействие с брендами.

На следующем снимке экрана показаны остановки, обнаруженные в основных POI (магазинах и брендах) внутри торгового центра Arrowhead.

Домашние почтовые индексы использовались для маскировки домашнего местоположения каждого посетителя, чтобы сохранить конфиденциальность в случае, если это часть его поездки в наборе данных. Широта и долгота в таких случаях являются соответствующими координатами центра тяжести почтового индекса.

На следующем снимке экрана показано визуальное представление таких действий. На левом изображении показаны остановки и магазины, а на правом изображении представлена ​​планировка самого торгового центра.

Полученный набор данных можно визуализировать несколькими способами, которые мы обсудим в следующих разделах.

Показатели плотности

Мы можем рассчитать и визуализировать плотность мероприятий и посещений.

Пример 1 – На следующем снимке экрана показаны 15 самых посещаемых магазинов торгового центра.

Пример 2 – На следующем снимке экрана показано количество посещений Apple Store по часам.

Поездки и траектории

Как упоминалось ранее, пара последовательных действий представляет собой путешествие. Мы можем использовать следующий подход для получения поездок на основе данных о деятельности. Здесь оконные функции используются с SQL для генерации trips таблицу, как показано на скриншоте.

После trips создается таблица, можно определить поездки к POI.

Пример 1 – На следующем снимке экрана показаны 10 лучших магазинов, которые направляют пешеходов в Apple Store.

Пример 2 – На следующем снимке экрана показаны все поездки в торговый центр Arrowhead.

Пример 3 – На следующем видео показаны схемы движения внутри торгового центра.

Пример 4 – На следующем видео показаны схемы движения за пределами торгового центра.

Анализ площади водосбора

Мы можем проанализировать все посещения POI и определить зону обслуживания.

Пример 1 – На следующем снимке экрана показаны все посещения магазина Macy’s.

Пример 2 – На следующем снимке экрана показаны 10 основных почтовых индексов домашнего региона (границы выделены), откуда произошли посещения.

Проверка качества данных

Мы можем проверять качество ежедневно поступающих данных и обнаруживать аномалии с помощью информационных панелей QuickSight и анализа данных. На следующем снимке экрана показан пример информационной панели.

Заключение

Данные о мобильности и их анализ для получения информации о клиентах и ​​получения конкурентных преимуществ остаются нишевой областью, поскольку трудно получить последовательный и точный набор данных. Однако эти данные могут помочь организациям добавить контекст к существующему анализу и даже получить новую информацию о моделях движения клиентов. Геопространственные возможности Amazon SageMaker и задания геопространственной обработки могут помочь реализовать эти варианты использования и получить ценную информацию интуитивно понятным и доступным способом.

В этом посте мы продемонстрировали, как использовать сервисы AWS для очистки данных о мобильности, а затем использовать геопространственные возможности Amazon SageMaker для создания производных наборов данных, таких как остановки, действия и поездки, с использованием моделей машинного обучения. Затем мы использовали производные наборы данных для визуализации моделей движения и получения информации.

Начать работу с геопространственными возможностями Amazon SageMaker можно двумя способами:

Чтобы узнать больше, посетите Геопространственные возможности Amazon SageMaker и Начало работы с геопространственными данными Amazon SageMaker. Также посетите наш Репо GitHub, в котором есть несколько примеров блокнотов с геопространственными возможностями Amazon SageMaker.

---

Об авторах

Джими Мэтьюз — архитектор решений AWS, обладающий опытом в области технологий искусственного интеллекта и машинного обучения. Джими живет в Бостоне и работает с корпоративными клиентами, которые трансформируют свой бизнес за счет внедрения облака и помогают им создавать эффективные и устойчивые решения. Он увлечен своей семьей, автомобилями и смешанными единоборствами.

Гириш Кешав — архитектор решений в AWS, помогающий клиентам в процессе миграции в облако для модернизации и безопасного и эффективного выполнения рабочих нагрузок. Он работает с руководителями технологических групп, помогая им в вопросах безопасности приложений, машинного обучения, оптимизации затрат и устойчивости. Он живет в Сан-Франциско и любит путешествовать, ходить в походы, смотреть спортивные состязания и исследовать крафтовые пивоварни.

Рамеш Джетти — старший руководитель отдела архитектуры решений, призванный помогать корпоративным клиентам AWS монетизировать свои информационные активы. Он консультирует руководителей и инженеров по проектированию и созданию масштабируемых, надежных и экономичных облачных решений, особенно ориентированных на машинное обучение, данные и аналитику. В свободное время он любит гулять на свежем воздухе, кататься на велосипеде и ходить в походы со своей семьей.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/