Використовуйте дані про мобільність, щоб отримати інформацію за допомогою геопросторових можливостей Amazon SageMaker | Веб-сервіси Amazon

Геопросторові дані — це дані про конкретні місця на земній поверхні. Він може представляти географічну територію в цілому або може представляти подію, пов’язану з географічною територією. Аналіз геопросторових даних затребуваний у кількох галузях. Це передбачає розуміння того, де існують дані з просторової точки зору, і чому вони там існують.

Існує два типи геопросторових даних: векторні та растрові дані. Растрові дані — це матриця комірок, представлена ​​у вигляді сітки, яка переважно представляє фотографії та супутникові зображення. У цьому дописі ми зосередимося на векторних даних, які представлені як географічні координати широти та довготи, а також лінії та багатокутники (області), що з’єднують або охоплюють їх. Векторні дані мають безліч варіантів використання для отримання інформації про мобільність. Мобільні дані користувача є одним із таких компонентів, і вони здебільшого отримуються з географічного положення мобільних пристроїв, які використовують GPS, або видавців додатків, які використовують SDK або подібні інтеграції. Для цілей цієї публікації ми посилаємося на ці дані як дані про мобільність.

Це серія з двох частин. У цій першій публікації ми представляємо дані про мобільність, їх джерела та типову схему цих даних. Потім ми обговорюємо різні випадки використання та досліджуємо, як ви можете використовувати сервіси AWS для очищення даних, як машинне навчання (ML) може допомогти в цьому та як ви можете етично використовувати дані для генерації візуальних матеріалів та ідей. Друга публікація буде більш технічної за своєю природою та детально охоплюватиме ці кроки разом із прикладом коду. У цьому дописі немає зразка набору даних або зразка коду, натомість у ньому розповідається, як використовувати дані після того, як їх придбано в агрегатора даних.

Ви можете використовувати Геопросторові можливості Amazon SageMaker щоб накласти дані про мобільність на базову карту та забезпечити багатошарову візуалізацію для полегшення співпраці. Інтерактивний візуалізатор із графічним процесором і блокноти Python забезпечують легкий спосіб досліджувати мільйони точок даних в одному вікні та ділитися інформацією та результатами.

Джерела та схема

Є кілька джерел даних про мобільність. Крім запитів GPS і видавців додатків, для розширення набору даних використовуються інші джерела, як-от точки доступу Wi-Fi, дані потоку ставок, отримані за допомогою розміщення реклами на мобільних пристроях, і спеціальні апаратні передавачі, розміщені компаніями (наприклад, у звичайних магазинах). ). Підприємствам часто важко збирати ці дані самостійно, тому вони можуть купувати їх у агрегаторів даних. Агрегатори даних збирають дані про мобільність із різних джерел, очищають їх, додають шум і роблять дані доступними щодня для певних географічних регіонів. Через характер самих даних і через те, що їх важко отримати, точність і якість цих даних можуть значно відрізнятися, і компанії мають оцінити та перевірити це за допомогою показників, таких як активні користувачі за день, загальна кількість пінгів за день, і середній щоденний пінг на пристрій. У наведеній нижче таблиці показано, як може виглядати типова схема щоденного каналу даних, що надсилається агрегаторами даних.

атрибут	Опис
Id або MAID	Ідентифікатор мобільної реклами (MAID) пристрою (хешований)
лат	Широта пристрою
LNG	Довгота пристрою
геохеш	Геохеш розташування пристрою
device_type	Операційна система пристрою = IDFA або GAID
горизонтальна_точність	Точність горизонтальних GPS-координат (в метрах)
відмітка часу	Мітка часу події
ip	IP-адреса
alt	Висота пристрою (в метрах)
швидкість	Швидкість пристрою (в метрах/с)
країна	ISO двозначний код країни походження
були	Коди, що представляють стан
місто	Коди міста
ЗІП код	Поштовий індекс, де відображається ідентифікатор пристрою
носій	Носій пристрою
device_manufacturer	Виробник приладу

Use cases

Дані про мобільність мають широке застосування в різних галузях. Нижче наведено деякі з найпоширеніших випадків використання:

• Показники щільності – Аналіз пішохідного руху можна поєднати з щільністю населення для спостереження за діяльністю та відвідуванням визначних місць (POI). Ці показники представляють картину того, скільки пристроїв або користувачів активно зупиняються та взаємодіють із бізнесом, що може бути використано для вибору місця або навіть для аналізу моделей руху навколо події (наприклад, люди, які подорожують на ігровий день). Щоб отримати таку інформацію, вхідні необроблені дані проходять процес вилучення, перетворення та завантаження (ETL), щоб ідентифікувати дії або взаємодії з безперервного потоку пінгів про місцезнаходження пристрою. Ми можемо аналізувати дії, визначаючи зупинки, зроблені користувачем або мобільним пристроєм, шляхом кластеризації пінгів за допомогою моделей ML у Amazon SageMaker.
• Поїздки та траєкторії – Щоденна стрічка місцезнаходження пристрою може бути виражена як набір дій (зупинки) і поїздок (рух). Пара дій може представляти подорож між ними, і відстеження подорожі рухомим пристроєм у географічному просторі може призвести до відображення фактичної траєкторії. Шаблони траєкторій рухів користувачів можуть привести до цікавої інформації, як-от моделі руху, споживання палива, планування міста тощо. Він також може надавати дані для аналізу маршруту, взятого з рекламних точок, таких як рекламний щит, визначення найефективніших маршрутів доставки для оптимізації операцій ланцюга поставок або аналізу маршрутів евакуації під час стихійних лих (наприклад, евакуація під час урагану).
• Аналіз площі водозбору - A площа водозбору відноситься до місць, звідки певна територія приваблює відвідувачів, які можуть бути клієнтами або потенційними клієнтами. Підприємства роздрібної торгівлі можуть використовувати цю інформацію, щоб визначити оптимальне розташування для відкриття нового магазину або визначити, чи два магазини розташовані занадто близько одне до одного з перекриваючими зонами обслуговування та заважають бізнесу одне одного. Вони також можуть дізнатися, звідки приходять справжні клієнти, визначити потенційних клієнтів, які проходять повз цей район, їдучи на роботу чи додому, проаналізувати аналогічні показники відвідування для конкурентів тощо. Компанії маркетингових технологій (MarTech) і рекламних технологій (AdTech) також можуть використовувати цей аналіз для оптимізації маркетингових кампаній, визначаючи аудиторію поблизу магазину певного бренду або ранжувати магазини за ефективністю для реклами поза домом.

Існує кілька інших варіантів використання, зокрема генерування даних про місцезнаходження комерційної нерухомості, доповнення даних супутникових зображень кількістю відвідувачів, визначення вузлів доставки для ресторанів, визначення ймовірності евакуації з району, виявлення моделей пересування людей під час пандемії тощо.

Виклики та етичне використання

Етичне використання даних про мобільність може привести до багатьох цікавих ідей, які можуть допомогти організаціям покращити свою діяльність, здійснювати ефективний маркетинг або навіть отримати конкурентну перевагу. Щоб використовувати ці дані етично, потрібно виконати кілька кроків.

Це починається зі збору самих даних. Незважаючи на те, що більшість даних про мобільність залишаються вільними від інформації, яка дозволяє ідентифікувати особу (PII), як-от ім’я та адреса, збирачі та агрегатори даних повинні мати згоду користувача на збір, використання, зберігання та обмін їхніми даними. Необхідно дотримуватися таких законів про конфіденційність даних, як GDPR і CCPA, оскільки вони дають користувачам право визначати, як компанії можуть використовувати їхні дані. Цей перший крок є суттєвим кроком до етичного та відповідального використання даних про мобільність, але можна зробити більше.

Кожному пристрою призначається хешований ідентифікатор мобільної реклами (MAID), який використовується для закріплення окремих пінгів. Це можна додатково заплутати, використовуючи Амазонка Мейсі, Amazon S3 Object Lambda, «Амазонка»або навіть AWS Glue Studio Перетворення ідентифікаційної інформації. Для отримання додаткової інформації див Загальні методи виявлення даних PHI та PII за допомогою служб AWS.

Окрім ідентифікаційної інформації, слід приховати домашнє місцезнаходження користувача, а також інші конфіденційні місця, як-от військові бази чи місця поклоніння.

Останнім кроком для етичного використання є отримання та експорт лише агрегованих показників із Amazon SageMaker. Це означає отримання таких показників, як середня чи загальна кількість відвідувачів на відміну від індивідуальних моделей подорожей; отримання щоденних, тижневих, місячних або річних тенденцій; або індексація моделей мобільності за загальнодоступними даними, такими як дані перепису населення.

Огляд рішення

Як згадувалося раніше, сервіси AWS, які можна використовувати для аналізу даних мобільності, це Amazon S3, Amazon Macie, AWS Glue, S3 Object Lambda, Amazon Comprehend і геопросторові можливості Amazon SageMaker. Геопросторові можливості Amazon SageMaker спрощують науковцям із обробки даних та інженерам з машинного навчання створювати, навчати та розгортати моделі на основі геопросторових даних. Ви можете ефективно перетворювати або збагачувати великомасштабні набори геопросторових даних, прискорювати створення моделей за допомогою попередньо навчених моделей ML і досліджувати прогнози моделі та геопросторові дані на інтерактивній карті за допомогою прискореної 3D-графіки та вбудованих інструментів візуалізації.

Наступна еталонна архітектура зображує робочий процес із використанням ML із геопросторовими даними.

У цьому робочому процесі необроблені дані збираються з різних джерел даних і зберігаються в Служба простого зберігання Amazon (S3) відро. Amazon Macie використовується в цьому сегменті S3 для ідентифікації та редагування ідентифікаційної інформації. Потім AWS Glue використовується для очищення та перетворення необроблених даних у потрібний формат, а потім змінені та очищені дані зберігаються в окремому відрі S3. Для тих перетворень даних, які неможливі за допомогою AWS Glue, ви використовуєте AWS Lambda для зміни та очищення необроблених даних. Коли дані очищено, ви можете використовувати Amazon SageMaker для створення, навчання та розгортання моделей машинного навчання на підготовлених геопросторових даних. Ви також можете використовувати Роботи геопросторової обробки Функція геопросторових можливостей Amazon SageMaker для попередньої обробки даних, наприклад, використання функції Python і операторів SQL для ідентифікації дій на основі необроблених даних мобільності. Науковці даних можуть виконати цей процес, підключившись через ноутбуки Amazon SageMaker. Ви також можете використовувати Amazon QuickSight для візуалізації бізнес-результатів та інших важливих показників на основі даних.

Геопросторові можливості Amazon SageMaker і завдання геопросторової обробки

Після того, як дані отримані та подані в Amazon S3 із щоденним каналом і очищені від будь-яких конфіденційних даних, їх можна імпортувати в Amazon SageMaker за допомогою Студія Amazon SageMaker блокнот із геопросторовим зображенням. На наступному знімку екрана показано зразок щоденних пінгів пристрою, завантажених в Amazon S3 як файл CSV, а потім завантажених у фрейм даних pandas. Блокнот Amazon SageMaker Studio із геопросторовими зображеннями постачається з попередньо завантаженими геопросторовими бібліотеками, такими як GDAL, GeoPandas, Fiona та Shapely, що спрощує обробку та аналіз цих даних.

Цей зразок набору даних містить приблизно 400,000 5,000 щоденних запитів ping пристрою з 14,000 15 пристроїв із 2023 XNUMX унікальних місць, записаних користувачами, які відвідали Arrowhead Mall, популярний комплекс торгових центрів у Феніксі, штат Арізона, XNUMX травня XNUMX року. На попередньому знімку екрана показано підмножину стовпців у схема даних. The MAID колонка представляє ідентифікатор пристрою, і кожен MAID генерує ping щохвилини, передаючи широту та довготу пристрою, записані у файлі зразка як Lat та Lng стовпчики.

Нижче наведено знімки екрана з інструменту візуалізації карти геопросторових можливостей Amazon SageMaker, що працює на базі Foursquare Studio, із зображенням схеми пінгів від пристроїв, які відвідують торговий центр між 7:00 ранку та 6:00 вечора.

На наступному скріншоті показано пінгування з торгового центру та прилеглих районів.

Нижче наведено ping з різних магазинів торгового центру.

Кожна крапка на скріншотах відображає запит ping від даного пристрою в певний момент часу. Кластер пінгів представляє популярні місця, де збираються або зупиняються пристрої, наприклад магазини чи ресторани.

У рамках початкового ETL ці необроблені дані можна завантажити в таблиці за допомогою AWS Glue. Ви можете створити сканер AWS Glue для визначення схеми даних і таблиць форм, вказавши розташування необроблених даних в Amazon S3 як джерело даних.

Як згадувалося вище, необроблені дані (щоденні пінги пристрою), навіть після початкового ETL, представлятимуть безперервний потік пінгів GPS, що вказують на місцезнаходження пристрою. Щоб отримати корисну інформацію з цих даних, нам потрібно визначити зупинки та поїздки (траєкторії). Цього можна досягти за допомогою Роботи геопросторової обробки функція геопросторових можливостей SageMaker. Обробка Amazon SageMaker використовує спрощений, керований досвід на SageMaker для запуску робочих навантажень обробки даних за допомогою спеціально створеного геопросторового контейнера. Базовою інфраструктурою для завдання обробки SageMaker повністю керує SageMaker. Ця функція дозволяє запускати спеціальний код із геопросторовими даними, що зберігаються на Amazon S3, запустивши геопросторовий контейнер ML у завданні обробки SageMaker. Ви можете виконувати спеціальні операції з відкритими або приватними геопросторовими даними, написавши спеціальний код із бібліотеками з відкритим вихідним кодом і запускаючи операції в масштабі за допомогою завдань обробки SageMaker. Контейнерний підхід вирішує потреби щодо стандартизації середовища розробки з бібліотеками з відкритим кодом, які зазвичай використовуються.

Щоб виконувати такі масштабні робочі навантаження, вам потрібен гнучкий обчислювальний кластер, який може масштабуватися від десятків екземплярів для обробки кварталу міста до тисяч екземплярів для обробки планетарного масштабу. Ручне керування обчислювальним кластером DIY є повільним і дорогим. Ця функція особливо корисна, коли набір даних мобільності включає більше ніж кілька міст у кілька штатів або навіть країн, і її можна використовувати для виконання двоетапного підходу ML.

Першим кроком є ​​використання просторової кластеризації додатків на основі щільності з алгоритмом шуму (DBSCAN), щоб зупинити кластери від пінгів. Наступним кроком є ​​використання методу опорних векторних машин (SVM) для подальшого підвищення точності ідентифікованих зупинок, а також для розрізнення зупинок із залученням POI від зупинок без такої (наприклад, дім чи робота). Ви також можете використовувати завдання обробки SageMaker, щоб генерувати маршрути та траєкторії на основі щоденних пінгів пристрою, визначаючи послідовні зупинки та відображаючи шлях між вихідною та цільовою зупинками.

Після обробки необроблених даних (щоденних пінгів пристрою) у масштабі за допомогою завдань геопросторової обробки новий набір даних під назвою зупинки повинен мати таку схему.

атрибут	Опис
Id або MAID	Ідентифікатор мобільної реклами пристрою (хешований)
лат	Широта центроїда зупинкового скупчення
LNG	Довгота центроїда зупинкового скупчення
геохеш	Геохеш розташування POI
device_type	Операційна система пристрою (IDFA або GAID)
відмітка часу	Час початку зупинки
час затримки	Час зупинки (у секундах)
ip	IP-адреса
alt	Висота пристрою (в метрах)
країна	ISO двозначний код країни походження
були	Коди, що представляють стан
місто	Коди міста
ЗІП код	Поштовий індекс, де відображається ідентифікатор пристрою
носій	Носій пристрою
device_manufacturer	Виробник приладу

Зупинки консолідуються шляхом кластеризації запитів ping для кожного пристрою. Кластеризація на основі щільності поєднується з такими параметрами, як порогове значення зупинки в 300 секунд і мінімальна відстань між зупинками в 50 метрів. Ці параметри можна налаштувати відповідно до вашого випадку використання.

На наступному знімку екрана показано приблизно 15,000 400,000 зупинок, визначених на основі XNUMX XNUMX пінгів. Також присутній підмножина попередньої схеми, де стовпець Dwell Time представляє тривалість зупинки, а Lat та Lng Стовпці представляють широту та довготу центроїдів кластера зупинок для кожного пристрою та розташування.

Дані після ETL зберігаються у форматі файлу Parquet, який є стовпчиковим форматом зберігання, що полегшує обробку великих обсягів даних.

На наступному знімку екрана показано зупинки, консолідовані на основі запитів ping для кожного пристрою в торговому центрі та прилеглих районах.

Після визначення зупинок цей набір даних можна об’єднати з загальнодоступними даними POI або користувальницькими даними POI, специфічними для конкретного випадку використання, щоб ідентифікувати дії, такі як взаємодія з брендами.

На наступному знімку екрана показано зупинки, визначені в основних POI (магазинах і брендах) у торговому центрі Arrowhead.

Домашні поштові індекси використовувалися для маскування домашнього місцезнаходження кожного відвідувача, щоб зберегти конфіденційність у випадку, якщо це є частиною їхньої подорожі в наборі даних. Широта та довгота в таких випадках є відповідними координатами центроїда поштового індексу.

Наступний знімок екрана є візуальним представленням таких дій. На лівому зображенні зображені зупинки до магазинів, а на правому зображенні дається уявлення про розташування самого торгового центру.

Цей отриманий набір даних можна візуалізувати кількома способами, які ми обговоримо в наступних розділах.

Показники щільності

Ми можемо розрахувати та візуалізувати щільність активностей та відвідувань.

Приклад 1 – На наступному знімку екрана показано 15 найбільш відвідуваних магазинів торгового центру.

Приклад 2 – На наступному знімку екрана показано кількість відвідувань Apple Store за кожну годину.

Поїздки та траєкторії

Як згадувалося раніше, пара послідовних дій представляє подорож. Ми можемо використати наступний підхід, щоб отримати поїздки з даних діяльності. Тут віконні функції використовуються з SQL для створення trips таблиці, як показано на знімку екрана.

Після trips генерується таблиця, можна визначити поїздки до POI.

Приклад 1 – На наступному знімку екрана показано 10 найкращих магазинів, які спрямовують відвідувачів до Apple Store.

Приклад 2 – На наступному знімку екрана показано всі поїздки до торгового центру Arrowhead.

Приклад 3 – Наступне відео показує моделі руху в торговому центрі.

Приклад 4 – Наступне відео показує моделі руху за межами торгового центру.

Аналіз площі водозбору

Ми можемо проаналізувати всі відвідування POI та визначити площу водозбору.

Приклад 1 – На наступному знімку екрана показано всі відвідування магазину Macy’s.

Приклад 2 – На наступному знімку екрана показано 10 найпоширеніших поштових індексів місцевості (межі виділено), звідки відбувалися відвідування.

Перевірка якості даних

Ми можемо перевіряти якість щоденних вхідних даних і виявляти аномалії за допомогою інформаційних панелей QuickSight і аналізу даних. На наступному знімку екрана показано приклад інформаційної панелі.

Висновок

Дані про мобільність і їх аналіз для отримання інформації про клієнтів і отримання конкурентної переваги залишаються спеціальною сферою, оскільки важко отримати послідовний і точний набір даних. Однак ці дані можуть допомогти організаціям додати контекст до існуючого аналізу та навіть отримати нові відомості про моделі руху клієнтів. Геопросторові можливості Amazon SageMaker і завдання геопросторової обробки можуть допомогти реалізувати ці випадки використання та отримати інформацію інтуїтивно зрозумілим і доступним способом.

У цій публікації ми продемонстрували, як використовувати служби AWS для очищення даних про мобільність, а потім використовувати геопросторові можливості Amazon SageMaker для створення похідних наборів даних, таких як зупинки, дії та поїздки, за допомогою моделей ML. Потім ми використали похідні набори даних, щоб візуалізувати шаблони рухів і отримати інформацію.

Почати роботу з геопросторовими можливостями Amazon SageMaker можна двома способами:

Щоб дізнатися більше, відвідайте Геопросторові можливості Amazon SageMaker та Початок роботи з геопросторовими Amazon SageMaker. Також відвідайте наш GitHub репо, який містить кілька прикладів блокнотів про геопросторові можливості Amazon SageMaker.

---

Про авторів

Джимі Метьюз є архітектором рішень AWS, який має досвід роботи з AI/ML. Джимі живе в Бостоні та працює з корпоративними клієнтами, які трансформують свій бізнес за допомогою хмари та допомагають їм створювати ефективні та стійкі рішення. Він захоплений своєю сім'єю, автомобілями та змішаними бойовими мистецтвами.

Гіріш Кешав є архітектором рішень в AWS, який допомагає клієнтам під час міграції в хмару для модернізації та безпечного й ефективного виконання робочих навантажень. Він працює з лідерами технологічних груп, щоб надавати їм рекомендації щодо безпеки додатків, машинного навчання, оптимізації витрат і сталого розвитку. Він живе в Сан-Франциско і любить подорожувати, піші прогулянки, дивитися спортивні змагання та досліджувати крафтові пивоварні.

Рамеш Джетті є старшим керівником архітектури рішень, який зосереджений на тому, щоб допомогти корпоративним клієнтам AWS монетизувати свої активи даних. Він радить керівникам та інженерам проектувати та створювати високомасштабовані, надійні та економічно ефективні хмарні рішення, особливо орієнтовані на машинне навчання, дані та аналітику. У вільний час він насолоджується відпочинком на свіжому повітрі, катаючись на велосипеді та пішим туризмом зі своєю родиною.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/