Це гостьовий пост, співавторами якого є Шраван Кумар і Авірат С з Gramener.
Граменер, то Страйв компанія сприяє сталому розвитку, зосереджуючись на сільському, лісовому, водному господарстві та відновлюваній енергетиці. Надаючи владі інструменти та знання, необхідні для прийняття обґрунтованих рішень щодо екологічного та соціального впливу, Gramener відіграє важливу роль у побудові більш сталого майбутнього.
Міські острови тепла (UHI) – це райони в містах, де температура значно вище, ніж у сільській місцевості навколо них. UHI викликають дедалі більше занепокоєння, оскільки вони можуть призвести до різноманітних проблем із навколишнім середовищем та здоров’ям. Щоб вирішити цю проблему, Gramener розробив рішення, яке використовує просторові дані та вдосконалені методи моделювання, щоб зрозуміти та пом’якшити такі ефекти UHI:
- Невідповідність температури – UHI може призвести до того, що міські райони будуть гарячішими, ніж прилеглі до них сільські регіони.
- Вплив на здоров'я – Вищі температури в UHI сприяють збільшенню на 10-20% захворювань і смертельних випадків, пов’язаних із спекою.
- Споживання енергії - UHI підвищують вимоги до кондиціонування повітря, що призводить до збільшення споживання енергії до 20%.
- Якість повітря - UHI погіршує якість повітря, що призводить до підвищення рівня смогу та твердих частинок, що може посилити проблеми з диханням.
- Економічний вплив – UHI може призвести до мільярдів доларів додаткових витрат на енергію, пошкодження інфраструктури та витрат на охорону здоров’я.
Рішення Gramener GeoBox дає користувачам можливість без особливих зусиль отримувати та аналізувати загальнодоступні геопросторові дані за допомогою потужного API, забезпечуючи бездоганну інтеграцію в існуючі робочі процеси. Це спрощує дослідження та економить дорогоцінний час і ресурси, дозволяючи спільнотам швидко визначати гарячі точки UHI. Потім GeoBox перетворює необроблені дані в корисну інформацію, представлену в зручних для користувача форматах, таких як растр, GeoJSON і Excel, забезпечуючи чітке розуміння та негайне впровадження стратегій пом’якшення UHI. Це дає можливість громадам приймати обґрунтовані рішення та впроваджувати ініціативи щодо сталого розвитку міст, зрештою підтримуючи громадян завдяки покращенню якості повітря, зменшенню споживання енергії та більш прохолодному та здоровому середовищу.
Ця публікація демонструє, як рішення Gramener GeoBox використовує геопросторові можливості Amazon SageMaker щоб виконувати аналіз спостереження Землі та розблоковувати інформацію UHI із супутникових зображень. Геопросторові можливості SageMaker спрощують для дослідників даних та інженерів машинного навчання (ML) створення, навчання та розгортання моделей на основі геопросторових даних. Геопросторові можливості SageMaker дозволяють ефективно трансформувати та збагачувати великомасштабні набори геопросторових даних, а також прискорювати розробку продукту та час для розуміння за допомогою попередньо навчених моделей ML.
Огляд рішення
Geobox має на меті проаналізувати та передбачити ефект UHI, використовуючи просторові характеристики. Це допомагає зрозуміти, як запропоновані зміни в інфраструктурі та землекористуванні можуть вплинути на шаблони UHI, і визначає ключові фактори, що впливають на UHI. Ця аналітична модель забезпечує точні оцінки температури поверхні землі (LST) на детальному рівні, дозволяючи Gramener кількісно визначити зміни ефекту UHI на основі параметрів (назви індексів і використаних даних).
Geobox дозволяє міським департаментам:
- Покращена адаптація до клімату планування – Обґрунтовані рішення зменшують вплив екстремальної спеки.
- Підтримка розширення зелених насаджень – Більше зелених насаджень покращує якість повітря та якість життя.
- Посилена міжвідомча співпраця – Скоординовані зусилля покращують громадську безпеку.
- Стратегічна готовність до надзвичайних ситуацій – Цільове планування зменшує ймовірність надзвичайних ситуацій.
- Співпраця служб охорони здоров'я – Співпраця веде до більш ефективних заходів у сфері охорони здоров’я.
Робочий процес рішення
У цьому розділі ми обговорюємо, як різні компоненти працюють разом, від збору даних до просторового моделювання та прогнозування, що є ядром рішення UHI. Рішення слідує за структурованим робочим процесом, головним чином зосередженим на вирішенні UHI в місті Канади.
Фаза 1: конвеєр даних
Супутник Landsat 8 кожні 15 днів об 11:30 робить детальні знімки цікавого району, забезпечуючи повне уявлення про ландшафт міста та навколишнє середовище. Система сітки створена з розміром сітки 48 метрів за допомогою бібліотеки Supermercado Python від Mapbox на рівні масштабування 19, що забезпечує точний просторовий аналіз.
Фаза 2: Дослідницький аналіз
Інтегруючи дані про інфраструктуру та населення, Geobox дає змогу користувачам візуалізувати змінний розподіл міста та отримати морфологічне уявлення про місто, уможливлюючи комплексний аналіз структури та розвитку міста.
Крім того, зображення Landsat з фази 1 використовуються для отримання інформації, як-от Нормалізований індекс різниці рослинності (NDVI) і Нормалізований індекс накопиченої різниці (NDBI), з даними, ретельно масштабованими до 48-метрової сітки для послідовності та точності.
Використовуються такі змінні:
- Температура поверхні землі
- Покриття будівельного майданчика
- NDVI
- Покриття будівельних блоків
- NDBI
- Площа забудови
- Альбедо
- Розрахунок будівель
- Модифікований нормалізований індекс різниці води (MNDWI)
- Висота будівлі
- Кількість поверхів і площа
- Коефіцієнт площі приміщення
Фаза 3: Аналітична модель
Ця фаза складається з трьох модулів, які використовують моделі ML на даних, щоб отримати уявлення про LST та його зв’язок з іншими впливовими факторами:
- Модуль 1: Зональна статистика та агрегація – Зональна статистика відіграє важливу роль у обчисленні статистики з використанням значень із растру значень. Він передбачає отримання статистичних даних для кожної зони на основі растру зони. Агрегація виконується з роздільною здатністю 100 метрів, що дозволяє проводити комплексний аналіз даних.
- Модуль 2: Просторове моделювання – Граменер оцінив три моделі регресії (лінійну, просторову та просторову фіксовану дію), щоб розгадати кореляцію між температурою поверхні землі (LST) та іншими змінними. Серед цих моделей модель просторового фіксованого ефекту дала найвище середнє значення R-квадрат, особливо для періоду часу, що охоплює 2014–2020 роки.
- Модуль 3: Прогнозування змінних – Для прогнозування змінних у короткостроковій перспективі Граменер застосував методи експоненціального згладжування. Ці прогнози допомогли зрозуміти майбутні значення LST та їхні тенденції. Крім того, вони заглибилися в довгостроковий масштабний аналіз, використовуючи дані репрезентативного шляху концентрації (RCP8.5) для прогнозування значень LST протягом тривалих періодів.
Збір даних та попередня обробка даних
Для впровадження модулів Граменер використав геопросторовий блокнот SageMaker Студія Amazon SageMaker. Ядро геопросторового блокнота попередньо інстальовано з широко використовуваними геопросторовими бібліотеками, що забезпечує пряму візуалізацію та обробку геопросторових даних у середовищі блокнота Python.
Граменер використовував різні набори даних для прогнозування тенденцій LST, включаючи оцінку будівель і дані про температуру, а також супутникові зображення. Ключем до рішення UHI було використання даних із супутника Landsat 8. Цей супутник для зйомки Землі, спільне підприємство USGS і NASA, став фундаментальним компонентом проекту.
З SearchRasterDataCollection API, SageMaker надає спеціально створені функції для полегшення пошуку супутникових зображень. Gramener використовував цей API для отримання супутникових даних Landsat 8 для рішення UHI.
Команда SearchRasterDataCollection
API використовує такі вхідні параметри:
- Арн – Назва ресурсу Amazon (ARN) колекції растрових даних, яка використовується в запиті
- Сфера інтересів – Багатокутник GeoJSON, що представляє область інтересу
- TimeRangeFilter – Діапазон часу, що цікавить, позначається як
{StartTime: <string>, EndTime: <string>}
- Фільтри властивостей – Додаткові фільтри властивостей, такі як специфікації для максимально допустимого хмарного покриву, також можуть бути включені
У наступному прикладі показано, як можна запитувати дані Landsat 8 через API:
Для обробки великомасштабних супутникових даних Граменер використав Обробка Amazon SageMaker з геопросторовим контейнером. SageMaker Processing забезпечує гнучке масштабування обчислювальних кластерів для виконання завдань різного розміру, від обробки окремого кварталу міста до керування навантаженнями планетарного масштабу. Традиційно ручне створення та керування обчислювальним кластером для таких завдань було дорогим і трудомістким, особливо через складність стандартизації середовища, придатного для обробки геопросторових даних.
Тепер, завдяки спеціалізованому геопросторовому контейнеру в SageMaker, керування та запуск кластерів для геопросторової обробки стало простішим. Цей процес потребує мінімальних зусиль у кодуванні: ви просто визначаєте робоче навантаження, вказуєте розташування геопросторових даних у Служба простого зберігання Amazon (Amazon S3) і виберіть відповідний геопросторовий контейнер. Потім SageMaker Processing автоматично надає необхідні ресурси кластера, сприяючи ефективному виконанню геопросторових завдань у масштабах від рівня міста до рівня континенту.
SageMaker повністю керує основною інфраструктурою, необхідною для роботи з обробки. Він розподіляє ресурси кластера на час виконання завдання та видаляє їх після завершення завдання. Нарешті, результати завдання обробки зберігаються у призначеному сегменті S3.
Завдання обробки SageMaker із використанням геопросторового зображення можна налаштувати в геопросторовому блокноті наступним чином:
Параметр instance_count визначає, скільки екземплярів має використовувати завдання обробки, а instance_type визначає, який тип екземпляра слід використовувати.
У наступному прикладі показано, як виконується сценарій Python у кластері завдань обробки. Коли викликається команда запуску, кластер запускається та автоматично надає необхідні ресурси кластеру:
Просторове моделювання та прогнози LST
Під час обробки обчислюється низка змінних, включаючи спектральне випромінювання у верхній частині атмосфери, температуру яскравості та коефіцієнт відбиття від Landsat 8. Крім того, обчислюються такі морфологічні змінні, як коефіцієнт площі приміщення (FAR), покриття будівельного майданчика, покриття будівельних блоків і значення ентропії Шеннона.
Наступний код демонструє, як можна виконати цю арифметику діапазону:
Після обчислення змінних виконується зональна статистика для агрегування даних за сіткою. Це передбачає обчислення статистики на основі значень інтересу в кожній зоні. Для цих обчислень використовувався розмір сітки приблизно 100 метрів.
Після агрегування даних виконується просторове моделювання. Граменер використовував методи просторової регресії, такі як лінійна регресія та просторові фіксовані ефекти, щоб врахувати просторову залежність у спостереженнях. Цей підхід полегшує моделювання зв’язку між змінними та LST на мікрорівні.
Наступний код ілюструє, як можна запустити таке просторове моделювання:
Граменер використовував експоненціальне згладжування для прогнозування значень LST. Експоненціальне згладжування — це ефективний метод прогнозування часових рядів, який застосовує зважені середні значення до минулих даних із експоненціальним зменшенням ваги з часом. Цей метод особливо ефективний у згладжуванні даних для виявлення тенденцій і закономірностей. Використовуючи експоненціальне згладжування, стає можливим візуалізувати та передбачити тенденції LST з більшою точністю, дозволяючи точніше прогнозувати майбутні значення на основі історичних моделей.
Щоб візуалізувати прогнози, Граменер використовував геопросторовий блокнот SageMaker із геопросторовими бібліотеками з відкритим вихідним кодом для накладення прогнозів моделі на базову карту та забезпечує багатошарову візуалізацію наборів геопросторових даних безпосередньо в блокноті.
Висновок
Ця публікація продемонструвала, як Gramener надає клієнтам можливість приймати рішення на основі даних для сталого міського середовища. За допомогою SageMaker компанія Gramener досягла значної економії часу на аналіз UHI, скоротивши час обробки з тижнів до годин. Така швидка генерація розуміння дозволяє клієнтам Gramener точно визначити області, які потребують стратегій пом’якшення UHI, проактивно планувати міський розвиток та інфраструктурні проекти для мінімізації UHI, а також отримати цілісне розуміння факторів навколишнього середовища для комплексної оцінки ризику.
Відкрийте потенціал інтеграції даних спостереження Землі у ваші проекти сталого розвитку за допомогою SageMaker. Для отримання додаткової інформації див Почніть роботу з геопросторовими можливостями Amazon SageMaker.
Про авторів
Абхішек Міттал є архітектором рішень для всесвітньої команди громадського сектору Amazon Web Services (AWS), де він переважно працює з партнерами-незалежними розробниками програмного забезпечення в різних галузях, надаючи їм архітектурні вказівки для створення масштабованої архітектури та впровадження стратегій для впровадження послуг AWS. Він захоплений модернізацією традиційних платформ і безпекою в хмарі. Поза роботою він захоплюється подорожами.
Янош Вошиц є старшим архітектором рішень в AWS, який спеціалізується на AI/ML. Маючи понад 15 років досвіду, він підтримує клієнтів у всьому світі у використанні штучного інтелекту та машинного навчання для інноваційних рішень і створення платформ машинного навчання на AWS. Його досвід охоплює машинне навчання, розробку даних і масштабовані розподілені системи, доповнений сильним досвідом у розробці програмного забезпечення та галузевим досвідом у таких областях, як автономне водіння.
Шраван Кумар є старшим директором відділу успіху клієнтів у Gramener, має десятирічний досвід у бізнес-аналітиці, евангелізації даних і налагодженні глибоких відносин з клієнтами. Він володіє міцною основою в сфері управління клієнтами, управління обліковими записами в сфері аналізу даних, штучного інтелекту та машинного навчання.
Авірат С є науковцем із геопросторових даних у Gramener, який використовує AI/ML, щоб розблокувати інформацію з географічних даних. Його експертиза полягає в боротьбі зі стихійними лихами, сільському господарстві та міському плануванні, де його аналіз інформує процеси прийняття рішень.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/understanding-and-predicting-urban-heat-islands-at-gramener-using-amazon-sagemaker-geospatial-capabilities/
- : має
- :є
- :де
- $UP
- 1
- 100
- 11
- 15 роки
- 15%
- 16
- 17
- 19
- 1900
- 20
- 2014
- 2020
- 30
- 31
- 7
- 8
- a
- МЕНЮ
- прискорювати
- прийнятний
- розмістити
- рахунки
- управління рахунками
- точність
- точний
- досягнутий
- придбання
- через
- дієвий
- Додатковий
- Додатково
- адреса
- адресація
- Прийняття
- просунутий
- сукупність
- агрегуючий
- агрегація
- сільське господарство
- AI
- AI / ML
- Цілі
- AIR
- виділяє
- дозволяти
- Дозволити
- дозволяє
- Також
- am
- Amazon
- Amazon SageMaker
- Геопросторовий Amazon SageMaker
- Amazon Web Services
- Веб-служби Amazon (AWS)
- серед
- посилюватися
- an
- аналіз
- Аналітичний
- аналітика
- аналізувати
- та
- та інфраструктури
- API
- застосовується
- підхід
- відповідний
- приблизно
- архітектурний
- архітектура
- ЕСТЬ
- ПЛОЩА
- області
- AS
- оцінка
- At
- збільшено
- Влада
- автоматично
- автономний
- AWS
- фон
- BAND
- база
- заснований
- BBC
- BE
- оскільки
- ставати
- стає
- було
- між
- мільярди
- Блокувати
- обидва
- BT
- будувати
- Створюємо
- бізнес
- by
- розрахований
- розрахунок
- CAN
- Канада
- можливості
- захвати
- Викликати
- виклик
- Зміни
- характеристика
- Міста
- громадяни
- Місто
- ясно
- клієнт
- клієнтів
- клімат
- хмара
- кластер
- код
- Кодування
- збір
- команда
- зазвичай
- спільноти
- компанія
- Зроблено
- завершення
- складності
- компонент
- Компоненти
- всеосяжний
- включає
- обчислення
- обчислення
- обчислений
- обчислення
- концентрація
- Занепокоєння
- одночасно
- налаштувати
- споживання
- Контейнер
- континент
- сприяти
- сприяє
- співробітництво
- узгоджений
- Core
- Кореляція
- дорого
- витрати
- обкладинка
- охоплення
- створення
- Клієнти
- пошкодження
- дані
- Analytics даних
- вчений даних
- керовані даними
- набори даних
- Дата
- Днів
- десятиліття
- Прийняття рішень
- рішення
- глибокий
- визначати
- Визначає
- запити
- продемонстрований
- демонструє
- відомства
- залежність
- розгортання
- дрейф
- призначені
- докладно
- розвиненою
- розробка
- різниця
- різний
- прямий
- безпосередньо
- Директор
- катастрофа
- невідповідність
- обговорювати
- розподілений
- розподілені системи
- розподіл
- do
- доларів
- домени
- управляти
- водіння
- два
- тривалість
- кожен
- земля
- ефект
- Ефективний
- ефекти
- ефективний
- продуктивно
- зусилля
- легко
- зусилля
- піднесений
- аварійний
- працевлаштований
- наймаючи
- уповноважують
- повноваження
- дозволяє
- дозволяє
- енергія
- Енергоспоживання
- енергетичні витрати
- Машинобудування
- Інженери
- підвищувати
- збагачувати
- забезпечення
- ентузіаст
- Навколишнє середовище
- навколишній
- середовищах
- встановлений
- Оцінки
- оцінюється
- Події
- Кожен
- приклад
- перевершувати
- існуючий
- досвід
- експертиза
- дослідження
- експонентний
- експоненціально
- розширений
- екстремальний
- фасилітувати
- полегшує
- сприяння
- фактори
- далеко
- риси
- Фільтри
- в кінці кінців
- фіксованою
- гнучкий
- Поверх
- Сфокусувати
- фокусування
- після
- слідує
- для
- Прогноз
- Прогнози
- Кування
- формула
- фонд
- від
- повністю
- функціональність
- фундаментальний
- майбутнє
- Ф'ючерси
- Отримувати
- покоління
- географічний
- Глобально
- зернистий
- великий
- зелений
- сітка
- Зростання
- гість
- Guest Post
- керівництво
- Обробка
- Запрягання
- Мати
- he
- здоров'я
- охорона здоров'я
- здоровий
- допомагає
- вище
- найвищий
- його
- історичний
- тримає
- цілісний
- ГОДИННИК
- Як
- HTML
- HTTPS
- i
- ID
- ідентифікує
- ідентифікувати
- IDX
- if
- ілюструє
- зображення
- Негайний
- Impact
- здійснювати
- реалізація
- реалізації
- імпорт
- удосконалювати
- поліпшений
- in
- У тому числі
- Augmenter
- індекс
- покажчики
- промисловості
- промисловість
- впливаючи
- Впливовий
- інформація
- повідомив
- інформує
- Інфраструктура
- ініціативи
- інноваційний
- вхід
- розуміння
- розуміння
- екземпляр
- Інтеграція
- інтеграція
- інтерес
- втручання
- в
- викликали
- залучений
- включає в себе
- Острови
- питання
- ісв
- IT
- ЙОГО
- робота
- спільна
- Спільне підприємство
- JPEG
- JPG
- ключ
- Кумар
- земля
- ландшафт
- масштабний
- останній
- шаруватий
- шарів
- вести
- провідний
- Веде за собою
- вивчення
- залишити
- рівень
- рівні
- використання
- libraries
- бібліотека
- лежить
- життя
- як
- лінійний
- розташування
- довгостроковий
- машина
- навчання за допомогою машини
- зробити
- управління
- управляє
- управління
- вручну
- багато
- карта
- Матерія
- максимальний
- значити
- метод
- методика
- прискіпливо
- мікро-
- мінімальний
- мінімізувати
- Пом'якшити
- пом'якшення
- ML
- модель
- моделювання
- Моделі
- модернізація
- Модулі
- більше
- ім'я
- Імена
- НАСА
- необхідно
- Необхідність
- ноутбук
- спостереження
- of
- on
- з відкритим вихідним кодом
- Інше
- з
- поза
- над
- параметр
- параметри
- особливо
- партнери
- пристрасний
- Минуле
- шлях
- моделі
- Виконувати
- виконується
- періодів
- фаза
- трубопровід
- план
- планування
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- Play
- ігри
- Багатокутник
- населення
- це можливо
- пошта
- потенціал
- потужний
- необхідність
- Точність
- передбачати
- прогнозування
- Прогнози
- представлений
- в першу чергу
- первинний
- проблеми
- процес
- процеси
- обробка
- процесор
- Product
- розробка продукту
- проект
- проектів
- властивості
- власність
- запропонований
- забезпечує
- забезпечення
- громадськість
- Python
- якість
- швидко
- діапазон
- швидко
- співвідношення
- Сировина
- царство
- червоний
- зменшити
- Знижений
- знижує
- зниження
- послатися
- райони
- відносини
- відносини
- видаляє
- Поновлюваний
- відновлювальна енергія
- представник
- представляє
- вимагається
- Вимагається
- дозвіл
- ресурс
- ресурси
- відповідь
- результат
- в результаті
- результати
- пошук
- повертати
- Risk
- оцінка ризику
- Роль
- прогін
- біг
- сільській місцевості
- Сільські райони
- s
- Безпека
- мудрець
- супутник
- зберігаються
- Економія
- масштабовані
- шкала
- масштабний
- ваги
- Масштабування
- вчений
- Вчені
- сценарій
- безшовні
- розділ
- сектор
- безпеку
- вибрати
- старший
- Серія
- служив
- Послуги
- виступаючої
- Короткий
- Повинен
- Шоу
- істотно
- простий
- просто
- один
- сайт
- Розмір
- розміри
- соціальна
- Соціальний вплив
- Софтвер
- розробка програмного забезпечення
- solid
- рішення
- Рішення
- Простір
- пробіли
- напруга
- прольоти
- просторовий
- спеціалізований
- спеціалізується
- специфікації
- Спектральний
- стандартизації
- почалася
- починається
- статистичний
- статистика
- зберігання
- просто
- стратегії
- Спрощує
- сильний
- структура
- структурований
- істотний
- успіх
- такі
- підходящий
- Підтримуючий
- Опори
- поверхню
- сплеск
- Навколо
- Sustainability
- сталого
- Сталий розвиток
- стійке майбутнє
- система
- Systems
- Кран
- цільове
- завдання
- команда
- методи
- термін
- ніж
- Що
- Команда
- Площа
- їх
- Їх
- потім
- Ці
- вони
- це
- три
- через
- час
- Часовий ряд
- трудомісткий
- терміни
- до
- разом
- інструменти
- традиційний
- традиційно
- поїзд
- Перетворення
- перетворення
- подорожувати
- Тенденції
- тип
- Зрештою
- що лежить в основі
- розуміти
- розуміння
- відімкнути
- розгадати
- на
- міський
- використання
- використовуваний
- зручно
- користувачі
- використовує
- використання
- Цінний
- значення
- Цінності
- змінна
- різний
- різний
- рослинність
- підприємство
- через
- вид
- візуалізації
- візуалізувати
- життєво важливий
- було
- вода
- we
- Web
- веб-сервіси
- тижня
- ДОБРЕ
- Що
- коли
- який
- з
- в
- Work
- працювати разом
- робочий
- Робочі процеси
- робочий
- працює
- світовий
- рік
- років
- дали
- Ти
- вашу
- зефірнет
- зона
- зум