Оцінка збитків за допомогою геопросторових можливостей Amazon SageMaker і спеціальних моделей SageMaker

У цій публікації ми покажемо, як навчати, розгортати та прогнозувати шкоду від стихійних лих Amazon SageMaker із геопросторовими можливостями. Ми використовуємо нові геопросторові можливості SageMaker для генерації нових даних висновків для перевірки моделі. Багатьом урядовим і гуманітарним організаціям потрібна швидка і точна обізнаність про ситуацію, коли трапляється лихо. Знання серйозності, причини та місця пошкодження може допомогти першому реагувати у стратегії реагування та прийнятті рішень. Відсутність точної та своєчасної інформації може сприяти неповній або неправильній роботі з надання допомоги.

Оскільки частота та серйозність стихійних лих зростає, важливо, щоб ми надавали особам, які приймають рішення, і особам, які першими реагують, швидку та точну оцінку збитку. У цьому прикладі ми використовуємо геопросторові зображення, щоб передбачити шкоду від стихійного лиха. Геопросторові дані можна використовувати відразу після стихійного лиха для швидкого визначення пошкоджень будівель, доріг або іншої критичної інфраструктури. У цій публікації ми покажемо вам, як навчити та розгорнути модель геопросторової сегментації, яка буде використовуватися для класифікації збитку від лиха. Ми розбиваємо додаток на три теми: навчання моделі, розгортання моделі та висновок.

Модельний тренінг

У цьому випадку використання ми створили спеціальну модель PyTorch за допомогою Amazon SageMaker для сегментації зображення пошкоджень будівлі. Геопросторові можливості SageMaker включають навчені моделі, якими ви можете користуватися. Ці вбудовані моделі включають сегментацію та видалення хмар, а також сегментацію земного покриву. Для цієї публікації ми навчаємо спеціальну модель для сегментації пошкоджень. Спочатку ми навчили модель SegFormer на даних конкурсу xView2. SegFormer — це трансформаторна архітектура, представлена ​​в документі 2021 року SegFormer: простий і ефективний дизайн для семантичної сегментації за допомогою трансформаторів. Він заснований на трансформаторних архітектурах, які є досить популярними серед робочих навантажень обробки природної мови; однак архітектура SegFormer створена для семантичної сегментації. Він поєднує в собі трансформаторний кодер і полегшений декодер. Це забезпечує кращу продуктивність, ніж попередні методи, водночас забезпечуючи значно менші розміри моделі, ніж попередні методи. У популярній бібліотеці трансформаторів Hugging Face доступні як попередньо навчені, так і ненавчені моделі SegFormer. Для цього випадку використання ми завантажуємо попередньо навчену архітектуру SegFormer і навчаємо її на новому наборі даних.

Набір даних, використаний у цьому прикладі, походить від xView2 data science змагання. Цей конкурс випустив набір даних xBD, один із найбільших і найякісніших загальнодоступних наборів даних супутникових зображень високої роздільної здатності з анотаціями про розташування будівель і показники пошкоджень (класи) до та після стихійних лих. Набір даних містить дані з 15 країн, у тому числі 6 типів катастроф (землетрус/цунамі, повінь, виверження вулкана, лісова пожежа, вітер) із геопросторовими даними, які містять 850,736 45,362 анотацій будівель на 2 XNUMX км^XNUMX зображень. На наступному зображенні показано приклад набору даних. На цьому зображенні показано зображення після катастрофи з накладеною маскою сегментації пошкоджень будівлі. Кожне зображення містить наступне: супутникове зображення до катастрофи, маска сегментації будівлі до катастрофи, супутникове зображення після катастрофи та маска сегментації будівлі після катастрофи з класами пошкоджень.

У цьому прикладі ми використовуємо лише зображення до та після стихійного лиха, щоб передбачити класифікацію збитку після стихійного лиха (маска сегментації). Ми не використовуємо маски сегментації будівель до катастрофи. Цей підхід був обраний для простоти. Існують інші варіанти підходу до цього набору даних. Кілька підходів-переможців конкурсу xView2 використовували двоетапне рішення: по-перше, передбачте маску сегментації контуру будівлі до катастрофи. Потім контури будівлі та зображення після пошкоджень використовуються як вхідні дані для прогнозування класифікації пошкоджень. Ми залишаємо це читачеві для вивчення інших підходів моделювання для покращення класифікації та продуктивності виявлення.

Попередньо навчена архітектура SegFormer створена для прийому одного триколірного зображення каналу як вхідних даних і виведення маски сегментації. Є кілька способів модифікації моделі, щоб прийняти до- та постсупутникові зображення як вхідні дані, однак ми використали просту техніку укладання, щоб об’єднати обидва зображення разом у шестикольорове зображення каналу. Ми навчили модель за допомогою стандартних методів доповнення на навчальному наборі даних xView2, щоб передбачити маску сегментації після катастрофи. Зауважте, що ми змінили розмір усіх вхідних зображень із 1024 до 512 пікселів. Це мало ще більше зменшити просторову роздільну здатність навчальних даних. Модель було навчено за допомогою SageMaker з використанням одного екземпляра графічного процесора p3.2xlarge. Приклад результату навченої моделі показано на наступних малюнках. Перший набір зображень — це зображення до та після пошкодження з набору перевірки.

На наступних малюнках показано прогнозовану маску пошкодження та маску пошкодження істини.

На перший погляд здається, що модель погано працює порівняно з наземними правдивими даними. Багато будівель неправильно класифіковано, плутаючи незначні пошкодження з відсутністю пошкоджень і показуючи кілька класифікацій для однієї будівлі. Однак один цікавий висновок під час перегляду продуктивності моделі полягає в тому, що вона, схоже, навчилася локалізувати класифікацію пошкодження будівлі. Кожну будівлю можна класифікувати No Damage, Minor Damage, Major Damageабо Destroyed. Прогнозована маска пошкодження показує, що модель класифікувала велику будівлю в центрі як переважно No Damage, але верхній правий кут класифікується як Destroyed. Ця локалізація пошкодження підбудівлі може ще більше допомогти рятувальникам, показуючи локалізовані пошкодження для кожної будівлі.

Розгортання моделі

Потім навчена модель була розгорнута в асинхронній кінцевій точці висновку SageMaker. Зауважте, що ми обрали асинхронну кінцеву точку, щоб забезпечити довший час висновку, більші розміри вхідного навантаження та можливість масштабувати кінцеву точку до нуля (без плати), коли вона не використовується. На наступному малюнку показано код високого рівня для розгортання асинхронної кінцевої точки. Спочатку ми стискаємо збережений словник стану PyTorch і завантажуємо стиснуті артефакти моделі Служба простого зберігання Amazon (Amazon S3). Ми створюємо модель SageMaker PyTorch, яка вказує на наш код висновку та артефакти моделі. Код висновку потрібен для завантаження та обслуговування нашої моделі. Щоб отримати докладніші відомості про необхідний спеціальний код виведення для моделі SageMaker PyTorch, зверніться до Використовуйте PyTorch разом із SageMaker Python SDK.

На наступному малюнку показано код політики автоматичного масштабування для кінцевої точки асинхронного висновку.

Зауважте, що існують інші параметри кінцевої точки, такі як режим реального часу, пакетний і безсерверний, які можна використовувати для вашої програми. Ви захочете вибрати варіант, який найкраще підходить для випадку використання, і запам’ятати його Amazon SageMaker Inference Recommender доступний, щоб допомогти рекомендувати конфігурації кінцевих точок машинного навчання (ML).

Модельний висновок

Після розгортання навченої моделі ми можемо використовувати її Геопросторові можливості SageMaker щоб зібрати дані для висновку. Завдяки геопросторовим можливостям SageMaker доступно кілька вбудованих моделей. У цьому прикладі ми використовуємо операцію складання смуг для складання каналів червоного, зеленого та синього кольорів для нашої роботи зі спостереження Землі. Робота збирає дані з набору даних Sentinel-2. Щоб налаштувати завдання зі спостереження Землі, нам спочатку потрібні координати цікавого місця. По-друге, нам потрібен часовий діапазон спостереження. Завдяки цьому ми тепер можемо подати завдання зі спостереження Землі за допомогою функції стекування. Тут ми складаємо червоні, зелені та сині смуги, щоб отримати кольорове зображення. На наступному малюнку показано конфігурацію завдання, яке використовувалося для створення даних про повінь у Рочестері, Австралія, у середині жовтня 2022 року. Ми використовуємо зображення до та після катастрофи як вхідні дані для нашої навченої моделі ML.

Після визначення конфігурації завдання ми можемо надіслати завдання. Після завершення роботи ми експортуємо результати в Amazon S3. Зауважте, що ми можемо експортувати результати лише після завершення роботи. Результати завдання можна експортувати в розташування Amazon S3, указане користувачем у конфігурації завдання експорту. Тепер з нашими новими даними в Amazon S3 ми можемо отримувати прогнози збитків за допомогою розгорнутої моделі. Спочатку ми зчитуємо дані в пам’ять і складаємо разом зображення до та після катастрофи.

Результати маски сегментації для повеней Рочестера показані на наступних зображеннях. Тут ми бачимо, що модель визначила місця в затопленому регіоні як ймовірно пошкоджені. Зауважте також, що просторова роздільна здатність вихідного зображення відрізняється від навчальних даних. Збільшення просторової роздільної здатності може допомогти моделі продуктивності; однак це менша проблема для моделі SegFormer, ніж для інших моделей через багатомасштабну архітектуру моделі.

Оцінка збитків

Висновок

У цій публікації ми показали, як навчати, розгортати та прогнозувати шкоду від стихійних лих SageMaker із геопросторовими можливостями. Ми використали нові геопросторові можливості SageMaker для створення нових даних висновків для перевірки моделі. Код для цієї публікації знаходиться в процесі випуску, і ця публікація буде оновлена ​​посиланнями на повний код навчання, розгортання та висновків. Ця програма дозволяє особам, які першими реагують, урядам і гуманітарним організаціям оптимізувати свою реакцію, забезпечуючи критичну обізнаність про ситуацію одразу після стихійного лиха. Ця програма є лише одним із прикладів можливостей сучасних інструментів машинного навчання, таких як SageMaker.

Спробуйте геопросторові можливості SageMaker сьогодні, використовуючи власні моделі; ми з нетерпінням чекаємо, що ви створите далі.

Про автора

Аарон Сенгстакен є архітектором рішень спеціаліста з машинного навчання в Amazon Web Services. Аарон тісно співпрацює з державними клієнтами будь-якого розміру для розробки та розгортання програм машинного навчання. Його цікавить усе, що стосується машинного навчання, технологій і дослідження космосу.