В последние годы достижения в области компьютерного зрения позволили исследователям, службам экстренного реагирования и правительствам решить сложную проблему обработки глобальных спутниковых изображений, чтобы понять нашу планету и наше влияние на нее. AWS недавно выпустил Геопространственные возможности Amazon SageMaker чтобы предоставить вам спутниковые снимки и геопространственные современные модели машинного обучения (ML), уменьшая барьеры для этих типов вариантов использования. Для получения дополнительной информации см. Предварительная версия: использование Amazon SageMaker для создания, обучения и развертывания моделей машинного обучения с использованием геопространственных данных.
Многие агентства, в том числе службы экстренного реагирования, используют эти предложения для получения широкомасштабной ситуационной информации и определения приоритетности усилий по оказанию помощи в географических районах, пострадавших от стихийных бедствий. Часто эти агентства имеют дело с изображениями стихийных бедствий, полученными с малой высоты и со спутников, и эти данные часто не имеют маркировки и их трудно использовать. Современные модели компьютерного зрения часто плохо работают при просмотре спутниковых изображений города, пострадавшего от урагана или лесного пожара. Учитывая отсутствие этих наборов данных, даже самые современные модели машинного обучения часто не могут обеспечить точность и четкость, необходимые для прогнозирования стандартных классификаций бедствий FEMA.
Наборы геопространственных данных содержат полезные метаданные, такие как координаты широты и долготы, а также метки времени, которые могут предоставить контекст для этих изображений. Это особенно полезно для повышения точности геопространственного машинного обучения для сцен стихийных бедствий, потому что эти изображения по своей природе беспорядочны и хаотичны. Здания менее прямоугольные, растительность повреждена, а линейные дороги прерваны наводнениями или оползнями. Поскольку маркировка этих массивных наборов данных является дорогостоящей, ручной и трудоемкой задачей, разработка моделей машинного обучения, которые могут автоматизировать маркировку и аннотирование изображений, имеет решающее значение.
Чтобы обучить эту модель, нам нужно размеченное подмножество истинности Набор данных снимков бедствий на малых высотах (LADI). Этот набор данных состоит из аннотированных человеком и машинами изображений с воздуха, собранных Гражданским воздушным патрулем в поддержку различных мер реагирования на стихийные бедствия с 2015 по 2019 год. Эти наборы данных LADI сосредоточены на сезонах ураганов в Атлантике и прибрежных штатах вдоль Атлантического океана и Мексиканского залива. Двумя ключевыми отличиями являются небольшая высота, наклонная перспектива изображений и особенности, связанные со стихийными бедствиями, которые редко используются в тестах компьютерного зрения и наборах данных. Команды использовали существующие категории FEMA для таких повреждений, как наводнения, обломки, пожар и дым или оползни, которые стандартизировали категории меток. Затем решение может делать прогнозы для остальных обучающих данных и направлять результаты с низкой достоверностью для проверки человеком.
В этом посте мы описываем наш дизайн и реализацию решения, лучшие практики и ключевые компоненты системной архитектуры.
Обзор решения
Вкратце, решение заключалось в построении трех конвейеров:
- Конвейер данных - Извлекает метаданные изображений
- Конвейер машинного обучения - Классифицирует и маркирует изображения
- Конвейер проверки с участием человека – Использует человеческую команду для проверки результатов
Следующая диаграмма иллюстрирует архитектуру решения.
Учитывая природу такой системы маркировки, мы разработали горизонтально масштабируемую архитектуру, которая могла бы справляться с резкими скачками загрузки без избыточной подготовки за счет использования бессерверной архитектуры. Мы используем шаблон «один ко многим» из Простой сервис очередей Amazon (Amazon SQS) в AWS Lambda в нескольких местах, чтобы поддержать эти всплески потребления, предлагая отказоустойчивость.
Использование очереди SQS для обработки Простой сервис хранения Amazon (Amazon S3) помогает нам контролировать параллелизм последующей обработки (в данном случае функции Lambda) и обрабатывать входящие скачки данных. Постановка в очередь входящих сообщений также действует как буферное хранилище на случай каких-либо сбоев в нисходящем направлении.
Учитывая высокую параллельность потребностей, мы выбрали Lambda для обработки наших изображений. Lambda — это служба бессерверных вычислений, которая позволяет нам запускать код без предоставления серверов или управления ими, создавая логику масштабирования кластера с учетом рабочей нагрузки, поддерживая интеграцию событий и управляя средами выполнения.
МЫ ИСПОЛЬЗУЕМ Сервис Amazon OpenSearch в качестве нашего центрального хранилища данных, чтобы воспользоваться его масштабируемым, быстрым поиском и интегрированным инструментом визуализации OpenSearch Dashboards. Это позволяет нам итеративно добавлять контекст к изображению без перекомпиляции или изменения масштаба, а также обрабатывать эволюцию схемы.
Апостол позволяет легко добавлять анализ изображений и видео в наши приложения, используя проверенную, хорошо масштабируемую технологию глубокого обучения. С помощью Amazon Rekognition мы получаем хороший базовый уровень обнаруженных объектов.
В следующих разделах мы рассмотрим каждый конвейер более подробно.
Конвейер данных
На следующей диаграмме показан рабочий процесс конвейера данных.
Конвейер данных LADI начинается с приема изображений необработанных данных из Общий протокол оповещения FEMA (CAP) в корзину S3. Когда мы загружаем изображения в корзину необработанных данных, они обрабатываются почти в реальном времени в два этапа:
- Сегмент S3 инициирует уведомления о событиях для всех созданных объектов, создавая сообщения в очереди SQS для каждого загруженного изображения.
- Очередь SQS одновременно вызывает функции предварительной обработки Lambda для изображения.
Функции Lambda выполняют следующие шаги предварительной обработки:
- Вычислите UUID для каждого изображения, предоставив уникальный идентификатор для каждого изображения. Этот идентификатор будет идентифицировать образ на протяжении всего его жизненного цикла.
- Извлекайте из изображения метаданные, такие как GPS-координаты, размер изображения, информацию ГИС и местоположение S3, и сохраняйте их в OpenSearch.
- На основе поиска по кодам FIPS функция перемещает изображение в корзину S3 для курируемых данных. Мы разделяем данные по FIPS-коду состояния/FIPS-коду округа/году/месяцу изображения.
Конвейер машинного обучения
Конвейер машинного обучения начинается с того, что изображения попадают в корзину курируемых данных S3 на этапе конвейера данных, который запускает следующие шаги:
- Amazon S3 создает сообщение в другой очереди SQS для каждого объекта, созданного в корзине S3 для курируемых данных.
- Очередь SQS одновременно запускает функции Lambda для запуска задания вывода ML для изображения.
Функции Lambda выполняют следующие действия:
- Отправляйте каждое изображение в Amazon Rekognition для обнаружения объектов, сохраняя возвращенные метки и соответствующие оценки достоверности.
- Скомпонуйте выходные данные Amazon Rekognition во входные параметры для нашего Создатель мудреца Амазонки мультимодельная конечная точка. На этой конечной точке размещается наш ансамбль классификаторов, обученных для определенных наборов меток повреждений.
- Передайте результаты конечной точки SageMaker в Amazon увеличил AI (Амазон А2И).
На следующей диаграмме показан рабочий процесс конвейера.
Конвейер проверки с участием человека
На следующей диаграмме показан конвейер «человек в контуре» (HIL).
С помощью Amazon A2I мы можем настроить пороговые значения, которые будут запускать проверку человеком частной командой, когда модель дает прогноз с низкой достоверностью. Мы также можем использовать Amazon A2I для постоянного аудита прогнозов нашей модели. Этапы рабочего процесса следующие:
- Amazon A2I направляет прогнозы с высокой достоверностью в OpenSearch Service, обновляя данные метки изображения.
- Amazon A2I направляет прогнозы с низкой достоверностью частной команде для аннотирования изображений вручную.
- Рецензент-человек завершает аннотацию, создавая выходной файл аннотации, который сохраняется в корзине HIL Output S3.
- Ведро HIL Output S3 запускает функцию Lambda, которая анализирует вывод человеческих аннотаций и обновляет данные изображения в службе OpenSearch.
Направляя результаты человеческих аннотаций обратно в хранилище данных, мы можем переобучить модели ансамбля и итеративно повысить точность модели.
Благодаря тому, что наши высококачественные результаты теперь хранятся в службе OpenSearch, мы можем выполнять геопространственный и временной поиск через REST API, используя Шлюз API Amazon и Геосервер. Панель инструментов OpenSearch также позволяет пользователям выполнять поиск и анализировать этот набор данных.
Итоги
Следующий код показывает пример наших результатов.
С помощью этого нового конвейера мы создаем человеческую поддержку для моделей, которые еще не полностью эффективны. Этот новый конвейер машинного обучения был запущен в производство для использования с Микросервис фильтра изображений гражданской авиации это позволяет фильтровать изображения гражданского воздушного патруля в Пуэрто-Рико. Это позволяет службам быстрого реагирования просматривать масштабы ущерба и изображения, связанные с этим ущербом после ураганов. Лаборатория данных AWS, программа AWS Open Data Program, группа реагирования на стихийные бедствия Amazon и команда AWS, работающая с людьми в цикле, работали с клиентами над разработкой конвейера с открытым исходным кодом, который можно использовать для анализа данных гражданского воздушного патруля, хранящихся в открытых данных. Реестр программ по запросу после любого стихийного бедствия. Для получения дополнительной информации об архитектуре пайплайна и обзоре сотрудничества и влияния посмотрите видео Акцент на реагировании на стихийные бедствия с помощью Amazon Augmented AI, программы AWS Open Data Program и AWS Snowball.
Заключение
Поскольку изменение климата продолжает увеличивать частоту и интенсивность штормов и лесных пожаров, мы по-прежнему видим важность использования машинного обучения для понимания воздействия этих событий на местные сообщества. Эти новые инструменты могут ускорить усилия по реагированию на стихийные бедствия и позволяют нам использовать данные этого анализа после событий для повышения точности прогнозов этих моделей с активным обучением. Эти новые модели машинного обучения могут автоматизировать аннотирование данных, что позволяет нам делать выводы о степени ущерба от каждого из этих событий, когда мы накладываем метки повреждений на данные карты. Эти кумулятивные данные также могут помочь улучшить нашу способность прогнозировать ущерб от будущих стихийных бедствий, что может помочь в разработке стратегий смягчения последствий. Это, в свою очередь, может повысить устойчивость сообществ, экономики и экосистем, предоставляя лицам, принимающим решения, информацию, необходимую им для разработки политик, основанных на данных, для устранения этих возникающих экологических угроз.
В этом сообщении блога мы обсудили использование компьютерного зрения на спутниковых снимках. Это решение предназначено для использования в качестве эталонной архитектуры или краткого руководства, которое вы можете настроить в соответствии со своими потребностями.
Попробуйте и дайте нам знать, как это решило ваш вариант использования, оставив отзыв в разделе комментариев. Для получения дополнительной информации см. Геопространственные возможности Amazon SageMaker.
Об авторах
Вамши Кришна Энаботала является старшим архитектором прикладного ИИ в AWS. Он работает с клиентами из разных секторов, чтобы ускорить инициативы в области данных, аналитики и машинного обучения. Он увлечен рекомендательными системами, НЛП и компьютерным зрением в области искусственного интеллекта и машинного обучения. Вне работы Вамши увлекается радиоуправлением, собирает радиоуправляемое оборудование (самолеты, автомобили и дроны), а также увлекается садоводством.
Морган Даттон является старшим менеджером технических программ в команде Amazon Augmented AI и Amazon SageMaker Ground Truth. Она работает с клиентами из корпоративного, академического и государственного секторов, чтобы ускорить внедрение машинного обучения и услуг машинного обучения с участием человека.
Сандип Верма является старшим архитектором прототипов в AWS. Ему нравится погружаться в проблемы клиентов и создавать прототипы для клиентов, чтобы ускорить внедрение инноваций. У него есть опыт работы в области искусственного интеллекта и машинного обучения, он является основателем New Knowledge и в целом увлечен технологиями. В свободное время он любит путешествовать и кататься на лыжах со своей семьей.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- способность
- в состоянии
- О нас
- академический
- ускорять
- точность
- действия
- активный
- акты
- адрес
- Принятие
- авансы
- плюс
- против
- агентствах
- AI
- AI / ML
- AIR
- Все
- позволяет
- Amazon
- Amazon увеличил AI
- Апостол
- Создатель мудреца Амазонки
- Amazon SageMaker - основа правды
- Анализ
- анализ
- аналитика
- анализировать
- и
- Другой
- API
- Приложения
- прикладной
- Прикладной ИИ
- архитектура
- области
- связанный
- аудит
- дополненная
- автоматизировать
- осведомленность
- AWS
- назад
- фон
- заслон
- барьеры
- Базовая линия
- , так как:
- тесты
- ЛУЧШЕЕ
- лучшие практики
- Блог
- буфер
- строить
- Строительство
- глава
- легковые автомобили
- случаев
- случаев
- категории
- центральный
- проблемы
- сложные
- изменение
- проверка
- выбрал
- Город
- климат
- Изменение климата
- Кластер
- код
- сотрудничество
- Комментарии
- Общий
- Сообщества
- зАВЕРШАЕТ
- компоненты
- Вычисление
- компьютер
- Компьютерное зрение
- доверие
- содержать
- контекст
- продолжать
- продолжается
- контроль
- Создайте
- создали
- Создающий
- творения
- критической
- Куратор
- клиент
- Клиенты
- настроить
- приборная панель
- данным
- управляемых данными
- Наборы данных
- занимавшийся
- лица, принимающие решения
- глубоко
- глубокое обучение
- доставить
- Спрос
- развертывание
- описывать
- Проект
- предназначенный
- подробность
- обнаруженный
- обнаружение
- развивать
- Развитие
- различный
- трудный
- катастрофа
- бедствия
- обсуждается
- беспилотники
- каждый
- экономия
- Экосистемы
- усилия
- появление
- включен
- позволяет
- Конечная точка
- Предприятие
- энтузиаст
- Весь
- окружающий
- Оборудование
- особенно
- Даже
- События
- События
- эволюция
- пример
- существующий
- дорогим
- Экстракты
- семья
- БЫСТРО
- СПЕЦЦЕНА
- Особенности
- Обратная связь
- Файл
- фильтр
- фильтрация
- Для пожарных
- Во-первых,
- Фокус
- после
- следующим образом
- основатель
- Бесплатно
- частота
- от
- полностью
- функция
- Функции
- будущее
- Gain
- в общем
- генерирует
- порождающий
- географический
- Геопространственное машинное обучение
- получить
- данный
- Отдаете
- Глобальный
- хорошо
- Правительства
- GPS
- земля
- инструкция
- обрабатывать
- имеющий
- помощь
- полезный
- помогает
- High
- высококачественный
- очень
- Удар
- хостов
- Как
- HTML
- HTTPS
- человек
- ураган
- ID
- идентификатор
- определения
- изображение
- изображений
- Влияние
- реализация
- значение
- улучшать
- улучшение
- in
- В том числе
- Входящий
- Увеличение
- информация
- инициативы
- Инновации
- вход
- интегрированный
- интеграций
- прерванный
- Запускает
- вовлеченный
- IT
- работа
- Основные
- Знать
- знания
- лаборатория
- этикетка
- маркировка
- Этикетки
- Отсутствие
- посадка
- крупномасштабный
- изучение
- уход
- Lets
- Жизненный цикл
- локальным
- расположение
- искать
- поиск
- Низкий
- машина
- обучение с помощью машины
- Сохранение
- сделать
- ДЕЛАЕТ
- менеджер
- управления
- руководство
- вручную
- карта
- Карты
- массивный
- сообщение
- Сообщения
- Метаданные
- Мексика
- смягчение
- ML
- модель
- Модели
- БОЛЕЕ
- движется
- Мультимодельная конечная точка
- с разными
- натуральный
- природа
- Необходимость
- потребности
- Новые
- НЛП
- Уведомления
- объект
- Обнаружение объекта
- объекты
- океан
- Предложения
- постоянный
- открытый
- открытые данные
- с открытым исходным кодом
- внешнюю
- обзор
- собственный
- Параллельные
- параметры
- страстный
- шаблон
- Выполнять
- перспектива
- трубопровод
- планета
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- После
- практиками
- Точность
- предсказывать
- прогноз
- Predictions
- Расставляйте приоритеты
- частная
- Проблема
- процесс
- Обработанный
- обработка
- Производство
- FitPartner™
- протокол
- Прототипы
- макетирования
- доказанный
- обеспечивать
- обеспечение
- что такое варган?
- порт
- Пуэрто-Рико
- положил
- САЙТ
- Сырье
- последний
- недавно
- Рекомендация
- снижение
- реестра
- выпустил
- помощь
- обязательный
- исследователи
- упругость
- те
- ответ
- ОТДЫХ
- Итоги
- обзоре
- РИКО
- дорога
- маршруты
- Run
- sagemaker
- спутник
- масштабируемые
- масштабирование
- Сцены
- Поиск
- сезоны
- Раздел
- разделах
- сектор
- Сектора юридического права
- старший
- Serverless
- Серверы
- обслуживание
- Услуги
- Наборы
- Шоу
- просто
- Размер
- Дым
- Снимок
- Решение
- Источники
- специалист
- конкретный
- шипы
- стандарт
- Начало
- начинается
- современное состояние
- Области
- Шаг
- Шаги
- диск
- магазин
- хранить
- бури
- стратегий
- такие
- поддержка
- система
- системы
- взять
- команда
- команды
- технологии
- Технический
- Технологии
- Ассоциация
- информация
- угрозы
- три
- время
- кропотливый
- в
- инструментом
- инструменты
- Train
- специалистов
- Обучение
- Путешествие
- вызвать
- ОЧЕРЕДЬ
- Типы
- понимать
- созданного
- Updates
- обновление
- us
- использование
- прецедент
- пользователей
- различный
- с помощью
- Видео
- Вид
- видение
- визуализация
- , которые
- будете
- без
- Работа
- работавший
- работает
- бы
- лет
- доходность
- Ты
- ВАШЕ
- YouTube
- зефирнет