Nos últimos anos, os avanços na visão computacional permitiram que pesquisadores, socorristas e governos enfrentassem o problema desafiador de processar imagens globais de satélite para entender nosso planeta e nosso impacto sobre ele. AWS lançado recentemente Recursos geoespaciais do Amazon SageMaker para fornecer a você imagens de satélite e modelos geoespaciais de aprendizado de máquina (ML) de última geração, reduzindo as barreiras para esses tipos de casos de uso. Para mais informações, consulte Visualização: use o Amazon SageMaker para criar, treinar e implantar modelos de ML usando dados geoespaciais.
Muitas agências, incluindo socorristas, estão usando essas ofertas para obter consciência situacional em larga escala e priorizar esforços de socorro em áreas geográficas atingidas por desastres naturais. Freqüentemente, essas agências estão lidando com imagens de desastres de baixa altitude e fontes de satélite, e esses dados geralmente não são rotulados e são difíceis de usar. Modelos de visão computacional de última geração geralmente apresentam desempenho inferior ao observar imagens de satélite de uma cidade atingida por um furacão ou incêndio. Dada a falta desses conjuntos de dados, mesmo os modelos de ML de última geração geralmente não conseguem fornecer a exatidão e a precisão necessárias para prever as classificações de desastres padrão da FEMA.
Os conjuntos de dados geoespaciais contêm metadados úteis, como coordenadas de latitude e longitude e registros de data e hora, que podem fornecer contexto para essas imagens. Isso é especialmente útil para melhorar a precisão do ML geoespacial para cenas de desastres, porque essas imagens são inerentemente confusas e caóticas. Os edifícios são menos retangulares, a vegetação sofreu danos e as estradas lineares foram interrompidas por inundações ou deslizamentos de terra. Como rotular esses enormes conjuntos de dados é caro, manual e demorado, o desenvolvimento de modelos de ML que podem automatizar a rotulagem e a anotação de imagens é fundamental.
Para treinar esse modelo, precisamos de um subconjunto rotulado de verdade de campo do Conjunto de dados de imagens de desastres de baixa altitude (LADI). Este conjunto de dados consiste em imagens aéreas anotadas por humanos e máquinas coletadas pela Patrulha Aérea Civil em apoio a várias respostas a desastres de 2015-2019. Esses conjuntos de dados LADI concentram-se nas temporadas de furacões no Atlântico e nos estados costeiros ao longo do Oceano Atlântico e do Golfo do México. Duas distinções principais são a baixa altitude, a perspectiva oblíqua das imagens e os recursos relacionados a desastres, que raramente são apresentados em benchmarks e conjuntos de dados de visão computacional. As equipes usaram categorias FEMA existentes para danos como inundações, detritos, incêndio e fumaça ou deslizamentos de terra, que padronizaram as categorias de rótulos. A solução é então capaz de fazer previsões sobre o restante dos dados de treinamento e encaminhar os resultados de menor confiança para revisão humana.
Nesta postagem, descrevemos nosso design e implementação da solução, melhores práticas e os principais componentes da arquitetura do sistema.
Visão geral da solução
Em resumo, a solução envolveu a construção de três pipelines:
- Pipeline de dados – Extrai os metadados das imagens
- Pipeline de aprendizado de máquina – Classifica e rotula imagens
- Pipeline de revisão human-in-the-loop – Usa uma equipe humana para revisar os resultados
O diagrama a seguir ilustra a arquitetura da solução.
Dada a natureza de um sistema de rotulagem como esse, projetamos uma arquitetura escalonável horizontalmente que lidaria com picos de ingestão sem superprovisionamento usando uma arquitetura sem servidor. Usamos um padrão um-para-muitos de Serviço de fila simples da Amazon (Amazon SQS) para AWS Lambda em vários pontos para suportar esses picos de ingestão, oferecendo resiliência.
Usando uma fila SQS para processamento Serviço de armazenamento simples da Amazon (Amazon S3) nos ajuda a controlar a simultaneidade do processamento downstream (funções do Lambda, neste caso) e lidar com os picos de entrada de dados. O enfileiramento de mensagens recebidas também atua como um armazenamento de buffer em caso de falhas no downstream.
Dadas as necessidades altamente paralelas, escolhemos o Lambda para processar nossas imagens. O Lambda é um serviço de computação sem servidor que nos permite executar código sem provisionar ou gerenciar servidores, criando lógica de dimensionamento de cluster com reconhecimento de carga de trabalho, mantendo integrações de eventos e gerenciando tempos de execução.
Usamos Serviço Amazon OpenSearch como nosso armazenamento central de dados para aproveitar suas pesquisas rápidas e altamente escaláveis e a ferramenta de visualização integrada, OpenSearch Dashboards. Ele nos permite adicionar contexto iterativamente à imagem, sem ter que recompilar ou redimensionar, e lidar com a evolução do esquema.
Reconhecimento da Amazônia facilita a adição de análise de imagem e vídeo em nossos aplicativos, usando tecnologia de aprendizagem profunda comprovada e altamente escalável. Com o Amazon Rekognition, obtemos uma boa linha de base dos objetos detectados.
Nas seções a seguir, nos aprofundamos em cada pipeline com mais detalhes.
Pipeline de dados
O diagrama a seguir mostra o fluxo de trabalho do pipeline de dados.
O pipeline de dados LADI começa com a ingestão de imagens de dados brutos do Protocolo de Alerta Comum FEMA (CAP) em um balde S3. À medida que ingerimos as imagens no balde de dados brutos, elas são processadas quase em tempo real em duas etapas:
- O bucket S3 aciona notificações de eventos para todas as criações de objetos, criando mensagens na fila SQS para cada imagem ingerida.
- A fila SQS invoca simultaneamente as funções Lambda de pré-processamento na imagem.
As funções do Lambda executam as seguintes etapas de pré-processamento:
- Calcule o UUID para cada imagem, fornecendo um identificador exclusivo para cada imagem. Esse ID identificará a imagem durante todo o seu ciclo de vida.
- Extraia metadados, como coordenadas GPS, tamanho da imagem, informações GIS e localização S3 da imagem e persista no OpenSearch.
- Com base em uma pesquisa em códigos FIPS, a função move a imagem para o depósito S3 de dados selecionados. Nós particionamos os dados pelo FIPS-State-code/FIPS-County-code/Year/Month da imagem.
Pipeline de aprendizado de máquina
O pipeline de ML começa com as imagens que chegam ao bucket S3 de dados selecionados na etapa do pipeline de dados, que aciona as seguintes etapas:
- O Amazon S3 gera uma mensagem em outra fila SQS para cada objeto criado no bucket S3 de dados selecionados.
- A fila SQS aciona funções Lambda simultaneamente para executar o trabalho de inferência de ML na imagem.
As funções do Lambda executam as seguintes ações:
- Envie cada imagem para o Amazon Rekognition para detecção de objetos, armazenando os rótulos retornados e as respectivas pontuações de confiança.
- Componha a saída do Amazon Rekognition em parâmetros de entrada para nosso Amazon Sage Maker terminal multimodelo. Este endpoint hospeda nosso conjunto de classificadores, que são treinados para conjuntos específicos de rótulos de danos.
- Passe os resultados do terminal SageMaker para IA aumentada da Amazon (Amazônia A2I).
O diagrama a seguir ilustra o fluxo de trabalho do pipeline.
Pipeline de revisão human-in-the-loop
O diagrama a seguir ilustra o pipeline human-in-the-loop (HIL).
Com o Amazon A2I, podemos configurar limites que acionarão uma revisão humana por uma equipe privada quando um modelo produzir uma previsão de baixa confiança. Também podemos usar o Amazon A2I para fornecer uma auditoria contínua das previsões de nosso modelo. As etapas do fluxo de trabalho são as seguintes:
- O Amazon A2I roteia previsões de alta confiança para o OpenSearch Service, atualizando os dados do rótulo da imagem.
- O Amazon A2I encaminha previsões de baixa confiança para a equipe privada para anotar as imagens manualmente.
- O revisor humano conclui a anotação, gerando um arquivo de saída de anotação humana que é armazenado no depósito HIL Output S3.
- O bucket HIL Output S3 aciona uma função Lambda que analisa a saída de anotações humanas e atualiza os dados da imagem no OpenSearch Service.
Ao encaminhar os resultados da anotação humana de volta para o armazenamento de dados, podemos treinar novamente os modelos de conjunto e melhorar iterativamente a precisão do modelo.
Com nossos resultados de alta qualidade agora armazenados no serviço OpenSearch, podemos realizar pesquisas geoespaciais e temporais por meio de uma API REST, usando Gateway de API da Amazon e Geoservidor. O OpenSearch Dashboard também permite que os usuários pesquisem e executem análises com esse conjunto de dados.
Resultados
O código a seguir mostra um exemplo de nossos resultados.
Com esse novo pipeline, criamos um backstop humano para modelos que ainda não têm desempenho total. Este novo pipeline de ML foi colocado em produção para uso com um Microsserviço de Filtro de Imagem da Patrulha Aérea Civil que permite a filtragem de imagens da Patrulha Aérea Civil em Porto Rico. Isso permite que os socorristas visualizem a extensão dos danos e visualizem as imagens associadas a esses danos após os furacões. O AWS Data Lab, o AWS Open Data Program, a equipe de resposta a desastres da Amazon e a equipe human-in-the-loop da AWS trabalharam com clientes para desenvolver um pipeline de código aberto que pode ser usado para analisar dados de patrulha aérea civil armazenados no Open Data Registro do programa sob demanda após qualquer desastre natural. Para obter mais informações sobre a arquitetura do pipeline e uma visão geral da colaboração e do impacto, confira o vídeo Com foco na resposta a desastres com Amazon Augmented AI, AWS Open Data Program e AWS Snowball.
Conclusão
Como as mudanças climáticas continuam a aumentar a frequência e intensidade de tempestades e incêndios florestais, continuamos a ver a importância de usar o ML para entender o impacto desses eventos nas comunidades locais. Essas novas ferramentas podem acelerar os esforços de resposta a desastres e nos permitir usar os dados dessas análises pós-evento para melhorar a precisão da previsão desses modelos com aprendizado ativo. Esses novos modelos de ML podem automatizar a anotação de dados, o que nos permite inferir a extensão dos danos de cada um desses eventos à medida que sobrepomos rótulos de danos com dados do mapa. Esses dados cumulativos também podem ajudar a melhorar nossa capacidade de prever danos para futuros eventos de desastres, o que pode informar estratégias de mitigação. Isso, por sua vez, pode melhorar a resiliência de comunidades, economias e ecossistemas, fornecendo aos tomadores de decisão as informações necessárias para desenvolver políticas baseadas em dados para lidar com essas ameaças ambientais emergentes.
Nesta postagem do blog, discutimos o uso da visão computacional em imagens de satélite. Esta solução destina-se a ser uma arquitetura de referência ou um guia de início rápido que você pode personalizar para suas próprias necessidades.
Experimente e deixe-nos saber como isso resolveu seu caso de uso, deixando feedback na seção de comentários. Para mais informações, veja Recursos geoespaciais do Amazon SageMaker.
Sobre os autores
Vamshi Krishna Enabothala é Arquiteto Especialista em IA Aplicada Sênior na AWS. Ele trabalha com clientes de diferentes setores para acelerar dados de alto impacto, análises e iniciativas de aprendizado de máquina. Ele é apaixonado por sistemas de recomendação, NLP e áreas de visão computacional em IA e ML. Fora do trabalho, Vamshi é um entusiasta de RC, construindo equipamentos de RC (aviões, carros e drones) e também gosta de jardinagem.
Morgan Dutton é gerente de programa técnico sênior da equipe Amazon Augmented AI e Amazon SageMaker Ground Truth. Ela trabalha com clientes corporativos, acadêmicos e do setor público para acelerar a adoção de aprendizado de máquina e serviços de ML human-in-the-loop.
Sandeep Verma é arquiteto sênior de prototipagem da AWS. Ele gosta de mergulhar profundamente nos desafios dos clientes e construir protótipos para os clientes para acelerar a inovação. Ele tem experiência em AI/ML, fundador da New Knowledge e geralmente apaixonado por tecnologia. Nas horas vagas, adora viajar e esquiar com a família.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- habilidade
- Capaz
- Sobre
- acadêmico
- acelerar
- precisão
- ações
- ativo
- atos
- endereço
- Adoção
- avanços
- Vantagem
- contra
- agências
- AI
- AI / ML
- AR
- Todos os Produtos
- permite
- Amazon
- IA aumentada da Amazon
- Reconhecimento da Amazônia
- Amazon Sage Maker
- Verdade no solo do Amazon SageMaker
- Analisa
- análise
- analítica
- analisar
- e
- Outro
- api
- aplicações
- aplicado
- IA aplicada
- arquitetura
- áreas
- associado
- auditor
- aumentado
- automatizar
- consciência
- AWS
- em caminho duplo
- fundo
- contra-recuo
- barreiras
- Linha de Base
- Porque
- benchmarks
- MELHOR
- melhores práticas
- Blog
- amortecer
- construir
- Prédio
- boné
- carros
- casas
- casos
- Categorias
- central
- desafios
- desafiante
- alterar
- verificar
- escolheu
- Cidades
- Clima
- Das Alterações Climáticas
- Agrupar
- código
- colaboração
- comentários
- comum
- Comunidades
- Completa
- componentes
- Computar
- computador
- Visão de Computador
- confiança
- não contenho
- contexto
- continuar
- continua
- ao controle
- crio
- criado
- Criar
- criações
- crítico
- comissariada
- cliente
- Clientes
- personalizar
- painel de instrumentos
- dados,
- orientado por dados
- conjuntos de dados
- lidar
- decisores
- profundo
- deep learning
- entregar
- Demanda
- implantar
- descreve
- Design
- projetado
- detalhe
- detectou
- Detecção
- desenvolver
- Desenvolvimento
- diferente
- difícil
- desastre
- desastres
- discutido
- Drones
- cada
- economias
- ecossistemas
- esforços
- emergente
- habilitado
- permite
- Ponto final
- Empreendimento
- entusiasta
- Todo
- ambiental
- equipamento
- especialmente
- Mesmo
- Evento
- eventos
- evolução
- exemplo
- existente
- caro
- Extractos
- família
- RÁPIDO
- destaque
- Funcionalidades
- retornos
- Envie o
- filtro
- filtragem
- Fogo
- Primeiro nome
- Foco
- seguinte
- segue
- fundador
- Gratuito
- Frequência
- da
- totalmente
- função
- funções
- futuro
- Ganho
- geralmente
- gera
- gerando
- geográfico
- ML geoespacial
- ter
- dado
- Dando
- Global
- Bom estado, com sinais de uso
- Governos
- gps
- Solo
- guia
- manipular
- ter
- ajudar
- útil
- ajuda
- Alta
- alta qualidade
- altamente
- Acertar
- anfitriões
- Como funciona o dobrador de carta de canal
- HTML
- HTTPS
- humano
- furacão
- ID
- identificador
- identificar
- imagem
- imagens
- Impacto
- implementação
- importância
- melhorar
- melhorar
- in
- Incluindo
- Entrada
- Crescimento
- INFORMAÇÕES
- iniciativas
- Inovação
- entrada
- integrado
- integrações
- interrompido
- invoca
- envolvido
- IT
- Trabalho
- Chave
- Saber
- Conhecimento
- laboratório
- O rótulo
- marcação
- Rótulos
- Falta
- aterrissagem
- em grande escala
- aprendizagem
- partida
- Permite
- wifecycwe
- local
- localização
- procurando
- pesquisa
- Baixo
- máquina
- aprendizado de máquina
- Manter
- fazer
- FAZ
- Gerente
- gestão
- manual
- manualmente
- mapa,
- mapas
- maciço
- mensagem
- mensagens
- metadados
- México
- mitigação
- ML
- modelo
- modelos
- mais
- movimentos
- Ponto de extremidade multimodelo
- múltiplo
- natural
- Natureza
- você merece...
- Cria
- Novo
- PNL
- notificações
- objeto
- Detecção de Objetos
- objetos
- oceano
- Ofertas
- contínuo
- aberto
- dados abertos
- open source
- lado de fora
- Visão geral
- próprio
- Paralelo
- parâmetros
- apaixonado
- padrão
- Realizar
- perspectiva
- oleoduto
- avião
- platão
- Inteligência de Dados Platão
- PlatãoData
- Publique
- práticas
- Precisão
- predizer
- predição
- Previsões
- Priorizar
- privado
- Problema
- processo
- Processado
- em processamento
- Produção
- Agenda
- protocolo
- protótipos
- prototipagem
- comprovado
- fornecer
- fornecendo
- público
- Puerto
- Porto Rico
- colocar
- Links
- Cru
- recentemente
- recentemente
- Recomendação
- redução
- registro
- liberado
- alívio
- requeridos
- pesquisadores
- resiliência
- aqueles
- resposta
- DESCANSO
- Resultados
- rever
- RICO
- Rota
- rotas
- Execute
- sábio
- satélite
- escalável
- dimensionamento
- Cenas
- Pesquisar
- estações
- Seção
- seções
- setor
- Setores
- senior
- Serverless
- Servidores
- serviço
- Serviços
- Conjuntos
- Shows
- simples
- Tamanho
- Fumaça
- Instantâneo
- solução
- Fontes
- especialista
- específico
- picos
- padrão
- começo
- começa
- estado-da-arte
- Unidos
- Passo
- Passos
- armazenamento
- loja
- armazenadas
- tempestades
- estratégias
- tal
- ajuda
- .
- sistemas
- Tire
- Profissionais
- equipes
- tecnologia
- Dados Técnicos:
- Tecnologia
- A
- as informações
- ameaças
- três
- tempo
- demorado
- para
- ferramenta
- ferramentas
- Trem
- treinado
- Training
- Viagens
- desencadear
- VIRAR
- tipos
- compreender
- único
- Atualizações
- atualização
- us
- usar
- caso de uso
- usuários
- vário
- via
- Vídeo
- Ver
- visão
- visualização
- qual
- precisarão
- sem
- Atividades:
- trabalhou
- trabalho
- seria
- anos
- rendimentos
- Vocês
- investimentos
- Youtube
- zefirnet