Ces dernières années, les progrès de la vision par ordinateur ont permis aux chercheurs, aux premiers intervenants et aux gouvernements de s'attaquer au problème difficile du traitement de l'imagerie satellite mondiale pour comprendre notre planète et notre impact sur celle-ci. AWS a récemment publié Fonctionnalités géospatiales d'Amazon SageMaker pour vous fournir des images satellite et des modèles géospatiaux d'apprentissage automatique (ML) à la pointe de la technologie, réduisant ainsi les obstacles pour ces types de cas d'utilisation. Pour plus d'informations, reportez-vous à Aperçu : utiliser Amazon SageMaker pour créer, former et déployer des modèles ML à l'aide de données géospatiales.
De nombreuses agences, y compris les premiers intervenants, utilisent ces offres pour acquérir une connaissance de la situation à grande échelle et prioriser les efforts de secours dans les zones géographiques qui ont été frappées par des catastrophes naturelles. Souvent, ces agences traitent des images de catastrophe provenant de sources satellitaires et à basse altitude, et ces données sont souvent non étiquetées et difficiles à utiliser. Les modèles de vision par ordinateur à la pointe de la technologie sont souvent moins performants lorsqu'ils examinent des images satellite d'une ville frappée par un ouragan ou un incendie de forêt. Étant donné le manque de ces ensembles de données, même les modèles ML de pointe sont souvent incapables de fournir l'exactitude et la précision requises pour prédire les classifications standard des catastrophes de la FEMA.
Les ensembles de données géospatiales contiennent des métadonnées utiles telles que les coordonnées de latitude et de longitude, et les horodatages, qui peuvent fournir un contexte pour ces images. Cela est particulièrement utile pour améliorer la précision du ML géospatial pour les scènes de catastrophe, car ces images sont intrinsèquement désordonnées et chaotiques. Les bâtiments sont moins rectangulaires, la végétation a subi des dommages et les routes linéaires ont été interrompues par des inondations ou des coulées de boue. Étant donné que l'étiquetage de ces ensembles de données massifs est coûteux, manuel et chronophage, le développement de modèles ML capables d'automatiser l'étiquetage et l'annotation des images est essentiel.
Pour former ce modèle, nous avons besoin d'un sous-ensemble de vérité terrain étiqueté du Ensemble de données LADI (Low Altitude Disaster Imagery). Cet ensemble de données se compose d'images aéroportées annotées par des humains et des machines collectées par la patrouille aérienne civile à l'appui de diverses interventions en cas de catastrophe de 2015 à 2019. Ces ensembles de données LADI se concentrent sur les saisons des ouragans de l'Atlantique et les États côtiers le long de l'océan Atlantique et du golfe du Mexique. Deux distinctions clés sont la basse altitude, la perspective oblique de l'imagerie et les caractéristiques liées aux catastrophes, qui sont rarement présentées dans les repères et les ensembles de données de vision par ordinateur. Les équipes ont utilisé les catégories FEMA existantes pour les dommages tels que les inondations, les débris, le feu et la fumée, ou les glissements de terrain, ce qui a normalisé les catégories d'étiquettes. La solution est alors capable de faire des prédictions sur le reste des données de formation et d'acheminer les résultats de moindre confiance pour un examen humain.
Dans cet article, nous décrivons notre conception et la mise en œuvre de la solution, les meilleures pratiques et les composants clés de l'architecture système.
Vue d'ensemble de la solution
En bref, la solution consistait à construire trois pipelines :
- Pipeline de données – Extrait les métadonnées des images
- Pipeline d'apprentissage automatique – Classifie et étiquette les images
- Pipeline d'examen humain dans la boucle – Utilise une équipe humaine pour examiner les résultats
Le diagramme suivant illustre l'architecture de la solution.
Compte tenu de la nature d'un système d'étiquetage comme celui-ci, nous avons conçu une architecture évolutive horizontalement qui gérerait les pics d'ingestion sans surprovisionnement en utilisant une architecture sans serveur. Nous utilisons un modèle un-à-plusieurs de Service Amazon Simple Queue (Amazon SQS) à AWS Lambda à plusieurs endroits pour supporter ces pics d'ingestion, offrant de la résilience.
Utilisation d'une file d'attente SQS pour le traitement Service de stockage simple Amazon (Amazon S3) nous aide à contrôler la simultanéité du traitement en aval (fonctions Lambda, dans ce cas) et à gérer les pics de données entrants. La mise en file d'attente des messages entrants agit également comme un stockage tampon en cas de défaillance en aval.
Compte tenu des besoins très parallèles, nous avons choisi Lambda pour traiter nos images. Lambda est un service de calcul sans serveur qui nous permet d'exécuter du code sans provisionner ni gérer de serveurs, en créant une logique de mise à l'échelle de cluster sensible à la charge de travail, en maintenant les intégrations d'événements et en gérant les runtimes.
Nous utilisons Service Amazon OpenSearch en tant que magasin de données central pour tirer parti de ses recherches rapides et hautement évolutives et de son outil de visualisation intégré, OpenSearch Dashboards. Il nous permet d'ajouter itérativement du contexte à l'image, sans avoir à recompiler ou redimensionner, et de gérer l'évolution du schéma.
Amazon Reconnaissance facilite l'ajout d'analyses d'images et de vidéos dans nos applications, à l'aide d'une technologie d'apprentissage en profondeur éprouvée et hautement évolutive. Avec Amazon Rekognition, nous obtenons une bonne base de référence des objets détectés.
Dans les sections suivantes, nous plongeons plus en détail dans chaque pipeline.
Pipeline de données
Le diagramme suivant montre le flux de travail du pipeline de données.
Le pipeline de données LADI commence par l'ingestion d'images de données brutes à partir du Protocole d'alerte commun FEMA (CAP) dans un compartiment S3. Lorsque nous ingérons les images dans le bucket de données brutes, elles sont traitées en temps quasi réel en deux étapes :
- Le compartiment S3 déclenche des notifications d'événements pour toutes les créations d'objets, créant des messages dans la file d'attente SQS pour chaque image ingérée.
- La file d'attente SQS appelle simultanément les fonctions Lambda de prétraitement sur l'image.
Les fonctions Lambda effectuent les étapes de prétraitement suivantes :
- Calculez l'UUID pour chaque image, en fournissant un identifiant unique pour chaque image. Cet ID identifiera l'image pendant tout son cycle de vie.
- Extrayez les métadonnées telles que les coordonnées GPS, la taille de l'image, les informations SIG et l'emplacement S3 de l'image et conservez-les dans OpenSearch.
- Sur la base d'une recherche par rapport aux codes FIPS, la fonction déplace l'image dans le compartiment S3 de données organisées. Nous divisons les données par le FIPS-State-code/FIPS-County-code/Year/Month de l'image.
Pipeline d'apprentissage automatique
Le pipeline ML démarre à partir des images qui arrivent dans le compartiment S3 de données organisées à l'étape du pipeline de données, ce qui déclenche les étapes suivantes :
- Amazon S3 génère un message dans une autre file d'attente SQS pour chaque objet créé dans le compartiment S3 de données organisées.
- La file d'attente SQS déclenche simultanément les fonctions Lambda pour exécuter la tâche d'inférence ML sur l'image.
Les fonctions Lambda effectuent les actions suivantes :
- Envoyez chaque image à Amazon Rekognition pour la détection d'objet, en stockant les étiquettes renvoyées et les scores de confiance respectifs.
- Composer la sortie Amazon Rekognition en paramètres d'entrée pour notre Amazon Sage Maker point de terminaison multi-modèle. Ce point de terminaison héberge notre ensemble de classificateurs, qui sont formés pour des ensembles spécifiques d'étiquettes de dommages.
- Transmettez les résultats du point de terminaison SageMaker à IA augmentée d'Amazon (Amazon A2I).
Le diagramme suivant illustre le workflow du pipeline.
Pipeline d'examen humain dans la boucle
Le schéma suivant illustre le pipeline human-in-the-loop (HIL).
Avec Amazon A2I, nous pouvons configurer des seuils qui déclencheront un examen humain par une équipe privée lorsqu'un modèle donne une prédiction de faible confiance. Nous pouvons également utiliser Amazon A2I pour fournir un audit continu des prédictions de notre modèle. Les étapes du flux de travail sont les suivantes :
- Amazon A2I achemine les prédictions à haut niveau de confiance vers OpenSearch Service, en mettant à jour les données d'étiquette de l'image.
- Amazon A2I achemine les prédictions à faible niveau de confiance vers l'équipe privée pour annoter les images manuellement.
- L'examinateur humain complète l'annotation, générant un fichier de sortie d'annotation humaine qui est stocké dans le compartiment HIL Output S3.
- Le compartiment HIL Output S3 déclenche une fonction Lambda qui analyse la sortie des annotations humaines et met à jour les données de l'image dans OpenSearch Service.
En acheminant les résultats de l'annotation humaine vers le magasin de données, nous pouvons recycler les modèles d'ensemble et améliorer de manière itérative la précision du modèle.
Avec nos résultats de haute qualité désormais stockés dans OpenSearch Service, nous sommes en mesure d'effectuer une recherche géospatiale et temporelle via une API REST, en utilisant Passerelle d'API Amazon et Geoserveur. OpenSearch Dashboard permet également aux utilisateurs de rechercher et d'exécuter des analyses avec cet ensemble de données.
Résultats
Le code suivant montre un exemple de nos résultats.
Avec ce nouveau pipeline, nous créons un backstop humain pour les modèles qui ne sont pas encore totalement performants. Ce nouveau pipeline ML a été mis en production pour être utilisé avec un Microservice de filtre d'image de la patrouille aérienne civile qui permet de filtrer les images de la Civil Air Patrol à Porto Rico. Cela permet aux premiers intervenants de voir l'étendue des dégâts et de voir les images associées à ces dégâts après les ouragans. L'AWS Data Lab, le programme AWS Open Data, l'équipe Amazon Disaster Response et l'équipe AWS human-in-the-loop ont travaillé avec les clients pour développer un pipeline open source qui peut être utilisé pour analyser les données Civil Air Patrol stockées dans les données ouvertes. Registre du programme sur demande suite à toute catastrophe naturelle. Pour plus d'informations sur l'architecture du pipeline et un aperçu de la collaboration et de l'impact, regardez la vidéo Se concentrer sur la réponse aux catastrophes avec Amazon Augmented AI, le programme AWS Open Data et AWS Snowball.
Conclusion
Alors que le changement climatique continue d'augmenter la fréquence et l'intensité des tempêtes et des incendies de forêt, nous continuons à voir l'importance d'utiliser ML pour comprendre l'impact de ces événements sur les communautés locales. Ces nouveaux outils peuvent accélérer les efforts de réponse aux catastrophes et nous permettre d'utiliser les données de ces analyses post-événement pour améliorer la précision des prévisions de ces modèles avec un apprentissage actif. Ces nouveaux modèles ML peuvent automatiser l'annotation des données, ce qui nous permet de déduire l'étendue des dommages de chacun de ces événements lorsque nous superposons les étiquettes de dommages aux données cartographiques. Ces données cumulatives peuvent également aider à améliorer notre capacité à prévoir les dommages pour les futurs événements catastrophiques, ce qui peut éclairer les stratégies d'atténuation. Cela peut à son tour améliorer la résilience des communautés, des économies et des écosystèmes en donnant aux décideurs les informations dont ils ont besoin pour développer des politiques basées sur les données pour faire face à ces menaces environnementales émergentes.
Dans cet article de blog, nous avons discuté de l'utilisation de la vision par ordinateur sur l'imagerie satellite. Cette solution se veut une architecture de référence ou un guide de démarrage rapide que vous pouvez personnaliser selon vos propres besoins.
Essayez-le et faites-nous savoir comment cela a résolu votre cas d'utilisation en laissant des commentaires dans la section des commentaires. Pour plus d'informations, voir Fonctionnalités géospatiales d'Amazon SageMaker.
À propos des auteurs
Vamshi Krishna Enabothala est architecte spécialiste senior en IA appliquée chez AWS. Il travaille avec des clients de différents secteurs pour accélérer les initiatives de données, d'analyse et d'apprentissage automatique à fort impact. Il est passionné par les systèmes de recommandation, le NLP et les domaines de la vision par ordinateur en IA et ML. En dehors du travail, Vamshi est un passionné de RC, construisant des équipements RC (avions, voitures et drones) et aime également jardiner.
Morgan Duton est responsable de programme technique senior au sein de l'équipe Amazon Augmented AI et Amazon SageMaker Ground Truth. Elle travaille avec des entreprises, des universités et des clients du secteur public pour accélérer l'adoption de l'apprentissage automatique et des services de ML human-in-the-loop.
Verma des sables est un architecte de prototypage senior chez AWS. Il aime plonger profondément dans les défis des clients et construire des prototypes pour les clients afin d'accélérer l'innovation. Il a une formation en IA/ML, fondateur de New Knowledge, et généralement passionné par la technologie. Pendant son temps libre, il aime voyager et skier avec sa famille.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- capacité
- Capable
- A Propos
- académique
- accélérer
- précision
- actes
- infection
- actes
- propos
- Adoption
- avances
- Avantage
- à opposer à
- agences
- AI
- AI / ML
- Transport Aérien
- Tous
- permet
- Amazon
- IA augmentée d'Amazon
- Amazon Reconnaissance
- Amazon Sage Maker
- Vérité au sol Amazon SageMaker
- Analyses
- selon une analyse de l’Université de Princeton
- analytique
- il analyse
- et les
- Une autre
- api
- applications
- appliqué
- IA appliquée
- architecture
- domaines
- associé
- audit
- augmentée
- automatiser
- AWS
- RETOUR
- fond
- backstop
- obstacles
- Baseline
- car
- repères
- LES MEILLEURS
- les meilleures pratiques
- Blog
- tampon
- construire
- Développement
- casquette
- voitures
- maisons
- cas
- catégories
- central
- globaux
- difficile
- Change
- vérifier
- choisir
- Ville
- Climat
- Changement climatique
- Grappe
- code
- collaboration
- commentaires
- Commun
- Communautés
- finalise
- composants électriques
- calcul
- ordinateur
- Vision par ordinateur
- confiance
- contiennent
- contexte
- continuer
- continue
- des bactéries
- engendrent
- créée
- La création
- créations
- critique
- organisée
- des clients
- Clients
- personnaliser
- tableau de bord
- données
- data-driven
- ensembles de données
- traitement
- décideurs
- profond
- l'apprentissage en profondeur
- livrer
- Demande
- déployer
- décrire
- Conception
- un
- détail
- détecté
- Détection
- développer
- Développement
- différent
- difficile
- catastrophe
- catastrophes
- discuté
- Drones
- chacun
- économies
- Écosystèmes
- efforts
- économies émergentes.
- activé
- permet
- Endpoint
- Entreprise
- passionné
- Tout
- environnementales
- l'équipements
- notamment
- Pourtant, la
- événement
- événements
- évolution
- exemple
- existant
- cher
- Extraits
- famille
- RAPIDE
- en vedette
- Fonctionnalités:
- Réactions
- Déposez votre dernière attestation
- une fonction filtre
- filtration
- Incendie
- Prénom
- Focus
- Abonnement
- suit
- fondateur
- gratuitement ici
- La fréquence
- De
- d’étiquettes électroniques entièrement
- fonction
- fonctions
- avenir
- Gain
- généralement
- génère
- générateur
- géographique
- ML géospatial
- obtenez
- donné
- Don
- Global
- Bien
- Gouvernements
- gps
- Sol
- guide
- manipuler
- ayant
- aider
- utile
- aide
- Haute
- de haute qualité
- très
- Frappé
- hôtes
- Comment
- HTML
- HTTPS
- humain
- ouragan
- ID
- identifiant
- identifier
- image
- satellite
- Impact
- la mise en oeuvre
- importance
- améliorer
- l'amélioration de
- in
- Y compris
- Nouveau
- Améliore
- d'information
- les initiatives
- Innovation
- contribution
- des services
- intégrations
- interrompu
- invoque
- impliqué
- IT
- Emploi
- ACTIVITES
- Savoir
- spécialisées
- laboratoire
- Libellé
- l'étiquetage
- Etiquettes
- Peindre
- atterrissage
- grande échelle
- apprentissage
- départ
- Allons-y
- vos produits
- locales
- emplacement
- recherchez-
- rechercher
- Faible
- click
- machine learning
- Maintenir
- a prendre une
- FAIT DU
- manager
- les gérer
- Manuel
- manuellement
- Localisation
- Map
- massif
- message
- messages
- Métadonnées
- Mexique
- atténuation
- ML
- modèle
- numériques jumeaux (digital twin models)
- PLUS
- se déplace
- Point de terminaison multimodèle
- plusieurs
- Nature
- Nature
- Besoin
- Besoins
- Nouveauté
- nlp
- Notifications
- objet
- Détection d'objet
- objets
- océan
- Offrandes
- en cours
- ouvert
- données ouvertes
- open source
- au contrôle
- vue d'ensemble
- propre
- Parallèle
- paramètres
- passionné
- Patron de Couture
- Effectuer
- objectifs
- pipeline
- planète
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Post
- pratiques
- La précision
- prévoir
- prédiction
- Prédictions
- Prioriser
- Privé
- Problème
- processus
- Traité
- traitement
- Vidéo
- Programme
- protocole
- prototypes
- prototypage
- proven
- fournir
- aportando
- public
- Puerto
- Porto Rico
- mettre
- Rapide
- raw
- récent
- récemment
- Recommandation
- réduire
- enregistrement
- libéré
- soulagement
- conditions
- chercheurs
- la résilience
- ceux
- réponse
- REST
- Résultats
- Avis
- RICO
- Itinéraire
- routes
- Courir
- sagemaker
- satellite
- évolutive
- mise à l'échelle
- Scènes
- Rechercher
- saisons
- Section
- les sections
- secteur
- Secteurs
- supérieur
- Sans serveur
- Serveurs
- service
- Services
- Sets
- Spectacles
- étapes
- Taille
- Fumees
- Instantané
- sur mesure
- Sources
- spécialiste
- groupe de neurones
- pointes
- Standard
- Commencer
- départs
- state-of-the-art
- États
- étapes
- Étapes
- storage
- Boutique
- stockée
- tempêtes
- les stratégies
- tel
- Support
- combustion propre
- Système
- Prenez
- équipe
- équipes
- technologie
- Technique
- Technologie
- Le
- les informations
- des menaces
- trois
- fiable
- long
- à
- outil
- les outils
- Train
- qualifié
- Formation
- Voyages
- déclencher
- TOUR
- types
- comprendre
- expérience unique et authentique
- Actualités
- la mise à jour
- us
- utilisé
- cas d'utilisation
- utilisateurs
- divers
- via
- Vidéo
- Voir
- vision
- visualisation
- qui
- sera
- sans
- activités principales
- travaillé
- vos contrats
- pourra
- années
- rendements
- Vous n'avez
- Votre
- Youtube
- zéphyrnet