In de afgelopen jaren hebben de vorderingen op het gebied van computervisie onderzoekers, eerstehulpverleners en regeringen in staat gesteld het uitdagende probleem aan te pakken van het verwerken van wereldwijde satellietbeelden om onze planeet en onze impact daarop te begrijpen. AWS is onlangs uitgebracht Amazon SageMaker georuimtelijke mogelijkheden om u te voorzien van satellietbeelden en geospatiale state-of-the-art machine learning (ML)-modellen, waardoor de barriรจres voor dit soort gebruiksgevallen worden weggenomen. Voor meer informatie, zie Preview: gebruik Amazon SageMaker om ML-modellen te bouwen, trainen en implementeren met behulp van georuimtelijke gegevens.
Veel instanties, waaronder eerstehulpverleners, gebruiken dit aanbod om op grote schaal situationeel bewustzijn te krijgen en prioriteit te geven aan hulpacties in geografische gebieden die zijn getroffen door natuurrampen. Vaak hebben deze instanties te maken met rampenbeelden van lage hoogte en satellietbronnen, en deze gegevens zijn vaak ongelabeld en moeilijk te gebruiken. State-of-the-art computer vision-modellen presteren vaak ondermaats bij het bekijken van satellietbeelden van een stad die door een orkaan of natuurbrand is getroffen. Gezien het ontbreken van deze datasets zijn zelfs de modernste ML-modellen vaak niet in staat om de nauwkeurigheid en precisie te leveren die nodig is om standaard FEMA-rampclassificaties te voorspellen.
Geospatiale datasets bevatten nuttige metadata zoals lengte- en breedtegraadcoรถrdinaten en tijdstempels, die context kunnen bieden voor deze afbeeldingen. Dit is vooral handig bij het verbeteren van de nauwkeurigheid van georuimtelijke ML voor rampscรจnes, omdat deze afbeeldingen inherent rommelig en chaotisch zijn. Gebouwen zijn minder rechthoekig, vegetatie heeft schade opgelopen en lineaire wegen zijn onderbroken door overstromingen of modderstromen. Omdat het labelen van deze enorme datasets duur, handmatig en tijdrovend is, is de ontwikkeling van ML-modellen die het labelen en annoteren van afbeeldingen kunnen automatiseren van cruciaal belang.
Om dit model te trainen, hebben we een gelabelde grondwaarheidssubset nodig van de Low Altitude Disaster Imagery (LADI) -dataset. Deze dataset bestaat uit door mensen en machines geannoteerde luchtfoto's verzameld door de Civil Air Patrol ter ondersteuning van verschillende rampenbestrijding van 2015-2019. Deze LADI-datasets richten zich op de Atlantische orkaanseizoenen en kuststaten langs de Atlantische Oceaan en de Golf van Mexico. Twee belangrijke verschillen zijn de lage hoogte, het schuine perspectief van de beelden en rampgerelateerde kenmerken, die zelden voorkomen in benchmarks en datasets voor computervisie. De teams gebruikten bestaande FEMA-categorieรซn voor schade zoals overstromingen, puin, vuur en rook of aardverschuivingen, waardoor de labelcategorieรซn werden gestandaardiseerd. De oplossing is dan in staat om voorspellingen te doen over de rest van de trainingsgegevens en resultaten met minder vertrouwen door te sturen voor menselijke beoordeling.
In dit bericht beschrijven we ons ontwerp en de implementatie van de oplossing, best practices en de belangrijkste componenten van de systeemarchitectuur.
Overzicht oplossingen
In het kort kwam de oplossing neer op het aanleggen van drie pijpleidingen:
- Gegevenspijplijn โ Extraheert de metadata van de afbeeldingen
- Machine learning-pijplijn - Classificeert en labelt afbeeldingen
- Human-in-the-loop beoordelingspijplijn โ Gebruikt een menselijk team om resultaten te beoordelen
Het volgende diagram illustreert de oplossingsarchitectuur.
Gezien de aard van een labelingsysteem als dit, hebben we een horizontaal schaalbare architectuur ontworpen die opnamepieken zou verwerken zonder overprovisioning door een serverloze architectuur te gebruiken. We gebruiken een รฉรฉn-op-veel patroon van Amazon Simple Queue-service (Amazon SQS) naar AWS Lambda op meerdere plekken om deze opnamepieken te ondersteunen, veerkracht bieden.
Een SQS-wachtrij gebruiken voor verwerking Amazon eenvoudige opslagservice (Amazon S3)-gebeurtenissen helpen ons de gelijktijdigheid van stroomafwaartse verwerking (in dit geval Lambda-functies) te beheersen en de binnenkomende gegevenspieken te verwerken. Het in de wachtrij plaatsen van inkomende berichten fungeert ook als bufferopslag voor eventuele storingen stroomafwaarts.
Gezien de zeer parallelle behoeften, kozen we voor Lambda om onze beelden te verwerken. Lambda is een serverloze rekenservice waarmee we code kunnen uitvoeren zonder servers in te richten of te beheren, door werklastbewuste clusterschaallogica te creรซren, gebeurtenisintegraties te onderhouden en runtimes te beheren.
Wij gebruiken Amazon OpenSearch-service als onze centrale gegevensopslag om te profiteren van de zeer schaalbare, snelle zoekopdrachten en geรฏntegreerde visualisatietool, OpenSearch Dashboards. Het stelt ons in staat om iteratief context aan het beeld toe te voegen, zonder opnieuw te compileren of te schalen, en schema-evolutie aan te pakken.
Amazon Rekognition maakt het gemakkelijk om beeld- en video-analyse toe te voegen aan onze applicaties, met behulp van bewezen, zeer schaalbare, deep learning-technologie. Met Amazon Rekognition krijgen we een goede basislijn van gedetecteerde objecten.
In de volgende paragrafen gaan we dieper in op elke pijplijn.
Gegevenspijplijn
Het volgende diagram toont de werkstroom van de gegevenspijplijn.
De LADI-gegevenspijplijn begint met de opname van onbewerkte gegevensafbeeldingen van de FEMA gemeenschappelijk waarschuwingsprotocol (CAP) in een S3-emmer. Terwijl we de afbeeldingen opnemen in de bucket met onbewerkte gegevens, worden ze bijna in realtime in twee stappen verwerkt:
- De S3-bucket activeert gebeurtenismeldingen voor alle objectcreaties, waardoor berichten in de SQS-wachtrij worden gemaakt voor elke opgenomen afbeelding.
- De SQS-wachtrij roept tegelijkertijd de preprocessing Lambda-functies op de afbeelding aan.
De Lambda-functies voeren de volgende voorbewerkingsstappen uit:
- Bereken de UUID voor elke afbeelding en geef elke afbeelding een unieke identificatie. Deze ID identificeert de afbeelding gedurende de gehele levenscyclus.
- Extraheer metadata zoals GPS-coรถrdinaten, afbeeldingsgrootte, GIS-informatie en S3-locatie uit de afbeelding en bewaar deze in OpenSearch.
- Gebaseerd op een zoekopdracht tegen FIPS-codes, verplaatst de functie de afbeelding naar de gecureerde data S3-bucket. We verdelen de gegevens op basis van de FIPS-State-code/FIPS-County-code/Jaar/Maand van de afbeelding.
Machine learning-pijplijn
De ML-pijplijn begint vanaf de afbeeldingen die landen in de gecureerde data S3-bucket in de datapijplijnstap, die de volgende stappen activeert:
- Amazon S3 genereert een bericht in een andere SQS-wachtrij voor elk object dat is gemaakt in de samengestelde S3-gegevensbucket.
- De SQS-wachtrij activeert tegelijkertijd Lambda-functies om de ML-inferentietaak op de afbeelding uit te voeren.
De Lambda-functies voeren de volgende acties uit:
- Stuur elke afbeelding naar Amazon Rekognition voor objectdetectie, waarbij de geretourneerde labels en respectieve betrouwbaarheidsscores worden opgeslagen.
- Stel de Amazon Rekognition-uitvoer samen in invoerparameters voor onze Amazon Sage Maker eindpunt met meerdere modellen. Dit eindpunt herbergt ons ensemble van classificaties, die zijn getraind voor specifieke sets schadelabels.
- Geef de resultaten van het SageMaker-eindpunt door aan Amazon Augmented AI (Amazone A2I).
Het volgende diagram illustreert de pijplijnworkflow.
Human-in-the-loop beoordelingspijplijn
Het volgende diagram illustreert de HIL-pijplijn (human-in-the-loop).
Met Amazon A2I kunnen we drempels configureren die een menselijke beoordeling door een privรฉteam activeren wanneer een model een lage betrouwbaarheidsvoorspelling oplevert. We kunnen Amazon A2I ook gebruiken om een โโdoorlopende audit van de voorspellingen van ons model uit te voeren. De werkstroomstappen zijn als volgt:
- Amazon A2I stuurt zeer betrouwbare voorspellingen naar OpenSearch Service, waarbij de labelgegevens van de afbeelding worden bijgewerkt.
- Amazon A2I stuurt voorspellingen met een laag vertrouwen door naar het privรฉteam om afbeeldingen handmatig te annoteren.
- De menselijke recensent voltooit de annotatie en genereert een uitvoerbestand voor menselijke annotaties dat wordt opgeslagen in de HIL Output S3-bucket.
- De HIL Output S3-bucket activeert een Lambda-functie die de output van menselijke annotaties analyseert en de gegevens van de afbeelding bijwerkt in OpenSearch Service.
Door de menselijke annotatieresultaten terug te sturen naar de datastore, kunnen we de ensemblemodellen opnieuw trainen en iteratief de nauwkeurigheid van het model verbeteren.
Nu onze hoogwaardige resultaten zijn opgeslagen in OpenSearch Service, kunnen we georuimtelijk en temporeel zoeken via een REST API, met behulp van Amazon API-gateway en Geoserver. OpenSearch Dashboard stelt gebruikers ook in staat om analyses te zoeken en uit te voeren met deze dataset.
Resultaten
De volgende code toont een voorbeeld van onze resultaten.
Met deze nieuwe pijplijn creรซren we een menselijke backstop voor modellen die nog niet volledig presteren. Deze nieuwe ML-pijplijn is in productie genomen voor gebruik met een Civil Air Patrol Image Filter-microservice waarmee afbeeldingen van Civil Air Patrol in Puerto Rico kunnen worden gefilterd. Hierdoor kunnen eerstehulpverleners de omvang van de schade bekijken en afbeeldingen bekijken die verband houden met die schade na orkanen. Het AWS Data Lab, het AWS Open Data Program, het Amazon Disaster Response-team en het AWS human-in-the-loop-team werkten samen met klanten aan de ontwikkeling van een open-sourcepijplijn die kan worden gebruikt om Civil Air Patrol-gegevens te analyseren die zijn opgeslagen in de Open Data Programmaregistratie op aanvraag na een natuurramp. Bekijk de video voor meer informatie over de pijplijnarchitectuur en een overzicht van de samenwerking en impact Gericht op rampenbestrijding met Amazon Augmented AI, het AWS Open Data Program en AWS Snowball.
Conclusie
Terwijl klimaatverandering de frequentie en intensiteit van stormen en bosbranden blijft verhogen, blijven we het belang inzien van het gebruik van ML om de impact van deze gebeurtenissen op lokale gemeenschappen te begrijpen. Deze nieuwe tools kunnen rampenbestrijding versnellen en stellen ons in staat om de gegevens van deze analyses na gebeurtenissen te gebruiken om de voorspellingsnauwkeurigheid van deze modellen te verbeteren met actief leren. Deze nieuwe ML-modellen kunnen gegevensannotatie automatiseren, waardoor we de omvang van de schade van elk van deze gebeurtenissen kunnen afleiden door schadelabels te overlappen met kaartgegevens. Die cumulatieve gegevens kunnen ook helpen bij het verbeteren van ons vermogen om schade te voorspellen voor toekomstige rampen, wat kan leiden tot mitigatiestrategieรซn. Dit kan op zijn beurt de veerkracht van gemeenschappen, economieรซn en ecosystemen verbeteren door besluitvormers de informatie te geven die ze nodig hebben om gegevensgestuurd beleid te ontwikkelen om deze opkomende bedreigingen voor het milieu aan te pakken.
In deze blogpost bespraken we het gebruik van computervisie op satellietbeelden. Deze oplossing is bedoeld als referentiearchitectuur of als snelstartgids die u kunt aanpassen aan uw eigen behoeften.
Probeer het eens en laat ons weten hoe dit uw use case heeft opgelost door feedback achter te laten in het opmerkingengedeelte. Voor meer informatie, zie Amazon SageMaker georuimtelijke mogelijkheden.
Over de auteurs
Vamshi Krishna Enabothala is Sr. Applied AI Specialist Architect bij AWS. Hij werkt samen met klanten uit verschillende sectoren om high-impact data-, analyse- en machine learning-initiatieven te versnellen. Hij is gepassioneerd door aanbevelingssystemen, NLP en computervisiegebieden in AI en ML. Naast zijn werk is Vamshi een RC-liefhebber, bouwt hij RC-apparatuur (vliegtuigen, auto's en drones) en houdt hij ook van tuinieren.
Morgan Dutton is Senior Technical Program Manager bij het Amazon Augmented AI en Amazon SageMaker Ground Truth-team. Ze werkt samen met klanten uit de zakelijke, academische en publieke sector om de acceptatie van machine learning en human-in-the-loop ML-services te versnellen.
Sandeep Verma is een Sr. Prototyping Architect bij AWS. Hij duikt graag diep in de uitdagingen van klanten en bouwt prototypes voor klanten om innovatie te versnellen. Hij heeft een achtergrond in AI/ML, oprichter van New Knowledge en over het algemeen een passie voor technologie. In zijn vrije tijd houdt hij van reizen en skiรซn met zijn gezin.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- vermogen
- in staat
- Over
- academische
- versnellen
- nauwkeurigheid
- acties
- actieve
- Handelingen
- adres
- Adoptie
- voorschotten
- Voordeel
- tegen
- agentschappen
- AI
- AI / ML
- AIR
- Alles
- toestaat
- Amazone
- Amazon Augmented AI
- Amazon Rekognition
- Amazon Sage Maker
- Amazon SageMaker Grondwaarheid
- analyses
- analyse
- analytics
- analyseren
- en
- Nog een
- api
- toepassingen
- toegepast
- Toegepaste AI
- architectuur
- gebieden
- geassocieerd
- controleren
- aangevuld
- automatiseren
- bewustzijn
- AWS
- terug
- achtergrond
- backstop
- barriรจres
- Baseline
- omdat
- benchmarks
- BEST
- 'best practices'
- Blog
- buffer
- bouw
- Gebouw
- pet
- auto's
- geval
- gevallen
- categorieรซn
- centraal
- uitdagingen
- uitdagend
- verandering
- controle
- koos
- Plaats
- Klimaat
- Klimaatverandering
- TROS
- code
- samenwerking
- opmerkingen
- Gemeen
- Gemeenschappen
- voltooit
- componenten
- Berekenen
- computer
- Computer visie
- vertrouwen
- bevatten
- verband
- voortzetten
- blijft
- onder controle te houden
- en je merk te creรซren
- aangemaakt
- Wij creรซren
- creaties
- kritisch
- curated
- klant
- Klanten
- aan te passen
- dashboards
- gegevens
- Gegevensgestuurde
- datasets
- omgang
- besluitvormers
- deep
- diepgaand leren
- leveren
- Vraag
- implementeren
- beschrijven
- Design
- ontworpen
- detail
- gedetecteerd
- Opsporing
- ontwikkelen
- Ontwikkeling
- anders
- moeilijk
- ramp
- rampen
- besproken
- Drones
- elk
- economieรซn
- ecosystemen
- inspanningen
- opkomende
- ingeschakeld
- maakt
- Endpoint
- Enterprise
- enthousiast
- Geheel
- milieu
- uitrusting
- vooral
- Zelfs
- Event
- EVENTS
- Evolutie
- voorbeeld
- bestaand
- duur
- extracten
- familie
- SNELLE
- uitgelicht
- Voordelen
- feedback
- Dien in
- filter
- filtering
- Brand
- Voornaam*
- Focus
- volgend
- volgt
- oprichter
- Gratis
- Frequentie
- oppompen van
- geheel
- functie
- functies
- toekomst
- Krijgen
- algemeen
- genereert
- het genereren van
- geografisch
- Georuimtelijke ML
- krijgen
- gegeven
- Vrijgevigheid
- Globaal
- goed
- overheden
- gps
- Ground
- gids
- handvat
- met
- hulp
- nuttig
- helpt
- Hoge
- hoogwaardige
- zeer
- Hit
- hosts
- Hoe
- HTML
- HTTPS
- menselijk
- orkaan
- ID
- identificatie
- identificeren
- beeld
- afbeeldingen
- Impact
- uitvoering
- belang
- verbeteren
- het verbeteren van
- in
- Inclusief
- Inkomend
- Laat uw omzet
- informatie
- initiatieven
- Innovatie
- invoer
- geรฏntegreerde
- integraties
- onderbroken
- oproept
- betrokken zijn
- IT
- Jobomschrijving:
- sleutel
- blijven
- kennis
- laboratorium
- label
- etikettering
- labels
- Gebrek
- landing
- grootschalig
- leren
- verlaten
- Laten we
- levenscyclus van uw product
- lokaal
- plaats
- op zoek
- lookup
- Laag
- machine
- machine learning
- Het handhaven
- maken
- MERKEN
- manager
- beheren
- handboek
- handmatig
- kaart
- Maps
- massief
- Bericht
- berichten
- Metadata
- Mexico
- verzachting
- ML
- model
- modellen
- meer
- beweegt
- Eindpunt voor meerdere modellen
- meervoudig
- Naturel
- NATUUR
- Noodzaak
- behoeften
- New
- nlp
- meldingen
- object
- Objectdetectie
- objecten
- oceaan
- aanbod
- lopend
- open
- open data
- open source
- buiten
- overzicht
- het te bezitten.
- Parallel
- parameters
- hartstochtelijk
- Patronen
- Uitvoeren
- perspectief
- pijpleiding
- vliegtuig
- Plato
- Plato gegevensintelligentie
- PlatoData
- Post
- praktijken
- precisie
- voorspellen
- voorspelling
- Voorspellingen
- prioriteren
- privaat
- probleem
- Verwerkt
- verwerking
- productie
- Programma
- protocol
- prototypes
- prototyping
- bewezen
- zorgen voor
- het verstrekken van
- publiek
- port
- Puerto Rico
- zetten
- Quick
- Rauw
- recent
- onlangs
- Aanbeveling
- vermindering
- register
- uitgebracht
- verlichting
- nodig
- onderzoekers
- veerkracht
- degenen
- antwoord
- REST
- Resultaten
- beoordelen
- RICO
- weg
- wegen
- lopen
- sagemaker
- satelliet
- schaalbare
- scaling
- Scenes
- Ontdek
- seizoenen
- sectie
- secties
- sector
- Sectoren
- senior
- Serverless
- Servers
- service
- Diensten
- Sets
- Shows
- Eenvoudig
- Maat
- Rook
- Momentopname
- oplossing
- bronnen
- specialist
- specifiek
- spikes
- standaard
- begin
- starts
- state-of-the-art
- Staten
- Stap voor
- Stappen
- mediaopslag
- shop
- opgeslagen
- stormen
- strategieรซn
- dergelijk
- ondersteuning
- system
- Systems
- Nemen
- team
- teams
- tech
- Technisch
- Technologie
- De
- de informatie
- bedreigingen
- drie
- niet de tijd of
- tijdrovend
- naar
- tools
- tools
- Trainen
- getraind
- Trainingen
- Reizend
- leiden
- BEURT
- types
- begrijpen
- unieke
- updates
- bijwerken
- us
- .
- use case
- gebruikers
- divers
- via
- Video
- Bekijk
- visie
- visualisatie
- welke
- wil
- zonder
- Mijn werk
- werkte
- Bedrijven
- zou
- jaar
- opbrengsten
- You
- Your
- youtube
- zephyrnet