Under de senaste åren har framsteg inom datorseende gjort det möjligt för forskare, första responders och regeringar att ta itu med det utmanande problemet med att bearbeta globala satellitbilder för att förstå vår planet och vår inverkan på den. AWS släpptes nyligen Amazon SageMaker geospatiala funktioner för att förse dig med satellitbilder och geospatiala toppmoderna maskininlärningsmodeller (ML), vilket minskar hindren för dessa typer av användningsfall. För mer information, se Förhandsvisning: Använd Amazon SageMaker för att bygga, träna och distribuera ML-modeller med hjälp av geospatial data.
Många myndigheter, inklusive första responders, använder dessa erbjudanden för att få storskalig situationsmedvetenhet och prioritera hjälpinsatser i geografiska områden som har drabbats av naturkatastrofer. Ofta hanterar dessa byråer katastrofbilder från låg höjd och satellitkällor, och dessa data är ofta omärkta och svåra att använda. Toppmoderna datorseendemodeller underpresterar ofta när man tittar på satellitbilder av en stad som en orkan eller en skogsbrand har drabbat. Med tanke på avsaknaden av dessa datauppsättningar kan till och med toppmoderna ML-modeller ofta inte leverera den noggrannhet och precision som krävs för att förutsäga standardklassificeringar av FEMA-katastrofer.
Geospatiala datauppsättningar innehåller användbar metadata som latitud- och longitudkoordinater och tidsstämplar, som kan ge sammanhang för dessa bilder. Detta är särskilt användbart för att förbättra noggrannheten i geospatial ML för katastrofscener, eftersom dessa bilder är i sig röriga och kaotiska. Byggnader är mindre rektangulära, vegetationen har fått skador och linjära vägar har avbrutits av översvämningar eller lerskred. Eftersom det är dyrt, manuellt och tidskrävande att märka dessa enorma datamängder, är utvecklingen av ML-modeller som kan automatisera bildmärkning och anteckning kritisk.
För att träna denna modell behöver vi en märkt undermängd av grundsanningen av LADI-dataset (Low Altitude Disaster Imagery). Denna datauppsättning består av luftburna bilder med annoterade människor och maskiner som samlats in av Civil Air Patrol till stöd för olika katastrofinsatser från 2015-2019. Dessa LADI-datauppsättningar fokuserar på de atlantiska orkansäsongerna och kuststaterna längs Atlanten och Mexikanska golfen. Två viktiga distinktioner är den låga höjden, det sneda perspektivet av bilderna och katastrofrelaterade funktioner, som sällan visas i datorseende riktmärken och datauppsättningar. Teamen använde befintliga FEMA-kategorier för skador som översvämningar, skräp, brand och rök eller jordskred, vilket standardiserade etikettkategorierna. Lösningen kan sedan göra förutsägelser om resten av träningsdata och dirigera resultat med lägre konfidens för mänsklig granskning.
I det här inlägget beskriver vi vår design och implementering av lösningen, bästa praxis och nyckelkomponenterna i systemarkitekturen.
Lösningsöversikt
I korthet innebar lösningen att bygga tre pipelines:
- Datapipeline – Extraherar bildernas metadata
- Machine learning pipeline – Klassificerar och märker bilder
- Human-in-the-loop granskning pipeline – Använder ett mänskligt team för att granska resultat
Följande diagram illustrerar lösningsarkitekturen.
Med tanke på karaktären hos ett märkningssystem som detta, designade vi en horisontellt skalbar arkitektur som skulle hantera intagsspikar utan överprovisionering genom att använda en serverlös arkitektur. Vi använder ett en-till-många-mönster från Amazon enkel kötjänst (Amazon SQS) till AWS Lambda på flera ställen för att stödja dessa förtäringstoppar, erbjuder motståndskraft.
Använda en SQS-kö för bearbetning Amazon enkel lagringstjänst (Amazon S3)-händelser hjälper oss att kontrollera samtidigheten av nedströmsbehandling (Lambda-funktioner, i det här fallet) och hantera de inkommande topparna av data. Att köa inkommande meddelanden fungerar också som en buffertlagring vid eventuella fel nedströms.
Med tanke på de mycket parallella behoven valde vi Lambda för att bearbeta våra bilder. Lambda är en serverlös datortjänst som låter oss köra kod utan att tillhandahålla eller hantera servrar, skapa arbetsbelastningsmedveten klusterskalningslogik, underhålla händelseintegrationer och hantera körtider.
Vi använder Amazon OpenSearch Service som vårt centrala datalager för att dra fördel av dess mycket skalbara, snabba sökningar och integrerade visualiseringsverktyg, OpenSearch Dashboards. Det gör det möjligt för oss att iterativt lägga till kontext till bilden, utan att behöva kompilera eller skala om, och hantera schemautveckling.
Amazon-erkännande gör det enkelt att lägga till bild- och videoanalys i våra applikationer, med hjälp av beprövad, mycket skalbar, djupinlärningsteknik. Med Amazon Rekognition får vi en bra baslinje av upptäckta objekt.
I de följande avsnitten dyker vi mer in i varje pipeline.
Datapipeline
Följande diagram visar arbetsflödet för datapipeline.
LADI-datapipelinen börjar med intag av rådatabilder från FEMA Common Alerting Protocol (CAP) i en S3 hink. När vi matar in bilderna i rådatahinken, bearbetas de i nästan realtid i två steg:
- S3-bucket utlöser händelseaviseringar för alla objektskapande och skapar meddelanden i SQS-kön för varje bild som tas in.
- SQS-kön anropar samtidigt de förbearbetande Lambda-funktionerna på bilden.
Lambdafunktionerna utför följande förbehandlingssteg:
- Beräkna UUID för varje bild och tillhandahåll en unik identifierare för varje bild. Detta ID kommer att identifiera bilden under hela dess livscykel.
- Extrahera metadata som GPS-koordinater, bildstorlek, GIS-information och S3-plats från bilden och spara den i OpenSearch.
- Baserat på en uppslagning mot FIPS-koder flyttar funktionen bilden till den kurerade data S3-hinken. Vi delar upp data efter bildens FIPS-State-code/FIPS-County-code/Year/Month.
Machine learning pipeline
ML-pipelinen börjar från att bilderna landar i den kurerade data S3-bucketen i datapipelinesteget, vilket utlöser följande steg:
- Amazon S3 genererar ett meddelande till en annan SQS-kö för varje objekt som skapas i den kurerade data S3-bucket.
- SQS-kön triggar samtidigt Lambda-funktioner för att köra ML-inferensjobbet på bilden.
Lambdafunktionerna utför följande åtgärder:
- Skicka varje bild till Amazon Rekognition för objektdetektering, lagra de returnerade etiketterna och respektive konfidenspoäng.
- Komponera Amazon Rekognition-utgången till indataparametrar för vår Amazon SageMaker flermodellslutpunkt. Denna slutpunkt är värd för vår ensemble av klassificerare, som är utbildade för specifika uppsättningar av skadeetiketter.
- Skicka resultaten av SageMaker-slutpunkten till Amazon Augmented AI (Amazon A2I).
Följande diagram illustrerar pipeline-arbetsflödet.
Human-in-the-loop granskning pipeline
Följande diagram illustrerar rörledningen för människa-i-slingan (HIL).
Med Amazon A2I kan vi konfigurera trösklar som kommer att utlösa en mänsklig granskning av ett privat team när en modell ger en förutsägelse med låg konfidens. Vi kan också använda Amazon A2I för att tillhandahålla en pågående granskning av vår modells förutsägelser. Arbetsflödesstegen är följande:
- Amazon A2I dirigerar högsäkerhetsprognoser till OpenSearch Service och uppdaterar bildens etikettdata.
- Amazon A2I skickar förutsägelser med lågt förtroende till det privata teamet för att kommentera bilder manuellt.
- Den mänskliga granskaren slutför anteckningen och genererar en utdatafil för mänsklig anteckning som lagras i HIL Output S3-hinken.
- HIL Output S3-bucket utlöser en Lambda-funktion som analyserar mänskliga anteckningar och uppdaterar bildens data i OpenSearch Service.
Genom att dirigera de mänskliga anteckningsresultaten tillbaka till datalagret kan vi träna om ensemblemodellerna och iterativt förbättra modellens noggrannhet.
Med våra högkvalitativa resultat nu lagrade i OpenSearch Service, kan vi utföra geospatial och tidsmässig sökning via ett REST API, med hjälp av Amazon API Gateway och Geoserver. OpenSearch Dashboard gör det också möjligt för användare att söka och köra analyser med denna datauppsättning.
Resultat
Följande kod visar ett exempel på våra resultat.
Med denna nya pipeline skapar vi en mänsklig backstop för modeller som ännu inte är fullt presterande. Denna nya ML-pipeline har tagits i produktion för användning med en Civil Air Patrol Image Filter microservice som tillåter filtrering av Civil Air Patrol-bilder i Puerto Rico. Detta gör det möjligt för första responders att se omfattningen av skadorna och se bilder associerade med den skadan efter orkaner. AWS Data Lab, AWS Open Data Program, Amazon Disaster Response-team och AWS human-in-the-loop-teamet arbetade med kunder för att utveckla en pipeline med öppen källkod som kan användas för att analysera Civil Air Patrol-data lagrade i Open Data Programregister på begäran efter en naturkatastrof. För mer information om pipeline-arkitekturen och en översikt över samarbetet och påverkan, kolla in videon Fokuserar på katastrofhantering med Amazon Augmented AI, AWS Open Data Program och AWS Snowball.
Slutsats
Eftersom klimatförändringarna fortsätter att öka frekvensen och intensiteten av stormar och skogsbränder, fortsätter vi att se vikten av att använda ML för att förstå effekterna av dessa händelser på lokala samhällen. Dessa nya verktyg kan påskynda katastrofinsatser och göra det möjligt för oss att använda data från dessa analyser efter händelser för att förbättra prediktionsnoggrannheten för dessa modeller med aktivt lärande. Dessa nya ML-modeller kan automatisera datakommentarer, vilket gör att vi kan sluta oss till omfattningen av skadorna från var och en av dessa händelser när vi lägger över skadeetiketter med kartdata. Den kumulativa informationen kan också bidra till att förbättra vår förmåga att förutsäga skador för framtida katastrofhändelser, vilket kan bidra till begränsningsstrategier. Detta kan i sin tur förbättra motståndskraften hos samhällen, ekonomier och ekosystem genom att ge beslutsfattare den information de behöver för att utveckla datadrivna policyer för att hantera dessa framväxande miljöhot.
I det här blogginlägget diskuterade vi användning av datorseende på satellitbilder. Denna lösning är tänkt att vara en referensarkitektur eller en snabbstartsguide som du kan anpassa efter dina egna behov.
Ge det en snurra och låt oss veta hur detta löste ditt användningsfall genom att lämna feedback i kommentarsektionen. För mer information, se Amazon SageMaker geospatiala funktioner.
Om författarna
Vamshi Krishna Enabothala är en Sr. Applied AI Specialist Architect på AWS. Han arbetar med kunder från olika sektorer för att påskynda högeffektiva data-, analys- och maskininlärningsinitiativ. Han brinner för rekommendationssystem, NLP och datorseende områden inom AI och ML. Utanför jobbet är Vamshi en RC-entusiast som bygger RC-utrustning (flygplan, bilar och drönare) och tycker också om trädgårdsarbete.
Morgan Dutton är en Senior Technical Program Manager med Amazon Augmented AI och Amazon SageMaker Ground Truth-teamet. Hon arbetar med företagskunder, akademiska och offentliga kunder för att påskynda införandet av maskininlärning och mänskliga-i-slingan ML-tjänster.
Sandeep Verma är en Sr. Prototyping Architect med AWS. Han gillar att dyka djupt in i kundernas utmaningar och bygga prototyper för kunder för att påskynda innovation. Han har en bakgrund inom AI/ML, grundare av New Knowledge och brinner generellt för teknik. På fritiden älskar han att resa och åka skidor med familjen.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- förmåga
- Able
- Om Oss
- akademiska
- accelerera
- noggrannhet
- åtgärder
- aktiv
- handlingar
- adress
- Antagande
- framsteg
- Fördel
- mot
- byråer
- AI
- AI / ML
- LUFT
- Alla
- tillåter
- amason
- Amazon Augmented AI
- Amazon-erkännande
- Amazon SageMaker
- Amazon SageMaker Ground Sannhet
- analyser
- analys
- analytics
- analysera
- och
- Annan
- api
- tillämpningar
- tillämpas
- Tillämpad AI
- arkitektur
- områden
- associerad
- revision
- augmented
- automatisera
- medvetenhet
- AWS
- tillbaka
- bakgrund
- backspärr
- barriärer
- Baslinje
- därför att
- riktmärken
- BÄST
- bästa praxis
- Blogg
- buffert
- SLUTRESULTAT
- Byggnad
- lock
- bilar
- Vid
- fall
- kategorier
- centrala
- utmaningar
- utmanande
- byta
- ta
- valde
- Stad
- Klimat
- Klimatförändring
- kluster
- koda
- samverkan
- kommentarer
- Gemensam
- samhällen
- slutför
- komponenter
- Compute
- dator
- Datorsyn
- förtroende
- innehålla
- sammanhang
- fortsätta
- fortsätter
- kontroll
- skapa
- skapas
- Skapa
- byggmöjligheter
- kritisk
- kurerad
- kund
- Kunder
- skräddarsy
- instrumentbräda
- datum
- data driven
- datauppsättningar
- som handlar om
- beslutsfattare
- djup
- djupt lärande
- leverera
- Efterfrågan
- distribuera
- beskriva
- Designa
- utformade
- detalj
- detekterad
- Detektering
- utveckla
- Utveckling
- olika
- svårt
- katastrof
- katastrofer
- diskuteras
- Drönare
- varje
- ekonomier
- ekosystem
- ansträngningar
- smärgel
- aktiverad
- möjliggör
- Slutpunkt
- Företag
- entusiast
- Hela
- miljömässigt
- Utrustning
- speciellt
- Även
- händelse
- händelser
- Utvecklingen
- exempel
- befintliga
- dyra
- extrakt
- familj
- SNABB
- skisserat
- Funktioner
- återkoppling
- Fil
- filtrera
- filtrering
- natur
- Förnamn
- Fokus
- efter
- följer
- grundare
- Fri
- Frekvens
- från
- fullständigt
- fungera
- funktioner
- framtida
- Få
- allmänhet
- genererar
- generera
- geografisk
- Geospatial ML
- skaffa sig
- ges
- Ge
- Välgörenhet
- god
- Regeringar
- gps
- Marken
- styra
- hantera
- har
- hjälpa
- hjälp
- hjälper
- Hög
- hög kvalitet
- höggradigt
- Träffa
- värdar
- Hur ser din drömresa ut
- html
- HTTPS
- humant
- orkan
- ID
- identifierare
- identifiera
- bild
- bilder
- Inverkan
- genomförande
- vikt
- förbättra
- förbättra
- in
- Inklusive
- Inkommande
- Öka
- informationen
- initiativ
- Innovation
- ingång
- integrerade
- integrationer
- avbruten
- anropar
- involverade
- IT
- Jobb
- Nyckel
- Vet
- kunskap
- lab
- etikett
- märkning
- Etiketter
- Brist
- landning
- storskalig
- inlärning
- lämnar
- Lets
- livscykel
- lokal
- läge
- du letar
- slå upp
- Låg
- Maskinen
- maskininlärning
- upprätthålla
- göra
- GÖR
- chef
- hantera
- manuell
- manuellt
- karta
- kartor
- massiv
- meddelande
- meddelanden
- metadata
- Mexico
- begränsning
- ML
- modell
- modeller
- mer
- förflyttar
- Multi-Model Endpoint
- multipel
- Natural
- Natur
- Behöver
- behov
- Nya
- nlp
- anmälningar
- objektet
- Objektdetektion
- objekt
- hav
- offer~~POS=TRUNC
- pågående
- öppet
- öppna uppgifter
- öppen källkod
- utanför
- Översikt
- egen
- Parallell
- parametrar
- brinner
- Mönster
- Utföra
- perspektiv
- rörledning
- planet
- plato
- Platon Data Intelligence
- PlatonData
- Inlägg
- praxis
- Precision
- förutse
- förutsägelse
- Förutsägelser
- Prioritera
- privat
- Problem
- process
- Bearbetad
- bearbetning
- Produktion
- Program
- protokoll
- prototyper
- prototyping
- beprövade
- ge
- tillhandahålla
- allmän
- Port
- Puerto Rico
- sätta
- Snabbt
- Raw
- senaste
- nyligen
- Rekommendation
- reducerande
- register
- frigörs
- lindring
- Obligatorisk
- forskare
- motståndskraft
- att
- respons
- REST
- Resultat
- översyn
- RICO
- Rutt
- rutter
- Körning
- sagemaker
- satellit
- skalbar
- skalning
- scener
- Sök
- säsonger
- §
- sektioner
- sektor
- Sektorer
- senior
- Server
- Servrar
- service
- Tjänster
- uppsättningar
- Visar
- Enkelt
- Storlek
- Rök
- Snapshot
- lösning
- Källor
- specialist
- specifik
- spikar
- standard
- starta
- startar
- state-of-the-art
- Stater
- Steg
- Steg
- förvaring
- lagra
- lagras
- stormar
- strategier
- sådana
- stödja
- system
- System
- Ta
- grupp
- lag
- tech
- Teknisk
- Teknologi
- Smakämnen
- den information
- hot
- tre
- tid
- tidskrävande
- till
- verktyg
- verktyg
- Tåg
- tränad
- Utbildning
- Traveling
- utlösa
- SVÄNG
- typer
- förstå
- unika
- Uppdateringar
- uppdatering
- us
- användning
- användningsfall
- användare
- olika
- via
- Video
- utsikt
- syn
- visualisering
- som
- kommer
- utan
- Arbete
- arbetade
- fungerar
- skulle
- år
- utbyten
- Om er
- Din
- Youtube
- zephyrnet