Skadevurdering ved hjælp af Amazon SageMaker geospatiale muligheder og tilpassede SageMaker-modeller

I dette indlæg viser vi, hvordan man træner, implementerer og forudsiger naturkatastroferskader med Amazon SageMaker med geospatiale muligheder. Vi bruger de nye SageMaker geospatiale muligheder til at generere nye inferensdata for at teste modellen. Mange regerings- og humanitære organisationer har brug for hurtig og præcis situationsfornemmelse, når en katastrofe rammer. At kende skadens sværhedsgrad, årsag og placering kan hjælpe med den første responders reaktionsstrategi og beslutningstagning. Manglen på præcise og rettidige oplysninger kan bidrage til en ufuldstændig eller forkert rettet nødhjælpsindsats.

Efterhånden som hyppigheden og alvoren af ​​naturkatastrofer stiger, er det vigtigt, at vi udstyrer beslutningstagere og førstehjælpere med hurtig og præcis skadesvurdering. I dette eksempel bruger vi geospatiale billeder til at forudsige skader fra naturkatastrofer. Geospatiale data kan bruges i umiddelbar forlængelse af en naturkatastrofe til hurtigt at identificere skader på bygninger, veje eller anden kritisk infrastruktur. I dette indlæg viser vi dig, hvordan du træner og implementerer en geospatial segmenteringsmodel, der skal bruges til klassificering af katastrofeskader. Vi opdeler applikationen i tre emner: modeltræning, modelimplementering og inferens.

Model træning

I dette tilfælde byggede vi en brugerdefineret PyTorch-model vha Amazon SageMaker til billedsegmentering af bygningsskader. De geospatiale muligheder i SageMaker inkluderer trænede modeller, som du kan bruge. Disse indbyggede modeller inkluderer skysegmentering og fjernelse og landdækningssegmentering. Til dette indlæg træner vi en tilpasset model til skadessegmentering. Vi trænede først SegFormer-modellen på data fra xView2-konkurrencen. SegFormer er en transformer-baseret arkitektur, der blev introduceret i 2021-avisen SegFormer: Enkelt og effektivt design til semantisk segmentering med transformere. Det er baseret på transformatorarkitekturerne, der er ret populære med arbejdsbelastninger til naturlig sprogbehandling; dog er SegFormer-arkitekturen bygget til semantisk segmentering. Den kombinerer både den transformerbaserede encoder og en letvægtsdekoder. Dette giver mulighed for bedre ydeevne end tidligere metoder, samtidig med at det giver betydeligt mindre modelstørrelser end tidligere metoder. Både præ-trænede og utrænede SegFormer-modeller er tilgængelige fra det populære Hugging Face-transformerbibliotek. Til denne use case downloader vi en forudtrænet SegFormer-arkitektur og træner den på et nyt datasæt.

Datasættet brugt i dette eksempel kommer fra xView2 data science konkurrence. Denne konkurrence udgav xBD datasæt, et af de største offentligt tilgængelige datasæt af højopløsningssatellitbilleder af højeste kvalitet, der er kommenteret med bygningsplacering og skadescore (klasser) før og efter naturkatastrofer. Datasættet indeholder data fra 15 lande, herunder 6 typer katastrofer (jordskælv/tsunami, oversvømmelse, vulkanudbrud, naturbrande, vind) med geospatiale data, der indeholder 850,736 bygningsannotationer på tværs af 45,362 km^2 billeder. Følgende billede viser et eksempel på datasættet. Dette billede viser billedet efter en katastrofe med bygningsskadesegmenteringsmasken overlejret. Hvert billede inkluderer følgende: satellitbillede før katastrofe, bygningssegmenteringsmaske før katastrofe, satellitbillede efter katastrofe og bygningssegmenteringsmaske efter katastrofe med skadesklasser.

I dette eksempel bruger vi kun billederne før og efter en katastrofe til at forudsige klassificeringen af ​​skader efter en katastrofe (segmenteringsmaske). Vi bruger ikke bygningssegmenteringsmaskerne før katastrofen. Denne tilgang blev valgt for enkelhedens skyld. Der er andre muligheder for at nærme sig dette datasæt. En række af de vindende tilgange til xView2-konkurrencen brugte en totrinsløsning: For det første forudsige segmenteringsmasken for bygningskontur før katastrofen. Bygningskonturerne og efterskadebillederne bruges derefter som input til forudsigelse af skadesklassificeringen. Vi overlader dette til læseren for at udforske andre modelleringstilgange for at forbedre klassificering og detektionsydelse.

Den fortrænede SegFormer-arkitektur er bygget til at acceptere et enkelt tre-farvet kanalbillede som input og udsender en segmenteringsmaske. Der er en række måder, hvorpå vi kunne have modificeret modellen til at acceptere både før- og post-satellitbilleder som input, men vi brugte en simpel stableteknik til at stable begge billeder sammen til et seksfarvet kanalbillede. Vi trænede modellen ved at bruge standardaugmenteringsteknikker på xView2 træningsdatasættet til at forudsige segmenteringsmasken efter katastrofe. Bemærk, at vi ændrede størrelsen på alle inputbilleder fra 1024 til 512 pixels. Dette var for yderligere at reducere den rumlige opløsning af træningsdataene. Modellen blev trænet med SageMaker ved hjælp af en enkelt p3.2xlarge GPU baseret instans. Et eksempel på den trænede modeloutput er vist i de følgende figurer. Det første sæt billeder er billederne før og efter beskadigelse fra valideringssættet.

Følgende figurer viser den forventede skadesmaske og jordsandhedens skadesmaske.

Ved første øjekast ser det ud til, at modellen ikke klarer sig godt sammenlignet med de grundlæggende sandhedsdata. Mange af bygningerne er forkert klassificeret, hvilket forvirrer mindre skader uden skader og viser flere klassifikationer for en enkelt bygningskontur. Et interessant fund ved gennemgang af modellens ydeevne er imidlertid, at den ser ud til at have lært at lokalisere bygningsskadeklassifikationen. Hver bygning kan klassificeres i No Damage, Minor Damage, Major Damage eller Destroyed. Den forudsagte skademaske viser, at modellen har klassificeret den store bygning i midten i det meste No Damage, men øverste højre hjørne er klassificeret som Destroyed. Denne lokalisering af underbygningsskader kan yderligere hjælpe indsatspersonale ved at vise den lokale skade pr. bygning.

Modelimplementering

Den trænede model blev derefter implementeret til et asynkront SageMaker-slutpunkt. Bemærk, at vi valgte et asynkront endepunkt for at give mulighed for længere inferenstider, større inputstørrelser for nyttelast og muligheden for at skalere endepunktet ned til nul forekomster (ingen gebyrer), når det ikke er i brug. Følgende figur viser koden på højt niveau for asynkron slutpunktsimplementering. Vi komprimerer først den gemte PyTorch-tilstandsordbog og uploader de komprimerede modelartefakter til Amazon Simple Storage Service (Amazon S3). Vi opretter en SageMaker PyTorch-model, der peger på vores slutningskode og modelartefakter. Inferenskoden er påkrævet for at indlæse og betjene vores model. For flere detaljer om den nødvendige brugerdefinerede slutningskode for en SageMaker PyTorch-model, se Brug PyTorch med SageMaker Python SDK.

Følgende figur viser koden for den automatiske skaleringspolitik for det asynkrone inferensslutpunkt.

Bemærk, at der er andre endpoint-indstillinger, såsom realtid, batch og serverløs, der kan bruges til din applikation. Du skal vælge den mulighed, der er bedst egnet til brugssituationen, og huske det Amazon SageMaker Inference Recommender er tilgængelig for at hjælpe med at anbefale endepunktskonfigurationer for maskinlæring (ML).

Modelslutning

Med den trænede model indsat, kan vi nu bruge SageMaker geospatiale muligheder at indsamle data til slutning. Med SageMaker geospatiale muligheder er flere indbyggede modeller tilgængelige ud af æsken. I dette eksempel bruger vi båndstablingsoperationen til at stable de røde, grønne og blå farvekanaler til vores jordobservationsjob. Jobbet samler data fra Sentinel-2-datasættet. For at konfigurere et jordobservationsjob skal vi først have koordinaterne for det sted, der er af interesse. For det andet har vi brug for tidsintervallet for observationen. Med dette kan vi nu indsende et jordobservationsjob ved hjælp af stablingsfunktionen. Her stabler vi de røde, grønne og blå bånd for at producere et farvebillede. Følgende figur viser jobkonfigurationen, der blev brugt til at generere data fra oversvømmelserne i Rochester, Australien, i midten af ​​oktober 2022. Vi bruger billeder fra før og efter katastrofen som input til vores trænede ML-model.

Når jobkonfigurationen er defineret, kan vi indsende jobbet. Når jobbet er færdigt, eksporterer vi resultaterne til Amazon S3. Bemærk, at vi kun kan eksportere resultaterne, når jobbet er afsluttet. Resultaterne af jobbet kan eksporteres til en Amazon S3-placering, som er angivet af brugeren i eksportjobkonfigurationen. Nu med vores nye data i Amazon S3, kan vi få skadesforudsigelser ved hjælp af den implementerede model. Vi læser først dataene ind i hukommelsen og stabler billederne før og efter katastrofen sammen.

Resultaterne af segmenteringsmasken for Rochester-oversvømmelserne er vist på de følgende billeder. Her kan vi se, at modellen har identificeret lokaliteter i det oversvømmede område som sandsynligt beskadiget. Bemærk også, at den rumlige opløsning af inferensbilledet er anderledes end træningsdataene. Forøgelse af den rumlige opløsning kan hjælpe med modellens ydeevne; dette er dog mindre af et problem for SegFormer-modellen, som det er for andre modeller på grund af multiskala modelarkitekturen.

Vurdering af skader

Konklusion

I dette indlæg viste vi, hvordan man træner, implementerer og forudsiger naturkatastroferskader med SageMaker med geospatiale muligheder. Vi brugte de nye SageMaker geospatiale muligheder til at generere nye inferensdata for at teste modellen. Koden til dette indlæg er ved at blive frigivet, og dette indlæg vil blive opdateret med links til den fulde trænings-, implementerings- og slutningskode. Denne applikation giver førstehjælpere, regeringer og humanitære organisationer mulighed for at optimere deres reaktion og giver kritisk situationsbevidsthed umiddelbart efter en naturkatastrofe. Denne applikation er kun et eksempel på, hvad der er muligt med moderne ML-værktøjer såsom SageMaker.

Prøv SageMaker geospatiale muligheder i dag ved hjælp af dine egne modeller; vi glæder os til at se, hvad du bygger næste gang.

Om forfatteren

Aaron Sengstacken er en specialist i maskinlæringsløsninger hos Amazon Web Services. Aaron arbejder tæt sammen med kunder i den offentlige sektor af alle størrelser for at udvikle og implementere produktions-maskinlæringsapplikationer. Han er interesseret i alt, hvad der har med maskinlæring, teknologi og rumudforskning at gøre.