Schadebeoordeling met behulp van georuimtelijke mogelijkheden van Amazon SageMaker en aangepaste SageMaker-modellen

In dit bericht laten we zien hoe je schade door natuurrampen kunt trainen, inzetten en voorspellen Amazon SageMaker met georuimtelijke mogelijkheden. We gebruiken de nieuwe georuimtelijke mogelijkheden van SageMaker om nieuwe inferentiegegevens te genereren om het model te testen. Veel overheids- en humanitaire organisaties hebben snelle en accurate situational awareness nodig wanneer zich een ramp voordoet. Het kennen van de ernst, oorzaak en locatie van schade kan helpen bij de reactiestrategie en besluitvorming van de eerstehulpverlener. Het ontbreken van nauwkeurige en tijdige informatie kan bijdragen aan een onvolledige of verkeerd gerichte hulpactie.

Naarmate de frequentie en ernst van natuurrampen toeneemt, is het belangrijk dat we besluitvormers en eerstehulpverleners uitrusten met een snelle en nauwkeurige schadebeoordeling. In dit voorbeeld gebruiken we geospatiale beelden om schade door natuurrampen te voorspellen. Geospatiale gegevens kunnen worden gebruikt in de onmiddellijke nasleep van een natuurramp om snel schade aan gebouwen, wegen of andere kritieke infrastructuur te identificeren. In dit bericht laten we u zien hoe u een geospatiaal segmentatiemodel traint en implementeert om te gebruiken voor classificatie van rampenschade. We splitsen de toepassing op in drie onderwerpen: modeltraining, modelimplementatie en inferentie.

Modeltraining

In deze use case hebben we een aangepast PyTorch-model gebouwd met behulp van Amazon Sage Maker voor beeldsegmentatie van bouwschade. De georuimtelijke mogelijkheden in SageMaker omvatten getrainde modellen die u kunt gebruiken. Deze ingebouwde modellen omvatten cloudsegmentatie en -verwijdering, en segmentatie van landbedekking. Voor deze functie trainen we een aangepast model voor schadesegmentatie. We hebben het SegFormer-model eerst getraind op gegevens van de xView2-competitie. De SegFormer is een op transformatoren gebaseerde architectuur die in de paper van 2021 werd geïntroduceerd SegFormer: eenvoudig en efficiënt ontwerp voor semantische segmentatie met transformatoren. Het is gebaseerd op de transformer-architecturen die behoorlijk populair zijn bij werklasten voor natuurlijke taalverwerking; de SegFormer-architectuur is echter gebouwd voor semantische segmentatie. Het combineert zowel de op een transformator gebaseerde encoder als een lichtgewicht decoder. Dit zorgt voor betere prestaties dan eerdere methoden, terwijl het model aanzienlijk kleiner is dan eerdere methoden. Zowel voorgetrainde als ongetrainde SegFormer-modellen zijn verkrijgbaar bij de populaire Hugging Face-transformatorbibliotheek. Voor deze use case downloaden we een vooraf getrainde SegFormer-architectuur en trainen deze op een nieuwe dataset.

De dataset die in dit voorbeeld wordt gebruikt, is afkomstig uit de xView2 data science-wedstrijd. Deze wedstrijd bracht de xBD-gegevensset, een van de grootste en hoogste kwaliteit openbaar beschikbare datasets van satellietbeelden met hoge resolutie, geannoteerd met gebouwlocatie en schadescores (klassen) voor en na natuurrampen. De dataset bevat gegevens uit 15 landen, waaronder 6 soorten rampen (aardbeving/tsunami, overstroming, vulkaanuitbarsting, natuurbrand, wind) met geospatiale gegevens met 850,736 gebouwannotaties verspreid over 45,362 km^2 beeldmateriaal. De volgende afbeelding toont een voorbeeld van de dataset. Deze afbeelding toont het beeld na de ramp met het segmentatiemasker voor schade aan het gebouw eroverheen. Elke afbeelding bevat het volgende: pre-ramp satellietbeeld, pre-ramp gebouwsegmentatiemasker, post-ramp satellietbeeld en post-ramp gebouwsegmentatiemasker met schadeklassen.

In dit voorbeeld gebruiken we alleen de beelden voor en na de ramp om de schadeclassificatie na de ramp te voorspellen (segmentatiemasker). We gebruiken de segmentatiemaskers van vóór de ramp niet. Deze aanpak is gekozen vanwege de eenvoud. Er zijn andere mogelijkheden om deze dataset te benaderen. Een aantal van de winnende benaderingen voor de xView2-wedstrijd gebruikten een oplossing in twee stappen: voorspel eerst het segmentatiemasker van het gebouw vóór de ramp. De gebouwcontouren en de schadebeelden worden vervolgens gebruikt als input voor het voorspellen van de schadeclassificatie. We laten dit aan de lezer over om andere modelleringsbenaderingen te verkennen om de classificatie- en detectieprestaties te verbeteren.

De vooraf getrainde SegFormer-architectuur is gebouwd om een ​​enkel driekleurenkanaalbeeld als invoer te accepteren en een segmentatiemasker uit te voeren. Er zijn een aantal manieren waarop we het model hadden kunnen aanpassen om zowel de pre- als de post-satellietbeelden als invoer te accepteren, maar we hebben een eenvoudige stapeltechniek gebruikt om beide beelden samen te voegen tot een zeskleurenkanaalbeeld. We hebben het model getraind met behulp van standaard augmentatietechnieken op de xView2-trainingsdataset om het segmentatiemasker na de ramp te voorspellen. Merk op dat we het formaat van alle invoerafbeeldingen hebben gewijzigd van 1024 naar 512 pixels. Dit was om de ruimtelijke resolutie van de trainingsgegevens verder te verminderen. Het model is getraind met SageMaker met behulp van een enkele op p3.2xlarge GPU gebaseerde instantie. Een voorbeeld van de uitvoer van het getrainde model wordt weergegeven in de volgende afbeeldingen. De eerste reeks afbeeldingen zijn de pre- en post-schadebeelden van de validatieset.

De volgende afbeeldingen tonen het voorspelde schademasker en het Ground Truth-schademasker.

Op het eerste gezicht lijkt het erop dat het model niet goed presteert in vergelijking met de grondwaarheidsgegevens. Veel van de gebouwen zijn onjuist geclassificeerd, waardoor kleine schade wordt verward met geen schade en er meerdere classificaties worden weergegeven voor één gebouwomtrek. Een interessante bevinding bij het bekijken van de prestaties van het model is echter dat het lijkt te hebben geleerd om de classificatie van bouwschade te lokaliseren. Elk gebouw kan worden ingedeeld in No Damage, Minor Damage, Major Damageof Destroyed. Het voorspelde schademasker laat zien dat het model het grote gebouw in het midden grotendeels heeft ingedeeld No Damage, maar de rechterbovenhoek is geclassificeerd als Destroyed. Deze lokalisatie van schade aan subgebouwen kan hulpverleners verder helpen door de lokale schade per gebouw weer te geven.

Modelimplementatie

Het getrainde model werd vervolgens geïmplementeerd op een asynchroon SageMaker-inferentie-eindpunt. Merk op dat we een asynchroon eindpunt hebben gekozen om langere inferentietijden mogelijk te maken, grotere payload-invoergroottes en de mogelijkheid om het eindpunt terug te schalen naar nul instanties (geen kosten) wanneer het niet in gebruik is. De volgende afbeelding toont de code op hoog niveau voor asynchrone endpoint-implementatie. We comprimeren eerst het opgeslagen PyTorch-statuswoordenboek en uploaden de gecomprimeerde modelartefacten naar Amazon eenvoudige opslagservice (Amazone S3). We maken een SageMaker PyTorch-model dat verwijst naar onze inferentiecode en modelartefacten. De inferentiecode is vereist om ons model te laden en te bedienen. Raadpleeg voor meer informatie over de vereiste aangepaste inferentiecode voor een SageMaker PyTorch-model Gebruik PyTorch met de SageMaker Python SDK.

In de volgende afbeelding ziet u de code voor het beleid voor automatisch schalen voor het asynchrone inferentie-eindpunt.

Houd er rekening mee dat er andere eindpuntopties zijn, zoals realtime, batch en serverloos, die voor uw toepassing kunnen worden gebruikt. U wilt de optie kiezen die het meest geschikt is voor de use case en die onthouden Amazon SageMaker Inferentie-aanbeveler is beschikbaar om machine learning (ML) eindpuntconfiguraties aan te bevelen.

Modelinferentie

Nu het getrainde model is geïmplementeerd, kunnen we nu gebruiken SageMaker georuimtelijke mogelijkheden om gegevens te verzamelen voor inferentie. Met de georuimtelijke mogelijkheden van SageMaker zijn er verschillende ingebouwde modellen direct beschikbaar. In dit voorbeeld gebruiken we de bandstapelbewerking voor het stapelen van de rode, groene en blauwe kleurkanalen voor onze aardobservatietaak. De taak verzamelt de gegevens uit de Sentinel-2-gegevensset. Om een ​​aardobservatietaak te configureren, hebben we eerst de coördinaten van de betreffende locatie nodig. Ten tweede hebben we het tijdbereik van de waarneming nodig. Hiermee kunnen we nu een aardobservatietaak indienen met behulp van de stapelfunctie. Hier stapelen we de rode, groene en blauwe banden om een ​​kleurenafbeelding te produceren. De volgende afbeelding toont de taakconfiguratie die is gebruikt om gegevens te genereren van de overstromingen in Rochester, Australië, midden oktober 2022. We gebruiken beelden van voor en na de ramp als input voor ons getrainde ML-model.

Nadat de taakconfiguratie is gedefinieerd, kunnen we de taak indienen. Als de klus is geklaard, exporteren we de resultaten naar Amazon S3. Merk op dat we de resultaten alleen kunnen exporteren nadat de taak is voltooid. De resultaten van de taak kunnen worden geëxporteerd naar een Amazon S3-locatie die door de gebruiker is opgegeven in de configuratie van de exporttaak. Nu met onze nieuwe gegevens in Amazon S3, kunnen we schadevoorspellingen krijgen met behulp van het geïmplementeerde model. We lezen eerst de gegevens in het geheugen en stapelen de pre- en post-rampbeelden op elkaar.

De resultaten van het segmentatiemasker voor de overstromingen in Rochester worden weergegeven in de volgende afbeeldingen. Hier kunnen we zien dat het model locaties binnen het overstroomde gebied als waarschijnlijk beschadigd heeft geïdentificeerd. Merk ook op dat de ruimtelijke resolutie van het inferentiebeeld anders is dan de trainingsgegevens. Het verhogen van de ruimtelijke resolutie zou de modelprestaties kunnen helpen; dit is echter minder een probleem voor het SegFormer-model dan voor andere modellen vanwege de multiscale modelarchitectuur.

Schadebeoordeling

Conclusie

In dit bericht hebben we laten zien hoe je schade door natuurrampen kunt trainen, inzetten en voorspellen SageMaker met georuimtelijke mogelijkheden. We hebben de nieuwe georuimtelijke mogelijkheden van SageMaker gebruikt om nieuwe inferentiegegevens te genereren om het model te testen. De code voor dit bericht wordt momenteel vrijgegeven en dit bericht zal worden bijgewerkt met links naar de volledige trainings-, implementatie- en inferentiecode. Met deze applicatie kunnen eerstehulpverleners, regeringen en humanitaire organisaties hun respons optimaliseren en direct na een natuurramp kritisch situationeel bewustzijn bieden. Deze toepassing is slechts één voorbeeld van wat mogelijk is met moderne ML-tools zoals SageMaker.

Probeer de georuimtelijke mogelijkheden van SageMaker vandaag nog met uw eigen modellen; we kijken ernaar uit om te zien wat je hierna gaat bouwen.

Over de auteur

Aaron Sengstacken is een oplossingsarchitect voor machine learning bij Amazon Web Services. Aaron werkt nauw samen met klanten in de publieke sector van elke omvang om applicaties voor machine learning in de productie te ontwikkelen en te implementeren. Hij is geïnteresseerd in alles wat met machine learning, technologie en ruimteverkenning te maken heeft.