Kahjustuste hindamine Amazon SageMakeri georuumiliste võimaluste ja kohandatud SageMakeri mudelite abil

Selles postituses näitame, kuidas koolitada, kasutusele võtta ja ennustada loodusõnnetuste tekitatud kahju Georuumiliste võimalustega Amazon SageMaker. Kasutame mudeli testimiseks uute järeldusandmete genereerimiseks SageMakeri uusi georuumilisi võimalusi. Paljud valitsus- ja humanitaarorganisatsioonid vajavad katastroofi korral kiiret ja täpset olukorrateadlikkust. Kahjustuse tõsiduse, põhjuse ja asukoha teadmine võib aidata esmareageerijal reageerimisstrateegiat ja otsuste tegemist aidata. Täpse ja õigeaegse teabe puudumine võib aidata kaasa mittetäielikule või valesti suunatud abitööle.

Kuna loodusõnnetuste sagedus ja raskusaste suureneb, on oluline, et pakume otsustajatele ja esmareageerijatele kiiret ja täpset kahjuhinnangut. Selles näites kasutame looduskatastroofide kahju ennustamiseks georuumilisi kujutisi. Georuumilisi andmeid saab kasutada vahetult pärast looduskatastroofi, et kiiresti tuvastada hoonetele, teedele või muule kriitilisele infrastruktuurile tekitatud kahju. Selles postituses näitame teile, kuidas koolitada ja juurutada georuumilise segmenteerimise mudelit, mida kasutatakse katastroofikahjustuste klassifitseerimiseks. Jagame rakenduse kolmeks teemaks: mudelikoolitus, mudeli juurutamine ja järeldused.

Modellikoolitus

Sel juhul ehitasime kohandatud PyTorchi mudeli kasutades Amazon SageMaker hoone kahjustuste kujutise segmenteerimiseks. SageMakeri georuumilised võimalused hõlmavad koolitatud mudeleid, mida saate kasutada. Need sisseehitatud mudelid hõlmavad pilve segmenteerimist ja eemaldamist ning maakatte segmenteerimist. Selle postituse jaoks koolitame välja kohandatud mudeli kahjustuste segmenteerimiseks. Esmalt koolitasime SegFormeri mudelit xView2 võistluse andmete põhjal. SegFormer on trafopõhine arhitektuur, mida tutvustati 2021. aasta dokumendis SegFormer: lihtne ja tõhus disain transformaatoritega semantilise segmenteerimise jaoks. See põhineb trafo arhitektuuridel, mis on loomuliku keele töötlemise töökoormuste puhul üsna populaarsed; SegFormeri arhitektuur on aga loodud semantilise segmenteerimise jaoks. See ühendab endas nii trafopõhise kodeerija kui ka kerge dekoodri. See võimaldab paremat jõudlust kui varasemad meetodid, pakkudes samas oluliselt väiksemaid mudeli suurusi kui varasemad meetodid. Nii eelkoolitatud kui ka treenimata SegFormeri mudelid on saadaval populaarsest Hugging Face trafoteegist. Selle kasutusjuhtumi jaoks laadime alla eelkoolitatud SegFormeri arhitektuuri ja õpetame seda uuele andmekogumile.

Selles näites kasutatav andmestik pärineb xView2 andmeteaduse võistlus. See konkurss avaldas xBD andmestik, mis on üks suurimaid ja kõrgeima kvaliteediga avalikult kättesaadavaid kõrge eraldusvõimega satelliidipiltide andmekogumeid, millele on lisatud hoone asukoha ja kahjustuste hinded (klassid) enne ja pärast looduskatastroofe. Andmekogum sisaldab andmeid 15 riigist, sealhulgas kuut tüüpi katastroofide kohta (maavärin/tsunami, üleujutus, vulkaanipurse, metsatulekahju, tuul), koos georuumiliste andmetega, mis sisaldavad 6 850,736 ehitise annotatsiooni 45,362 2 km^XNUMX ulatuses. Järgmine pilt näitab andmestiku näidet. See pilt näitab katastroofijärgset pilti, millel on kaetud hoonekahjustuste segmenteerimismask. Iga pilt sisaldab järgmist: katastroofieelne satelliidipilt, katastroofieelne hoone segmentimismask, katastroofijärgne satelliidipilt ja katastroofijärgne hoone segmenteerimismask koos kahjuklassidega.

Selles näites kasutame katastroofijärgse kahju klassifikatsiooni (segmenteerimismaski) ennustamiseks ainult katastroofieelset ja -järgset kujutist. Me ei kasuta katastroofieelseid hoone segmentimismaske. See lähenemisviis valiti lihtsuse huvides. Sellele andmekogumile lähenemiseks on ka teisi võimalusi. Paljud xView2 võistluse võidukad lähenemisviisid kasutasid kaheastmelist lahendust: esiteks ennustage katastroofieelse hoone kontuuri segmenteerimismaski. Seejärel kasutatakse kahjustuste klassifikatsiooni prognoosimiseks sisendina hoone piirjooni ja kahjustusejärgseid pilte. Jätame selle lugeja hooleks uurida muid modelleerimisviise, et parandada klassifitseerimise ja tuvastamise jõudlust.

Eelkoolitatud SegFormeri arhitektuur on ehitatud nii, et see aktsepteeriks sisendiks ühte kolmevärvilist kanalipilti ja väljastab segmenteerimismaski. On mitmeid viise, kuidas oleksime saanud mudelit muuta nii, et see aktsepteeriks sisendina nii satelliidieelseid kui ka -järgseid pilte, kuid kasutasime lihtsat virnastamistehnikat, et virnastada mõlemad pildid kuuevärvilise kanali kujutiseks. Katastroofijärgse segmenteerimismaski ennustamiseks koolitasime mudelit xView2 koolitusandmestiku standardsete suurendamistehnikate abil. Pange tähele, et muutsime kõigi sisendpiltide suurust 1024-lt 512-le. See pidi veelgi vähendama koolitusandmete ruumilist eraldusvõimet. Mudelit koolitati SageMakeriga, kasutades ühte p3.2xlarge GPU-põhist eksemplari. Koolitatud mudeli väljundi näide on näidatud järgmistel joonistel. Esimene piltide komplekt on valideerimiskomplekti kahjustuseelsed ja -järgsed pildid.

Järgmised joonised näitavad prognoositud kahjustuste maski ja maapinna tõelise kahjustuse maski.

Esmapilgul tundub, et mudel ei toimi hästi, võrreldes põhitõeandmetega. Paljud hooned on valesti klassifitseeritud, segades väiksemaid kahjustusi kahjustuste puudumisega ja näidates mitut klassifikatsiooni ühe hoone kontuuri kohta. Üks huvitav avastus mudeli toimivuse ülevaatamisel on aga see, et see näib olevat õppinud hoone kahjustuste klassifikatsiooni lokaliseerima. Iga hoone saab liigitada No Damage, Minor Damage, Major Damagevõi Destroyed. Prognoositav kahjumask näitab, et modell on liigitanud keskel asuva suure hoone valdavalt No Damage, kuid parem ülanurk on klassifitseeritud kui Destroyed. See alamhoonete kahjustuste lokaliseerimine võib abistajaid veelgi aidata, näidates lokaliseeritud kahjustusi hoone kohta.

Mudeli juurutamine

Seejärel rakendati koolitatud mudel asünkroonsesse SageMakeri järelduse lõpp-punkti. Pange tähele, et valisime asünkroonse lõpp-punkti, et võimaldada pikemaid järeldusaega, suuremaid kasuliku koormuse sisendi suurusi ja võimalust skaleerida lõpp-punkti nulljuhtumini (tasudeta), kui seda ei kasutata. Järgmine joonis näitab asünkroonse lõpp-punkti juurutamise kõrgetasemelist koodi. Esmalt tihendame salvestatud PyTorchi olekusõnastiku ja laadime tihendatud mudeli artefaktid üles Amazoni lihtne salvestusteenus (Amazon S3). Loome SageMaker PyTorchi mudeli, mis osutab meie järelduskoodile ja mudeli artefaktidele. Järelduskood on meie mudeli laadimiseks ja teenindamiseks vajalik. Lisateavet SageMaker PyTorchi mudeli jaoks vajaliku kohandatud järelduskoodi kohta leiate artiklist Kasutage PyTorchi koos SageMaker Python SDK-ga.

Järgmisel joonisel on näidatud asünkroonse järelduse lõpp-punkti automaatse skaleerimise poliitika kood.

Pange tähele, et teie rakenduse jaoks saab kasutada muid lõpp-punkti valikuid, nagu reaalajas, partii ja serverita. Soovite valida konkreetse kasutusjuhtumi jaoks kõige sobivama valiku ja seda meelde tuletada Amazon SageMakeri järelduste soovitus on saadaval, et aidata soovitada masinõppe (ML) lõpp-punkti konfiguratsioone.

Mudeli järeldus

Kui koolitatud mudel on kasutusele võetud, saame nüüd kasutada SageMakeri georuumilised võimalused andmete kogumiseks järelduste tegemiseks. Tänu SageMakeri georuumilistele võimalustele on karbist väljas saadaval mitu sisseehitatud mudelit. Selles näites kasutame maavaatlustöö jaoks punaste, roheliste ja siniste värvikanalite virnastamiseks ribade virnastamise operatsiooni. Töö kogub andmeid Sentinel-2 andmekogumist. Maavaatlustöö konfigureerimiseks vajame esmalt huvipakkuva asukoha koordinaate. Teiseks vajame vaatluse ajavahemikku. Selle abil saame nüüd virnastamisfunktsiooni kasutades esitada maavaatlustöö. Siin virnastame punase, rohelise ja sinise ribad värvilise pildi saamiseks. Järgmisel joonisel on kujutatud töö konfiguratsiooni, mida kasutati andmete genereerimiseks Austraalias Rochesteris 2022. aasta oktoobri keskpaigas toimunud üleujutustest. Kasutame oma koolitatud ML-mudeli sisendina pilte enne ja pärast katastroofi.

Pärast töö konfiguratsiooni määratlemist saame töö esitada. Kui töö on lõpetatud, ekspordime tulemused Amazon S3-sse. Pange tähele, et saame tulemusi eksportida alles pärast töö lõpetamist. Töö tulemusi saab eksportida Amazon S3 asukohta, mille kasutaja on määranud eksporditöö konfiguratsioonis. Tänu meie uutele Amazon S3 andmetele saame kasutusele võetud mudeli abil prognoosida kahju. Esmalt loeme andmed mällu ja virnastame katastroofieelsed ja -järgsed pildid kokku.

Rochesteri üleujutuste segmenteerimismaski tulemused on näidatud järgmistel piltidel. Siin näeme, et mudel on tuvastanud üleujutatud piirkonna asukohad tõenäoliselt kahjustatud. Pange tähele ka seda, et järelduspildi ruumiline eraldusvõime erineb treeningandmetest. Ruumilise eraldusvõime suurendamine võib aidata modelleerida jõudlust; Siiski on see SegFormeri mudeli puhul vähem probleem nagu teiste mudelite puhul mitmemõõtmelise mudeliarhitektuuri tõttu.

Kahju hindamine

Järeldus

Selles postituses näitasime, kuidas koolitada, kasutusele võtta ja ennustada loodusõnnetuste tekitatud kahju Georuumiliste võimalustega SageMaker. Kasutasime mudeli testimiseks uute järeldusandmete genereerimiseks SageMakeri uusi georuumilisi võimalusi. Selle postituse koodi avaldamine on pooleli ja seda postitust värskendatakse linkidega täieliku koolituse, juurutamise ja järelduskoodi juurde. See rakendus võimaldab esmareageerijatel, valitsustel ja humanitaarorganisatsioonidel oma reageerimist optimeerida, pakkudes kriitilist teadlikkust olukorrast kohe pärast looduskatastroofi. See rakendus on vaid üks näide sellest, mis on võimalik tänapäevaste ML-i tööriistadega, nagu SageMaker.

Proovige SageMakeri georuumilisi võimalusi juba täna, kasutades oma mudeleid; ootame põnevusega, mida järgmiseks ehitate.

Andmeid autor

Aaron Sengstacken on masinõppe spetsialistide lahenduste arhitekt ettevõttes Amazon Web Services. Tootmismasinõppe rakenduste arendamiseks ja juurutamiseks teeb Aaron tihedat koostööd avaliku sektori igas suuruses klientidega. Teda huvitavad kõik masinõpe, tehnoloogia ja kosmoseuuringud.