Kárértékelés az Amazon SageMaker térinformatikai képességei és az egyéni SageMaker modellek segítségével

Ebben a bejegyzésben megmutatjuk, hogyan lehet kiképezni, telepíteni és előre jelezni a természeti katasztrófák okozta károkat Amazon SageMaker térinformatikai képességekkel. A SageMaker új térinformatikai képességeit használjuk új következtetési adatok generálására a modell teszteléséhez. Sok kormányzati és humanitárius szervezetnek gyors és pontos helyzetfelismerésre van szüksége, amikor egy katasztrófa bekövetkezik. A kár súlyosságának, okának és helyének ismerete segíthet az elsősegélynyújtó válaszstratégiájában és döntéshozatalában. A pontos és időszerű információk hiánya hozzájárulhat egy hiányos vagy rosszul irányított segélyakcióhoz.

A természeti katasztrófák gyakoriságának és súlyosságának növekedésével fontos, hogy a döntéshozókat és az elsősegélynyújtókat gyors és pontos kárfelméréssel látjuk el. Ebben a példában térinformatikai képeket használunk a természeti katasztrófák által okozott károk előrejelzésére. A térinformatikai adatok közvetlenül egy természeti katasztrófa után felhasználhatók az épületekben, utakban vagy más kritikus infrastruktúrában okozott károk gyors azonosítására. Ebben a bejegyzésben bemutatjuk, hogyan képezhet ki és telepíthet egy térinformatikai szegmentációs modellt a katasztrófa okozta károk osztályozására. Az alkalmazást három témakörre bontjuk: modellképzés, modellbevezetés és következtetés.

Modellképzés

Ebben a használati esetben egyedi PyTorch-modellt építettünk a használatával Amazon SageMaker épületkárosodás képi szegmentálására. A SageMaker térinformatikai képességei betanított modelleket tartalmaznak, amelyeket használhat. Ezek a beépített modellek magukban foglalják a felhő szegmentálását és eltávolítását, valamint a földtakaró szegmentálását. Ehhez a bejegyzéshez egy egyedi modellt tanítunk a sérülések szegmentálására. Először a SegFormer modellt az xView2 verseny adataira oktattuk. A SegFormer egy transzformátor alapú architektúra, amelyet a 2021-es cikkben mutattak be SegFormer: Egyszerű és hatékony tervezés a szemantikus szegmentációhoz transzformátorokkal. Azokon a transzformátor-architektúrákon alapul, amelyek igen népszerűek a természetes nyelvi feldolgozási munkaterhelések körében; a SegFormer architektúra azonban szemantikai szegmentációra készült. Egyesíti a transzformátor alapú kódolót és a könnyű dekódert. Ez jobb teljesítményt tesz lehetővé, mint a korábbi módszerek, miközben lényegesen kisebb modellméreteket biztosít, mint a korábbi módszerek. Mind az előképzett, mind a nem betanított SegFormer modellek elérhetők a népszerű Hugging Face transzformátorkönyvtárból. Erre a felhasználási esetre letöltünk egy előre betanított SegFormer architektúrát, és betanítjuk egy új adatkészletre.

A példában használt adatkészlet a xView2 adattudományi verseny. Ezen a versenyen megjelent a xBD adatkészlet, az egyik legnagyobb és legjobb minőségű, nyilvánosan elérhető, nagy felbontású műholdképek adatkészlete, amely az épületek elhelyezkedését és a természeti katasztrófák előtti és utáni kárpontszámokat (osztályokat) tartalmazza. Az adatkészlet 15 ország adatait tartalmazza, köztük 6 típusú katasztrófát (földrengés/cunami, árvíz, vulkánkitörés, futótűz, szél), valamint 850,736 45,362 épület megjegyzést tartalmazó térinformatikai adatokat 2 XNUMX km^XNUMX képen. A következő kép egy példát mutat az adatkészletre. Ez a kép a katasztrófa utáni képet mutatja az épületkár-szegmentációs maszk átfedésével. Mindegyik kép a következőket tartalmazza: katasztrófa előtti műholdkép, katasztrófa előtti épületszegmentációs maszk, katasztrófa utáni műholdkép és katasztrófa utáni épületszegmentációs maszk károsztályokkal.

Ebben a példában csak a katasztrófa előtti és utáni képeket használjuk a katasztrófa utáni károsztályozás (szegmentációs maszk) előrejelzésére. Nem használjuk a katasztrófa előtti épületszegmentációs maszkokat. Ezt a megközelítést az egyszerűség kedvéért választottuk. Vannak más lehetőségek is az adathalmaz megközelítésére. Az xView2 verseny számos nyertes megközelítése kétlépcsős megoldást alkalmazott: először a katasztrófa előtti épületvázlat szegmentációs maszkjának előrejelzése. Az épület körvonalait és a sérülés utáni képeket ezután bemenetként használják a kárbesorolás előrejelzéséhez. Ezt az olvasóra bízzuk, hogy más modellezési megközelítéseket fedezzen fel az osztályozás és az észlelési teljesítmény javítása érdekében.

Az előre betanított SegFormer architektúra egyetlen háromszínű csatornaképet fogad be bemenetként, és egy szegmentációs maszkot ad ki. Számos módon módosíthattuk a modellt úgy, hogy a műhold előtti és utáni képeket is elfogadja bemenetként, azonban egy egyszerű halmozási technikát alkalmaztunk, hogy mindkét képet egy hatszínű csatornás képpé rakjuk össze. A modellt az xView2 képzési adatkészleten szabványos kiterjesztési technikákkal betanítottuk a katasztrófa utáni szegmentációs maszk előrejelzésére. Vegye figyelembe, hogy az összes bemeneti képet átméreteztük 1024-ről 512 képpontra. Ezzel tovább csökkentették a képzési adatok térbeli felbontását. A modellt a SageMakerrel betanították egyetlen p3.2xlarge GPU alapú példány használatával. A betanított modell kimenetére egy példa látható a következő ábrákon. Az első képkészlet a károsodás előtti és utáni képek az érvényesítési készletből.

A következő ábrák az előre jelzett sebzési maszkot és a talajtényező sérülésmaszkot mutatják.

Első pillantásra úgy tűnik, hogy a modell nem teljesít jól az alapigazság adatokhoz képest. Az épületek közül sok helytelenül van besorolva, összetévesztve a kisebb sérüléseket a sérülésmentességgel, és több besorolást is mutatnak egyetlen épületvázlatra. A modell teljesítményének áttekintése során azonban egy érdekes megállapítás az, hogy úgy tűnik, megtanulta lokalizálni az épületkár-besorolást. Minden épület besorolható No Damage, Minor Damage, Major Damagevagy Destroyed. A megjósolt kármaszk azt mutatja, hogy a modell a középen lévő nagy épületet többnyire többségbe sorolta No Damage, de a jobb felső sarok besorolása a Destroyed. Ez az alépületi károk lokalizálása tovább segítheti a reagálókat azáltal, hogy megmutatja a lokalizált károkat épületenként.

Modell telepítés

A betanított modellt ezután egy aszinkron SageMaker következtetési végpontra telepítették. Ne feledje, hogy aszinkron végpontot választottunk, hogy hosszabb következtetési időt, nagyobb hasznos adatbeviteli méretet biztosítsunk, és a végpontot nullára leskálázzuk (nincs díj), amikor nincs használatban. A következő ábra az aszinkron végpont-telepítés magas szintű kódját mutatja be. Először tömörítjük a mentett PyTorch állapotszótárat, és feltöltjük a tömörített modelltermékeket ide Amazon egyszerű tárolási szolgáltatás (Amazon S3). Létrehozunk egy SageMaker PyTorch modellt, amely a következtetési kódunkra és a modell melléktermékeire mutat. A következtetési kód szükséges a modellünk betöltéséhez és kiszolgálásához. A SageMaker PyTorch modellhez szükséges egyéni következtetési kóddal kapcsolatos további részletekért lásd: Használja a PyTorch-ot a SageMaker Python SDK-val.

A következő ábra az aszinkron következtetési végpont automatikus skálázási szabályzatának kódját mutatja.

Vegye figyelembe, hogy más végpont-beállítások is használhatók az alkalmazáshoz, például valós idejű, kötegelt és kiszolgáló nélküli. Ki kell választania az adott használati esetnek legmegfelelőbb lehetőséget, és emlékeztetni kell erre Amazon SageMaker Inference Recommender elérhető a gépi tanulási (ML) végpont-konfigurációk ajánlásához.

Modellkövetkeztetés

A betanított modell telepítésével már használhatjuk A SageMaker térinformatikai képességei következtetésekhez adatokat gyűjteni. A SageMaker térinformatikai képességeivel több beépített modell is elérhető a dobozból. Ebben a példában a sávos halmozási műveletet használjuk a vörös, zöld és kék színű csatornák egymásra halmozására földmegfigyelési munkánk során. A feladat összegyűjti az adatokat a Sentinel-2 adatkészletből. Egy földmegfigyelési feladat konfigurálásához először szükségünk van a kívánt hely koordinátáira. Másodszor, szükségünk van a megfigyelés időtartományára. Ezzel most a halmozási funkció segítségével küldhetünk be egy földmegfigyelési feladatot. Itt egymásra halmozzuk a piros, zöld és kék sávokat, hogy színes képet kapjunk. A következő ábra a 2022. október közepén az ausztráliai rochesteri árvízből származó adatok generálására használt munkakonfigurációt mutatja be. A katasztrófa előtti és utáni képeket felhasználjuk betanított ML-modellünkhöz.

A munkakonfiguráció meghatározása után elküldhetjük a munkát. Amikor a munka befejeződött, exportáljuk az eredményeket az Amazon S3-ba. Vegye figyelembe, hogy az eredményeket csak a munka befejezése után tudjuk exportálni. A feladat eredményei exportálhatók a felhasználó által az exportálási feladat konfigurációjában megadott Amazon S3 helyre. Most az Amazon S3-ban található új adatainkkal kár-előrejelzéseket kaphatunk a telepített modell segítségével. Először beolvassuk az adatokat a memóriába, és összerakjuk a katasztrófa előtti és utáni képeket.

A rochesteri árvizek szegmentációs maszkjának eredményei a következő képeken láthatók. Itt láthatjuk, hogy a modell az elárasztott régión belüli helyeket valószínűleg sérültként azonosította. Vegye figyelembe azt is, hogy a következtetési kép térbeli felbontása eltér a betanítási adatokétól. A térbeli felbontás növelése segítheti a modell teljesítményét; ez azonban kevésbé probléma a SegFormer modellnél, mint más modelleknél a többléptékű modell architektúra miatt.

Kárfelmérés

Következtetés

Ebben a bejegyzésben megmutattuk, hogyan lehet kiképezni, telepíteni és előre jelezni a természeti katasztrófák okozta károkat SageMaker térinformatikai képességekkel. A SageMaker új térinformatikai képességeit használtuk új következtetési adatok generálására a modell teszteléséhez. A bejegyzés kódjának kiadása folyamatban van, és ez a bejegyzés a teljes képzési, telepítési és következtetési kódra mutató hivatkozásokkal frissül. Ez az alkalmazás lehetővé teszi az elsősegélynyújtók, a kormányok és a humanitárius szervezetek számára, hogy optimalizálják reagálásukat, és közvetlenül a természeti katasztrófa után kritikus helyzetfelismerést biztosítanak. Ez az alkalmazás csak egy példa arra, hogy mi lehetséges a modern ML eszközökkel, mint például a SageMaker.

Próbálja ki a SageMaker térinformatikai képességeit még ma saját modelljei segítségével; kíváncsian várjuk, mit építesz legközelebb.

A szerzőről

Aaron Sengstacken az Amazon Web Services gépi tanulási megoldásokra specializálódott építésze. Aaron szorosan együttműködik a közszféra minden méretű ügyfelével a termelési gépi tanulási alkalmazások fejlesztése és telepítése érdekében. Minden érdekli a gépi tanulás, a technológia és az űrkutatás.