Az elmúlt években a számítógépes látás fejlődése lehetővé tette a kutatóknak, az elsősegélynyújtóknak és a kormányoknak, hogy megbirkózzanak a globális műholdképek feldolgozásával kapcsolatos kihívásokkal, hogy megértsék bolygónkat és a rá gyakorolt hatásunkat. Az AWS nemrég megjelent Amazon SageMaker térinformatikai képességek hogy műholdképeket és térinformatikai korszerű gépi tanulási (ML) modelleket biztosítsunk Önnek, csökkentve ezzel az ilyen típusú felhasználási esetek akadályait. További információkért lásd: Előnézet: Az Amazon SageMaker használatával térinformatikai adatokat használó ML-modelleket építhet, taníthat és telepíthet.
Számos ügynökség, beleértve az elsősegélynyújtókat is, használja ezeket az ajánlatokat arra, hogy széleskörű helyzetfelismerést szerezzen, és a természeti katasztrófák által sújtott földrajzi területeken a segélyezési erőfeszítéseket prioritásként kezelje. Ezek az ügynökségek gyakran alacsony tengerszint feletti magasságból és műholdas forrásokból származó katasztrófaképekkel foglalkoznak, és ezek az adatok gyakran címkézetlenek és nehezen használhatók. A legmodernebb számítógépes látásmodellek gyakran alulteljesítenek, ha egy hurrikán vagy futótűz által sújtott város műholdképeit nézik. Ezen adatkészletek hiánya miatt még a legmodernebb ML-modellek sem képesek biztosítani a szabványos FEMA katasztrófa-besorolások előrejelzéséhez szükséges pontosságot és precizitást.
A térinformatikai adatkészletek hasznos metaadatokat tartalmaznak, például szélességi és hosszúsági koordinátákat, valamint időbélyegeket, amelyek kontextust biztosíthatnak ezeknek a képeknek. Ez különösen hasznos a térinformatikai ML pontosságának javításában katasztrófajelenetek esetén, mivel ezek a képek eleve rendetlenek és kaotikusak. Az épületek kevésbé téglalap alakúak, a növényzet károsodott, a vonalas utakat pedig megszakították az áradások vagy sárcsuszamlások. Mivel ezeknek a hatalmas adatkészleteknek a címkézése drága, manuális és időigényes, kritikus fontosságú olyan ML-modellek fejlesztése, amelyek automatizálni tudják a képcímkézést és a megjegyzéseket.
Ennek a modellnek a betanításához szükségünk van a címkézett alapigazság részhalmazára Low Altitude Disaster Imagery (LADI) adatkészlet. Ez az adatkészlet a polgári légijárőrség által a 2015-2019 közötti katasztrófa-elhárítások támogatására gyűjtött, emberi és gépi megjegyzésekkel ellátott légi felvételekből áll. Ezek a LADI-adatkészletek az atlanti hurrikánszezonokra, valamint az Atlanti-óceán és a Mexikói-öböl menti part menti államokra összpontosítanak. A két fő különbség az alacsony tengerszint feletti magasság, a képek ferde perspektívája és a katasztrófákkal kapcsolatos jellemzők, amelyek ritkán szerepelnek a számítógépes látás referenciaértékeiben és adatkészleteiben. A csapatok a meglévő FEMA kategóriákat használták olyan károk esetén, mint az árvíz, törmelék, tűz és füst vagy földcsuszamlások, amelyek szabványosították a címkekategóriákat. A megoldás ezután képes előrejelzéseket készíteni a többi képzési adatra vonatkozóan, és az alacsonyabb megbízhatóságú eredményeket irányítani az emberi ellenőrzéshez.
Ebben a bejegyzésben ismertetjük a megoldás tervezését és megvalósítását, a legjobb gyakorlatokat és a rendszerarchitektúra kulcsfontosságú összetevőit.
Megoldás áttekintése
Röviden, a megoldás három csővezeték megépítését jelentette:
- Adatfolyam – Kivonja a képek metaadatait
- Gépi tanulási folyamat – Osztályozza és felcímkézi a képeket
- Human-in-the-loop felülvizsgálati folyamat – Emberi csapatot használ az eredmények áttekintésére
A következő ábra a megoldás architektúráját mutatja be.
Az ehhez hasonló címkézési rendszerek természetéből adódóan egy vízszintesen méretezhető architektúrát terveztünk, amely a kiszolgáló nélküli architektúra használatával túlzott kiépítés nélkül kezeli a feldolgozási csúcsokat. Egy a többhez mintát használunk Amazon Simple Queue Service (Amazon SQS) a AWS Lambda több helyen, hogy támogassa ezeket a lenyelési tüskéket, rugalmasságot kínál.
SQS-sor használata a feldolgozáshoz Amazon egyszerű tárolási szolgáltatás (Amazon S3) események segítik a downstream feldolgozás (jelen esetben Lambda függvények) egyidejűségének szabályozását és a beérkező adatcsúcsok kezelését. A bejövő üzenetek sorba állítása puffertárolóként is működik a downstream hibák esetén.
A rendkívül párhuzamos igények miatt a Lambdát választottuk képeink feldolgozásához. A Lambda egy kiszolgáló nélküli számítási szolgáltatás, amely lehetővé teszi a kód futtatását a kiszolgálók kiépítése vagy kezelése, a munkaterhelés-tudatos fürtméretezési logika létrehozása, az eseményintegrációk karbantartása és a futási idők kezelése nélkül.
Az általunk használt Amazon OpenSearch szolgáltatás mint központi adattárunk, hogy kihasználhassa rendkívül méretezhető, gyors keresési és integrált vizualizációs eszközét, az OpenSearch irányítópultjait. Lehetővé teszi számunkra, hogy iteratív módon kontextust adjunk a képhez anélkül, hogy újrafordítanunk vagy átméreteznünk kellene, és kezelnünk kellene a sémafejlődést.
Amazon felismerés megkönnyíti a kép- és videóelemzés hozzáadását alkalmazásainkhoz a bevált, nagymértékben méretezhető, mély tanulási technológia segítségével. Az Amazon Rekognition segítségével jó alapvonalat kapunk az észlelt objektumokról.
A következő szakaszokban részletesebben foglalkozunk az egyes csővezetékekkel.
Adatfolyam
A következő diagram az adatfolyam munkafolyamatát mutatja be.
A LADI adatfolyamat a nyers adatképek felvételével kezdődik FEMA Common Alerting Protocol (CAP) egy S3 vödörbe. Miközben a képeket a nyersadat-tárolóba töltjük, szinte valós időben, két lépésben dolgozzuk fel őket:
- Az S3 csoport eseményértesítéseket indít el minden objektum-létrehozásnál, és üzeneteket hoz létre az SQS-sorban minden egyes bevitt képhez.
- Az SQS sor egyidejűleg meghívja a képen lévő Lambda előfeldolgozó függvényeit.
A lambda funkciók a következő előfeldolgozási lépéseket hajtják végre:
- Számítsa ki az UUID-t minden egyes képhez, egyedi azonosítót biztosítva minden egyes képhez. Ez az azonosító azonosítja a képet a teljes életciklusa során.
- Kivonja a képből a metaadatokat, például a GPS-koordinátákat, a képméretet, a GIS-információkat és az S3-helyszínt, és tárolja őket az OpenSearch-ben.
- A FIPS kódok alapján végzett keresés alapján a funkció a képet a kurált S3 adatgyűjtő gyűjtőbe helyezi át. Az adatokat felosztjuk a kép FIPS-állam-kódja/FIPS-megye-kódja/év/hónapja szerint.
Gépi tanulási folyamat
Az ML-folyamat az adatfolyamat lépésében a kurált S3 adatgyűjtőben landoló képektől indul, ami a következő lépéseket indítja el:
- Az Amazon S3 üzenetet generál egy másik SQS-sorba minden egyes objektumhoz, amelyet a kurált adat-S3 tárolóban hoztak létre.
- Az SQS-sor egyidejűleg aktiválja a Lambda-függvényeket az ML-következtetési feladat futtatásához a képen.
A lambda funkciók a következő műveleteket hajtják végre:
- Minden egyes képet el kell küldenie az Amazon Rekognition szolgáltatásnak objektumészlelés céljából, tárolva a visszaküldött címkéket és a megfelelő megbízhatósági pontszámokat.
- Állítsa össze az Amazon Rekognition kimenetét bemeneti paraméterekké Amazon SageMaker többmodell végpont. Ez a végpont ad otthont osztályozóink együttesének, amelyek a sérüléscímkék meghatározott készleteire vannak kiképezve.
- Adja át a SageMaker végpont eredményeit Amazon kiterjesztett AI (Amazon A2I).
A következő diagram a csővezeték munkafolyamatát mutatja be.
Human-in-the-loop felülvizsgálati folyamat
A következő diagram a humán hurokban (HIL) folyamatot szemlélteti.
Az Amazon A2I segítségével beállíthatunk olyan küszöbértékeket, amelyek egy privát csapat általi emberi felülvizsgálatot indítanak el, ha egy modell alacsony megbízhatóságú előrejelzést ad. Az Amazon A2I segítségével folyamatosan ellenőrizhetjük modellünk előrejelzéseit. A munkafolyamat lépései a következők:
- Az Amazon A2I nagy megbízhatóságú előrejelzéseket továbbít az OpenSearch szolgáltatásba, frissítve a kép címkeadatait.
- Az Amazon A2I az alacsony megbízhatóságú előrejelzéseket továbbítja a privát csapatnak, hogy kézi megjegyzésekkel láthassa el a képeket.
- Az emberi felülvizsgáló befejezi a kommentárt, létrehozva egy emberi megjegyzés kimeneti fájlt, amelyet a HIL Output S3 tárolóban tárol.
- A HIL Output S3 csoport egy Lambda funkciót indít el, amely elemzi az emberi megjegyzések kimenetét, és frissíti a kép adatait az OpenSearch szolgáltatásban.
Ha az emberi annotáció eredményeit visszairányítjuk az adattárba, újra betaníthatjuk az együttes modelleket, és iteratív módon javíthatjuk a modell pontosságát.
Az OpenSearch szolgáltatásban tárolt kiváló minőségű eredményeinkkel képesek vagyunk térbeli és időbeli keresést végezni egy REST API-n keresztül, a Amazon API átjáró és Geoserver. Az OpenSearch Dashboard lehetővé teszi a felhasználók számára, hogy ezzel az adatkészlettel keressenek és elemzéseket végezzenek.
Eredmények
Az alábbi kód példát mutat az eredményeinkre.
Ezzel az új csővezetékkel emberi hátteret hozunk létre a még nem teljesen működő modellek számára. Ezt az új ML-csővezetéket gyártásba helyezték, hogy a Civil Air Patrol Image Filter mikroszolgáltatás amely lehetővé teszi a Civil Air Patrol képeinek szűrését Puerto Ricóban. Ez lehetővé teszi az elsősegélynyújtók számára, hogy megtekintsék a kár mértékét, és megtekintsék a hurrikánokat követő károkhoz kapcsolódó képeket. Az AWS Data Lab, az AWS Open Data Program, az Amazon Disaster Response csapata és az AWS human-in-the-loop csapata az ügyfelekkel együttműködve dolgozott ki egy nyílt forráskódú csővezetéket, amely felhasználható a nyílt adatokban tárolt Civil Air Patrol adatok elemzésére. Igény szerinti programnyilvántartás bármely természeti katasztrófa után. A csővezeték architektúrájával kapcsolatos további információkért, valamint az együttműködés és hatás áttekintéséért tekintse meg a videót A katasztrófaelhárításra összpontosítva az Amazon Augmented AI, az AWS Open Data Program és az AWS Snowball segítségével.
Következtetés
Mivel az éghajlatváltozás továbbra is növeli a viharok és erdőtüzek gyakoriságát és intenzitását, továbbra is látjuk az ML használatának fontosságát, hogy megértsük ezeknek az eseményeknek a helyi közösségekre gyakorolt hatását. Ezek az új eszközök felgyorsíthatják a katasztrófaelhárítási erőfeszítéseket, és lehetővé teszik számunkra, hogy az események utáni elemzésekből származó adatokat felhasználjuk e modellek előrejelzési pontosságának javítására aktív tanulással. Ezek az új ML-modellek képesek automatizálni az adatfeljegyzéseket, ami lehetővé teszi számunkra, hogy következtessünk az egyes eseményekből származó károk mértékére, miközben a kárcímkéket térképadatokkal fedjük le. Ezek az összesített adatok segíthetnek abban is, hogy javítsuk a jövőbeli katasztrófaesemények kárainak előrejelzési képességét, ami segíthet a mérséklési stratégiákban. Ez pedig javíthatja a közösségek, a gazdaságok és az ökoszisztémák ellenálló képességét azáltal, hogy megadja a döntéshozóknak azokat az információkat, amelyekre szükségük van adatvezérelt politikák kidolgozásához az újonnan megjelenő környezeti fenyegetések kezelésére.
Ebben a blogbejegyzésben a számítógépes látás műholdfelvételeken történő használatáról beszéltünk. Ez a megoldás referencia-architektúraként vagy gyors üzembe helyezési útmutatóként szolgál, amelyet személyre szabhat saját igényei szerint.
Pörgessen egyet, és tudassa velünk, hogyan oldotta meg ez a használati esetet úgy, hogy visszajelzést ad a megjegyzések részben. További információkért lásd Amazon SageMaker térinformatikai képességek.
A szerzőkről
Vamshi Krishna Enabothala Sr. Applied AI Specialist Architect az AWS-nél. Különböző ágazatokból származó ügyfelekkel dolgozik a nagy hatású adatok, elemzések és gépi tanulási kezdeményezések felgyorsítása érdekében. Szenvedélyesen rajong az ajánlórendszerekért, az NLP-ért és a számítógépes látási területekért az AI és az ML területén. A munkán kívül Vamshi RC-rajongó, RC-berendezéseket (repülőket, autókat és drónokat) épít, és a kertészkedést is szereti.
Morgan Dutton vezető műszaki programmenedzser az Amazon Augmented AI és az Amazon SageMaker Ground Truth csapatánál. Vállalati, egyetemi és közszférabeli ügyfelekkel dolgozik, hogy felgyorsítsa a gépi tanulás és a humán-in-the-loop ML-szolgáltatások alkalmazását.
Sandeep Verma idősebb prototípus-készítő építész az AWS-vel. Élvezi, hogy mélyen belemerüljön az ügyfelek kihívásaiba, és prototípusokat építsen az ügyfelek számára az innováció felgyorsítása érdekében. AI/ML háttérrel rendelkezik, a New Knowledge alapítója, és általában szenvedélyes a technológia iránt. Szabadidejében szeret utazni és családjával síelni.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- képesség
- Képes
- Rólunk
- egyetemi
- gyorsul
- pontosság
- cselekvések
- aktív
- cselekmények
- cím
- Örökbefogadás
- előlegek
- Előny
- ellen
- ügynökségek
- AI
- AI / ML
- AIR
- Minden termék
- lehetővé teszi, hogy
- amazon
- Amazon kiterjesztett AI
- Amazon felismerés
- Amazon SageMaker
- Amazon SageMaker Ground Truth
- elemzések
- elemzés
- analitika
- elemez
- és a
- Másik
- api
- alkalmazások
- alkalmazott
- Alkalmazott AI
- építészet
- területek
- társult
- könyvvizsgálat
- bővített
- automatizált
- tudatosság
- AWS
- vissza
- háttér
- megállít
- akadályok
- kiindulási
- mert
- referenciaértékek
- BEST
- legjobb gyakorlatok
- Blog
- ütköző
- épít
- Épület
- sapka
- autók
- eset
- esetek
- kategóriák
- központi
- kihívások
- kihívást
- változik
- ellenőrizze
- választotta
- Város
- Klíma
- Klímaváltozás
- Fürt
- kód
- együttműködés
- Hozzászólások
- Közös
- Közösségek
- Befejezi
- alkatrészek
- Kiszámít
- számítógép
- Számítógépes látás
- bizalom
- tartalmaz
- kontextus
- folytatódik
- tovább
- ellenőrzés
- teremt
- készítette
- létrehozása
- alkotások
- kritikai
- a válogatott
- vevő
- Ügyfelek
- testre
- műszerfal
- dátum
- adatalapú
- adatkészletek
- foglalkozó
- döntés hozó
- mély
- mély tanulás
- szállít
- Kereslet
- telepíteni
- leírni
- Design
- tervezett
- részlet
- észlelt
- Érzékelés
- Fejleszt
- Fejlesztés
- különböző
- nehéz
- katasztrófa
- katasztrófák
- tárgyalt
- Drónok
- minden
- gazdaságok
- ökoszisztémák
- erőfeszítések
- csiszolókő
- engedélyezve
- lehetővé teszi
- Endpoint
- Vállalkozás
- rajongó
- Egész
- környezeti
- felszerelés
- különösen
- Még
- esemény
- események
- evolúció
- példa
- létező
- drága
- kivonatok
- család
- GYORS
- jellegű
- Jellemzők
- Visszacsatolás
- filé
- szűrő
- szűrő
- természet
- vezetéknév
- Összpontosít
- következő
- következik
- alapító
- Ingyenes
- Frekvencia
- ból ből
- teljesen
- funkció
- funkciók
- jövő
- Nyereség
- általában
- generál
- generáló
- földrajzi
- Térinformatikai ML
- kap
- adott
- Giving
- Globális
- jó
- A kormányok
- gps
- Földi
- útmutató
- fogantyú
- tekintettel
- segít
- hasznos
- segít
- Magas
- jó minőségű
- nagyon
- Találat
- hosts
- Hogyan
- HTML
- HTTPS
- emberi
- hurrikán
- ID
- azonosító
- azonosítani
- kép
- képek
- Hatás
- végrehajtás
- fontosság
- javul
- javuló
- in
- Beleértve
- Bejövő
- Növelje
- információ
- kezdeményezések
- Innováció
- bemenet
- integrált
- integrációk
- megszakított
- behívja
- részt
- IT
- Munka
- Kulcs
- Ismer
- tudás
- labor
- Címke
- címkézés
- Címkék
- hiány
- leszállási
- nagyarányú
- tanulás
- kilépő
- Lets
- életciklus
- helyi
- elhelyezkedés
- keres
- lookup
- Elő/Utó
- gép
- gépi tanulás
- fenntartása
- csinál
- KÉSZÍT
- menedzser
- kezelése
- kézikönyv
- kézzel
- térkép
- Térképek
- tömeges
- üzenet
- üzenetek
- Metaadatok
- Mexikó
- enyhítés
- ML
- modell
- modellek
- több
- mozog
- Többmodell végpont
- többszörös
- Természetes
- Természet
- Szükség
- igények
- Új
- NLP
- értesítések
- tárgy
- Objektumfelismerés
- objektumok
- óceán
- Ajánlat
- folyamatban lévő
- nyitva
- nyílt adatok
- nyílt forráskódú
- kívül
- áttekintés
- saját
- Párhuzamos
- paraméterek
- szenvedélyes
- Mintás
- Teljesít
- perspektíva
- csővezeték
- bolygó
- Plató
- Platón adatintelligencia
- PlatoData
- állás
- gyakorlat
- Pontosság
- előre
- előrejelzés
- Tippek
- Fontossági sorrendet
- magán
- Probléma
- folyamat
- Feldolgozott
- feldolgozás
- Termelés
- Program
- protokoll
- prototípusok
- prototípus
- igazolt
- ad
- amely
- nyilvános
- Kikötő
- Puerto Rico
- tesz
- Quick
- Nyers
- új
- nemrég
- Ajánlást
- csökkentő
- iktató hivatal
- felszabaduló
- megkönnyebbülés
- kötelező
- kutatók
- rugalmasság
- azok
- válasz
- REST
- Eredmények
- Kritika
- RICO
- Útvonal
- útvonalak
- futás
- sagemaker
- műhold
- skálázható
- skálázás
- jelenetek
- Keresés
- évszakok
- Rész
- szakaszok
- szektor
- ágazatok
- idősebb
- vagy szerver
- Szerverek
- szolgáltatás
- Szolgáltatások
- Szettek
- Műsorok
- Egyszerű
- Méret
- Füst
- Pillanatkép
- megoldások
- Források
- szakember
- különleges
- tüskék
- standard
- kezdet
- kezdődik
- csúcs-
- Államok
- Lépés
- Lépései
- tárolás
- tárolni
- memorizált
- viharok
- stratégiák
- ilyen
- támogatás
- rendszer
- Systems
- Vesz
- csapat
- csapat
- tech
- Műszaki
- Technológia
- A
- az információ
- fenyegetések
- három
- idő
- időigényes
- nak nek
- szerszám
- szerszámok
- Vonat
- kiképzett
- Képzések
- Utazó
- kiváltó
- FORDULAT
- típusok
- megért
- egyedi
- Frissítés
- frissítése
- us
- használ
- használati eset
- Felhasználók
- különféle
- keresztül
- videó
- Megnézem
- látomás
- megjelenítés
- ami
- lesz
- nélkül
- Munka
- dolgozott
- művek
- lenne
- év
- hozamok
- te
- A te
- youtube
- zephyrnet