V zadnjih letih je napredek v računalniškem vidu raziskovalcem, prvim posredovalcem in vladam omogočil, da se spopadejo z zahtevnim problemom obdelave globalnih satelitskih posnetkov, da bi razumeli naš planet in naš vpliv nanj. AWS je bil pred kratkim izdan Geoprostorske zmogljivosti Amazon SageMaker da vam zagotovimo satelitske posnetke in geoprostorske najsodobnejše modele strojnega učenja (ML), s čimer zmanjšamo ovire za tovrstne primere uporabe. Za več informacij glejte Predogled: uporabite Amazon SageMaker za gradnjo, usposabljanje in uvajanje modelov ML z uporabo geoprostorskih podatkov.
Številne agencije, vključno s prvimi posredovalci, uporabljajo te ponudbe, da pridobijo obsežno zavedanje o razmerah in dajo prednost prizadevanjem za pomoč na geografskih območjih, ki so jih prizadele naravne nesreče. Te agencije se pogosto ukvarjajo s posnetki nesreč iz nizkih nadmorskih višin in satelitskih virov, ti podatki pa pogosto niso označeni in jih je težko uporabiti. Najsodobnejši modeli računalniškega vida so pogosto slabši pri gledanju satelitskih posnetkov mesta, ki ga je prizadel orkan ali gozdni požar. Zaradi pomanjkanja teh naborov podatkov tudi najsodobnejši modeli ML pogosto ne morejo zagotoviti točnosti in natančnosti, ki sta potrebni za napovedovanje standardnih klasifikacij nesreč FEMA.
Nabori geoprostorskih podatkov vsebujejo uporabne metapodatke, kot so koordinate zemljepisne širine in dolžine ter časovni žigi, ki lahko zagotovijo kontekst za te slike. To je še posebej koristno pri izboljšanju natančnosti geoprostorskega ML za prizore nesreč, ker so te slike same po sebi neurejene in kaotične. Stavbe so manj pravokotne, vegetacija je utrpela škodo, linearne ceste pa so bile prekinjene zaradi poplav ali plazov. Ker je označevanje teh ogromnih naborov podatkov drago, ročno in dolgotrajno, je razvoj modelov ML, ki lahko avtomatizirajo označevanje in opombe slik, ključnega pomena.
Za usposabljanje tega modela potrebujemo označeno osnovno podmnožico resnice Nabor podatkov o katastrofah z nizko nadmorsko višino (LADI). Ta nabor podatkov je sestavljen iz človeških in strojno označenih slik iz zraka, ki jih je zbrala civilna zračna patrulja v podporo različnim odzivom na nesreče v letih 2015–2019. Ti nabori podatkov LADI se osredotočajo na sezone orkanov v Atlantiku in obalne države ob Atlantskem oceanu in Mehiškem zalivu. Dve ključni odliki sta nizka nadmorska višina, poševna perspektiva posnetkov in značilnosti, povezane z nesrečami, ki so redko predstavljene v merilih uspešnosti računalniškega vida in naborih podatkov. Ekipe so uporabile obstoječe kategorije FEMA za škodo, kot so poplave, ruševine, požar in dim ali zemeljski plazovi, kar je standardiziralo kategorije oznak. Rešitev lahko nato naredi napovedi o preostalih podatkih o usposabljanju in rezultate z nižjo stopnjo zaupanja usmeri v človeški pregled.
V tej objavi opisujemo našo zasnovo in implementacijo rešitve, najboljše prakse in ključne komponente sistemske arhitekture.
Pregled rešitev
Na kratko, rešitev je vključevala gradnjo treh cevovodov:
- Cevovod za podatke – Izvleče metapodatke slik
- Cevovod strojnega učenja – Razvršča in označuje slike
- Cev za pregled človeka v zanki – Uporablja človeško ekipo za pregled rezultatov
Naslednji diagram prikazuje arhitekturo rešitev.
Glede na naravo sistema označevanja, kot je ta, smo zasnovali vodoravno razširljivo arhitekturo, ki bi z uporabo arhitekture brez strežnika obravnavala skokove zaužitja brez prekomernega zagotavljanja. Uporabljamo vzorec ena proti mnogo iz Storitev Amazon Simple Queue Service (Amazon SQS) do AWS Lambda na več mestih za podporo teh konic pri zaužitju, ponuja odpornost.
Uporaba čakalne vrste SQS za obdelavo Preprosta storitev shranjevanja Amazon Dogodki (Amazon S3) nam pomagajo nadzorovati sočasnost obdelave na nižji stopnji (v tem primeru funkcije Lambda) in obravnavati dohodne konice podatkov. Vrnitev dohodnih sporočil v čakalno vrsto deluje tudi kot medpomnilnik v primeru kakršnih koli napak na nižji stopnji.
Glede na zelo vzporedne potrebe smo za obdelavo naših slik izbrali Lambda. Lambda je računalniška storitev brez strežnika, ki nam omogoča izvajanje kode brez zagotavljanja ali upravljanja strežnikov, ustvarjanje logike skaliranja gruče, ki se zaveda delovne obremenitve, vzdrževanje integracij dogodkov in upravljanje časov izvajanja.
Mi uporabljamo Storitev Amazon OpenSearch kot našo osrednjo podatkovno shrambo, da bi izkoristili njeno visoko razširljivo, hitro iskanje in integrirano orodje za vizualizacijo, nadzorne plošče OpenSearch. Omogoča nam iterativno dodajanje konteksta sliki, ne da bi bilo treba ponovno prevesti ali spremeniti velikost, in obravnavati razvoj sheme.
Amazonsko ponovno vžiganje omogoča preprosto dodajanje analize slike in videa v naše aplikacije z uporabo preverjene, zelo razširljive tehnologije globokega učenja. Z Amazon Rekognition dobimo dobro osnovo zaznanih predmetov.
V naslednjih razdelkih se podrobneje poglobimo v vsak cevovod.
Cevovod za podatke
Naslednji diagram prikazuje potek dela podatkovnega cevovoda.
Podatkovni cevovod LADI se začne z zaužitjem neobdelanih slik podatkov iz FEMA skupni alarmni protokol (CAP) v vedro S3. Ko slike zaužijemo v vedro neobdelanih podatkov, se obdelajo v skoraj realnem času v dveh korakih:
- Vedro S3 sproži obvestila o dogodkih za vse stvaritve objektov in ustvari sporočila v čakalni vrsti SQS za vsako zaužito sliko.
- Čakalna vrsta SQS hkrati prikliče funkcije Lambda za predhodno obdelavo na sliki.
Funkcije Lambda izvajajo naslednje korake predprocesiranja:
- Izračunajte UUID za vsako sliko in zagotovite edinstven identifikator za vsako sliko. Ta ID bo identificiral sliko v njenem celotnem življenjskem ciklu.
- Iz slike izvlecite metapodatke, kot so koordinate GPS, velikost slike, informacije GIS in lokacija S3, in jih obdržite v OpenSearch.
- Na podlagi iskanja s kodami FIPS funkcija premakne sliko v vedro izbranih podatkov S3. Podatke razdelimo glede na FIPS-State-code/FIPS-County-code/Year/Month slike.
Cevovod strojnega učenja
Cevovod ML se začne s slikami, ki pristanejo v kuriranem podatkovnem vedru S3 v koraku cevovoda podatkov, ki sproži naslednje korake:
- Amazon S3 ustvari sporočilo v drugo čakalno vrsto SQS za vsak predmet, ustvarjen v vedru kuriranih podatkov S3.
- Čakalna vrsta SQS hkrati sproži funkcije Lambda za izvajanje opravila sklepanja ML na sliki.
Funkcije Lambda izvajajo naslednja dejanja:
- Pošljite vsako sliko Amazon Rekognition za zaznavanje predmetov, shranjevanje vrnjenih oznak in ustreznih rezultatov zaupanja.
- Sestavite izhod Amazon Rekognition v vhodne parametre za naše Amazon SageMaker večmodelna končna točka. Ta končna točka gosti našo skupino klasifikatorjev, ki so usposobljeni za posebne nize oznak poškodb.
- Posredujte rezultate končne točke SageMaker Amazon, razširjeni AI (Amazon A2I).
Naslednji diagram prikazuje potek dela cevovoda.
Cev za pregled človeka v zanki
Naslednji diagram prikazuje cevovod človeka v zanki (HIL).
Z Amazon A2I lahko konfiguriramo pragove, ki bodo sprožili človeški pregled s strani zasebne ekipe, ko bo model dal napoved z nizko stopnjo zaupanja. Uporabimo lahko tudi Amazon A2I, da zagotovimo stalno revizijo napovedi našega modela. Koraki poteka dela so naslednji:
- Amazon A2I usmerja napovedi z visoko stopnjo zaupanja v storitev OpenSearch Service in posodablja podatke oznake slike.
- Amazon A2I usmerja napovedi z nizko stopnjo zaupanja zasebni ekipi, da ročno označi slike.
- Človeški pregledovalec dokonča opombo in ustvari izhodno datoteko človeške opombe, ki je shranjena v vedru HIL Output S3.
- Vedro HIL Output S3 sproži funkcijo Lambda, ki razčleni izpis človeških opomb in posodobi podatke slike v storitvi OpenSearch.
Z usmerjanjem rezultatov človeških opomb nazaj v shrambo podatkov lahko znova usposobimo modele ansambla in iterativno izboljšamo natančnost modela.
Z našimi visokokakovostnimi rezultati, ki so zdaj shranjeni v storitvi OpenSearch, lahko izvajamo geoprostorsko in časovno iskanje prek API-ja REST z uporabo Amazon API Gateway in Geoserver. Nadzorna plošča OpenSearch uporabnikom omogoča tudi iskanje in izvajanje analitike s tem naborom podatkov.
Rezultati
Naslednja koda prikazuje primer naših rezultatov.
S tem novim cevovodom ustvarimo človeško varovalko za modele, ki še niso popolnoma zmogljivi. Ta novi cevovod ML je bil dan v proizvodnjo za uporabo z a Mikrostoritev filtra slike civilne zračne patrulje ki omogoča filtriranje slik civilne zračne patrulje v Portoriku. To prvim posredovalcem omogoča ogled obsega škode in slik, povezanih s to škodo po orkanih. Podatkovni laboratorij AWS, program odprtih podatkov AWS, ekipa Amazon Disaster Response in ekipa AWS human-in-the-loop so s strankami sodelovali pri razvoju odprtokodnega cevovoda, ki ga je mogoče uporabiti za analizo podatkov civilne zračne patrulje, shranjenih v odprtih podatkih. Programski register na zahtevo po vsaki naravni nesreči. Za več informacij o arhitekturi cevovoda ter pregled sodelovanja in vpliva si oglejte video Osredotočanje na odzivanje na nesreče z Amazon Augmented AI, programom odprtih podatkov AWS in AWS Snowball.
zaključek
Ker podnebne spremembe še naprej povečujejo pogostost in intenzivnost neviht in gozdnih požarov, še naprej vidimo pomen uporabe strojnega jezika za razumevanje vpliva teh dogodkov na lokalne skupnosti. Ta nova orodja lahko pospešijo prizadevanja za odzivanje na nesreče in nam omogočijo uporabo podatkov iz teh analiz po dogodku za izboljšanje natančnosti napovedi teh modelov z aktivnim učenjem. Ti novi modeli ML lahko avtomatizirajo označevanje podatkov, kar nam omogoča sklepanje o obsegu škode iz vsakega od teh dogodkov, ko oznake škode prekrijemo s podatki zemljevida. Ti kumulativni podatki lahko tudi pomagajo izboljšati našo sposobnost napovedovanja škode za prihodnje katastrofe, kar lahko prispeva k strategijam ublažitve. To pa lahko izboljša odpornost skupnosti, gospodarstev in ekosistemov, tako da odločevalcem zagotovi informacije, ki jih potrebujejo za razvoj politik, ki temeljijo na podatkih, za obravnavo teh nastajajočih okoljskih groženj.
V tem blogu smo razpravljali o uporabi računalniškega vida na satelitskih posnetkih. Ta rešitev je mišljena kot referenčna arhitektura ali vodnik za hiter začetek, ki ga lahko prilagodite svojim potrebam.
Poskusite in nam sporočite, kako je to rešilo vaš primer uporabe, tako da pustite povratne informacije v razdelku za komentarje. Za več informacij glejte Geoprostorske zmogljivosti Amazon SageMaker.
O avtorjih
Vamshi Krishna Enabothala je starejši arhitekt specialist za umetno inteligenco pri AWS. Sodeluje s strankami iz različnih sektorjev, da bi pospešil pobude za podatke, analitiko in strojno učenje z velikim vplivom. Navdušen je nad sistemi priporočil, NLP in področji računalniškega vida v AI in ML. Zunaj službe je Vamshi navdušenec nad RC, sestavlja RC opremo (letala, avtomobile in brezpilotna letala), uživa pa tudi v vrtnarjenju.
Morgan Dutton je višji tehnični vodja programa pri skupini Amazon Augmented AI in Amazon SageMaker Ground Truth. Sodeluje s podjetniškimi, akademskimi strankami in strankami iz javnega sektorja, da bi pospešila uvedbo strojnega učenja in storitev strojnega učenja s človekom v zanki.
Sandeep Verma je višji arhitekt za izdelavo prototipov pri AWS. Uživa v poglobljenem potapljanju v izzive strank in izdelavi prototipov za stranke, da pospešijo inovacije. Ima izkušnje z AI/ML, ustanovitelj New Knowledge in je na splošno strasten do tehnologije. V prostem času rad potuje in z družino smuča.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- sposobnost
- Sposobna
- O meni
- akademsko
- pospeši
- natančnost
- dejavnosti
- aktivna
- aktov
- Naslov
- Sprejetje
- napredek
- Prednost
- proti
- agencije
- AI
- AI / ML
- AIR
- vsi
- omogoča
- Amazon
- Amazon, razširjeni AI
- Amazonsko ponovno vžiganje
- Amazon SageMaker
- Amazon SageMaker Ground Truth
- Analize
- Analiza
- analitika
- analizirati
- in
- Še ena
- API
- aplikacije
- uporabna
- Uporabljena AI
- Arhitektura
- območja
- povezan
- Revizija
- Povečana
- avtomatizirati
- zavest
- AWS
- nazaj
- ozadje
- backstop
- ovire
- Izhodišče
- ker
- meril
- BEST
- najboljše prakse
- Blog
- varovalni
- izgradnjo
- Building
- cap
- avtomobili
- primeru
- primeri
- kategorije
- Osrednji
- izzivi
- izziv
- spremenite
- preveriti
- izbral
- mesto
- Podnebne
- Sprememba podnebja
- Grozd
- Koda
- sodelovanje
- komentarji
- Skupno
- skupnosti
- Zaključi
- deli
- Izračunajte
- računalnik
- Računalniška vizija
- zaupanje
- vsebujejo
- ozadje
- naprej
- se nadaljuje
- nadzor
- ustvarjajo
- ustvaril
- Ustvarjanje
- kreacije
- kritično
- kurirano
- stranka
- Stranke, ki so
- prilagodite
- Armaturna plošča
- datum
- Podatkov usmerjenih
- nabor podatkov
- deliti
- tisti, ki odločajo
- globoko
- globoko učenje
- poda
- Povpraševanje
- razporedi
- opisati
- Oblikovanje
- zasnovan
- Podatki
- Zaznali
- Odkrivanje
- Razvoj
- Razvoj
- drugačen
- težko
- katastrofa
- nesreče
- razpravljali
- Brezpilotna letala
- vsak
- gospodarstev
- Ekosistemi
- prizadevanja
- smirkovim
- omogočena
- omogoča
- Končna točka
- Podjetje
- navdušenec
- Celotna
- okolja
- oprema
- zlasti
- Tudi
- Event
- dogodki
- evolucija
- Primer
- obstoječih
- drago
- Izvlečki
- družina
- FAST
- izrazit
- Lastnosti
- povratne informacije
- file
- filter
- filtriranje
- narava
- prva
- Osredotočite
- po
- sledi
- Ustanovitelj
- brezplačno
- frekvenca
- iz
- v celoti
- funkcija
- funkcije
- Prihodnost
- Gain
- splošno
- ustvarja
- ustvarjajo
- geografsko
- Geoprostorski ML
- dobili
- dana
- Giving
- Globalno
- dobro
- Vlade
- gps
- Igrišče
- vodi
- ročaj
- ob
- pomoč
- pomoč
- Pomaga
- visoka
- visoka kvaliteta
- zelo
- hit
- Gostitelji
- Kako
- HTML
- HTTPS
- človeškega
- orkan
- ID
- identifikator
- identificirati
- slika
- slike
- vpliv
- Izvajanje
- Pomembnost
- izboljšanje
- izboljšanju
- in
- Vključno
- Dohodni
- Povečajte
- Podatki
- pobud
- Inovacije
- vhod
- integrirana
- integracije
- prekinjen
- prikliče
- vključeni
- IT
- Job
- Ključne
- Vedite
- znanje
- lab
- label
- označevanje
- Oznake
- Pomanjkanje
- pristanek
- obsežne
- učenje
- odhodu
- Lets
- življenski krog
- lokalna
- kraj aktivnosti
- si
- iskanje
- nizka
- stroj
- strojno učenje
- vzdrževanje
- Znamka
- IZDELA
- upravitelj
- upravljanje
- Navodilo
- ročno
- map
- Zemljevidi
- ogromen
- Sporočilo
- sporočil
- metapodatki
- Mexico
- ublažitev
- ML
- Model
- modeli
- več
- premika
- Končna točka več modelov
- več
- naravna
- Narava
- Nimate
- potrebe
- Novo
- nlp
- Obvestila
- predmet
- Zaznavanje objektov
- predmeti
- ocean
- Ponudbe
- v teku
- odprite
- Odpri podatki
- open source
- zunaj
- pregled
- lastne
- vzporedno
- parametri
- strastno
- Vzorec
- Izvedite
- perspektiva
- plinovod
- planet
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Prispevek
- vaje
- Precision
- napovedati
- napoved
- Napovedi
- Prednost
- zasebna
- problem
- Postopek
- Predelano
- obravnavati
- proizvodnja
- Program
- protokol
- prototipi
- prototipov
- dokazano
- zagotavljajo
- zagotavljanje
- javnega
- Port
- Portoriko
- dal
- Hitri
- Surovi
- nedavno
- Pred kratkim
- Priporočilo
- zmanjšanje
- registra
- sprosti
- Oprostitev
- obvezna
- raziskovalci
- odpornost
- tisti,
- Odgovor
- REST
- Rezultati
- pregleda
- RICO
- Pot
- poti
- Run
- sagemaker
- satelit
- razširljive
- skaliranje
- prizori
- Iskalnik
- sezone
- Oddelek
- oddelki
- sektor
- Sektorji
- višji
- Brez strežnika
- Strežniki
- Storitev
- Storitve
- Kompleti
- Razstave
- Enostavno
- Velikosti
- Dimna
- Posnetek
- Rešitev
- Viri
- specialist
- specifična
- konice
- standardna
- Začetek
- začne
- state-of-the-art
- Države
- Korak
- Koraki
- shranjevanje
- trgovina
- shranjeni
- nevihte
- strategije
- taka
- podpora
- sistem
- sistemi
- Bodite
- skupina
- Skupine
- tech
- tehnični
- Tehnologija
- O
- informacije
- grožnje
- 3
- čas
- zamudno
- do
- orodje
- orodja
- Vlak
- usposobljeni
- usposabljanje
- Potovanje
- sprožijo
- OBRAT
- Vrste
- razumeli
- edinstven
- posodobitve
- posodabljanje
- us
- uporaba
- primeru uporabe
- Uporabniki
- različnih
- preko
- Video
- Poglej
- Vizija
- vizualizacija
- ki
- bo
- brez
- delo
- delal
- deluje
- bi
- let
- donosov
- Vi
- Vaša rutina za
- youtube
- zefirnet