Viimastel aastatel on arvutinägemise edusammud võimaldanud teadlastel, esmareageerijatel ja valitsustel tegeleda globaalsete satelliidipiltide töötlemise keerulise probleemiga, et mõista meie planeeti ja meie mõju sellele. AWS ilmus hiljuti Amazon SageMakeri georuumilised võimalused et pakkuda teile satelliidipilte ja georuumilisi tipptasemel masinõppe (ML) mudeleid, vähendades seda tüüpi kasutusjuhtudel takistusi. Lisateabe saamiseks vaadake Eelvaade: kasutage georuumilisi andmeid kasutades ML-mudelite loomiseks, koolitamiseks ja juurutamiseks Amazon SageMakerit.
Paljud asutused, sealhulgas esmareageerijad, kasutavad neid pakkumisi, et saada suuremahulist teadlikkust olukorrast ja seada prioriteediks abitegevus geograafilistes piirkondades, mida on tabanud loodusõnnetused. Sageli tegelevad need agentuurid katastroofipiltidega madalal kõrgusel ja satelliitallikatest ning need andmed on sageli märgistamata ja neid on raske kasutada. Tipptasemel arvutinägemismudelid ei suuda sageli orkaani või metsatulekahju tabanud linna satelliidipilte vaadates. Arvestades nende andmekogumite puudumist, ei suuda isegi tipptasemel ML-mudelid sageli pakkuda standardsete FEMA katastroofide klassifikatsioonide ennustamiseks vajalikku täpsust ja täpsust.
Georuumilised andmestikud sisaldavad kasulikke metaandmeid, nagu laius- ja pikkuskraadi koordinaate ning ajatempleid, mis võivad nendele piltidele konteksti anda. See on eriti kasulik katastroofistseenide georuumilise ML-i täpsuse parandamisel, kuna need pildid on oma olemuselt segased ja kaootilised. Hooned on vähem ristkülikukujulised, taimestik on saanud kahjustusi ja sirgjoonelised teed on katkenud üleujutuste või mudalihkete tõttu. Kuna nende tohutute andmekogumite märgistamine on kallis, käsitsi ja aeganõudev, on piltide märgistamist ja annoteerimist automatiseerivate ML-mudelite väljatöötamine kriitilise tähtsusega.
Selle mudeli treenimiseks vajame märgistatud põhitõe alamhulka Low Altitude Disaster Imagery (LADI) andmestik. See andmestik koosneb inimeste ja masinate annoteeritud õhupiltidest, mille on kogunud tsiviillennupatrull, et toetada erinevaid katastroofireageerimisi aastatel 2015–2019. Need LADI andmestikud keskenduvad Atlandi ookeani orkaanihooaegadele ning Atlandi ookeani ja Mehhiko lahe äärsetele rannikuriikidele. Kaks peamist eristust on madal kõrgus, piltide kaldus perspektiiv ja katastroofidega seotud funktsioonid, mida arvutinägemise etalonides ja andmekogudes kuvatakse harva. Meeskonnad kasutasid olemasolevaid FEMA kategooriaid kahjude (nt üleujutused, praht, tulekahju ja suits või maalihked) jaoks, mis standardiseerisid märgiste kategooriad. Lahendus suudab seejärel teha prognoose ülejäänud treeningandmete kohta ja suunata madalama usaldusväärsusega tulemused inimeste ülevaatamiseks.
Selles postituses kirjeldame meie lahenduse disaini ja rakendamist, parimaid tavasid ja süsteemiarhitektuuri põhikomponente.
Lahenduse ülevaade
Lühidalt, lahendus hõlmas kolme torujuhtme ehitamist:
- Andmekonveier – ekstraktib piltide metaandmed
- Masinõppe torujuhe – liigitab ja märgistab pilte
- Inimese silmuses läbivaatamise kanal – Kasutab tulemuste ülevaatamiseks inimmeeskonda
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Arvestades sellise märgistussüsteemi olemust, kavandasime horisontaalselt skaleeritava arhitektuuri, mis käsitleks sisseelamise hüppeid ilma serverita arhitektuuri abil ülevarustamata. Kasutame mustrit üks-mitmele alates Amazoni lihtsa järjekorra teenus (Amazon SQS) kuni AWS Lambda mitmes kohas, et toetada neid allaneelamise naelu, vastupidavust pakkudes.
SQS-i järjekorra kasutamine töötlemiseks Amazoni lihtne salvestusteenus (Amazon S3) sündmused aitavad meil kontrollida allavoolu töötlemise samaaegsust (käesoleval juhul lambda funktsioonid) ja käsitleda sissetulevaid andmehulka. Sissetulevate sõnumite järjekorda seadmine toimib ka puhvermäluna allavoolu esinevate tõrgete korral.
Arvestades väga paralleelseid vajadusi, valisime oma piltide töötlemiseks Lambda. Lambda on serverita arvutusteenus, mis võimaldab meil käivitada koodi ilma servereid varustamata või haldamata, luua töökoormusest teadlikku klastri skaleerimise loogikat, säilitada sündmuste integratsioone ja hallata käitusaegu.
Me kasutame Amazon OpenSearchi teenus meie keskse andmehoidlana, et kasutada ära selle väga skaleeritavat, kiiret otsingut ja integreeritud visualiseerimistööriista OpenSearch Dashboards. See võimaldab meil iteratiivselt lisada pildile konteksti, ilma et peaksime uuesti kompileerima või skaleerima, ja käsitlema skeemi arengut.
Amazon Rekognitsioon muudab meie rakendustesse pildi- ja videoanalüüsi lisamise lihtsaks, kasutades tõestatud, hästi skaleeritavat sügavõppetehnoloogiat. Amazon Rekognitioni abil saame tuvastatud objektidest hea lähtetaseme.
Järgmistes osades sukeldume igasse torujuhtmesse üksikasjalikumalt.
Andmekonveier
Järgmine diagramm näitab andmekonveieri töövoogu.
LADI andmekonveier algab algandmete kujutiste allaneelamisega rakendusest FEMA ühine hoiatusprotokoll (CAP) S3 ämbrisse. Kui sisestame kujutised toorandmete ämbrisse, töödeldakse neid peaaegu reaalajas kahes etapis.
- S3-salv käivitab sündmuste teavitused kõigi objektide loomise kohta, luues SQS-i järjekorda sõnumeid iga neelatud pildi kohta.
- SQS-i järjekord käivitab samaaegselt pildil Lambda eeltöötlusfunktsioonid.
Lambda funktsioonid teostavad järgmisi eeltöötlusetappe:
- Arvutage iga pildi UUID, andes igale pildile kordumatu identifikaatori. See ID tuvastab pildi kogu selle elutsükli jooksul.
- Eraldage pildilt metaandmed, nagu GPS-koordinaadid, pildi suurus, GIS-teave ja S3-asukoht, ning säilitage need OpenSearchis.
- Põhinedes FIPS-koodide otsingul, liigutab funktsioon pildi kureeritud andmete S3 ämbrisse. Jagame andmed pildi FIPS-osariigi koodi/FIPS-maakonna koodi/aasta/kuu järgi.
Masinõppe torujuhe
ML-konveier algab piltidest, mis maanduvad andmekonveieri etapis kureeritud andmete ämbrisse S3, mis käivitab järgmised toimingud.
- Amazon S3 genereerib sõnumi teise SQS-i järjekorda iga kureeritud andmete S3 ämbris loodud objekti kohta.
- SQS-i järjekord käivitab samaaegselt Lambda funktsioonid, et käivitada pildil ML-i järeldustöö.
Lambda funktsioonid täidavad järgmisi toiminguid:
- Saatke iga pilt Amazon Rekognitionile objekti tuvastamiseks, tagastatud siltide ja vastavate usaldusskooride salvestamiseks.
- Koostage Amazon Rekognitioni väljund meie jaoks sisendparameetriteks Amazon SageMaker mitme mudeli lõpp-punkt. See lõpp-punkt majutab meie klassifikaatorite kogumit, mis on koolitatud konkreetsete kahjustuste siltide komplektide jaoks.
- Edastage SageMakeri lõpp-punkti tulemused Amazoni laiendatud AI (Amazon A2I).
Järgmine diagramm illustreerib torujuhtme töövoogu.
Inimese silmuses läbivaatamise kanal
Järgmine diagramm illustreerib inimese ahelas (HIL) torujuhet.
Amazon A2I abil saame konfigureerida künniseid, mis käivitavad erameeskonna inimliku ülevaatuse, kui mudel annab madala usaldusväärsusega ennustuse. Samuti saame kasutada Amazon A2I-d, et pakkuda oma mudeli prognooside pidevat auditit. Töövoo etapid on järgmised.
- Amazon A2I suunab kõrge usaldusväärsusega ennustused OpenSearch Service'i, värskendades pildi sildi andmeid.
- Amazon A2I edastab madala usaldusväärsusega ennustused privaatsele meeskonnale, et need käsitsi piltidele märkused teha.
- Inimülevaataja lõpetab annotatsiooni, genereerides inimese annotatsiooni väljundfaili, mis salvestatakse HIL Output S3 ämbrisse.
- HIL Output S3 ämber käivitab Lambda funktsiooni, mis analüüsib inimese annotatsioonide väljundit ja värskendab pildi andmeid OpenSearch Service'is.
Suunates inimese annotatsiooni tulemused tagasi andmesalve, saame ansamblimudeleid ümber õpetada ja mudeli täpsust iteratiivselt parandada.
Tänu meie kõrgekvaliteedilistele tulemustele, mis on nüüd salvestatud OpenSearch Service'i, saame teostada georuumilist ja ajalist otsingut REST API kaudu, kasutades Amazon API värav ja Geoserver. OpenSearch Dashboard võimaldab kasutajatel ka selle andmestikuga otsida ja analüüsida.
Tulemused
Järgmine kood näitab meie tulemuste näidet.
Selle uue konveieriga loome inimliku kaitsemehhanismi mudelitele, mis ei ole veel täielikult toimivad. See uus ML torujuhe on kasutusele võetud kasutamiseks koos a Tsiviilõhupatrulli pildifiltri mikroteenus mis võimaldab filtreerida Puerto Rico tsiviilõhupatrulli pilte. See võimaldab esmareageerijatel näha kahjustuste ulatust ja vaadata pilte, mis on seotud selle kahjustusega pärast orkaane. AWS-i andmelabor, AWS-i avatud andmeprogramm, Amazon Disaster Response'i meeskond ja AWS-i in-the-loop-meeskond töötasid klientidega välja avatud lähtekoodiga torujuhtme, mida saab kasutada avaandmetesse salvestatud tsiviilõhupatrulli andmete analüüsimiseks. Programmide register nõudmisel pärast mis tahes looduskatastroofi. Torujuhtme arhitektuuri kohta lisateabe saamiseks ning koostööst ja mõjust ülevaate saamiseks vaadake videot Keskendumine katastroofidele reageerimisele Amazon Augmented AI, AWS-i avatud andmete programmi ja AWS-i lumepalliga.
Järeldus
Kuna kliimamuutused suurendavad jätkuvalt tormide ja metsatulekahjude sagedust ja intensiivsust, näeme jätkuvalt ML-i kasutamise tähtsust, et mõista nende sündmuste mõju kohalikele kogukondadele. Need uued tööriistad võivad kiirendada katastroofidele reageerimist ja võimaldavad meil kasutada nende sündmustejärgsete analüüside andmeid, et parandada nende mudelite prognoosimise täpsust aktiivse õppimisega. Need uued ML-mudelid võivad automatiseerida andmete annotatsiooni, mis võimaldab meil järeldada iga sündmuse kahjustuse ulatust, kui katame kahjustuste sildid kaardiandmetega. Need kumulatiivsed andmed võivad samuti aidata parandada meie võimet ennustada tulevaste katastroofide kahjusid, mis võivad anda teavet leevendusstrateegiate kohta. See omakorda võib parandada kogukondade, majanduste ja ökosüsteemide vastupanuvõimet, andes otsustajatele teavet, mida nad vajavad andmepõhise poliitika väljatöötamiseks, et tulla toime nende esilekerkivate keskkonnaohtudega.
Selles ajaveebi postituses arutasime arvutinägemise kasutamist satelliidipiltidel. See lahendus on mõeldud viitearhitektuuriks või kiirjuhendiks, mida saate oma vajaduste järgi kohandada.
Proovige ja andke meile teada, kuidas see teie kasutusjuhtumi lahendas, jättes kommentaaride jaotisesse tagasisidet. Lisateabe saamiseks vt Amazon SageMakeri georuumilised võimalused.
Autoritest
Vamshi Krishna Enabothala on AWS-i rakendusliku tehisintellekti spetsialist arhitekt. Ta teeb koostööd erinevatest sektoritest pärit klientidega, et kiirendada suure mõjuga andmete, analüütika ja masinõppe algatusi. Ta on kirglik AI ja ML soovitussüsteemide, NLP ja arvutinägemise valdkondade vastu. Väljaspool tööd on Vamshi RC-entusiast, kes ehitab RC-seadmeid (lennukid, autod ja droonid) ning naudib ka aiatööd.
Morgan Dutton on Amazon Augmented AI ja Amazon SageMaker Ground Truth meeskonna vanemtehniline programmijuht. Ta teeb koostööd ettevõtete, akadeemiliste ja avaliku sektori klientidega, et kiirendada masinõppe ja in-the-loop ML-teenuste kasutuselevõttu.
Sandeep Verma on AWS-iga prototüüpide loomise arhitekt. Talle meeldib sukelduda sügavale klientide väljakutsetesse ja luua klientidele prototüüpe, et kiirendada innovatsiooni. Tal on AI/ML-i taust, New Knowledge'i asutaja ja üldiselt kirglik tehnoloogia. Vabal ajal armastab ta perega reisida ja suusatada.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- võime
- Võimalik
- MEIST
- akadeemiline
- kiirendama
- täpsus
- meetmete
- aktiivne
- õigusaktid
- aadress
- Vastuvõtmine
- ettemaksed
- ADEelis
- vastu
- asutused
- AI
- AI / ML
- AIR
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- Amazon
- Amazoni laiendatud AI
- Amazon Rekognitsioon
- Amazon SageMaker
- Amazon SageMaker Ground Truth
- analüüsid
- analüüs
- analytics
- analüüsima
- ja
- Teine
- API
- rakendused
- rakendatud
- Rakenduslik AI
- arhitektuur
- valdkondades
- seotud
- audit
- suurendatud
- automatiseerima
- teadlikkus
- AWS
- tagasi
- tagapõhi
- backstop
- tõkked
- Baseline
- sest
- kriteeriumid
- BEST
- parimaid tavasid
- Blogi
- puhver
- ehitama
- Ehitus
- kork
- autod
- juhul
- juhtudel
- kategooriad
- kesk-
- väljakutseid
- raske
- muutma
- kontrollima
- Valisin
- Linn
- Kliima
- Kliimamuutus
- Cluster
- kood
- koostöö
- kommentaarid
- ühine
- Ühenduste
- Lõpetab
- komponendid
- Arvutama
- arvuti
- Arvuti visioon
- usaldus
- sisaldama
- kontekst
- jätkama
- pidev
- kontrollida
- looma
- loodud
- loomine
- loomingut
- kriitiline
- kureeritud
- klient
- Kliendid
- kohandada
- armatuurlaud
- andmed
- andmepõhistele
- andmekogumid
- tegelema
- otsustajad
- sügav
- sügav õpe
- tarnima
- Nõudlus
- juurutada
- kirjeldama
- Disain
- kavandatud
- detail
- tuvastatud
- Detection
- arendama
- & Tarkvaraarendus
- erinev
- raske
- katastroof
- katastroofid
- arutatud
- Drones
- iga
- majandusega
- ökosüsteemid
- jõupingutusi
- smirgel
- lubatud
- võimaldab
- Lõpp-punkt
- ettevõte
- entusiast
- Kogu
- keskkonna-
- seadmed
- eriti
- Isegi
- sündmus
- sündmused
- evolutsioon
- näide
- olemasolevate
- kallis
- Väljavõtted
- pere
- KIIRE
- Objekte
- FUNKTSIOONID
- tagasiside
- fail
- filtreerida
- filtreerimine
- Tulekahju
- esimene
- Keskenduma
- Järel
- järgneb
- Asutaja
- tasuta
- Sagedus
- Alates
- täielikult
- funktsioon
- funktsioonid
- tulevik
- kasu
- üldiselt
- genereerib
- teeniva
- geograafiline
- Geosruumiline ML
- saama
- antud
- andmine
- Globaalne
- hea
- Valitsused
- GPS
- Maa
- suunata
- käepide
- võttes
- aitama
- kasulik
- aitab
- Suur
- kvaliteetne
- kõrgelt
- Tulemus
- hosts
- Kuidas
- HTML
- HTTPS
- inim-
- orkaan
- ID
- tunnus
- identifitseerima
- pilt
- pildid
- mõju
- täitmine
- tähtsus
- parandama
- Paranemist
- in
- Kaasa arvatud
- Sissetulev
- Suurendama
- info
- algatused
- Innovatsioon
- sisend
- integreeritud
- integratsioon
- katkenud
- kutsub
- seotud
- IT
- töö
- Võti
- Teadma
- teadmised
- labor
- silt
- märgistamine
- Labels
- puudus
- maandumine
- suuremahuline
- õppimine
- jätmine
- Lets
- eluring
- kohalik
- liising
- otsin
- lookup
- Madal
- masin
- masinõpe
- säilitamine
- tegema
- TEEB
- juht
- juhtiv
- käsiraamat
- käsitsi
- kaart
- kaardid
- suur
- sõnum
- kirjad
- Metaandmed
- Mehhiko
- leevendamine
- ML
- mudel
- mudelid
- rohkem
- käike
- Mitme mudeli lõpp-punkt
- mitmekordne
- Natural
- loodus
- Vajadus
- vajadustele
- Uus
- nlp
- teated
- objekt
- Objekti tuvastamine
- esemeid
- ookean
- Pakkumised
- jätkuv
- avatud
- avatud andmete
- avatud lähtekoodiga
- väljaspool
- ülevaade
- enda
- Parallel
- parameetrid
- kirglik
- Muster
- täitma
- perspektiiv
- torujuhe
- planeet
- Platon
- Platoni andmete intelligentsus
- PlatoData
- post
- tavad
- Täpsus
- ennustada
- ennustus
- Ennustused
- Prioriteet
- era-
- Probleem
- protsess
- Töödeldud
- töötlemine
- Produktsioon
- Programm
- protokoll
- prototüüpide
- prototüüpimine
- tõestatud
- anda
- pakkudes
- avalik
- Puerto
- Puerto Rico
- panema
- Kiire
- Töötlemata
- hiljuti
- hiljuti
- Soovitus
- vähendamine
- registri
- vabastatud
- reljeef
- nõutav
- Teadlased
- vastupidavust
- need
- vastus
- REST
- Tulemused
- läbi
- RICO
- Marsruut
- liinidel
- jooks
- salveitegija
- satelliit
- skaalautuvia
- ketendamine
- stseenide
- Otsing
- hooaega
- Osa
- lõigud
- sektor
- Sektorid
- vanem
- Serverita
- Serverid
- teenus
- Teenused
- Komplektid
- Näitused
- lihtne
- SUURUS
- Suits
- Snapshot
- lahendus
- Allikad
- spetsialist
- konkreetse
- naelu
- standard
- algus
- algab
- modernne
- Ühendriigid
- Samm
- Sammud
- ladustamine
- salvestada
- ladustatud
- tormid
- strateegiad
- selline
- toetama
- süsteem
- süsteemid
- Võtma
- meeskond
- meeskonnad
- tech
- Tehniline
- Tehnoloogia
- .
- teave
- ähvardused
- kolm
- aeg
- aega võttev
- et
- tööriist
- töövahendid
- Rong
- koolitatud
- koolitus
- Reisimine
- vallandada
- Pöörake
- liigid
- mõistma
- ainulaadne
- Uudised
- ajakohastamine
- us
- kasutama
- kasutage juhtumit
- Kasutajad
- eri
- kaudu
- Video
- vaade
- nägemus
- visualiseerimine
- mis
- will
- ilma
- Töö
- töötas
- töötab
- oleks
- aastat
- saagikus
- sa
- Sinu
- youtube
- sephyrnet