W ostatnich latach postępy w dziedzinie widzenia komputerowego umożliwiły naukowcom, służbom ratowniczym i rządom zmierzenie się z trudnym problemem przetwarzania globalnych zdjęć satelitarnych w celu zrozumienia naszej planety i naszego wpływu na nią. Niedawno wydany AWS Możliwości geoprzestrzenne Amazon SageMaker aby zapewnić Ci zdjęcia satelitarne i najnowocześniejsze modele uczenia maszynowego (ML) geoprzestrzennych, zmniejszając bariery dla tego typu przypadków użycia. Aby uzyskać więcej informacji, patrz Podgląd: użyj Amazon SageMaker do budowania, trenowania i wdrażania modeli ML przy użyciu danych geoprzestrzennych.
Wiele agencji, w tym służby ratownicze, korzysta z tych ofert, aby uzyskać świadomość sytuacyjną na dużą skalę i nadać priorytet działaniom humanitarnym na obszarach geograficznych dotkniętych klęskami żywiołowymi. Często agencje te mają do czynienia ze zdjęciami katastrof z małych wysokości i ze źródeł satelitarnych, a dane te są często nieoznaczone i trudne w użyciu. Najnowocześniejsze komputerowe modele wizyjne często nie radzą sobie z oglądaniem zdjęć satelitarnych miasta, które nawiedził huragan lub pożar. Biorąc pod uwagę brak tych zestawów danych, nawet najnowocześniejsze modele ML często nie są w stanie zapewnić dokładności i precyzji wymaganej do przewidywania standardowych klasyfikacji katastrof FEMA.
Zbiory danych geoprzestrzennych zawierają przydatne metadane, takie jak współrzędne szerokości i długości geograficznej oraz znaczniki czasu, które mogą zapewnić kontekst dla tych obrazów. Jest to szczególnie pomocne w poprawianiu dokładności geoprzestrzennej uczenia maszynowego w przypadku scen katastrof, ponieważ te obrazy są z natury nieuporządkowane i chaotyczne. Budynki są mniej prostokątne, roślinność uległa zniszczeniu, a liniowe drogi zostały przerwane przez powodzie lub lawiny błotne. Ponieważ etykietowanie tych ogromnych zestawów danych jest kosztowne, ręczne i czasochłonne, opracowanie modeli uczenia maszynowego, które mogą zautomatyzować etykietowanie obrazów i adnotacje, ma kluczowe znaczenie.
Aby wytrenować ten model, potrzebujemy oznaczonego podstawowego podzbioru prawdy Zbiór danych dotyczących obrazów katastrofy na małej wysokości (LADI). Ten zestaw danych składa się z obrazów lotniczych ludzi i maszyn z adnotacjami, zebranych przez Cywilny Patrol Powietrzny w celu wsparcia różnych reakcji na katastrofy w latach 2015-2019. Te zestawy danych LADI koncentrują się na sezonach huraganów na Atlantyku i stanach przybrzeżnych wzdłuż Oceanu Atlantyckiego i Zatoki Meksykańskiej. Dwie kluczowe różnice to niska wysokość, ukośna perspektywa obrazów i cechy związane z katastrofami, które rzadko pojawiają się w testach porównawczych wizji komputerowej i zestawach danych. Zespoły wykorzystały istniejące kategorie FEMA dla szkód, takich jak powodzie, gruz, ogień i dym lub osunięcia ziemi, co ujednoliciło kategorie etykiet. Rozwiązanie może następnie przewidywać pozostałe dane treningowe i kierować wyniki o niższej pewności do przeglądu przez człowieka.
W tym wpisie opisujemy nasz projekt i wdrożenie rozwiązania, najlepsze praktyki oraz kluczowe komponenty architektury systemu.
Omówienie rozwiązania
Krótko mówiąc, rozwiązanie polegało na zbudowaniu trzech rurociągów:
- Potok danych – Wyodrębnia metadane obrazów
- Potok uczenia maszynowego – Klasyfikuje i etykietuje obrazy
- Potok recenzji „człowiek w pętli”. – Wykorzystuje zespół ludzi do przeglądu wyników
Poniższy schemat ilustruje architekturę rozwiązania.
Biorąc pod uwagę naturę takiego systemu etykietowania, zaprojektowaliśmy architekturę skalowalną w poziomie, która poradziłaby sobie ze skokami przetwarzania bez nadmiernej alokacji przy użyciu architektury bezserwerowej. Używamy wzoru jeden do wielu z Usługa Amazon Simple Queue (Amazon SQS) do AWS Lambda w wielu miejscach, aby wspierać te skoki spożycia, oferując odporność.
Używanie kolejki SQS do przetwarzania Usługa Amazon Simple Storage (Amazon S3) pomagają nam kontrolować współbieżność dalszego przetwarzania (w tym przypadku funkcji Lambda) i obsługiwać napływające skoki danych. Kolejkowanie wiadomości przychodzących działa również jako magazyn buforowy na wypadek jakichkolwiek awarii na dalszym etapie.
Biorąc pod uwagę bardzo równoległe potrzeby, wybraliśmy Lambdę do przetwarzania naszych obrazów. Lambda to bezserwerowa usługa obliczeniowa, która pozwala nam uruchamiać kod bez aprowizacji lub zarządzania serwerami, tworzyć logikę skalowania klastrów z uwzględnieniem obciążenia, utrzymywać integrację zdarzeń i zarządzać środowiskami wykonawczymi.
Używamy pliki Usługa Amazon OpenSearch jako nasz centralny magazyn danych, aby skorzystać z jego wysoce skalowalnych, szybkich wyszukiwań i zintegrowanego narzędzia do wizualizacji, OpenSearch Dashboards. Umożliwia nam iteracyjne dodawanie kontekstu do obrazu bez konieczności ponownej kompilacji lub zmiany skali oraz obsługę ewolucji schematu.
Amazon Rekognition ułatwia dodawanie analizy obrazu i wideo do naszych aplikacji przy użyciu sprawdzonej, wysoce skalowalnej technologii głębokiego uczenia. Dzięki Amazon Rekognition uzyskujemy dobrą linię bazową wykrytych obiektów.
W kolejnych sekcjach szczegółowo omówimy każdy potok.
Potok danych
Na poniższym diagramie przedstawiono przepływ pracy potoku danych.
Potok danych LADI rozpoczyna się od pobrania nieprzetworzonych obrazów danych z pliku Wspólny protokół ostrzegawczy FEMA (CAP) do wiadra S3. Gdy pobieramy obrazy do zasobnika nieprzetworzonych danych, są one przetwarzane w czasie zbliżonym do rzeczywistego w dwóch krokach:
- Wiadro S3 wyzwala powiadomienia o zdarzeniach dla wszystkich tworzonych obiektów, tworząc komunikaty w kolejce SQS dla każdego pozyskanego obrazu.
- Kolejka SQS jednocześnie wywołuje na obrazie funkcje Lambda do wstępnego przetwarzania.
Funkcje Lambda wykonują następujące kroki przetwarzania wstępnego:
- Oblicz UUID dla każdego obrazu, zapewniając unikalny identyfikator dla każdego obrazu. Ten identyfikator będzie identyfikował obraz przez cały jego cykl życia.
- Wyodrębnij metadane, takie jak współrzędne GPS, rozmiar obrazu, informacje GIS i lokalizację S3 z obrazu i utrwal je w OpenSearch.
- W oparciu o wyszukiwanie według kodów FIPS funkcja przenosi obraz do zasobnika S3 z wyselekcjonowanymi danymi. Dzielimy dane według FIPS-State-code/FIPS-County-code/Year/Month obrazu.
Potok uczenia maszynowego
Potok ML rozpoczyna się od obrazów lądujących w wyselekcjonowanym zasobniku danych S3 w kroku potoku danych, który wyzwala następujące kroki:
- Amazon S3 generuje komunikat do innej kolejki SQS dla każdego obiektu utworzonego w zasobniku S3 z wyselekcjonowanymi danymi.
- Kolejka SQS jednocześnie wyzwala funkcje Lambda, aby uruchomić zadanie wnioskowania ML na obrazie.
Funkcje Lambda wykonują następujące akcje:
- Wyślij każdy obraz do Amazon Rekognition w celu wykrycia obiektu, przechowywania zwróconych etykiet i odpowiednich wyników pewności.
- Skomponuj dane wyjściowe Amazon Rekognition do parametrów wejściowych dla naszego Amazon Sage Maker wielomodelowy punkt końcowy. W tym punkcie końcowym znajduje się nasz zespół klasyfikatorów, które są szkolone pod kątem określonych zestawów etykiet uszkodzeń.
- Przekaż wyniki punktu końcowego SageMaker do Amazon AI Augmented (Amazonka A2I).
Poniższy diagram ilustruje przepływ pracy potoku.
Potok recenzji „człowiek w pętli”.
Poniższy diagram ilustruje potok HIL (ang. human-in-the-loop).
Dzięki Amazon A2I możemy skonfigurować progi, które uruchomią weryfikację ludzką przez prywatny zespół, gdy model da prognozę o niskim poziomie pewności. Możemy również użyć Amazon A2I, aby zapewnić bieżący audyt prognoz naszego modelu. Etapy przepływu pracy są następujące:
- Amazon A2I kieruje prognozy o wysokim stopniu pewności do usługi OpenSearch, aktualizując dane etykiety obrazu.
- Amazon A2I kieruje prognozy o niskim poziomie pewności do prywatnego zespołu, aby ręcznie dodawać adnotacje do obrazów.
- Recenzent uzupełnia adnotację, generując plik wyjściowy adnotacji przez człowieka, który jest przechowywany w zasobniku danych wyjściowych HIL S3.
- Zasobnik HIL Output S3 uruchamia funkcję Lambda, która analizuje dane wyjściowe ludzkich adnotacji i aktualizuje dane obrazu w usłudze OpenSearch.
Przekierowując wyniki adnotacji ludzkich z powrotem do magazynu danych, możemy przeszkolić modele zespołowe i iteracyjnie poprawić dokładność modelu.
Dzięki wysokiej jakości wynikom przechowywanym teraz w usłudze OpenSearch jesteśmy w stanie przeprowadzać wyszukiwanie geoprzestrzenne i czasowe za pośrednictwem interfejsu API REST, używając Brama Amazon API i Geoserver. Pulpit nawigacyjny OpenSearch umożliwia również użytkownikom wyszukiwanie i przeprowadzanie analiz z tym zestawem danych.
Efekt
Poniższy kod przedstawia przykład naszych wyników.
Dzięki temu nowemu potokowi tworzymy ludzkie zabezpieczenie dla modeli, które nie są jeszcze w pełni wydajne. Ten nowy potok ML został wprowadzony do środowiska produkcyjnego do użytku z a Mikroserwis filtra obrazu cywilnego patrolu lotniczego który pozwala na filtrowanie obrazów Civil Air Patrol w Puerto Rico. Dzięki temu osoby udzielające pierwszej pomocy mogą zobaczyć zakres szkód i przeglądać obrazy związane z tymi szkodami po huraganach. AWS Data Lab, AWS Open Data Program, zespół Amazon Disaster Response i zespół AWS human-in-the-loop pracowały z klientami nad opracowaniem potoku open source, który można wykorzystać do analizy danych Civil Air Patrol przechowywanych w Open Data Programuj rejestr na żądanie po każdej klęsce żywiołowej. Aby uzyskać więcej informacji na temat architektury potoku oraz omówienie współpracy i wpływu, obejrzyj wideo Koncentracja na reagowaniu na katastrofy dzięki Amazon Augmented AI, AWS Open Data Program i AWS Snowball.
Wnioski
Ponieważ zmiany klimatyczne wciąż zwiększają częstotliwość i intensywność burz i pożarów lasów, nadal dostrzegamy znaczenie korzystania z uczenia maszynowego w celu zrozumienia wpływu tych wydarzeń na społeczności lokalne. Te nowe narzędzia mogą przyspieszyć działania związane z reagowaniem na katastrofy i pozwalają nam wykorzystać dane z tych analiz po zdarzeniu do poprawy dokładności przewidywania tych modeli dzięki aktywnemu uczeniu się. Te nowe modele ML mogą zautomatyzować adnotacje danych, co pozwala nam wywnioskować zakres szkód z każdego z tych zdarzeń, gdy nakładamy etykiety uszkodzeń na dane mapy. Te skumulowane dane mogą również pomóc w poprawie naszej zdolności przewidywania szkód w przypadku przyszłych katastrof, co może stanowić podstawę strategii łagodzenia skutków. To z kolei może poprawić odporność społeczności, gospodarek i ekosystemów, dostarczając decydentom informacji potrzebnych do opracowania polityki opartej na danych w celu przeciwdziałania pojawiającym się zagrożeniom dla środowiska.
W tym poście na blogu omówiliśmy wykorzystanie wizji komputerowej na zdjęciach satelitarnych. To rozwiązanie ma być architekturą referencyjną lub przewodnikiem szybkiego startu, który można dostosować do własnych potrzeb.
Daj mu wir i daj nam znać, jak to rozwiązało Twój przypadek użycia, zostawiając opinię w sekcji komentarzy. Aby uzyskać więcej informacji, zobacz Możliwości geoprzestrzenne Amazon SageMaker.
O autorach
Wamszi Kryszna Enabotala jest starszym architektem specjalizującym się w sztucznej inteligencji w AWS. Współpracuje z klientami z różnych sektorów, aby przyspieszyć inicjatywy dotyczące danych, analiz i uczenia maszynowego o dużym wpływie. Pasjonuje się systemami rekomendacji, NLP oraz obszarami widzenia komputerowego w AI i ML. Poza pracą Vamshi jest entuzjastą RC, buduje sprzęt RC (samoloty, samochody i drony), a także lubi ogrodnictwo.
Morgana Duttona jest starszym kierownikiem programu technicznego w zespole Amazon Augmented AI i Amazon SageMaker Ground Truth. Współpracuje z klientami z sektora korporacyjnego, akademickiego i publicznego, aby przyspieszyć wdrażanie uczenia maszynowego i usług uczenia maszynowego typu „human-in-the-loop”.
Sandeep Verma jest starszym architektem prototypowania w AWS. Lubi zagłębiać się w wyzwania klientów i budować prototypy dla klientów w celu przyspieszenia innowacji. Ma doświadczenie w AI/ML, jest założycielem New Knowledge i ogólnie pasjonuje się technologią. W wolnym czasie uwielbia podróżować i jeździć na nartach z rodziną.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- zdolność
- Zdolny
- O nas
- akademicki
- przyśpieszyć
- precyzja
- działania
- aktywny
- Dzieje Apostolskie
- adres
- Przyjęcie
- zaliczki
- Korzyść
- przed
- agencje
- AI
- AI / ML
- AIR
- Wszystkie kategorie
- pozwala
- Amazonka
- Amazon AI Augmented
- Amazon Rekognition
- Amazon Sage Maker
- Amazon SageMaker Ground Prawda
- analizuje
- analiza
- analityka
- w czasie rzeczywistym sprawiają,
- i
- Inne
- api
- aplikacje
- stosowany
- Zastosowana sztuczna inteligencja
- architektura
- obszary
- powiązany
- Audyt
- zwiększona
- zautomatyzować
- świadomość
- AWS
- z powrotem
- tło
- backstop
- bariery
- Baseline
- bo
- Benchmarki
- BEST
- Najlepsze praktyki
- Blog
- bufor
- budować
- Budowanie
- czapka z daszkiem
- samochody
- walizka
- Etui
- kategorie
- centralny
- wyzwania
- wyzwanie
- zmiana
- ZOBACZ
- wybrał
- Miasto
- Klimat
- Zmiana klimatu
- Grupa
- kod
- współpraca
- komentarze
- wspólny
- społeczności
- Ukończył
- składniki
- obliczać
- komputer
- Wizja komputerowa
- pewność siebie
- zawierać
- kontekst
- kontynuować
- ciągły
- kontrola
- Stwórz
- stworzony
- Tworzenie
- kreacje
- krytyczny
- kurator
- klient
- Klientów
- dostosować
- tablica rozdzielcza
- dane
- sterowane danymi
- zbiory danych
- czynienia
- Decydenci
- głęboko
- głęboka nauka
- dostarczyć
- Kreowanie
- rozwijać
- opisać
- Wnętrze
- zaprojektowany
- detal
- wykryte
- Wykrywanie
- rozwijać
- oprogramowania
- różne
- trudny
- katastrofa
- Klęski
- omówione
- Drony
- każdy
- gospodarki
- Ekosystemy
- starania
- wschodzących
- włączony
- Umożliwia
- Punkt końcowy
- Enterprise
- entuzjasta
- Cały
- środowiskowy
- sprzęt
- szczególnie
- Parzyste
- wydarzenie
- wydarzenia
- ewolucja
- przykład
- Przede wszystkim system został opracowany
- drogi
- Wyciągi
- członków Twojej rodziny
- FAST
- polecane
- Korzyści
- informacja zwrotna
- filet
- filtrować
- filtracja
- natura
- i terminów, a
- Skupiać
- następujący
- następujący sposób
- założyciel
- Darmowy
- Częstotliwość
- od
- w pełni
- funkcjonować
- Funkcje
- przyszłość
- Wzrost
- ogólnie
- generuje
- generujący
- geograficzny
- Uczenie geoprzestrzenne
- otrzymać
- dany
- Dający
- Globalne
- dobry
- Rządy
- GPS
- Ziemia
- poprowadzi
- uchwyt
- mający
- pomoc
- pomocny
- pomaga
- Wysoki
- wysokiej jakości
- wysoko
- Dobranie (Hit)
- gospodarze
- W jaki sposób
- HTML
- HTTPS
- człowiek
- huragan
- ID
- identyfikator
- zidentyfikować
- obraz
- zdjęcia
- Rezultat
- realizacja
- znaczenie
- podnieść
- poprawy
- in
- Włącznie z
- Przybywający
- Zwiększać
- Informacja
- inicjatywy
- Innowacja
- wkład
- zintegrowany
- integracje
- przerwane
- inwokuje
- zaangażowany
- IT
- Praca
- Klawisz
- Wiedzieć
- wiedza
- laboratorium
- Etykieta
- etykietowanie
- Etykiety
- Brak
- lądowanie
- na dużą skalę
- nauka
- pozostawiając
- pozwala
- wifecycwe
- miejscowy
- lokalizacja
- poszukuje
- wyszukiwania
- niski
- maszyna
- uczenie maszynowe
- Utrzymywanie
- robić
- WYKONUJE
- kierownik
- zarządzający
- podręcznik
- ręcznie
- mapa
- Mapy
- masywny
- wiadomość
- wiadomości
- Metadane
- Meksyk
- łagodzenie
- ML
- model
- modele
- jeszcze
- porusza się
- Wielomodelowy punkt końcowy
- wielokrotność
- Naturalny
- Natura
- Potrzebować
- wymagania
- Nowości
- nlp
- Powiadomienia
- przedmiot
- Wykrywanie obiektów
- obiekty
- ocean
- Oferty
- trwający
- koncepcja
- otwarte danych
- open source
- zewnętrzne
- przegląd
- własny
- Parallel
- parametry
- namiętny
- Wzór
- wykonać
- perspektywa
- rurociąg
- planeta
- plato
- Analiza danych Platona
- PlatoDane
- Post
- praktyki
- Detaliczność
- przewidzieć
- przepowiednia
- Przewidywania
- Priorytet
- prywatny
- Problem
- wygląda tak
- Obrobiony
- przetwarzanie
- Produkcja
- Program
- protokół
- prototypy
- prototypowanie
- Sprawdzony
- zapewniać
- że
- publiczny
- Puerto
- Portoryko
- położyć
- Szybki
- Surowy
- niedawny
- niedawno
- Rekomendacja
- redukcja
- rejestr
- wydany
- ulga
- wymagany
- Badacze
- sprężystość
- osób
- odpowiedź
- REST
- Efekt
- przeglądu
- RICO
- Trasa
- trasy
- run
- sagemaker
- satelita
- skalowalny
- skalowaniem
- Sceny
- Szukaj
- pory roku
- Sekcja
- działy
- sektor
- Sektory
- senior
- Bezserwerowe
- Serwery
- usługa
- Usługi
- Zestawy
- Targi
- Prosty
- Rozmiar
- Palić
- Migawka
- rozwiązanie
- Źródła
- specjalista
- specyficzny
- kolce
- standard
- początek
- rozpocznie
- state-of-the-art
- Zjednoczone
- Ewolucja krok po kroku
- Cel
- przechowywanie
- sklep
- przechowywany
- burze
- strategie
- taki
- wsparcie
- system
- systemy
- Brać
- zespół
- Zespoły
- tech
- Techniczny
- Technologia
- Połączenia
- Informacje
- zagrożenia
- trzy
- czas
- czasochłonne
- do
- narzędzie
- narzędzia
- Pociąg
- przeszkolony
- Trening
- Podróżowanie
- wyzwalać
- SKRĘCAĆ
- typy
- zrozumieć
- wyjątkowy
- Nowości
- aktualizowanie
- us
- posługiwać się
- przypadek użycia
- Użytkownicy
- różnorodny
- przez
- Wideo
- Zobacz i wysłuchaj
- wizja
- wyobrażanie sobie
- który
- będzie
- bez
- Praca
- pracował
- działa
- by
- lat
- plony
- You
- Twój
- youtube
- zefirnet