Son yıllarda, bilgisayar görüşündeki ilerlemeler, araştırmacıların, ilk müdahale ekiplerinin ve hükümetlerin, gezegenimizi ve onun üzerindeki etkimizi anlamak için küresel uydu görüntülerini işleme konusundaki zorlu sorunu çözmelerini sağladı. AWS yakın zamanda yayınlandı Amazon SageMaker jeo-uzamsal yetenekleri size uydu görüntüleri ve jeo-uzamsal son teknoloji makine öğrenimi (ML) modelleri sağlamak, bu tür kullanım durumları için engelleri azaltmak. Daha fazla bilgi için bkz. Önizleme: Jeo-uzamsal Verileri Kullanarak Makine Öğrenimi Modelleri Oluşturmak, Eğitmek ve Dağıtmak için Amazon SageMaker'ı Kullanın.
İlk müdahale ekipleri de dahil olmak üzere birçok kurum, bu teklifleri büyük ölçekli durumsal farkındalık kazanmak ve doğal afetlerin vurduğu coğrafi bölgelerdeki yardım çabalarına öncelik vermek için kullanıyor. Genellikle bu ajanslar, alçak irtifa ve uydu kaynaklarından gelen afet görüntüleriyle uğraşırlar ve bu veriler genellikle etiketsizdir ve kullanımı zordur. Son teknoloji bilgisayar görme modelleri, bir kasırganın veya orman yangınının vurduğu bir şehrin uydu görüntülerine bakarken genellikle düşük performans gösterir. Bu veri setlerinin eksikliği göz önüne alındığında, en gelişmiş makine öğrenimi modelleri bile standart FEMA afet sınıflandırmalarını tahmin etmek için gereken doğruluğu ve kesinliği sağlayamıyor.
Jeo-uzamsal veri kümeleri, enlem ve boylam koordinatları gibi yararlı meta verileri ve bu görüntüler için bağlam sağlayabilen zaman damgalarını içerir. Bu, özellikle afet sahneleri için jeo-uzamsal ML'nin doğruluğunu artırmada yararlıdır, çünkü bu görüntüler doğası gereği dağınık ve kaotiktir. Binalar daha az dikdörtgendir, bitki örtüsü zarar görmüş ve doğrusal yollar sel veya toprak kayması nedeniyle kesintiye uğramıştır. Bu devasa veri kümelerini etiketlemek pahalı, manuel ve zaman alıcı olduğundan, görüntü etiketlemeyi ve açıklama eklemeyi otomatikleştirebilen makine öğrenimi modellerinin geliştirilmesi kritik öneme sahiptir.
Bu modeli eğitmek için, etiketli bir temel doğruluk altkümesine ihtiyacımız var. Alçak İrtifa Afet Görüntüleri (LADI) veri kümesi. Bu veri seti, Sivil Hava Devriyesi tarafından 2015-2019 yılları arasında çeşitli afet müdahalelerini desteklemek için toplanan insan ve makine açıklamalı havadan görüntülerden oluşmaktadır. Bu LADI veri kümeleri, Atlantik kasırga mevsimlerine ve Atlantik Okyanusu ile Meksika Körfezi boyunca kıyı eyaletlerine odaklanır. İki temel ayrım, düşük irtifa, görüntülerin eğik perspektifi ve bilgisayarla görme kıyaslamalarında ve veri setlerinde nadiren yer alan felaketle ilgili özelliklerdir. Ekipler, etiket kategorilerini standartlaştıran sel, moloz, yangın ve duman veya toprak kayması gibi hasarlar için mevcut FEMA kategorilerini kullandı. Çözüm daha sonra, eğitim verilerinin geri kalanı üzerinde tahminler yapabilir ve daha düşük güvenirlikteki sonuçları insan incelemesi için yönlendirebilir.
Bu gönderide, çözümün tasarımını ve uygulamasını, en iyi uygulamaları ve sistem mimarisinin temel bileşenlerini açıklıyoruz.
Çözüme genel bakış
Kısacası, çözüm üç boru hattı inşa etmeyi içeriyordu:
- Veri hattı – Resimlerin meta verilerini ayıklar
- Makine öğrenimi ardışık düzeni – Görüntüleri sınıflandırır ve etiketler
- Döngüdeki insan inceleme ardışık düzeni – Sonuçları incelemek için bir insan ekibi kullanır
Aşağıdaki şemada çözüm mimarisi gösterilmektedir.
Bunun gibi bir etiketleme sisteminin doğası göz önüne alındığında, sunucusuz bir mimari kullanarak aşırı provizyon olmadan alım artışlarını kaldırabilecek yatay olarak ölçeklenebilir bir mimari tasarladık. Birden çoğa desen kullanıyoruz Amazon Basit Kuyruk Hizmeti (Amazon SQS) için AWS Lambda Bu alım artışlarını desteklemek için birden çok noktada, dayanıklılık sunmak.
İşleme için bir SQS kuyruğu kullanma Amazon Basit Depolama Hizmeti (Amazon S3) olayları, aşağı akış işlemenin (bu durumda Lambda işlevleri) eşzamanlılığını kontrol etmemize ve gelen veri artışlarını yönetmemize yardımcı olur. Gelen mesajları kuyruğa almak, aşağı akışta herhangi bir arıza olması durumunda bir arabellek depolama işlevi de görür.
Son derece paralel ihtiyaçlar göz önüne alındığında, görüntülerimizi işlemek için Lambda'yı seçtik. Lambda, sunucuları tedarik etmeden veya yönetmeden, iş yüküne duyarlı küme ölçeklendirme mantığı oluşturmadan, olay entegrasyonlarını sürdürmeden ve çalışma zamanlarını yönetmeden kod çalıştırmamıza izin veren sunucusuz bir bilgi işlem hizmetidir.
Biz kullanmak Amazon Açık Arama Hizmeti son derece ölçeklenebilir, hızlı arama ve entegre görselleştirme aracı OpenSearch Dashboards'tan yararlanmak için merkezi veri depomuz olarak. Yeniden derlemek veya yeniden ölçeklendirmek zorunda kalmadan görüntüye yinelemeli olarak bağlam eklememizi ve şema evrimini yönetmemizi sağlar.
Amazon Rekognisyon kanıtlanmış, yüksek düzeyde ölçeklenebilir, derin öğrenme teknolojisini kullanarak uygulamalarımıza görüntü ve video analizi eklemeyi kolaylaştırır. Amazon Rekognition ile, algılanan nesneler için iyi bir temel elde ederiz.
Aşağıdaki bölümlerde, her boru hattını daha ayrıntılı olarak inceleyeceğiz.
Veri hattı
Aşağıdaki diyagram, veri ardışık düzeninin iş akışını gösterir.
LADI veri boru hattı, ham veri görüntülerinin alınmasıyla başlar. FEMA Ortak Uyarı Protokolü (CAP) bir S3 kovasına. Görüntüleri ham veri grubuna alırken, iki adımda neredeyse gerçek zamanlı olarak işlenirler:
- S3 grubu, alınan her görüntü için SQS kuyruğunda mesajlar oluşturarak tüm nesne yaratımları için olay bildirimlerini tetikler.
- SQS kuyruğu, aynı anda görüntü üzerinde ön işleme Lambda işlevlerini çağırır.
Lambda işlevleri aşağıdaki ön işleme adımlarını gerçekleştirir:
- Her görüntü için benzersiz bir tanımlayıcı sağlayarak her görüntü için UUID'yi hesaplayın. Bu kimlik, görüntüyü tüm yaşam döngüsü boyunca tanımlayacaktır.
- Görüntüden GPS koordinatları, görüntü boyutu, GIS bilgisi ve S3 konumu gibi meta verileri çıkarın ve OpenSearch'te kalıcı hale getirin.
- İşlev, FIPS kodlarına göre yapılan bir aramayı temel alarak görüntüyü küratörlüğünü yapılan veri S3 klasörüne taşır. Verileri görüntünün FIPS-Eyalet kodu/FIPS-İlçe kodu/Yıl/Ay'a göre bölümlere ayırırız.
Makine öğrenimi ardışık düzeni
Makine öğrenimi ardışık düzeni, aşağıdaki adımları tetikleyen veri ardışık düzeni adımındaki küratörlü veri S3 klasörüne inen resimlerden başlar:
- Amazon S3, seçilmiş veri S3 klasöründe oluşturulan her nesne için başka bir SQS kuyruğuna bir mesaj oluşturur.
- SQS kuyruğu, görüntü üzerinde makine öğrenimi çıkarım işini çalıştırmak için Lambda işlevlerini eşzamanlı olarak tetikler.
Lambda işlevleri aşağıdaki eylemleri gerçekleştirir:
- Nesne algılaması için her görüntüyü Amazon Rekognition'a gönderin, iade edilen etiketleri ve ilgili güven puanlarını saklayın.
- Amazon Rekognition çıktısını bizim için girdi parametrelerine dönüştürün. Amazon Adaçayı Yapıcı çok modelli uç nokta Bu uç nokta, belirli hasar etiketi setleri için eğitilmiş sınıflandırıcı grubumuzu barındırır.
- SageMaker bitiş noktasının sonuçlarını şuraya iletin: Amazon Artırılmış AI (Amazon A2I).
Aşağıdaki diyagram, ardışık düzen iş akışını göstermektedir.
Döngüdeki insan inceleme ardışık düzeni
Aşağıdaki diyagram, döngüdeki insan (HIL) boru hattını göstermektedir.
Amazon A2I ile, bir model düşük güvenilirlik tahmini verdiğinde özel bir ekip tarafından insan incelemesini tetikleyecek eşikleri yapılandırabiliriz. Modelimizin tahminlerinin sürekli denetimini sağlamak için Amazon A2I'yi de kullanabiliriz. İş akışı adımları aşağıdaki gibidir:
- Amazon A2I, görüntünün etiket verilerini güncelleyerek yüksek güvenilirlikli tahminleri OpenSearch Hizmetine yönlendirir.
- Amazon A2I, görüntülere manuel olarak açıklama eklemek için düşük güvenliğe sahip tahminleri özel ekibe yönlendirir.
- İnsan gözden geçiren kişi ek açıklamayı tamamlayarak HIL Output S3 kovasında saklanan bir insan ek açıklama çıktı dosyası oluşturur.
- HIL Output S3 kovası, insan ek açıklamalarının çıktısını ayrıştıran ve görüntünün verilerini OpenSearch Service'te güncelleyen bir Lambda işlevini tetikler.
İnsan ek açıklama sonuçlarını veri deposuna geri yönlendirerek, topluluk modellerini yeniden eğitebilir ve modelin doğruluğunu yinelemeli olarak geliştirebiliriz.
Artık OpenSearch Hizmetinde saklanan yüksek kaliteli sonuçlarımızla, bir REST API aracılığıyla jeo-uzaysal ve zamansal arama gerçekleştirebiliyoruz. Amazon API Ağ Geçidi ve Geoserver. OpenSearch Dashboard, kullanıcıların bu veri kümesiyle arama yapmasına ve analitik çalıştırmasına da olanak tanır.
Sonuçlar
Aşağıdaki kod, sonuçlarımızın bir örneğini göstermektedir.
Bu yeni ardışık düzen ile, henüz tam performans göstermemiş modeller için bir insan arka durdurucu oluşturuyoruz. Bu yeni ML boru hattı, bir bilgisayarla kullanılmak üzere üretime alındı. Sivil Hava Devriyesi Görüntü Filtresi mikro hizmeti Bu, Porto Riko'daki Sivil Hava Devriyesi görüntülerinin filtrelenmesine izin verir. Bu, ilk müdahale ekiplerinin kasırgaların ardından hasarın boyutunu ve bu hasarla ilişkili görüntüleri görmesini sağlar. AWS Data Lab, AWS Open Data Program, Amazon Disaster Response ekibi ve AWS human-in-the-loop ekibi, Açık Veri'de depolanan Sivil Hava Devriyesi verilerini analiz etmek için kullanılabilecek açık kaynaklı bir ardışık düzen geliştirmek için müşterilerle birlikte çalıştı. Herhangi bir doğal afetin ardından talep üzerine program kaydı. Ardışık düzen mimarisi hakkında daha fazla bilgi ve işbirliği ile etkiye genel bir bakış için videoyu izleyin Amazon Augmented AI, AWS Açık Veri Programı ve AWS Snowball ile afet müdahalesine odaklanma.
Sonuç
İklim değişikliği fırtınaların ve orman yangınlarının sıklığını ve yoğunluğunu artırmaya devam ederken, bu olayların yerel topluluklar üzerindeki etkisini anlamak için makine öğrenimi kullanmanın önemini görmeye devam ediyoruz. Bu yeni araçlar, afet müdahale çabalarını hızlandırabilir ve bu olay sonrası analizlerden elde edilen verileri, aktif öğrenme ile bu modellerin tahmin doğruluğunu iyileştirmek için kullanmamıza izin verebilir. Bu yeni makine öğrenimi modelleri, veri açıklamasını otomatik hale getirebilir; bu da, hasar etiketlerini harita verileriyle üst üste bindirirken bu olayların her birinden hasarın boyutunu anlamamızı sağlar. Bu kümülatif veriler, gelecekteki afet olayları için zararı tahmin etme yeteneğimizi geliştirmeye de yardımcı olabilir ve bu da hafifletme stratejilerini bilgilendirebilir. Bu da, karar vericilere ortaya çıkan bu çevresel tehditleri ele almak için veriye dayalı politikalar geliştirmeleri için ihtiyaç duydukları bilgileri vererek toplulukların, ekonomilerin ve ekosistemlerin dayanıklılığını artırabilir.
Bu blog gönderisinde, uydu görüntülerinde bilgisayar görüşünün kullanılmasından bahsettik. Bu çözümün, kendi ihtiyaçlarınıza göre özelleştirebileceğiniz bir referans mimarisi veya hızlı başlangıç kılavuzu olması amaçlanmıştır.
Bir koşuşturma verin ve yorumlar bölümünde geri bildirim bırakarak bunun kullanım durumunuzu nasıl çözdüğünü bize bildirin. Daha fazla bilgi için bakınız Amazon SageMaker jeo-uzamsal yetenekleri.
Yazarlar Hakkında
Vamshi Krishna Enabothala AWS'de Kıdemli Uygulamalı Yapay Zeka Uzmanı Mimardır. Yüksek etkili verileri, analitiği ve makine öğrenimi girişimlerini hızlandırmak için farklı sektörlerden müşterilerle birlikte çalışıyor. AI ve ML'deki öneri sistemleri, NLP ve bilgisayarla görme alanları hakkında tutkulu. İş dışında, Vamshi bir RC meraklısıdır, RC ekipmanları (uçaklar, arabalar ve dronlar) inşa eder ve ayrıca bahçecilikten hoşlanır.
Morgan Dutton Amazon Augmented AI ve Amazon SageMaker Ground Truth ekibinde Kıdemli Teknik Program Yöneticisidir. Makine öğrenimi ve insan-in-the-loop makine öğrenimi hizmetlerinin benimsenmesini hızlandırmak için kurumsal, akademik ve kamu sektörü müşterileri ile birlikte çalışıyor.
Sandeep Verması AWS'de Kıdemli Prototip Oluşturma Mimarıdır. Müşterilerin karşılaştığı zorlukların derinliklerine inmekten ve müşterilerin yeniliği hızlandırması için prototipler oluşturmaktan keyif alıyor. New Knowledge'ın kurucusu olan AI/ML geçmişine sahiptir ve genellikle teknoloji konusunda tutkuludur. Boş zamanlarında ailesiyle birlikte seyahat etmeyi ve kayak yapmayı çok seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- kabiliyet
- Yapabilmek
- Hakkımızda
- akademik
- hızlandırmak
- doğruluk
- eylemler
- aktif
- eylemler
- adres
- Benimseme
- gelişmeler
- avantaj
- karşı
- ajansları
- AI
- AI / ML
- HAVA
- Türkiye
- veriyor
- Amazon
- Amazon Artırılmış AI
- Amazon Rekognisyon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Yer Gerçeği
- analizler
- analiz
- analytics
- çözümlemek
- ve
- Başka
- api
- uygulamaları
- uygulamalı
- Yapay Zeka
- mimari
- alanlar
- ilişkili
- denetim
- augmented
- otomatikleştirmek
- farkındalık
- AWS
- Arka
- arka fon
- toprak atış siperi
- engelleri
- Temel
- Çünkü
- kriterler
- İYİ
- en iyi uygulamalar
- Blog
- tampon
- inşa etmek
- bina
- kapak
- arabalar
- dava
- durumlarda
- kategoriler
- merkezi
- zorluklar
- zor
- değişiklik
- Kontrol
- seçti
- Şehir
- İklim
- İklim değişikliği
- Küme
- kod
- işbirliği
- yorumlar
- ortak
- topluluklar
- Tamamladı
- bileşenler
- hesaplamak
- bilgisayar
- Bilgisayar görüşü
- güven
- içermek
- bağlam
- devam etmek
- devam ediyor
- kontrol
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- Oluşturma
- kreasyonları
- kritik
- küratörlüğünü
- müşteri
- Müşteriler
- özelleştirmek
- gösterge paneli
- veri
- veri-güdümlü
- veri kümeleri
- ilgili
- Karar vericiler
- derin
- derin öğrenme
- teslim etmek
- Talep
- dağıtmak
- tanımlamak
- Dizayn
- tasarlanmış
- ayrıntı
- algılandı
- Bulma
- geliştirmek
- gelişme
- farklı
- zor
- felaket
- afetler
- tartışılan
- Drones
- her
- ekonomileri
- ekosistemler
- çabaları
- ortaya çıkan
- etkin
- sağlar
- Son nokta
- kuruluş
- hayran
- Tüm
- çevre
- ekipman
- özellikle
- Hatta
- Etkinlikler
- olaylar
- evrim
- örnek
- mevcut
- pahalı
- Hulasa
- aile
- HIZLI
- özellikli
- Özellikler
- geribesleme
- fileto
- filtre
- süzme
- Ateş
- Ad
- odak
- takip etme
- şu
- kurucu
- Ücretsiz
- Sıklık
- itibaren
- tamamen
- işlev
- fonksiyonlar
- gelecek
- Kazanç
- genellikle
- üretir
- üreten
- coğrafi
- Jeo-uzamsal makine öğrenimi
- almak
- verilmiş
- Verilmesi
- Küresel
- Tercih Etmenizin
- Hükümetler
- gps
- Zemin
- rehberlik
- sap
- sahip olan
- yardım et
- faydalı
- yardımcı olur
- Yüksek
- Yüksek kaliteli
- büyük ölçüde
- vurmak
- ana
- Ne kadar
- HTML
- HTTPS
- insan
- kasırga
- ID
- tanımlayıcı
- belirlemek
- görüntü
- görüntüleri
- darbe
- uygulama
- önem
- iyileştirmek
- geliştirme
- in
- Dahil olmak üzere
- Gelen
- Artırmak
- bilgi
- girişimler
- Yenilikçilik
- giriş
- entegre
- entegrasyonlar
- kesilmiş
- çağırır
- ilgili
- IT
- İş
- anahtar
- Bilmek
- bilgi
- laboratuvar
- etiket
- etiketleme
- Etiketler
- Eksiklik
- iniş
- büyük ölçekli
- öğrenme
- ayrılma
- Lets
- yaşam döngüsü
- yerel
- yer
- bakıyor
- arama
- Düşük
- makine
- makine öğrenme
- Bakımı
- yapmak
- YAPAR
- müdür
- yönetme
- Manuel
- el ile
- harita
- Haritalar
- masif
- mesaj
- mesajları
- Metadata
- Meksika
- hafifletme
- ML
- model
- modelleri
- Daha
- hamle
- Çok Modelli Uç Nokta
- çoklu
- Doğal (Madenden)
- Tabiat
- gerek
- ihtiyaçlar
- yeni
- nlp
- bildirimleri
- nesne
- Nesne algılama
- nesneler
- okyanus
- teklifleri
- devam
- açık
- açık veri
- açık kaynak
- dışında
- genel bakış
- kendi
- Paralel
- parametreler
- tutkulu
- model
- Yapmak
- perspektif
- boru hattı
- gezegen
- Platon
- Plato Veri Zekası
- PlatoVeri
- Çivi
- uygulamalar
- Hassas
- tahmin
- tahmin
- Tahminler
- Öncelik
- özel
- Sorun
- süreç
- İşlenmiş
- işleme
- üretim
- Programı
- protokol
- prototipler
- prototip
- kanıtlanmış
- sağlamak
- sağlama
- halka açık
- Puerto
- Porto Riko
- koymak
- Hızlı
- Çiğ
- son
- geçenlerde
- Tavsiye
- azaltarak
- kayıt
- serbest
- kabartma
- gereklidir
- Araştırmacılar
- esneklik
- bu
- yanıt
- DİNLENME
- Sonuçlar
- yorum
- RICO
- Rota
- yolları
- koşmak
- sagemaker
- uydu
- ölçeklenebilir
- ölçekleme
- Sahneler
- Ara
- mevsim
- Bölüm
- bölümler
- sektör
- Sektörler
- kıdemli
- Serverless
- Sunucular
- hizmet
- Hizmetler
- Setleri
- Gösteriler
- Basit
- beden
- Duman
- Enstantane fotoğraf
- çözüm
- kaynaklar
- uzman
- özel
- çiviler
- standart
- başlama
- başlar
- state-of-the-art
- Devletler
- adım
- Basamaklar
- hafızası
- mağaza
- saklı
- Fırtınalar
- stratejileri
- böyle
- destek
- sistem
- Sistemler
- Bizi daha iyi tanımak için
- takım
- takım
- teknoloji
- Teknik
- Teknoloji
- The
- Bilgi
- tehditler
- üç
- zaman
- zaman tükeniyor
- için
- araç
- araçlar
- Tren
- eğitilmiş
- Eğitim
- Seyahat
- tetikleyebilir
- DÖNÜŞ
- türleri
- anlamak
- benzersiz
- Güncellemeler
- güncellenmesi
- us
- kullanım
- kullanım durumu
- kullanıcılar
- çeşitli
- üzerinden
- Video
- Görüntüle
- vizyonumuz
- görüntüleme
- hangi
- irade
- olmadan
- İş
- işlenmiş
- çalışır
- olur
- yıl
- verim
- Sen
- Youtube
- zefirnet