Dalam beberapa tahun terakhir, kemajuan dalam visi komputer telah memungkinkan para peneliti, penanggap pertama, dan pemerintah untuk mengatasi masalah menantang pemrosesan citra satelit global untuk memahami planet kita dan dampaknya terhadapnya. AWS baru-baru ini dirilis Kemampuan geospasial Amazon SageMaker untuk memberi Anda citra satelit dan model pembelajaran mesin (ML) geospasial yang canggih, mengurangi hambatan untuk jenis kasus penggunaan ini. Untuk informasi lebih lanjut, lihat Pratinjau: Gunakan Amazon SageMaker untuk Membangun, Melatih, dan Menerapkan Model ML Menggunakan Data Geospasial.
Banyak lembaga, termasuk responden pertama, menggunakan penawaran ini untuk mendapatkan kesadaran situasional skala besar dan memprioritaskan upaya bantuan di wilayah geografis yang dilanda bencana alam. Seringkali lembaga ini berurusan dengan citra bencana dari ketinggian rendah dan sumber satelit, dan data ini seringkali tidak berlabel dan sulit digunakan. Model visi komputer yang canggih sering kali berperforma buruk saat melihat citra satelit kota yang dilanda badai atau kebakaran hutan. Mengingat kurangnya set data ini, bahkan model ML yang canggih sering kali tidak dapat memberikan akurasi dan presisi yang diperlukan untuk memprediksi klasifikasi bencana FEMA standar.
Kumpulan data geospasial berisi metadata yang berguna seperti koordinat lintang dan bujur, dan stempel waktu, yang dapat menyediakan konteks untuk gambar-gambar ini. Ini sangat membantu dalam meningkatkan akurasi ML geospasial untuk adegan bencana, karena gambar ini pada dasarnya berantakan dan kacau. Bangunan kurang berbentuk persegi panjang, vegetasi telah mengalami kerusakan, dan jalan lurus terputus oleh banjir atau tanah longsor. Karena pelabelan kumpulan data besar ini mahal, manual, dan memakan waktu, pengembangan model ML yang dapat mengotomatiskan pelabelan gambar dan anotasi sangat penting.
Untuk melatih model ini, kita membutuhkan subset kebenaran dasar berlabel dari Dataset Low Altitude Disaster Imagery (LADI). Kumpulan data ini terdiri dari gambar udara beranotasi manusia dan mesin yang dikumpulkan oleh Patroli Udara Sipil untuk mendukung berbagai respons bencana dari 2015-2019. Kumpulan data LADI ini berfokus pada musim badai Atlantik dan negara bagian pesisir di sepanjang Samudra Atlantik dan Teluk Meksiko. Dua perbedaan utama adalah ketinggian rendah, perspektif miring dari citra dan fitur terkait bencana, yang jarang ditampilkan dalam tolok ukur dan kumpulan data visi komputer. Tim menggunakan kategori FEMA yang ada untuk kerusakan seperti banjir, puing-puing, api dan asap, atau tanah longsor, yang menstandarkan kategori label. Solusinya kemudian dapat membuat prediksi pada data pelatihan lainnya, dan merutekan hasil dengan tingkat kepercayaan yang lebih rendah untuk ditinjau oleh manusia.
Dalam postingan ini, kami menjelaskan desain dan implementasi solusi, praktik terbaik, dan komponen utama arsitektur sistem kami.
Ikhtisar solusi
Singkatnya, solusinya melibatkan pembangunan tiga jaringan pipa:
- Pipa data โ Ekstrak metadata gambar
- Pipa pembelajaran mesin โ Mengklasifikasikan dan memberi label pada gambar
- Pipa ulasan manusia-dalam-putaran โ Menggunakan tim manusia untuk meninjau hasil
Diagram berikut menggambarkan arsitektur solusi.
Mengingat sifat sistem pelabelan seperti ini, kami merancang arsitektur yang dapat diskalakan secara horizontal yang akan menangani lonjakan penyerapan tanpa penyediaan berlebih dengan menggunakan arsitektur tanpa server. Kami menggunakan pola satu-ke-banyak dari Layanan Antrian Sederhana Amazon (Amazon SQS) ke AWS Lambda di beberapa tempat untuk mendukung lonjakan penyerapan ini, menawarkan ketahanan.
Menggunakan antrean SQS untuk diproses Layanan Penyimpanan Sederhana Amazon Peristiwa (Amazon S3) membantu kami mengontrol konkurensi pemrosesan hilir (fungsi Lambda, dalam hal ini) dan menangani lonjakan data yang masuk. Mengantri pesan masuk juga bertindak sebagai penyimpanan buffer jika terjadi kegagalan di hilir.
Mengingat kebutuhan yang sangat paralel, kami memilih Lambda untuk memproses gambar kami. Lambda adalah layanan komputasi tanpa server yang memungkinkan kita menjalankan kode tanpa menyediakan atau mengelola server, membuat logika penskalaan klaster yang sadar beban kerja, memelihara integrasi acara, dan mengelola runtime.
Kami menggunakan Layanan Pencarian Terbuka Amazon sebagai pusat penyimpanan data kami untuk memanfaatkan pencariannya yang sangat skalabel, cepat, dan alat visualisasi terintegrasi, Dasbor OpenSearch. Ini memungkinkan kita untuk menambahkan konteks ke gambar secara iteratif, tanpa harus mengkompilasi ulang atau mengubah skala, dan menangani evolusi skema.
Rekognisi Amazon memudahkan untuk menambahkan analisis gambar dan video ke dalam aplikasi kami, menggunakan teknologi pembelajaran mendalam yang telah terbukti, sangat dapat diskalakan. Dengan Amazon Rekognition, kami mendapatkan garis dasar yang baik dari objek yang terdeteksi.
Di bagian berikut, kami menyelami setiap pipa secara lebih mendetail.
Pipa data
Diagram berikut menunjukkan alur kerja pipa data.
Pipeline data LADI dimulai dengan penyerapan gambar data mentah dari Protokol Peringatan Umum FEMA (CAP) ke dalam ember S3. Saat kami menyerap gambar ke dalam keranjang data mentah, gambar tersebut diproses hampir secara waktu nyata dalam dua langkah:
- Bucket S3 memicu notifikasi peristiwa untuk semua pembuatan objek, membuat pesan dalam antrean SQS untuk setiap gambar yang diserap.
- Antrean SQS secara bersamaan memanggil fungsi Lambda preprocessing pada gambar.
Fungsi Lambda melakukan langkah-langkah prapemrosesan berikut:
- Hitung UUID untuk setiap gambar, berikan pengidentifikasi unik untuk setiap gambar. ID ini akan mengidentifikasi gambar untuk seluruh siklus hidupnya.
- Ekstrak metadata seperti koordinat GPS, ukuran gambar, informasi GIS, dan lokasi S3 dari gambar dan pertahankan ke OpenSearch.
- Berdasarkan pencarian terhadap kode FIPS, fungsi tersebut memindahkan gambar ke dalam bucket data S3 yang dikurasi. Kami mempartisi data menurut FIPS-State-code/FIPS-County-code/Year/Month gambar.
Pipa pembelajaran mesin
Pipeline ML dimulai dari gambar yang mendarat di bucket data S3 yang dikurasi pada langkah pipeline data, yang memicu langkah-langkah berikut:
- Amazon S3 menghasilkan pesan ke antrean SQS lain untuk setiap objek yang dibuat di bucket data S3 yang dikurasi.
- Antrean SQS secara bersamaan memicu fungsi Lambda untuk menjalankan tugas inferensi ML pada gambar.
Fungsi Lambda melakukan tindakan berikut:
- Kirim setiap gambar ke Amazon Rekognition untuk deteksi objek, simpan label yang dikembalikan dan skor kepercayaan masing-masing.
- Susun keluaran Amazon Rekognition ke dalam parameter masukan untuk Amazon SageMaker titik akhir multi-model. Titik akhir ini menjadi tuan rumah ansambel pengklasifikasi kami, yang dilatih untuk kumpulan label kerusakan tertentu.
- Teruskan hasil titik akhir SageMaker ke Amazon Augmented AI (Amazon A2I).
Diagram berikut mengilustrasikan alur kerja pipeline.
Pipa ulasan manusia-dalam-putaran
Diagram berikut menggambarkan pipa human-in-the-loop (HIL).
Dengan Amazon A2I, kami dapat mengonfigurasi ambang batas yang akan memicu peninjauan manusia oleh tim pribadi saat model menghasilkan prediksi dengan keyakinan rendah. Kami juga dapat menggunakan Amazon A2I untuk menyediakan audit berkelanjutan atas prediksi model kami. Langkah-langkah alur kerja adalah sebagai berikut:
- Amazon A2I merutekan prediksi dengan keyakinan tinggi ke Layanan OpenSearch, memperbarui data label gambar.
- Amazon A2I merutekan prediksi dengan keyakinan rendah ke tim pribadi untuk menganotasi gambar secara manual.
- Peninjau manusia menyelesaikan anotasi, menghasilkan file output anotasi manusia yang disimpan dalam bucket HIL Output S3.
- Bucket HIL Output S3 memicu fungsi Lambda yang mengurai output anotasi manusia dan memperbarui data gambar di Layanan OpenSearch.
Dengan merutekan hasil anotasi manusia kembali ke penyimpanan data, kita dapat melatih ulang model ansambel dan meningkatkan akurasi model secara iteratif.
Dengan hasil berkualitas tinggi kami yang sekarang disimpan di Layanan OpenSearch, kami dapat melakukan pencarian geospasial dan temporal melalui REST API, menggunakan Gerbang API Amazon dan Geoserver. Dasbor OpenSearch juga memungkinkan pengguna untuk mencari dan menjalankan analitik dengan kumpulan data ini.
Hasil
Kode berikut menunjukkan contoh hasil kami.
Dengan pipeline baru ini, kami membuat backstop manusia untuk model yang belum sepenuhnya berperforma baik. Pipeline ML baru ini telah diproduksi untuk digunakan dengan a Layanan mikro Filter Gambar Patroli Udara Sipil yang memungkinkan pemfilteran gambar Patroli Udara Sipil di Puerto Rico. Ini memungkinkan responden pertama untuk melihat tingkat kerusakan dan melihat gambar yang terkait dengan kerusakan tersebut setelah badai. Lab Data AWS, Program Data Terbuka AWS, tim Tanggap Bencana Amazon, dan tim human-in-the-loop AWS bekerja dengan pelanggan untuk mengembangkan jalur pipa sumber terbuka yang dapat digunakan untuk menganalisis data Patroli Udara Sipil yang disimpan dalam Data Terbuka Registri program sesuai permintaan setelah bencana alam apa pun. Untuk informasi selengkapnya tentang arsitektur pipeline dan ikhtisar tentang kolaborasi dan dampaknya, lihat videonya Berfokus pada tanggap bencana dengan Amazon Augmented AI, AWS Open Data Program, dan AWS Snowball.
Kesimpulan
Karena perubahan iklim terus meningkatkan frekuensi dan intensitas badai dan kebakaran hutan, kami terus melihat pentingnya penggunaan ML untuk memahami dampak peristiwa ini terhadap komunitas lokal. Alat baru ini dapat mempercepat upaya tanggap bencana dan memungkinkan kami menggunakan data dari analisis pasca-peristiwa ini untuk meningkatkan akurasi prediksi model ini dengan pembelajaran aktif. Model ML baru ini dapat mengotomatiskan anotasi data, yang memungkinkan kami menyimpulkan tingkat kerusakan dari setiap peristiwa ini saat kami menghamparkan label kerusakan dengan data peta. Data kumulatif tersebut juga dapat membantu meningkatkan kemampuan kami untuk memprediksi kerusakan akibat bencana di masa depan, yang dapat menginformasikan strategi mitigasi. Hal ini pada gilirannya dapat meningkatkan ketahanan masyarakat, ekonomi, dan ekosistem dengan memberikan informasi yang dibutuhkan para pembuat keputusan untuk mengembangkan kebijakan berbasis data untuk mengatasi ancaman lingkungan yang muncul ini.
Dalam posting blog ini kita membahas penggunaan computer vision pada citra satelit. Solusi ini dimaksudkan sebagai arsitektur referensi atau panduan memulai cepat yang dapat Anda sesuaikan untuk kebutuhan Anda sendiri.
Berputarlah dan beri tahu kami bagaimana ini menyelesaikan kasus penggunaan Anda dengan meninggalkan umpan balik di bagian komentar. Untuk informasi lebih lanjut, lihat Kemampuan geospasial Amazon SageMaker.
Tentang Penulis
Vamshi Krishna Enabothala adalah Arsitek Spesialis AI Terapan Senior di AWS. Dia bekerja dengan pelanggan dari berbagai sektor untuk mempercepat inisiatif data, analitik, dan pembelajaran mesin berdampak tinggi. Dia sangat tertarik dengan sistem rekomendasi, NLP, dan area visi komputer di AI dan ML. Di luar pekerjaan, Vamshi adalah penggemar RC, membuat peralatan RC (pesawat, mobil, dan drone), dan juga suka berkebun.
Morgan Duton adalah Manajer Program Teknis Senior dengan tim Amazon Augmented AI dan Amazon SageMaker Ground Truth. Dia bekerja dengan pelanggan perusahaan, akademisi, dan sektor publik untuk mempercepat adopsi pembelajaran mesin dan layanan ML manusia dalam lingkaran.
Sandeep Verma adalah Sr. Prototyping Architect dengan AWS. Dia senang mendalami tantangan pelanggan dan membangun prototipe bagi pelanggan untuk mempercepat inovasi. Dia memiliki latar belakang AI/ML, pendiri Pengetahuan Baru, dan secara umum sangat menyukai teknologi. Di waktu luangnya, dia suka bepergian dan bermain ski bersama keluarganya.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- kemampuan
- Sanggup
- Tentang Kami
- akademik
- mempercepat
- ketepatan
- tindakan
- aktif
- tindakan
- alamat
- Adopsi
- uang muka
- Keuntungan
- terhadap
- lembaga
- AI
- AI / ML
- UDARA
- Semua
- memungkinkan
- Amazon
- Amazon Augmented AI
- Rekognisi Amazon
- Amazon SageMaker
- Kebenaran Dasar Amazon SageMaker
- Analisis
- analisis
- analisis
- menganalisa
- dan
- Lain
- api
- aplikasi
- terapan
- AI terapan
- arsitektur
- daerah
- terkait
- Audit
- ditambah
- mengotomatisasikan
- kesadaran
- AWS
- kembali
- latar belakang
- penghalang
- hambatan
- Dasar
- karena
- Benchmark
- TERBAIK
- Praktik Terbaik
- Blog
- penyangga
- membangun
- Bangunan
- topi
- mobil
- kasus
- kasus
- kategori
- pusat
- tantangan
- menantang
- perubahan
- memeriksa
- memilih
- Kota
- Iklim
- Perubahan iklim
- Kelompok
- kode
- kolaborasi
- komentar
- Umum
- Masyarakat
- Selesaikan
- komponen
- menghitung
- komputer
- Visi Komputer
- kepercayaan
- mengandung
- konteks
- terus
- terus
- kontrol
- membuat
- dibuat
- membuat
- kreasi
- kritis
- dikuratori
- pelanggan
- pelanggan
- menyesuaikan
- dasbor
- data
- Data-driven
- kumpulan data
- berurusan
- pengambil keputusan
- mendalam
- belajar mendalam
- menyampaikan
- Permintaan
- menyebarkan
- menggambarkan
- Mendesain
- dirancang
- rinci
- terdeteksi
- Deteksi
- mengembangkan
- Pengembangan
- berbeda
- sulit
- bencana
- Bencana
- dibahas
- Drone
- setiap
- ekonomi
- Ekosistem
- upaya
- muncul
- diaktifkan
- memungkinkan
- Titik akhir
- Enterprise
- penggemar
- Seluruh
- lingkungan
- peralatan
- terutama
- Bahkan
- Acara
- peristiwa
- evolusi
- contoh
- ada
- mahal
- Ekstrak
- keluarga
- FAST
- fitur
- Fitur
- umpan balik
- File
- menyaring
- penyaringan
- Kebakaran
- Pertama
- Fokus
- berikut
- berikut
- pendiri
- Gratis
- Frekuensi
- dari
- sepenuhnya
- fungsi
- fungsi
- masa depan
- Mendapatkan
- umumnya
- menghasilkan
- menghasilkan
- geografis
- ML geospasial
- mendapatkan
- diberikan
- Pemberian
- Aksi
- baik
- Pemerintah
- gps
- Tanah
- membimbing
- menangani
- memiliki
- membantu
- bermanfaat
- membantu
- High
- berkualitas tinggi
- sangat
- Memukul
- host
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTML
- HTTPS
- manusia
- badai
- ID
- identifier
- mengenali
- gambar
- gambar
- Dampak
- implementasi
- pentingnya
- memperbaiki
- meningkatkan
- in
- Termasuk
- masuk
- Meningkatkan
- informasi
- inisiatif
- Innovation
- memasukkan
- terpadu
- integrasi
- terganggu
- memanggil
- terlibat
- IT
- Pekerjaan
- kunci
- Tahu
- pengetahuan
- laboratorium
- label
- pelabelan
- Label
- Kekurangan
- pendaratan
- besar-besaran
- pengetahuan
- meninggalkan
- Lets
- siklus hidup
- lokal
- tempat
- mencari
- lookup
- Rendah
- mesin
- Mesin belajar
- mempertahankan
- membuat
- MEMBUAT
- manajer
- pelaksana
- panduan
- manual
- peta
- Peta
- besar-besaran
- pesan
- pesan
- Metadata
- Mexico
- mitigasi
- ML
- model
- model
- lebih
- bergerak
- Titik Akhir Multi-Model
- beberapa
- Alam
- Alam
- Perlu
- kebutuhan
- New
- nLP
- pemberitahuan
- obyek
- Deteksi Objek
- objek
- samudra
- Penawaran
- terus-menerus
- Buka
- Data terbuka
- open source
- di luar
- ikhtisar
- sendiri
- Paralel
- parameter
- bergairah
- pola
- Melakukan
- perspektif
- pipa saluran
- planet
- plato
- Kecerdasan Data Plato
- Data Plato
- Pos
- praktek
- Ketelitian
- meramalkan
- ramalan
- Prediksi
- Prioritaskan
- swasta
- Masalah
- proses
- Diproses
- pengolahan
- Produksi
- program
- protokol
- prototipe
- prototyping
- terbukti
- memberikan
- menyediakan
- publik
- Pelabuhan
- Puerto Rico
- menempatkan
- Cepat
- Mentah
- baru
- baru-baru ini
- Rekomendasi
- mengurangi
- pendaftaran
- dirilis
- bantuan
- wajib
- peneliti
- ketahanan
- itu
- tanggapan
- ISTIRAHAT
- Hasil
- ulasan
- RICO
- Rute
- rute
- Run
- pembuat bijak
- satelit
- terukur
- skala
- adegan
- Pencarian
- musim
- Bagian
- bagian
- sektor
- Sektor
- senior
- Tanpa Server
- Server
- layanan
- Layanan
- set
- Pertunjukkan
- Sederhana
- Ukuran
- Merokok
- Potret
- larutan
- sumber
- spesialis
- tertentu
- sepatu berduri
- standar
- awal
- dimulai
- state-of-the-art
- Negara
- Langkah
- Tangga
- penyimpanan
- menyimpan
- tersimpan
- badai
- strategi
- seperti itu
- mendukung
- sistem
- sistem
- Mengambil
- tim
- tim
- tech
- Teknis
- Teknologi
- Grafik
- informasi
- ancaman
- tiga
- waktu
- membuang-buang waktu
- untuk
- alat
- alat
- Pelatihan VE
- terlatih
- Pelatihan
- Perjalanan
- memicu
- MENGHIDUPKAN
- jenis
- memahami
- unik
- Pembaruan
- memperbarui
- us
- menggunakan
- gunakan case
- Pengguna
- berbagai
- melalui
- Video
- View
- penglihatan
- visualisasi
- yang
- akan
- tanpa
- Kerja
- bekerja
- bekerja
- akan
- tahun
- hasil panen
- Kamu
- Anda
- Youtube
- zephyrnet.dll