Penilaian kerusakan menggunakan kemampuan geospasial Amazon SageMaker dan model SageMaker kustom

Dalam postingan ini, kami menunjukkan cara melatih, menerapkan, dan memprediksi kerusakan akibat bencana alam Amazon SageMaker dengan kemampuan geospasial. Kami menggunakan kemampuan geospasial SageMaker baru untuk menghasilkan data inferensi baru guna menguji model. Banyak organisasi pemerintah dan kemanusiaan membutuhkan kesadaran situasional yang cepat dan akurat ketika terjadi bencana. Mengetahui tingkat keparahan, penyebab, dan lokasi kerusakan dapat membantu strategi respons dan pengambilan keputusan responden pertama. Kurangnya informasi yang akurat dan tepat waktu dapat berkontribusi pada upaya bantuan yang tidak lengkap atau salah arah.

Seiring meningkatnya frekuensi dan tingkat keparahan bencana alam, penting bagi kami untuk membekali para pembuat keputusan dan penanggap pertama dengan penilaian kerusakan yang cepat dan akurat. Dalam contoh ini, kami menggunakan citra geospasial untuk memprediksi kerusakan akibat bencana alam. Data geospasial dapat digunakan segera setelah bencana alam untuk mengidentifikasi dengan cepat kerusakan bangunan, jalan, atau infrastruktur penting lainnya. Dalam postingan ini, kami menunjukkan kepada Anda cara melatih dan menggunakan model segmentasi geospasial yang akan digunakan untuk klasifikasi kerusakan akibat bencana. Kami memecah aplikasi menjadi tiga topik: pelatihan model, penerapan model, dan inferensi.

Pelatihan model

Dalam kasus penggunaan ini, kami membuat model PyTorch khusus menggunakan Amazon SageMaker untuk segmentasi citra kerusakan bangunan. Kemampuan geospasial di SageMaker menyertakan model terlatih untuk Anda manfaatkan. Model bawaan ini mencakup segmentasi dan penghapusan awan, dan segmentasi tutupan lahan. Untuk posting ini, kami melatih model khusus untuk segmentasi kerusakan. Kami pertama kali melatih model SegFormer pada data dari kompetisi xView2. SegFormer adalah arsitektur berbasis transformator yang diperkenalkan pada makalah tahun 2021 SegFormer: Desain Sederhana dan Efisien untuk Segmentasi Semantik dengan Transformer. Ini didasarkan pada arsitektur transformator yang cukup populer dengan beban kerja pemrosesan bahasa alami; namun, arsitektur SegFormer dibuat untuk segmentasi semantik. Ini menggabungkan encoder berbasis transformator dan decoder ringan. Hal ini memungkinkan kinerja yang lebih baik daripada metode sebelumnya, sekaligus memberikan ukuran model yang jauh lebih kecil daripada metode sebelumnya. Model SegFormer pra-terlatih dan tidak terlatih tersedia dari perpustakaan transformator Hugging Face yang populer. Untuk kasus penggunaan ini, kami mengunduh arsitektur SegFormer yang telah dilatih sebelumnya dan melatihnya pada kumpulan data baru.

Dataset yang digunakan dalam contoh ini berasal dari kompetisi ilmu data xView2. Kompetisi ini merilis kumpulan data xBD, salah satu kumpulan data citra satelit beresolusi tinggi terbesar dan berkualitas tinggi yang tersedia untuk umum yang dianotasi dengan lokasi bangunan dan skor (kelas) kerusakan sebelum dan sesudah bencana alam. Kumpulan data berisi data dari 15 negara termasuk 6 jenis bencana (gempa bumi/tsunami, banjir, letusan gunung berapi, kebakaran hutan, angin) dengan data geospasial yang berisi 850,736 anotasi bangunan di 45,362 km^2 citra. Gambar berikut menunjukkan contoh dataset. Gambar ini menunjukkan gambar pascabencana dengan overlay topeng segmentasi kerusakan bangunan. Setiap citra meliputi: citra satelit prabencana, mask segmentasi bangunan prabencana, citra satelit pascabencana, dan mask segmentasi bangunan pascabencana dengan kelas kerusakan.

Dalam contoh ini, kami hanya menggunakan citra sebelum dan sesudah bencana untuk memprediksi klasifikasi kerusakan pascabencana (masker segmentasi). Kami tidak menggunakan topeng segmentasi bangunan prabencana. Pendekatan ini dipilih untuk kesederhanaan. Ada opsi lain untuk mendekati kumpulan data ini. Sejumlah pendekatan pemenang untuk kompetisi xView2 menggunakan solusi dua langkah: pertama, prediksi topeng segmentasi garis besar bangunan sebelum bencana. Garis besar bangunan dan gambar pasca kerusakan kemudian digunakan sebagai masukan untuk memprediksi klasifikasi kerusakan. Kami menyerahkan ini kepada pembaca untuk mengeksplorasi pendekatan pemodelan lain untuk meningkatkan kinerja klasifikasi dan deteksi.

Arsitektur SegFormer yang telah dilatih sebelumnya dibuat untuk menerima gambar saluran tiga warna tunggal sebagai input dan menampilkan masker segmentasi. Ada sejumlah cara kami dapat memodifikasi model untuk menerima citra sebelum dan sesudah satelit sebagai masukan, namun, kami menggunakan teknik susun sederhana untuk menyusun kedua citra menjadi citra saluran enam warna. Kami melatih model menggunakan teknik augmentasi standar pada kumpulan data pelatihan xView2 untuk memprediksi topeng segmentasi pascabencana. Perhatikan bahwa kami mengubah ukuran semua gambar input dari 1024 menjadi 512 piksel. Ini untuk lebih mengurangi resolusi spasial dari data pelatihan. Model ini dilatih dengan SageMaker menggunakan satu instans berbasis GPU p3.2xlarge. Contoh output model yang dilatih ditunjukkan pada gambar berikut. Set gambar pertama adalah gambar sebelum dan sesudah kerusakan dari set validasi.

Angka-angka berikut menunjukkan topeng kerusakan yang diprediksi dan topeng kerusakan kebenaran tanah.

Sekilas, sepertinya model tidak bekerja dengan baik dibandingkan dengan data kebenaran dasar. Banyak bangunan yang salah diklasifikasikan, membingungkan kerusakan kecil tanpa kerusakan dan menunjukkan banyak klasifikasi untuk garis besar bangunan tunggal. Namun, satu temuan menarik saat meninjau kinerja model adalah bahwa model tersebut tampaknya telah belajar untuk melokalkan klasifikasi kerusakan bangunan. Setiap bangunan dapat diklasifikasikan menjadi No Damage, Minor Damage, Major Damage, atau Destroyed. Topeng kerusakan yang diprediksi menunjukkan bahwa model telah mengklasifikasikan bangunan besar di tengah menjadi sebagian besar No Damage, tetapi sudut kanan atas diklasifikasikan sebagai Destroyed. Lokalisasi kerusakan sub-bangunan ini selanjutnya dapat membantu responden dengan menunjukkan kerusakan lokal per bangunan.

Penerapan model

Model yang dilatih kemudian diterapkan ke titik akhir inferensi SageMaker asinkron. Perhatikan bahwa kami memilih titik akhir asinkron untuk memungkinkan waktu inferensi yang lebih lama, ukuran input payload yang lebih besar, dan kemampuan untuk menskalakan titik akhir hingga nol instans (tanpa biaya) saat tidak digunakan. Gambar berikut menampilkan kode tingkat tinggi untuk penerapan titik akhir asinkron. Kami pertama-tama mengompres kamus status PyTorch yang disimpan dan mengunggah artefak model terkompresi ke Layanan Penyimpanan Sederhana Amazon (Amazon S3). Kami membuat model PyTorch SageMaker yang menunjuk ke kode inferensi dan artefak model kami. Kode inferensi diperlukan untuk memuat dan menayangkan model kita. Untuk detail selengkapnya tentang kode inferensi khusus yang diperlukan untuk model PyTorch SageMaker, lihat Gunakan PyTorch dengan SageMaker Python SDK.

Gambar berikut menampilkan kode kebijakan penskalaan otomatis untuk titik akhir inferensi asinkron.

Perhatikan bahwa ada opsi titik akhir lainnya, seperti waktu nyata, batch, dan tanpa server, yang dapat digunakan untuk aplikasi Anda. Anda ingin memilih opsi yang paling cocok untuk kasus penggunaan dan mengingatnya Rekomendasi Inferensi Amazon SageMaker tersedia untuk membantu merekomendasikan konfigurasi titik akhir machine learning (ML).

Inferensi model

Dengan model terlatih yang diterapkan, sekarang kita dapat menggunakannya Kemampuan geospasial SageMaker untuk mengumpulkan data untuk inferensi. Dengan kemampuan geospasial SageMaker, beberapa model bawaan tersedia langsung. Dalam contoh ini, kami menggunakan operasi penumpukan pita untuk menumpuk saluran warna merah, hijau, dan biru untuk pekerjaan observasi bumi kami. Tugas tersebut mengumpulkan data dari kumpulan data Sentinel-2. Untuk mengonfigurasi pekerjaan observasi bumi, pertama-tama kita memerlukan koordinat lokasi yang diinginkan. Kedua, kita membutuhkan rentang waktu pengamatan. Dengan ini kita sekarang dapat mengirimkan pekerjaan observasi bumi menggunakan fitur susun. Di sini kita menumpuk pita merah, hijau, dan biru untuk menghasilkan gambar berwarna. Gambar berikut menunjukkan konfigurasi pekerjaan yang digunakan untuk menghasilkan data dari banjir di Rochester, Australia, pada pertengahan Oktober 2022. Kami menggunakan gambar sebelum dan sesudah bencana sebagai masukan untuk model ML terlatih kami.

Setelah konfigurasi pekerjaan ditentukan, kami dapat mengirimkan pekerjaan. Saat pekerjaan selesai, kami mengekspor hasilnya ke Amazon S3. Perhatikan bahwa kami hanya dapat mengekspor hasilnya setelah pekerjaan selesai. Hasil pekerjaan dapat diekspor ke lokasi Amazon S3 yang ditentukan oleh pengguna dalam konfigurasi pekerjaan ekspor. Sekarang dengan data baru kami di Amazon S3, kami bisa mendapatkan prediksi kerusakan menggunakan model yang diterapkan. Kami pertama-tama membaca data ke dalam memori dan menumpuk citra sebelum dan sesudah bencana bersama-sama.

Hasil segmentasi mask banjir Rochester ditunjukkan pada gambar berikut. Di sini kita dapat melihat bahwa model telah mengidentifikasi lokasi di dalam wilayah banjir yang kemungkinan besar rusak. Perhatikan juga bahwa resolusi spasial dari gambar inferensi berbeda dengan data pelatihan. Meningkatkan resolusi spasial dapat membantu kinerja model; namun, ini bukan masalah untuk model SegFormer seperti halnya untuk model lain karena arsitektur model multiskala.

Penilaian Kerusakan

Kesimpulan

Dalam postingan ini, kami menunjukkan cara melatih, menerapkan, dan memprediksi kerusakan akibat bencana alam SageMaker dengan kemampuan geospasial. Kami menggunakan kemampuan geospasial SageMaker baru untuk menghasilkan data inferensi baru guna menguji model. Kode untuk postingan ini sedang dalam proses dirilis, dan postingan ini akan diperbarui dengan tautan ke kode pelatihan, penerapan, dan inferensi lengkap. Aplikasi ini memungkinkan responden pertama, pemerintah, dan organisasi kemanusiaan untuk mengoptimalkan respons mereka, memberikan kesadaran situasional kritis segera setelah bencana alam. Aplikasi ini hanyalah salah satu contoh dari apa yang dimungkinkan dengan alat ML modern seperti SageMaker.

Coba kemampuan geospasial SageMaker hari ini menggunakan model Anda sendiri; kami berharap dapat melihat apa yang Anda buat selanjutnya.

Tentang Penulis

Aaron Sengstacken adalah arsitek solusi spesialis pembelajaran mesin di Amazon Web Services. Aaron bekerja sama dengan pelanggan sektor publik dari semua ukuran untuk mengembangkan dan menerapkan aplikasi pembelajaran mesin produksi. Dia tertarik pada semua hal pembelajaran mesin, teknologi, dan eksplorasi ruang angkasa.