Identifikasi lokasi anomali menggunakan Amazon Lookout for Vision di edge tanpa menggunakan GPU

Deteksi cacat otomatis menggunakan visi komputer membantu meningkatkan kualitas dan menurunkan biaya pemeriksaan. Deteksi cacat melibatkan mengidentifikasi keberadaan cacat, mengklasifikasikan jenis cacat, dan mengidentifikasi di mana cacat berada. Banyak proses manufaktur memerlukan deteksi pada latensi rendah, dengan sumber daya komputasi terbatas, dan dengan konektivitas terbatas.

Amazon Lookout untuk Visi adalah layanan pembelajaran mesin (ML) yang membantu menemukan cacat produk menggunakan visi komputer untuk mengotomatiskan proses pemeriksaan kualitas di lini produksi Anda, tanpa memerlukan keahlian ML. Lookout for Vision kini menyertakan kemampuan untuk menyediakan lokasi dan jenis anomali menggunakan model ML segmentasi semantik. Model ML yang disesuaikan ini dapat diterapkan ke AWS Cloud menggunakan API awan atau ke perangkat keras tepi khusus menggunakan Rumput Hijau AWS IoT. Lookout for Vision sekarang mendukung inferensi pada platform komputasi x86 yang menjalankan Linux dengan atau tanpa akselerator GPU NVIDIA dan pada perangkat edge berbasis NVIDIA Jetson. Fleksibilitas ini memungkinkan deteksi cacat pada perangkat keras yang ada atau baru.

Dalam posting ini, kami menunjukkan cara mendeteksi suku cadang yang rusak menggunakan model Lookout for Vision ML yang berjalan pada alat edge, yang kami simulasikan menggunakan Cloud komputasi elastis Amazon (Amazon EC2) contoh. Kami berjalan melalui pelatihan model segmentasi semantik baru, mengekspornya sebagai komponen AWS IoT Greengrass, dan menjalankan inferensi dalam mode khusus CPU dengan kode contoh Python.

Ikhtisar solusi

Dalam posting ini, kami menggunakan satu set gambar mainan alien terdiri dari gambar normal dan cacat seperti anggota badan yang hilang, mata, atau bagian lain. Kami melatih model Lookout for Vision di cloud untuk mengidentifikasi mainan alien yang rusak. Kami mengompilasi model ke CPU X86 target, mengemas model Lookout for Vision yang terlatih sebagai komponen AWS IoT Greengrass, dan menerapkan model ke instans EC2 tanpa GPU menggunakan konsol AWS IoT Greengrass. Terakhir, kami mendemonstrasikan aplikasi sampel berbasis Python yang berjalan pada instans EC2 (C5a.2xl) yang mengambil gambar alien mainan dari sistem file perangkat edge, menjalankan inferensi pada model Lookout for Vision menggunakan gRPC antarmuka, dan mengirimkan data inferensi ke MQTT topik di AWS Cloud. Script menampilkan gambar yang mencakup warna dan lokasi cacat pada gambar anomali.

Diagram berikut menggambarkan arsitektur solusi. Penting untuk dicatat untuk setiap jenis cacat yang ingin Anda deteksi di pelokalan, Anda harus memiliki 10 gambar anomali yang ditandai dalam pelatihan dan 10 dalam data pengujian, dengan total 20 gambar dari jenis tersebut. Untuk postingan kali ini, kami mencari anggota tubuh yang hilang pada mainan tersebut.

Solusinya memiliki alur kerja berikut:

1. Unggah set data pelatihan dan set data pengujian ke Layanan Penyimpanan Sederhana Amazon (Amazon S3).
2. Gunakan Lookout for Vision UI baru untuk menambahkan jenis anomali dan menandai lokasi anomali tersebut dalam gambar pelatihan dan pengujian.
3. Latih model Lookout for Vision di cloud.
4. Kompilasi model ke arsitektur target (X86) dan terapkan model ke instans EC2 (C5a.2xl) menggunakan konsol AWS IoT Greengrass.
5. Sumber gambar dari disk lokal.
6. Jalankan inferensi pada model yang diterapkan melalui antarmuka gRPC dan ambil gambar topeng anomali yang dihamparkan pada gambar asli.
7. Posting hasil inferensi ke klien MQTT yang berjalan di instance edge.
8. Terima pesan MQTT tentang topik di Inti AWS IoT di AWS Cloud untuk pemantauan dan visualisasi lebih lanjut.

Langkah 5, 6, dan 7 dikoordinasikan dengan contoh aplikasi Python.

Prasyarat

Sebelum Anda memulai, selesaikan prasyarat berikut. Untuk postingan ini, kami menggunakan instans EC2 c5.2xl dan menginstal AWS IoT Greengrass V2 untuk mencoba fitur baru. Jika Anda ingin menjalankan di NVIDIA Jetson, ikuti langkah-langkah di posting kami sebelumnya, Amazon Lookout for Vision kini mendukung inspeksi visual terhadap cacat produk di bagian edge.

1. Buat akun AWS.
2. Mulai instans EC2 tempat kami dapat menginstal AWS IoT Greengrass dan menggunakan mode inferensi khusus CPU yang baru. Anda juga dapat menggunakan mesin Intel X86 64 bit dengan ram 8 gigabita atau lebih (kami menggunakan c5a.2xl, tetapi apa pun dengan lebih besar dari 8 gigabyte pada platform x86 harus bekerja) menjalankan Ubuntu 20.04.
3. Instal AWS IoT Greengrass V2:

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. Instal sistem yang diperlukan dan dependensi Python 3 (Ubuntu 20.04):

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

Unggah kumpulan data dan latih modelnya

Kami menggunakan kumpulan data alien mainan untuk mendemonstrasikan solusinya. Dataset berisi gambar normal dan anomali. Berikut adalah beberapa contoh gambar dari dataset.

Gambar berikut menunjukkan alien mainan normal.

Gambar berikut menunjukkan mainan alien kehilangan kakinya.

Gambar berikut menunjukkan mainan alien kehilangan kepala.

Dalam posting ini, kami mencari anggota badan yang hilang. Kami menggunakan antarmuka pengguna baru untuk menggambar topeng di sekitar cacat dalam data pelatihan dan pengujian kami. Ini akan memberi tahu model segmentasi semantik bagaimana mengidentifikasi jenis cacat ini.

1. Mulailah dengan mengunggah kumpulan data Anda, baik melalui Amazon S3 atau dari komputer Anda.
2. Urutkan ke dalam folder berjudul normal dan anomaly.
3. Saat membuat kumpulan data Anda, pilih Secara otomatis melampirkan label ke gambar berdasarkan nama folder.Ini memungkinkan kita untuk memilah gambar anomali nanti dan menggambar di area yang akan diberi label cacat.
   
4. Cobalah untuk menahan beberapa gambar untuk menguji keduanya nanti normal dan anomaly.
5. Setelah semua gambar ditambahkan ke dataset, pilih Tambahkan label anomali.
6. Mulailah melabeli data dengan memilih Mulai pelabelan.
7. Untuk mempercepat proses, Anda dapat memilih beberapa gambar dan mengklasifikasikannya sebagai Normal or Anomaly.
   
   Jika Anda ingin menyorot anomali selain mengklasifikasikannya, Anda perlu menyorot di mana anomali itu berada.
8. Pilih gambar yang ingin Anda beri anotasi.
9. Gunakan alat gambar untuk menunjukkan area di mana bagian subjek hilang, atau gambar topeng di atas cacat.
10. Pilih Kirim dan tutup untuk menjaga perubahan ini.
    
11. Ulangi proses ini untuk semua gambar Anda.
12. Setelah selesai, pilih Save untuk mempertahankan perubahan Anda. Sekarang Anda siap untuk melatih model Anda.
    
13. Pilih Model kereta.

Setelah Anda menyelesaikan langkah-langkah ini, Anda dapat menavigasi ke proyek dan Model halaman untuk memeriksa kinerja model yang dilatih. Anda dapat memulai proses mengekspor model ke perangkat edge target kapan saja setelah model dilatih.

Latih kembali model dengan gambar yang dikoreksi

Terkadang penandaan anomali mungkin tidak sepenuhnya benar. Anda memiliki kesempatan untuk membantu model Anda mempelajari anomali Anda dengan lebih baik. Misalnya, gambar berikut diidentifikasi sebagai anomali, tetapi tidak menunjukkan: missing_limbs menandai.

Mari kita buka editor dan perbaiki ini.

Telusuri setiap gambar yang Anda temukan seperti ini. Jika Anda menemukan itu salah ditandai sebagai anomali, Anda dapat menggunakan alat penghapus untuk menghapus tag yang salah.

Anda sekarang dapat melatih model Anda lagi dan mencapai akurasi yang lebih baik.

Kompilasi dan kemas model sebagai komponen AWS IoT Greengrass

Di bagian ini, kami menelusuri langkah-langkah untuk mengompilasi model alien mainan ke perangkat edge target kami dan mengemas model sebagai komponen AWS IoT Greengrass.

1. Di konsol Lookout for Vision, pilih proyek Anda.
2. Di panel navigasi, pilih Paket model tepi.
3. Pilih Buat pekerjaan pengemasan model.
4. Untuk Nama Pekerjaan, masukkan nama.
5. Untuk Uraian Tugas, masukkan deskripsi opsional.
6. Pilih Telusuri model.
7. Pilih versi model (model mainan alien yang dibuat di bagian sebelumnya).
8. Pilih Pilih.
   
9. Jika Anda menjalankan ini di Amazon EC2 atau perangkat X86-64, pilih Platform sasaran Dan pilihlah Linux, X86, dan CPU.
   Jika menggunakan CPU, Anda dapat mengosongkan opsi kompiler jika Anda tidak yakin dan tidak memiliki GPU NVIDIA. Jika Anda memiliki platform berbasis Intel yang mendukung AVX512, Anda dapat menambahkan opsi kompiler ini untuk mengoptimalkan kinerja yang lebih baik: {"mcpu": "skylake-avx512"}.
   Anda dapat melihat nama dan status pekerjaan Anda ditampilkan sebagai In progress. Pekerjaan pengemasan model mungkin memerlukan waktu beberapa menit untuk diselesaikan. Ketika pekerjaan pengemasan model selesai, statusnya ditampilkan sebagai Success.
10. Pilih nama pekerjaan Anda (dalam kasus kami adalah aliensblogcpux86) untuk melihat detail pekerjaan.
    
11. Pilih Buat pekerjaan pengemasan model.
    
12. Masukkan detail untuk Nama komponen, Deskripsi komponen (opsional), Versi komponen, dan Lokasi komponen.Lookout for Vision menyimpan resep komponen dan artefak di lokasi Amazon S3 ini.
13. Pilih Lanjutkan penyebaran di Greengrass untuk menyebarkan komponen ke perangkat tepi target.
    

Komponen AWS IoT Greengrass dan artefak model telah dibuat di akun AWS Anda.

Menyebarkan model

Pastikan Anda telah menginstal AWS IoT Greengrass V2 di perangkat target untuk akun Anda sebelum melanjutkan. Untuk petunjuk, lihat Instal perangkat lunak AWS IoT Greengrass Core.

Di bagian ini, kami menelusuri langkah-langkah untuk menerapkan model alien mainan ke perangkat edge menggunakan konsol AWS IoT Greengrass.

1. Di konsol AWS IoT Greengrass, navigasikan ke perangkat edge Anda.
2. Pilih Menyebarkan untuk memulai langkah-langkah penyebaran.
3. Pilih Perangkat inti (karena penyebarannya ke satu perangkat) dan masukkan nama untuk Nama target.Nama target adalah nama yang sama yang Anda gunakan untuk menamai perangkat inti selama proses penginstalan AWS IoT Greengrass V2.
4. Pilih komponen Anda. Dalam kasus kami, nama komponennya adalah aliensblogcpux86, yang berisi model mainan alien.
5. Pilih Selanjutnya.
6. Konfigurasikan komponen (opsional).
7. Pilih Selanjutnya.
8. Lihat lebih lanjut Kebijakan penerapan.
9. Untuk Kebijakan pembaruan komponen, pilih Beri tahu komponen.Ini memungkinkan komponen yang sudah diterapkan (versi komponen sebelumnya) untuk menunda pembaruan hingga Anda siap untuk memperbarui.
10. Untuk Kebijakan penanganan kegagalan, pilih Jangan mundur.Jika terjadi kegagalan, opsi ini memungkinkan kami untuk menyelidiki kesalahan dalam penerapan.
11. Pilih Selanjutnya.
12. Tinjau daftar komponen yang akan digunakan pada perangkat target (tepi).
13. Pilih Selanjutnya.Anda akan melihat pesannya Deployment successfully created.
14. Untuk memvalidasi penerapan model berhasil, jalankan perintah berikut di perangkat edge Anda:

    sudo /greengrass/v2/bin/greengrass-cli component list

Anda akan melihat output serupa menjalankan aliensblogcpux86 skrip startup siklus hidup:

Komponen yang sedang berjalan di Greengrass:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

Jalankan inferensi pada model

Note: Jika Anda menjalankan Greengrass sebagai pengguna lain selain yang Anda masuki, Anda perlu mengubah izin file /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

Kami sekarang siap untuk menjalankan inferensi pada model. Di perangkat edge Anda, jalankan perintah berikut untuk memuat model (ganti dengan nama model yang digunakan dalam komponen Anda):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

Untuk menghasilkan inferensi, jalankan perintah berikut dengan nama file sumber (ganti dengan jalur dan nama file gambar untuk diperiksa dan diganti dengan nama model yang digunakan untuk komponen Anda):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

Model dengan benar memprediksi gambar sebagai anomali (missing_limbs) dengan skor kepercayaan 0.9996867775917053. Ini memberitahu kita topeng dari tag anomali missing_limbs dan persentase luas. Responsnya juga berisi data bitmap yang dapat Anda dekode dari apa yang ditemukannya.

Unduh dan buka file blended.png, yang tampak seperti gambar berikut. Perhatikan area yang disorot dengan cacat di sekitar kaki.

Cerita pelanggan

Dengan AWS IoT Greengrass dan Lookout for Vision, Anda kini dapat mengotomatiskan inspeksi visual dengan visi komputer untuk proses seperti kontrol kualitas dan penilaian cacat—semuanya di edge dan secara real time. Anda dapat secara proaktif mengidentifikasi masalah seperti kerusakan suku cadang (seperti penyok, goresan, atau pengelasan yang buruk), komponen produk yang hilang, atau cacat dengan pola berulang pada jalur produksi itu sendiri—menghemat waktu dan uang Anda. Pelanggan seperti Tyson dan Baxter menemukan kekuatan Lookout for Vision untuk meningkatkan kualitas dan mengurangi biaya operasional dengan mengotomatiskan inspeksi visual.

“Keunggulan operasional adalah prioritas utama di Tyson Foods. Pemeliharaan prediktif adalah aset penting untuk mencapai tujuan ini dengan terus meningkatkan efektivitas peralatan secara keseluruhan (OEE). Pada tahun 2021, Tyson Foods meluncurkan proyek visi komputer berbasis pembelajaran mesin untuk mengidentifikasi operator produk yang gagal selama produksi untuk mencegahnya memengaruhi keselamatan, operasi, atau kualitas produk anggota tim. Model yang dilatih menggunakan Amazon Lookout for Vision berkinerja baik. Model deteksi pin mencapai akurasi 95% di kedua kelas. Model Amazon Lookout for Vision disetel untuk bekerja pada akurasi 99.1% untuk deteksi pin yang gagal. Sejauh ini hasil yang paling menarik dari proyek ini adalah percepatan waktu pengembangan. Meskipun proyek ini menggunakan dua model dan kode aplikasi yang lebih kompleks, dibutuhkan waktu pengembang 12% lebih sedikit untuk menyelesaikannya. Proyek untuk memantau kondisi pembawa produk di Tyson Foods ini diselesaikan dalam waktu singkat menggunakan layanan terkelola AWS seperti Amazon Lookout for Vision.”

—Audrey Timmerman, Pengembang Aplikasi Senior, Tyson Foods.

“Latensi dan kecepatan inferensi sangat penting untuk penilaian waktu nyata dan pemeriksaan kualitas penting dari proses manufaktur kami. Amazon Lookout for Vision edge pada perangkat CPU memberi kami kemampuan untuk mencapai ini pada peralatan tingkat produksi, memungkinkan kami untuk memberikan solusi visi AI yang hemat biaya dalam skala besar.”

—AK Karan, Direktur Senior Global – Transformasi Digital, Rantai Pasokan Terintegrasi, Baxter International Inc.

Membersihkan

Selesaikan langkah-langkah berikut untuk menghapus aset yang Anda buat dari akun dan menghindari penagihan berkelanjutan:

1. Di konsol Lookout for Vision, navigasikan ke proyek Anda.
2. pada tindakan menu, hapus kumpulan data Anda.
   
3. Hapus model Anda.
   
4. Di konsol Amazon S3, kosongkan bucket yang Anda buat, lalu hapus bucket.
5. Di konsol Amazon EC2, hapus instans yang Anda mulai jalankan AWS IoT Greengrass.
6. Di konsol AWS IoT Greengrass, pilih penyebaran di panel navigasi.
7. Hapus versi komponen Anda.
   
8. Di konsol AWS IoT Greengrass, hapus item, grup, dan perangkat AWS IoT.

Kesimpulan

Dalam posting ini, kami menjelaskan skenario khas untuk deteksi cacat industri di edge menggunakan lokalisasi cacat dan diterapkan ke perangkat khusus CPU. Kami membahas komponen utama siklus hidup cloud dan edge dengan contoh menyeluruh menggunakan Lookout for Vision dan AWS IoT Greengrass. Dengan Lookout for Vision, kami melatih model deteksi anomali di cloud menggunakan kumpulan data alien mainan, mengkompilasi model ke arsitektur target, dan mengemas model sebagai komponen AWS IoT Greengrass. Dengan AWS IoT Greengrass, kami menerapkan model ke perangkat edge. Kami mendemonstrasikan aplikasi sampel berbasis Python yang mengambil gambar alien mainan dari sistem file lokal perangkat edge, menjalankan inferensi pada model Lookout for Vision di edge menggunakan antarmuka gRPC, dan mengirimkan data inferensi ke topik MQTT di AWS Awan.

Dalam posting mendatang, kami akan menunjukkan cara menjalankan inferensi pada aliran gambar waktu nyata menggunakan saluran media GStreamer.

Mulailah perjalanan Anda menuju deteksi dan identifikasi anomali industri dengan mengunjungi Amazon Lookout untuk Visi dan Rumput Hijau AWS IoT halaman sumber daya.

Tentang penulis

Manish Talrejo adalah Manajer Praktik ML Industri Senior dengan Layanan Profesional AWS. Dia membantu pelanggan AWS mencapai tujuan bisnis mereka dengan merancang dan membangun solusi inovatif yang menggunakan layanan AWS ML dan IoT di AWS Cloud.

Ryan Vanderwerf adalah arsitek solusi mitra di Amazon Web Services. Dia sebelumnya memberikan konsultasi dan pengembangan proyek yang berfokus pada mesin virtual Java sebagai insinyur perangkat lunak di OCI di tim Grails dan Micronaut. Dia adalah kepala arsitek/direktur produk di ReachForce, dengan fokus pada arsitektur perangkat lunak dan sistem untuk solusi AWS Cloud SaaS untuk manajemen data pemasaran. Ryan telah membangun beberapa solusi SaaS di beberapa domain seperti perusahaan keuangan, media, telekomunikasi, dan e-learning sejak tahun 1996.

Prakash Krishnan adalah Manajer Pengembangan Perangkat Lunak Senior di Amazon Web Services. Dia memimpin tim teknik yang sedang membangun sistem terdistribusi skala besar untuk menerapkan algoritme yang cepat, efisien, dan sangat skalabel untuk masalah pengenalan gambar dan video berbasis pembelajaran mendalam.