Visi komputer menggunakan set data sintetis dengan Label Kustom Amazon Rekognition dan Sistem Dassault 3DEXCITE

Ini adalah posting yang ditulis bersama Bernard Paques, CTO Storm Reply, dan Karl Herkt, Ahli Strategi Senior di Dassault Systèmes 3DExcite.

Sementara visi komputer dapat menjadi penting untuk pemeliharaan industri, manufaktur, logistik, dan aplikasi konsumen, adopsi dibatasi oleh pembuatan manual set data pelatihan. Pembuatan gambar berlabel dalam konteks industri terutama dilakukan secara manual, yang menciptakan kemampuan pengenalan terbatas, tidak berskala, dan mengakibatkan biaya tenaga kerja dan keterlambatan realisasi nilai bisnis. Ini bertentangan dengan kelincahan bisnis yang disediakan oleh iterasi cepat dalam desain produk, rekayasa produk, dan konfigurasi produk. Proses ini tidak menskala untuk produk kompleks seperti mobil, pesawat terbang, atau bangunan modern, karena dalam skenario tersebut setiap proyek pelabelan bersifat unik (berkaitan dengan produk unik). Akibatnya, teknologi visi komputer tidak dapat dengan mudah diterapkan pada proyek unik berskala besar tanpa upaya besar dalam persiapan data, terkadang membatasi pengiriman kasus penggunaan.

Dalam posting ini, kami menyajikan pendekatan baru di mana sistem visi komputer yang sangat khusus dibuat dari desain dan file CAD. Kami mulai dengan pembuatan kembar digital yang benar secara visual dan pembuatan gambar berlabel sintetis. Kemudian kami mendorong gambar-gambar ini ke Label Kustom Amazon Rekognition untuk melatih model deteksi objek kustom. Dengan menggunakan kekayaan intelektual yang ada dengan perangkat lunak, kami membuat visi komputer terjangkau dan relevan dengan berbagai konteks industri.

Kustomisasi sistem pengenalan membantu mendorong hasil bisnis

Sistem visi komputer khusus yang dihasilkan dari kembar digital memiliki kelebihan tertentu, yang dapat diilustrasikan dalam kasus penggunaan berikut:

• Ketertelusuran untuk produk unik – Airbus, Boeing, dan pembuat pesawat lainnya menetapkan keunikan Nomor Seri Pabrikan (MSNs) untuk setiap pesawat yang mereka produksi. Ini dikelola di seluruh proses produksi, untuk menghasilkan dokumentasi kelaikan udara dan mendapatkan izin terbang. SEBUAH kembar digital (model 3D virtual yang mewakili produk fisik) dapat diturunkan dari konfigurasi setiap MSN, dan menghasilkan sistem visi komputer terdistribusi yang melacak kemajuan MSN ini di seluruh fasilitas industri. Pengenalan kustom mengotomatiskan transparansi yang diberikan kepada maskapai, dan menggantikan sebagian besar pos pemeriksaan yang dilakukan secara manual oleh maskapai. Jaminan kualitas otomatis pada produk unik dapat diterapkan pada pesawat terbang, mobil, gedung, dan bahkan produksi kerajinan.
• Augmented reality yang dikontekstualisasikan – Sistem visi komputer tingkat profesional dapat mencakup lanskap terbatas, tetapi dengan kemampuan diskriminasi yang lebih tinggi. Misalnya, dalam perawatan industri, tidak ada gunanya menemukan obeng dalam gambar; Anda perlu mengidentifikasi model obeng atau bahkan nomor serinya. Dalam konteks terbatas seperti itu, sistem pengenalan khusus mengungguli sistem pengenalan umum karena lebih relevan dalam temuannya. Sistem pengenalan khusus memungkinkan putaran umpan balik yang tepat melalui augmented reality khusus disampaikan dalam HMI atau di perangkat seluler.
• Kontrol kualitas ujung ke ujung - Dengan rekayasa sistem, Anda dapat membuat kembaran digital dari konstruksi parsial, dan menghasilkan sistem visi komputer yang beradaptasi dengan berbagai fase proses manufaktur dan produksi. Kontrol visual dapat terjalin dengan stasiun kerja manufaktur, memungkinkan inspeksi ujung ke ujung dan deteksi dini cacat. Pengakuan kustom untuk inspeksi ujung ke ujung secara efektif mencegah cascading cacat ke jalur perakitan. Mengurangi tingkat penolakan dan memaksimalkan hasil produksi adalah tujuan akhir.
• Pemeriksaan kualitas yang fleksibel – Pemeriksaan kualitas modern harus beradaptasi dengan variasi desain dan manufaktur yang fleksibel. Variasi dalam desain berasal dari putaran umpan balik pada penggunaan produk dan pemeliharaan produk. Manufaktur yang fleksibel adalah kemampuan kunci untuk strategi make-to-order, dan sejalan dengan prinsip lean manufacturing dari optimasi biaya. Dengan mengintegrasikan variasi desain dan opsi konfigurasi dalam kembar digital, pengenalan khusus memungkinkan adaptasi dinamis sistem visi komputer ke rencana produksi dan variasi desain.

Tingkatkan visi komputer dengan Dassault Systèmes 3DEXCITE yang didukung oleh Amazon Rekognition

Dalam Dassault Systèmes, sebuah perusahaan dengan keahlian mendalam dalam kembar digital yang juga merupakan editor perangkat lunak terbesar kedua di Eropa, tim 3DEXCITE sedang menjajaki jalan yang berbeda. Seperti yang dijelaskan oleh Karl Herkt, “Bagaimana jika model saraf yang dilatih dari gambar sintetis dapat mengenali produk fisik?” 3DEXCITE telah memecahkan masalah ini dengan menggabungkan teknologi mereka dengan infrastruktur AWS, membuktikan kelayakan pendekatan aneh ini. Ini juga dikenal sebagai deteksi objek lintas domain, di mana model deteksi belajar dari gambar berlabel dari domain sumber (gambar sintetis) dan membuat prediksi ke domain target yang tidak berlabel (komponen fisik).

Dassault Systèmes 3DEXCITE dan tim AWS Prototyping telah bergabung untuk membangun sistem demonstrator yang mengenali bagian dari gearbox industri. Prototipe ini dibuat dalam 3 minggu, dan model yang dilatih mencapai skor F98 1%. Model pengenalan telah dilatih sepenuhnya dari saluran perangkat lunak, yang tidak menampilkan gambar bagian nyata. Dari desain dan file CAD dari gearbox industri, 3DEXCITE telah menciptakan kembar digital yang benar secara visual. Mereka juga menghasilkan ribuan gambar berlabel sintetis dari kembar digital. Kemudian mereka menggunakan Label Kustom Pengakuan untuk melatih model saraf yang sangat terspesialisasi dari gambar-gambar ini dan menyediakan API pengenalan terkait. Mereka membangun situs web untuk memungkinkan pengenalan dari webcam mana pun dari satu bagian fisik girboks.

Rekognisi Amazon adalah layanan AI yang menggunakan teknologi pembelajaran mendalam untuk memungkinkan Anda mengekstrak metadata yang bermakna dari gambar dan video—termasuk mengidentifikasi objek, orang, teks, adegan, aktivitas, dan konten yang berpotensi tidak pantas—tanpa memerlukan keahlian machine learning (ML). Amazon Rekognition juga menyediakan analisis wajah yang sangat akurat dan kemampuan pencarian wajah yang dapat Anda gunakan untuk mendeteksi, menganalisis, dan membandingkan wajah untuk berbagai verifikasi pengguna, penghitungan orang, dan kasus penggunaan keselamatan. Terakhir, dengan Rekognition Custom Labels, Anda dapat menggunakan data Anda sendiri untuk membuat model deteksi objek dan klasifikasi gambar.

Kombinasi teknologi Dassault Systèmes untuk menghasilkan gambar berlabel sintetis dengan Label Kustom Rekognition untuk visi komputer menyediakan alur kerja yang dapat diskalakan untuk sistem pengenalan. Kemudahan penggunaan merupakan faktor positif yang signifikan di sini karena menambahkan Label Kustom Pengakuan ke keseluruhan jalur perangkat lunak tidaklah sulit—sesederhana mengintegrasikan API ke dalam alur kerja. Tidak perlu menjadi ilmuwan ML; cukup kirim bingkai yang diambil ke AWS dan terima hasil yang dapat Anda masukkan ke dalam database atau tampilkan di browser web.

Ini lebih lanjut menggarisbawahi peningkatan dramatis atas pembuatan manual set data pelatihan. Anda dapat mencapai hasil yang lebih baik dengan lebih cepat dan lebih akurat, tanpa memerlukan jam kerja yang mahal dan tidak perlu. Dengan begitu banyak kasus penggunaan potensial, kombinasi Sistem Dassault dan Label Kustom Rekognition berpotensi memberikan ROI yang signifikan dan langsung bagi bisnis saat ini.

Ikhtisar solusi

Langkah pertama dalam solusi ini adalah merender gambar yang membuat set data pelatihan. Ini dilakukan oleh platform 3DEXCITE. Kami dapat menghasilkan data pelabelan secara terprogram dengan menggunakan skrip. Kebenaran Dasar Amazon SageMaker menyediakan alat anotasi untuk memberi label gambar dan video dengan mudah untuk tugas klasifikasi dan deteksi objek. Untuk melatih model di Amazon Rekognition, file pelabelan harus mematuhi format Ground Truth. Label ini ada di JSON, termasuk informasi seperti ukuran gambar, koordinat kotak pembatas, dan ID kelas.

Kemudian unggah gambar sintetis dan manifes ke Layanan Penyimpanan Sederhana Amazon (Amazon S3), tempat Label Kustom Rekognition dapat mengimpornya sebagai komponen set data pelatihan.

Agar Label Kustom Rekognition menguji model versus kumpulan gambar komponen nyata, kami menyediakan kumpulan gambar suku cadang mesin asli yang diambil dengan kamera dan mengunggahnya ke Amazon S3 untuk digunakan sebagai kumpulan data pengujian.

Terakhir, Rekognition Custom Labels melatih model deteksi objek terbaik menggunakan dataset pelatihan sintetis dan dataset pengujian yang terdiri dari gambar objek nyata, dan membuat titik akhir dengan model yang dapat kita gunakan untuk menjalankan pengenalan objek di aplikasi kita.

Diagram berikut menggambarkan alur kerja solusi kami:

Buat gambar sintetis

Gambar sintetis dihasilkan dari platform 3Dexperience, yang merupakan produk Dassault Systèmes. Platform ini memungkinkan Anda membuat dan membuat gambar fotorealistik berdasarkan file CAD (desain berbantuan komputer) objek. Kami dapat menghasilkan ribuan varian dalam beberapa jam dengan mengubah konfigurasi transformasi gambar di platform.

Dalam prototipe ini, kami memilih lima bagian girboks yang berbeda secara visual berikut untuk deteksi objek. Mereka termasuk rumah roda gigi, rasio roda gigi, penutup bantalan, flensa, dan roda gigi cacing.

Kami menggunakan metode augmentasi data berikut untuk meningkatkan keragaman gambar, dan membuat data sintetis lebih fotorealistik. Ini membantu mengurangi kesalahan generalisasi model.

• Zoom in / out – Metode ini memperbesar atau memperkecil objek dalam gambar secara acak.
• Rotasi – Metode ini memutar objek dalam gambar, dan sepertinya kamera virtual mengambil gambar objek secara acak dari sudut 360 derajat.
• Tingkatkan tampilan dan nuansa material – Kami mengidentifikasi bahwa untuk beberapa bagian roda gigi, tampilan material kurang realistis pada rendering awal. Kami menambahkan efek logam untuk meningkatkan gambar sintetis.
• Gunakan pengaturan pencahayaan yang berbeda – Dalam prototipe ini, kami mensimulasikan dua kondisi pencahayaan:
  • Gudang – Distribusi cahaya yang realistis. Bayangan dan pantulan dimungkinkan.
  • studio - Sebuah cahaya homogen ditempatkan di sekitar objek. Ini tidak realistis tetapi tidak ada bayangan atau pantulan.
• Gunakan posisi realistis tentang bagaimana objek dilihat secara real time – Dalam kehidupan nyata, beberapa objek, seperti flensa dan penutup bantalan, umumnya ditempatkan di permukaan, dan model mendeteksi objek berdasarkan sisi atas dan bawah. Oleh karena itu, kami menghapus gambar pelatihan yang menunjukkan tepi tipis bagian, juga disebut posisi tepi, dan meningkatkan gambar objek dalam posisi datar.
• Tambahkan beberapa objek dalam satu gambar – Dalam skenario kehidupan nyata, beberapa bagian roda gigi semuanya dapat muncul dalam satu tampilan, jadi kami menyiapkan gambar yang berisi beberapa bagian roda gigi.

Pada platform 3Dexperience, kita dapat menerapkan latar belakang yang berbeda pada gambar, yang dapat membantu meningkatkan keragaman gambar lebih jauh. Karena keterbatasan waktu, kami tidak mengimplementasikannya dalam prototipe ini.

Impor set data pelatihan sintetis

Dalam ML, data berlabel berarti data pelatihan dianotasi untuk menunjukkan target, yang merupakan jawaban yang Anda inginkan untuk diprediksi oleh model ML Anda. Data berlabel yang dapat digunakan oleh Label Kustom Rekognition harus memenuhi persyaratan file manifes Ground Truth. File manifes dibuat dari satu atau lebih baris JSON; setiap baris berisi informasi untuk satu gambar. Untuk data pelatihan sintetis, informasi pelabelan dapat dihasilkan secara terprogram berdasarkan file CAD dan konfigurasi transformasi gambar yang kami sebutkan sebelumnya, yang menghemat upaya manual yang signifikan dari pekerjaan pelabelan. Untuk informasi selengkapnya tentang persyaratan pelabelan format file, lihat Buat file manifes dan Lokalisasi objek dalam file manifes. Berikut ini adalah contoh pelabelan gambar:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Setelah file manifes disiapkan, kami mengunggahnya ke bucket S3, lalu membuat set data pelatihan di Label Kustom Pengakuan dengan memilih opsi Impor gambar yang diberi label oleh Amazon SageMaker Ground Truth.

Setelah file manifes diimpor, kita dapat melihat informasi pelabelan secara visual di konsol Amazon Rekognition. Ini membantu kami mengonfirmasi bahwa file manifes dibuat dan diimpor. Lebih khusus lagi, kotak pembatas harus sejajar dengan objek dalam gambar, dan ID kelas objek harus ditetapkan dengan benar.

Buat kumpulan data pengujian

Gambar uji diambil dalam kehidupan nyata dengan ponsel atau kamera dari berbagai sudut dan kondisi pencahayaan, karena kami ingin memvalidasi akurasi model, yang kami latih menggunakan data sintetis, terhadap skenario kehidupan nyata. Anda dapat mengunggah gambar uji ini ke bucket S3, lalu mengimpornya sebagai kumpulan data di Label Kustom Pengakuan. Atau Anda dapat mengunggahnya langsung ke kumpulan data dari mesin lokal Anda.

Rekognition Custom Labels menyediakan kemampuan anotasi gambar bawaan, yang memiliki pengalaman serupa dengan Ground Truth. Anda dapat memulai pekerjaan pelabelan saat data pengujian diimpor. Untuk kasus penggunaan deteksi objek, kotak pembatas harus dibuat rapat di sekitar objek yang diinginkan, yang membantu model mempelajari secara tepat wilayah dan piksel yang dimiliki objek target. Selain itu, Anda harus memberi label setiap contoh objek target di semua gambar, bahkan yang sebagian tidak terlihat atau terhalang oleh objek lain, jika tidak, model akan memprediksi lebih banyak negatif palsu.

Buat model deteksi objek lintas domain

Label Kustom Pengakuan adalah layanan yang dikelola sepenuhnya; Anda hanya perlu menyediakan set data pelatihan dan pengujian. Ini melatih satu set model dan memilih yang berkinerja terbaik berdasarkan data yang diberikan. Dalam prototipe ini, kami menyiapkan kumpulan data pelatihan sintetik secara iteratif dengan bereksperimen dengan berbagai kombinasi metode augmentasi gambar yang kami sebutkan sebelumnya. Satu model dibuat untuk setiap set data pelatihan di Label Kustom Pengakuan, yang memungkinkan kita untuk membandingkan dan menemukan set data pelatihan yang optimal untuk kasus penggunaan ini secara khusus. Setiap model memiliki jumlah minimum gambar pelatihan, mengandung keragaman gambar yang baik, dan memberikan akurasi model terbaik. Setelah 15 iterasi, kami mencapai skor F1 dengan akurasi model 98% menggunakan sekitar 10,000 gambar pelatihan sintetis, yaitu rata-rata 2,000 gambar per objek.

Hasil inferensi model

Gambar berikut menunjukkan model Amazon Rekognition yang digunakan dalam aplikasi inferensi waktu nyata. Semua komponen terdeteksi dengan benar dengan keyakinan tinggi.

Kesimpulan

Dalam posting ini, kami mendemonstrasikan cara melatih model visi komputer pada gambar sintetis murni, dan bagaimana model tersebut masih dapat mengenali objek dunia nyata dengan andal. Ini menghemat upaya manual yang signifikan dalam mengumpulkan dan memberi label pada data pelatihan. Dengan eksplorasi ini, Dassault Systèmes memperluas nilai bisnis model produk 3D yang dibuat oleh desainer dan insinyur, karena Anda sekarang dapat menggunakan data CAD, CAE, dan PLM dalam sistem pengenalan untuk gambar di dunia fisik.

Untuk informasi lebih lanjut tentang fitur utama Rekognition Label Kustom dan kasus penggunaan, lihat Label Kustom Amazon Rekognition. Jika gambar Anda tidak diberi label asli dengan Ground Truth, yang merupakan kasus untuk proyek ini, lihat Membuat file manifes untuk mengonversi data pelabelan Anda ke format yang dapat digunakan oleh Label Kustom Pengakuan.

Tentang Penulis

Woody Borracino saat ini adalah Arsitek Solusi Spesialis Pembelajaran Mesin Senior di AWS. Berbasis di Milan, Italia, Woody bekerja pada pengembangan perangkat lunak sebelum bergabung dengan AWS pada tahun 2015, di mana ia mengembangkan hasrat untuk teknologi Computer Vision dan Spatial Computing (AR/VR/XR). Gairahnya sekarang terfokus pada inovasi metaverse. Ikuti dia di Linkedin.

Ying Hou, PhD, adalah Arsitek Pembuatan Prototipe Pembelajaran Mesin di AWS. Bidang minat utamanya adalah Deep Learning, Computer Vision, NLP, dan prediksi data deret waktu. Di waktu luangnya, dia suka membaca novel dan hiking di taman nasional di Inggris.

Bernard Paques saat ini CTO Storm Reply berfokus pada solusi industri yang diterapkan di AWS. Berbasis di Paris, Prancis, Bernard bekerja sebelumnya sebagai Arsitek Solusi Utama dan sebagai Konsultan Utama di AWS. Kontribusinya pada modernisasi perusahaan mencakup AWS for Industrial, AWS CDK, dan ini sekarang berasal dari Green IT dan sistem berbasis suara. Ikuti dia di Twitter.

Karl Herkto saat ini adalah Ahli Strategi Senior di Dassault Systèmes 3DExcite. Berbasis di Munich, Jerman, ia menciptakan implementasi inovatif dari visi komputer yang memberikan hasil nyata. Ikuti dia di LinkedIn.

• Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
• CryptoHawk. Radar Altcoin. Uji Coba Gratis.
• Sumber: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/