Pelabelan masker segmentasi beberapa klik di Amazon SageMaker Ground Truth Plus

Kebenaran Dasar Amazon SageMaker Plus adalah layanan pelabelan data terkelola yang memudahkan pelabelan data untuk aplikasi machine learning (ML). Salah satu kasus penggunaan umum adalah segmentasi semantik, yang merupakan teknik ML visi komputer yang melibatkan penetapan label kelas ke masing-masing piksel dalam gambar. Misalnya, dalam bingkai video yang diambil oleh kendaraan yang bergerak, label kelas dapat mencakup kendaraan, pejalan kaki, jalan, lampu lalu lintas, bangunan, atau latar belakang. Ini memberikan pemahaman presisi tinggi tentang lokasi berbagai objek dalam gambar dan sering digunakan untuk membangun sistem persepsi untuk kendaraan otonom atau robotika. Untuk membuat model ML untuk segmentasi semantik, pertama-tama perlu memberi label sejumlah besar data pada tingkat piksel. Proses pelabelan ini rumit. Dibutuhkan pemberi label yang terampil dan waktu yang signifikan—beberapa gambar dapat membutuhkan waktu hingga 2 jam atau lebih untuk memberi label secara akurat!

Dalam 2019, kami merilis alat pelabelan interaktif bertenaga ML yang disebut Segmen otomatis untuk Kebenaran Dasar yang memungkinkan Anda membuat masker segmentasi berkualitas tinggi dengan cepat dan mudah. Untuk informasi lebih lanjut, lihat Alat Segmentasi Otomatis. Fitur ini berfungsi dengan memungkinkan Anda mengklik "titik ekstrem" paling atas, kiri, bawah, dan kanan pada suatu objek. Model ML yang berjalan di latar belakang akan menyerap masukan pengguna ini dan menampilkan masker segmentasi berkualitas tinggi yang segera dirender di alat pelabelan Ground Truth. Namun, fitur ini hanya memungkinkan Anda menempatkan empat klik. Dalam kasus tertentu, mask yang dihasilkan ML mungkin secara tidak sengaja melewatkan bagian tertentu dari suatu gambar, seperti di sekitar batas objek di mana tepinya tidak jelas atau di mana warna, saturasi, atau bayangan berbaur dengan sekelilingnya.

Mengklik titik ekstrem dengan jumlah klik korektif yang fleksibel

Kami sekarang telah menyempurnakan alat untuk memungkinkan klik ekstra pada titik batas, yang memberikan umpan balik waktu nyata ke model ML. Ini memungkinkan Anda membuat masker segmentasi yang lebih akurat. Pada contoh berikut, hasil segmentasi awal tidak akurat karena batas yang lemah di dekat bayangan. Yang penting, alat ini beroperasi dalam mode yang memungkinkan umpan balik waktu nyata—Anda tidak perlu menentukan semua titik sekaligus. Sebagai gantinya, Anda dapat membuat empat klik mouse terlebih dahulu, yang akan memicu model ML untuk menghasilkan masker segmentasi. Kemudian Anda dapat memeriksa topeng ini, menemukan potensi ketidakakuratan, dan kemudian menempatkan klik tambahan yang sesuai untuk "mendorong" model ke hasil yang benar.

Alat pelabelan kami sebelumnya memungkinkan Anda menempatkan tepat empat klik mouse (titik merah). Hasil segmentasi awal (area merah yang diarsir) tidak akurat karena batas yang lemah di dekat bayangan (kiri bawah topeng merah).

Dengan alat pelabelan kami yang disempurnakan, pengguna sekali lagi membuat empat klik mouse (titik merah di gambar atas). Kemudian Anda memiliki kesempatan untuk memeriksa mask segmentasi yang dihasilkan (area merah berbayang di gambar atas). Anda dapat membuat klik mouse tambahan (titik hijau di gambar bawah) untuk menyebabkan model memperhalus topeng (area merah yang diarsir di gambar bawah).

Dibandingkan dengan versi asli alat, versi yang disempurnakan memberikan hasil yang lebih baik saat objek dapat diubah bentuknya, tidak cembung, dan bervariasi dalam bentuk dan tampilan.

Kami mensimulasikan kinerja alat yang ditingkatkan ini pada data sampel dengan terlebih dahulu menjalankan alat dasar (dengan hanya empat klik ekstrem) untuk menghasilkan topeng segmentasi dan mengevaluasi Persimpangan rata-rata di atas Union (mIoU), ukuran umum akurasi untuk topeng segmentasi. Kemudian kami menerapkan klik korektif yang disimulasikan dan mengevaluasi peningkatan mIoU setelah setiap klik yang disimulasikan. Tabel berikut merangkum hasil ini. Baris pertama menunjukkan mIoU, dan baris kedua menunjukkan kesalahan (yang diberikan 100% dikurangi mIoU). Dengan hanya lima klik mouse tambahan, kami dapat mengurangi kesalahan sebesar 9% untuk tugas ini!

.	.	Jumlah Klik Korektif	.
.	Dasar	1	2	3	4	5
mIoU	72.72	76.56	77.62	78.89	80.57	81.73
error	27%	23%	22%	21%	19%	18%

Integrasi dengan Ground Truth dan profil kinerja

Untuk mengintegrasikan model ini dengan Ground Truth, kami mengikuti pola arsitektur standar seperti yang ditunjukkan pada diagram berikut. Pertama, kami mem-build model ML menjadi image Docker dan menerapkannya Registry Kontainer Elastis Amazon (Amazon ECR), registri kontainer Docker yang dikelola sepenuhnya yang memudahkan untuk menyimpan, berbagi, dan menerapkan gambar kontainer. Menggunakan Perangkat Inferensi SageMaker dalam membangun gambar Docker memungkinkan kita untuk dengan mudah menggunakan praktik terbaik untuk penyajian model dan mencapai inferensi latensi rendah. Kami kemudian membuat file Amazon SageMaker titik akhir waktu nyata untuk menghosting model. Kami memperkenalkan sebuah AWS Lambda berfungsi sebagai proxy di depan titik akhir SageMaker untuk menawarkan berbagai jenis transformasi data. Akhirnya, kami menggunakan Gerbang API Amazon sebagai cara untuk mengintegrasikan dengan ujung depan kami, aplikasi pelabelan Ground Truth, untuk memberikan autentikasi yang aman ke ujung belakang kami.

Anda dapat mengikuti pola umum ini untuk kasus penggunaan Anda sendiri untuk alat ML yang dibuat khusus dan mengintegrasikannya dengan UI tugas Ground Truth khusus. Untuk informasi lebih lanjut, lihat Buat alur kerja pelabelan data khusus dengan Amazon SageMaker Ground Truth.

Setelah menyediakan arsitektur ini dan menerapkan model kami menggunakan Kit Pengembangan AWS Cloud (AWS CDK), kami mengevaluasi karakteristik latensi model kami dengan berbagai jenis instans SageMaker. Ini sangat mudah dilakukan karena kami menggunakan titik akhir inferensi real-time SageMaker untuk melayani model kami. Titik akhir inferensi real-time SageMaker berintegrasi mulus dengan amazoncloudwatch dan memancarkan metrik seperti penggunaan memori dan latensi model tanpa penyiapan yang diperlukan (lihat Metrik Pemanggilan Titik Akhir SageMaker untuk lebih jelasnya).

Pada gambar berikut, kami menampilkan metrik ModelLatency yang secara native dipancarkan oleh titik akhir inferensi real-time SageMaker. Kami dapat dengan mudah menggunakan berbagai fungsi matematika metrik di CloudWatch untuk menampilkan persentil latensi, seperti latensi p50 atau p90.

Tabel berikut meringkas hasil ini untuk alat klik ekstrem kami yang disempurnakan untuk segmentasi semantik untuk tiga jenis instans: p2.xlarge, p3.2xlarge, dan g4dn.xlarge. Meskipun instans p3.2xlarge memberikan latensi terendah, instans g4dn.xlarge memberikan rasio biaya terhadap kinerja terbaik. Instans g4dn.xlarge hanya 8% lebih lambat (35 milidetik) daripada instans p3.2xlarge, tetapi biaya per jamnya 81% lebih murah daripada instans p3.2xlarge (lihat Harga Amazon SageMaker untuk detail selengkapnya tentang jenis dan harga instans SageMaker).

	Jenis Instans SageMaker	p90 Latensi (ms)
1	p2.xlarge	751
2	p3.2xbesar	424
3	g4dn.xlarge	459

Kesimpulan

Dalam posting ini, kami memperkenalkan ekstensi ke fitur segmen otomatis Ground Truth untuk tugas anotasi segmentasi semantik. Sedangkan versi asli alat ini memungkinkan Anda melakukan tepat empat klik mouse, yang memicu model untuk menyediakan masker segmentasi berkualitas tinggi, ekstensi memungkinkan Anda melakukan klik korektif dan dengan demikian memperbarui serta memandu model ML untuk membuat prediksi yang lebih baik. Kami juga menyajikan pola arsitektur dasar yang dapat Anda gunakan untuk menerapkan dan mengintegrasikan alat interaktif ke UI pelabelan Ground Truth. Terakhir, kami meringkas latensi model, dan menunjukkan bagaimana penggunaan titik akhir inferensi real-time SageMaker mempermudah pemantauan kinerja model.

Untuk mempelajari lebih lanjut tentang bagaimana alat ini dapat mengurangi biaya pelabelan dan meningkatkan akurasi, kunjungi Pelabelan Data Amazon SageMaker untuk memulai konsultasi hari ini.

---

Tentang penulis

Jonatan Buck adalah Insinyur Perangkat Lunak di Amazon Web Services yang bekerja di persimpangan pembelajaran mesin dan sistem terdistribusi. Pekerjaannya melibatkan produksi model pembelajaran mesin dan pengembangan aplikasi perangkat lunak baru yang didukung oleh pembelajaran mesin untuk menempatkan kemampuan terbaru di tangan pelanggan.

Li Erran Li adalah manajer sains terapan di layanan humain-in-the-loop, AWS AI, Amazon. Minat penelitiannya adalah pembelajaran mendalam 3D, dan pembelajaran representasi visi dan bahasa. Sebelumnya dia adalah ilmuwan senior di Alexa AI, kepala pembelajaran mesin di Scale AI dan kepala ilmuwan di Pony.ai. Sebelumnya, dia bersama tim persepsi di Uber ATG dan tim platform pembelajaran mesin di Uber mengerjakan pembelajaran mesin untuk pengemudian otonom, sistem pembelajaran mesin, dan inisiatif strategis AI. Dia memulai karirnya di Bell Labs dan menjadi asisten profesor di Universitas Columbia. Dia ikut mengajar tutorial di ICML'17 dan ICCV'19, dan ikut menyelenggarakan beberapa lokakarya di NeurIPS, ICML, CVPR, ICCV tentang pembelajaran mesin untuk mengemudi otonom, visi 3D dan robotika, sistem pembelajaran mesin, dan pembelajaran mesin adversarial. Dia memiliki gelar PhD dalam ilmu komputer di Universitas Cornell. Dia adalah Anggota ACM dan Anggota IEEE.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/