Periksa label data Anda dengan alat visual tanpa kode untuk membuat set data pelatihan berkualitas tinggi dengan Amazon SageMaker Ground Truth Plus

Diluncurkan di AWS re:Invent 2021, Kebenaran Dasar Amazon SageMaker Plus membantu Anda membuat set data pelatihan berkualitas tinggi dengan menghapus pekerjaan berat yang tidak dapat dibedakan yang terkait dengan membangun aplikasi pelabelan data dan mengelola tenaga kerja pelabelan. Yang Anda lakukan hanyalah berbagi data bersama dengan persyaratan pelabelan, dan Ground Truth Plus menyiapkan dan mengelola alur kerja pelabelan data Anda berdasarkan persyaratan ini. Dari sana, tenaga kerja ahli yang terlatih dalam berbagai tugas pembelajaran mesin (ML) melakukan pelabelan data. Anda bahkan tidak memerlukan keahlian ML yang mendalam atau pengetahuan tentang desain alur kerja dan manajemen kualitas untuk menggunakan Ground Truth Plus.

Membangun set data pelatihan berkualitas tinggi untuk algoritme ML Anda adalah proses berulang. Praktisi ML sering membangun sistem kustom untuk memeriksa label data karena data yang diberi label secara akurat sangat penting untuk kualitas model ML. Untuk memastikan Anda mendapatkan data pelatihan berkualitas tinggi, Ground Truth Plus menyediakan antarmuka pengguna bawaan (UI Tinjauan) untuk memeriksa kualitas label data dan memberikan umpan balik pada label data hingga Anda yakin bahwa label secara akurat mewakili kebenaran dasar, atau apa yang dapat diamati secara langsung di dunia nyata.

Posting ini memandu Anda melalui langkah-langkah untuk membuat tim proyek dan menggunakan beberapa fitur bawaan baru dari alat Tinjau UI untuk menyelesaikan pemeriksaan kumpulan data berlabel secara efisien. Panduan ini mengasumsikan bahwa Anda memiliki proyek pelabelan Ground Truth Plus yang aktif. Untuk informasi lebih lanjut, lihat Amazon SageMaker Ground Truth Plus – Buat Kumpulan Data Pelatihan Tanpa Kode atau Sumber Daya Internal.

Siapkan tim proyek

Tim proyek memberikan akses ke anggota dari organisasi Anda untuk memeriksa label data menggunakan alat Tinjau UI. Untuk menyiapkan tim proyek, selesaikan langkah-langkah berikut:

1. Kebenaran di Lapangan Plus konsol, pilih Buat tim proyek.
2. Pilih Buat grup pengguna Amazon Cognito baru . Jika Anda sudah memilikinya Amazon Kognito grup pengguna, pilih Impor anggota .
3. Untuk Nama grup pengguna Amazon Cognito, masukkan nama. Nama ini tidak dapat diubah.
4. Untuk Alamat email, masukkan alamat email maksimal 50 anggota tim, pisahkan dengan koma.
5. Pilih Buat tim proyek.

Anggota tim Anda akan menerima email yang mengundang mereka untuk bergabung dengan tim proyek Ground Truth Plus. Dari sana, mereka dapat masuk ke portal proyek Ground Truth Plus untuk meninjau label data.

Periksa kualitas set data berlabel

Sekarang mari selami contoh pelacakan objek video menggunakan Adegan Jalan CBCL Himpunan data.

Setelah data dalam batch Anda diberi label, batch tersebut ditandai sebagai Siap untuk ditinjau.

Pilih batch dan pilih Tinjau batch. Anda dialihkan ke UI Tinjauan. Anda memiliki fleksibilitas untuk memilih tingkat pengambilan sampel yang berbeda untuk setiap batch yang Anda tinjau. Misalnya, dalam kumpulan contoh kami, kami memiliki total lima video. Anda dapat menentukan apakah Anda ingin meninjau hanya sebagian dari lima video ini atau semuanya.

Sekarang mari kita lihat berbagai fungsi dalam UI Tinjauan yang akan membantu Anda memeriksa kualitas kumpulan data berlabel dengan lebih cepat, dan memberikan umpan balik tentang kualitas:

• Filter label berdasarkan kategori label – Di dalam UI Tinjauan, di panel sebelah kanan, Anda dapat memfilter label berdasarkan kategori labelnya. Fitur ini berguna ketika ada beberapa kategori label (misalnya, Vehicles, Pedestrians, dan Poles) dalam objek kumpulan data padat, dan Anda ingin melihat label untuk satu kategori label dalam satu waktu. Sebagai contoh, mari kita fokus pada Car kategori label. Masukkan Car kategori label di panel kanan untuk memfilter semua anotasi hanya tipe Car. Tangkapan layar berikut menunjukkan tampilan UI Tinjauan sebelum dan sesudah menerapkan filter.
  
• Overlay terkait nilai atribut beranotasi – Setiap label dapat diberi atribut untuk dianotasi. Misalnya, untuk kategori label Car , katakanlah Anda ingin meminta pekerja untuk juga membubuhi keterangan pada Color  dan Occlusion atribut untuk setiap instance label. Saat Anda memuat UI Tinjauan, Anda akan melihat atribut yang sesuai di bawah setiap instance label di panel kanan. Tetapi bagaimana jika Anda ingin melihat anotasi atribut ini langsung pada gambar? Anda memilih label Car:1 , dan untuk melapisi anotasi atribut untuk Car:1 , Anda menekan Ctrl + A.
  Sekarang Anda akan melihat anotasi Dark Blue untuk Color atribut dan anotasi None untuk Occlusion atribut langsung ditampilkan pada gambar di sebelah Car:1 kotak pembatas. Sekarang Anda dapat dengan mudah memverifikasi itu Car:1 ditandai sebagai Dark Blue, tanpa hambatan hanya dengan melihat gambar daripada harus mencari Car:1 di panel kanan untuk melihat anotasi atribut.
  
• Tinggalkan umpan balik di tingkat label – Untuk setiap label, Anda dapat meninggalkan umpan balik di tingkat label di label itu Beri label umpan balik atribut string bebas. Misalnya, pada gambar ini, Car:1 terlihat lebih hitam daripada biru tua. Anda dapat menyampaikan perbedaan ini sebagai umpan balik untuk Car:1 menggunakan Beri label umpan balik bidang untuk melacak komentar ke label itu pada bingkai itu. Tim kontrol kualitas internal kami akan meninjau umpan balik ini dan memperkenalkan perubahan pada proses anotasi dan kebijakan label, dan melatih annotator sesuai kebutuhan.
  
• Tinggalkan umpan balik di tingkat bingkai – Demikian pula, untuk setiap bingkai, Anda dapat meninggalkan umpan balik pada tingkat bingkai di bawah bingkai itu Umpan balik bingkai atribut string bebas. Dalam hal ini, anotasi untuk Car dan Pedestrian kelas terlihat benar dan diimplementasikan dengan baik dalam bingkai ini. Anda dapat menyampaikan umpan balik positif ini menggunakan Berikan umpan balik bidang, dan komentar Anda ditautkan ke bingkai ini.
  
• Salin umpan balik anotasi ke bingkai lain – Anda dapat menyalin umpan balik tingkat label dan tingkat bingkai ke bingkai lain jika Anda mengklik kanan atribut itu. Fitur ini berguna saat Anda ingin menduplikasi umpan balik yang sama di seluruh bingkai untuk label itu, atau menerapkan umpan balik tingkat bingkai yang sama ke beberapa bingkai. Fitur ini memungkinkan Anda menyelesaikan pemeriksaan label data dengan cepat.
  
• Menyetujui atau menolak setiap objek kumpulan data – Untuk setiap objek kumpulan data yang Anda tinjau, Anda memiliki opsi untuk memilih Menyetujui jika Anda puas dengan anotasi atau pilih Menolak jika Anda tidak puas dan ingin anotasi tersebut dikerjakan ulang. Ketika Anda memilih Kirim, Anda akan diberikan opsi untuk menyetujui atau menolak video yang baru saja Anda tinjau. Dalam kedua kasus, Anda dapat memberikan komentar tambahan:
  • Jika Anda memilih Menyetujui, komentar adalah opsional.
    
  • Jika Anda memilih Menolak, komentar diperlukan dan kami menyarankan untuk memberikan umpan balik yang terperinci. Umpan balik Anda akan ditinjau oleh tim kontrol kualitas Ground Truth Plus yang berdedikasi, yang akan mengambil tindakan korektif untuk menghindari kesalahan serupa di video berikutnya.
    

Setelah Anda mengirimkan video dengan umpan balik Anda, Anda akan diarahkan kembali ke halaman detail proyek di portal proyek, di mana Anda dapat melihat jumlah objek yang ditolak di bawah Objek yang ditolak kolom dan tingkat kesalahan, yang dihitung sebagai jumlah objek yang diterima dari objek yang ditinjau di bawah Tingkat penerimaan kolom untuk setiap batch dalam proyek Anda. Misalnya, untuk batch 1 di tangkapan layar berikut, tingkat penerimaannya adalah 80% karena empat objek diterima dari lima objek yang ditinjau.

Kesimpulan

Set data pelatihan berkualitas tinggi sangat penting untuk mencapai inisiatif ML Anda. Dengan Ground Truth Plus, kini Anda memiliki alat UI Tinjauan internal yang disempurnakan yang menghilangkan beban berat yang tidak dapat dibedakan yang terkait dengan pembuatan alat khusus untuk meninjau kualitas kumpulan data berlabel. Posting ini memandu Anda melalui cara menyiapkan tim proyek dan menggunakan fitur bawaan baru dari alat Tinjau UI. Mengunjungi Konsol Ground Truth Plus untuk memulai.

Seperti biasa, AWS menyambut umpan balik. Silakan kirim komentar atau pertanyaan apa pun.

tentang Penulis

Manis Goel adalah Manajer Produk untuk Amazon SageMaker Ground Truth Plus. Dia berfokus pada pembuatan produk yang memudahkan pelanggan untuk mengadopsi pembelajaran mesin. Di waktu luangnya, ia menikmati perjalanan darat dan membaca buku.

Reveka Kostoeva adalah Insinyur Pengembang Perangkat Lunak di Amazon AWS tempat dia bekerja dalam menghadapi pelanggan dan solusi internal untuk memperluas cakupan dan skalabilitas layanan Sagemaker Ground Truth. Sebagai seorang peneliti, ia terdorong untuk meningkatkan alat perdagangan untuk mendorong inovasi ke depan.

• Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
• CryptoHawk. Radar Altcoin. Uji Coba Gratis.
• Sumber: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- dengan-amazon-sagemaker-ground-truth-plus/