Dapatkan data tingkat produksi lebih cepat menggunakan antarmuka bawaan baru dengan Amazon SageMaker Ground Truth Plus

Diluncurkan di AWS re:Invent 2021, Kebenaran Dasar Amazon SageMaker Plus membantu Anda membuat set data pelatihan berkualitas tinggi dengan menghilangkan pekerjaan berat yang tidak dapat dibedakan terkait dengan membangun aplikasi pelabelan data dan mengelola tenaga kerja pelabelan. Yang Anda lakukan hanyalah berbagi data beserta persyaratan pelabelan, dan Ground Truth Plus menyiapkan dan mengelola alur kerja pelabelan data Anda berdasarkan persyaratan ini. Dari sana, tenaga kerja ahli yang terlatih dalam berbagai tugas pembelajaran mesin (ML) memberi label pada data Anda. Anda bahkan tidak memerlukan keahlian ML yang mendalam atau pengetahuan tentang desain alur kerja dan manajemen kualitas untuk menggunakan Ground Truth Plus.

Hari ini, kami dengan gembira mengumumkan peluncuran antarmuka bawaan baru di Ground Truth Plus. Dengan kemampuan baru ini, banyak pengguna Ground Truth Plus kini dapat membuat yang baru proyek dan sekumpulan, berbagi data, dan menerima data menggunakan akun AWS yang sama melalui antarmuka layanan mandiri. Hal ini memungkinkan Anda mempercepat pengembangan set data pelatihan berkualitas tinggi dengan mengurangi waktu penyiapan proyek. Selain itu, Anda dapat mengontrol akses mendetail ke data Anda dengan membatasi Identitas AWS dan Manajemen Akses (IAM) izin peran untuk mencocokkan level individu Anda Layanan Penyimpanan Sederhana Amazon (Amazon S3), dan Anda selalu memiliki opsi untuk mencabut akses ke bucket tertentu.

Hingga saat ini, Anda harus menghubungi manajer program operasi (OPM) Ground Truth Plus Anda untuk membuat pelabelan data baru memprojeksikan dan bets. Proses ini memiliki beberapa batasan karena hanya mengizinkan satu pengguna untuk meminta proyek dan batch baru—jika beberapa pengguna dalam organisasi menggunakan akun AWS yang sama, maka hanya satu pengguna yang dapat meminta proyek dan batch pelabelan data baru menggunakan Ground Truth Plus menghibur. Selain itu, proses tersebut menciptakan penundaan buatan dalam memulai proses pelabelan karena beberapa poin kontak manual dan pemecahan masalah yang diperlukan jika terjadi masalah. Secara terpisah, semua proyek menggunakan peran IAM yang sama untuk mengakses data. Oleh karena itu, untuk menjalankan proyek dan batch yang memerlukan akses ke sumber data yang berbeda seperti bucket Amazon S3 yang berbeda, Anda harus mengandalkan OPM Ground Truth Plus Anda untuk memberikan kebijakan S3 khusus akun Anda, yang harus Anda terapkan secara manual ke bucket S3 Anda. Seluruh operasi ini intensif secara manual yang mengakibatkan biaya operasional.

Posting ini memandu Anda melalui langkah-langkah untuk membuat proyek dan kumpulan baru, berbagi data, dan menerima data menggunakan antarmuka layanan mandiri baru untuk memulai proses pelabelan secara efisien. Posting ini mengasumsikan bahwa Anda sudah familiar dengan Ground Truth Plus. Untuk informasi lebih lanjut, lihat Amazon SageMaker Ground Truth Plus – Buat Kumpulan Data Pelatihan Tanpa Kode atau Sumber Daya Internal.

Ikhtisar solusi

Kami mendemonstrasikan cara melakukan hal berikut:

• Perbarui proyek yang ada
• Minta proyek baru
• Siapkan tim proyek
• Buat batch

Prasyarat

Sebelum memulai, pastikan Anda memiliki prasyarat berikut:

• An Akun AWS
• Pengguna IAM dengan akses untuk membuat peran IAM
• Grafik URI Amazon S3 dari ember tempat objek pelabelan Anda disimpan

Perbarui proyek yang ada

Jika Anda memiliki proyek Ground Truth Plus sebelum peluncuran (9 Desember 2022) dari fitur baru yang dijelaskan dalam postingan ini, Anda perlu membuat dan membagikan peran IAM agar Anda dapat menggunakan fitur ini dengan proyek Ground Truth Plus Anda yang sudah ada . Jika Anda pengguna baru Ground Truth Plus, Anda dapat melewati bagian ini.

Untuk membuat peran IAM, selesaikan langkah-langkah berikut:

1. Di konsol IAM, pilih Buat peran.
2. Pilih Kebijakan kepercayaan khusus.
3. Tentukan hubungan kepercayaan berikut untuk peran tersebut:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Pilih Selanjutnya.
5. Pilih Buat kebijakan.
6. Pada tab JSON, tentukan kebijakan berikut. Perbarui properti Resource dengan menentukan dua entri untuk setiap keranjang: satu hanya dengan ARN keranjang, dan satu lagi dengan ARN keranjang diikuti oleh /*. Misalnya, ganti dengan arn:aws:s3:::my-bucket/myprefix/ dan /* dengan arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Pilih Berikutnya: Tag dan Berikutnya: Ulasan.
8. Masukkan nama kebijakan dan deskripsi opsional.
9. Pilih Buat kebijakan.
10. Tutup tab ini dan kembali ke tab sebelumnya untuk membuat peran Anda.

Pada tab Tambahkan izin, Anda akan melihat kebijakan baru yang Anda buat (segarkan halaman jika Anda tidak melihatnya).

11. Pilih kebijakan yang baru dibuat dan pilih Selanjutnya.
12. Masukkan nama (misalnya, GTPlusExecutionRole) dan secara opsional deskripsi peran.
13. Pilih Buat peran.
14. Berikan peran ARN kepada OPM Ground Truth Plus Anda, yang kemudian akan memperbarui proyek Anda yang sudah ada dengan peran yang baru dibuat ini.

Minta proyek baru

Untuk meminta proyek baru, selesaikan langkah-langkah berikut:

1. pada Konsol Ground Truth Plus, navigasikan ke Proyek bagian.

Di sinilah semua proyek Anda terdaftar.

2. Pilih Proyek permintaan.

Grafik Proyek permintaan page adalah kesempatan Anda untuk memberikan detail yang akan membantu kami menjadwalkan panggilan konsultasi awal dan menyiapkan proyek Anda.

3. Selain menentukan informasi umum seperti nama proyek dan deskripsi, Anda harus menentukan jenis tugas proyek dan apakah berisi informasi identitas pribadi (PII).

Untuk melabeli data Anda, Ground Truth Plus memerlukan akses sementara ke data mentah Anda di bucket S3. Saat proses pelabelan selesai, Ground Truth Plus mengembalikan hasil pelabelan ke bucket S3 Anda. Ini dilakukan melalui peran IAM. Anda dapat membuat peran baru, atau membuka konsol IAM untuk membuat peran baru (lihat bagian sebelumnya untuk petunjuk).

4. Jika Anda memilih untuk membuat peran, pilih Masukkan ARN peran IAM kustom dan masukkan ARN peran IAM Anda, yang dalam format arn:aws:iam:::role/.
5. Untuk menggunakan alat bawaan, pada menu drop-down di bawah Peran IAM, pilih Buat peran baru.
6. Tentukan lokasi keranjang data pelabelan Anda. Jika Anda tidak mengetahui lokasi data pelabelan atau jika Anda tidak memiliki data pelabelan yang diunggah, pilih Bucket S3 apa pun, yang akan memberi Ground Truth Plus akses ke semua bucket akun Anda.
7. Pilih membuat untuk menciptakan peran.

Peran IAM Anda akan mengizinkan Ground Truth Plus, yang diidentifikasi sebagai sagemaker-ground-truth-plus.amazonaws.com dalam peran tersebut kebijakan kepercayaan, untuk menjalankan tindakan berikut pada bucket S3 Anda:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Pilih Proyek permintaan untuk menyelesaikan permintaan.

OPM Ground Truth Plus akan menjadwalkan panggilan konsultasi awal dengan Anda untuk membahas persyaratan dan harga proyek pelabelan data Anda.

Siapkan tim proyek

Setelah Anda meminta proyek, Anda perlu membuat tim proyek untuk masuk ke portal proyek Anda. Tim proyek memberikan akses ke anggota dari organisasi atau tim Anda untuk melacak proyek, melihat metrik, dan meninjau label. Anda dapat menggunakan opsi Undang anggota baru melalui email or Impor anggota dari yang sudah ada Amazon Kognito Grup Pengguna. Dalam posting ini, kami menunjukkan cara mengimpor anggota dari yang sudah ada Amazon Kognito grup pengguna untuk menambahkan pengguna ke tim proyek Anda.

1. pada Konsol Ground Truth Plus, navigasikan ke Tim proyek bagian.
2. Pilih Buat tim proyek.
3. Pilih Impor anggota dari grup pengguna Amazon Cognito yang ada.
4. Pilih kumpulan pengguna Amazon Cognito.

Kumpulan pengguna memerlukan domain dan grup pengguna yang sudah ada.

5. Pilih klien aplikasi.

Kami merekomendasikan menggunakan klien yang dihasilkan oleh Amazon SageMaker.

6. Pilih grup pengguna dari kumpulan Anda untuk mengimpor anggota.
7. Pilih Buat tim proyek.
   

Anda dapat menambahkan lebih banyak anggota tim setelah membuat tim proyek dengan memilih Undang anggota baru pada Anggota halaman konsol Ground Truth Plus.

Buat batch

Setelah Anda berhasil mengirimkan permintaan proyek dan membuat tim proyek, Anda dapat mengakses portal proyek Ground Truth Plus dengan mengklik Buka portal proyek di konsol Ground Truth Plus.

Anda dapat menggunakan portal proyek untuk membuat kumpulan proyek, tetapi hanya setelah status proyek berubah menjadi Request approved.

1. Lihat detail dan kumpulan proyek dengan memilih nama proyek.
   Halaman berjudul dengan nama proyek terbuka.
2. Dalam majalah Batch bagian, pilih Buat kumpulan.
   
3. Masukkan nama batch dan deskripsi opsional.
4. Masukkan lokasi S3 dari kumpulan data masukan dan keluaran.

Untuk memastikan batch berhasil dibuat, Anda harus memenuhi persyaratan berikut:

4. • Bucket dan awalan S3 harus ada, dan jumlah total file harus lebih besar dari 0
   • Jumlah objek harus kurang dari 10,000
   • Ukuran setiap objek harus kurang dari 2 GB
   • Ukuran total semua objek yang digabungkan kurang dari 100 GB
   • Peran IAM yang diberikan untuk membuat proyek memiliki izin untuk mengakses keranjang masukan, keranjang keluaran, dan file S3 yang digunakan untuk membuat kumpulan
   • File di bawah lokasi S3 yang disediakan untuk input dataset tidak boleh dienkripsi Layanan Manajemen Kunci AWS (AWS KMS)
5. Pilih Kirim.

Status kumpulan Anda akan ditampilkan sebagai Request submitted. Setelah Ground Truth Plus memiliki akses sementara ke data Anda, pakar AWS akan menyiapkan alur kerja pelabelan data dan mengoperasikannya atas nama Anda, yang akan mengubah status batch menjadi In-progress. Saat pelabelan selesai, status batch berubah dari In-progress untuk Ready for review. Jika Anda ingin meninjau label Anda sebelum menerima label, pilih Tinjau kumpulan. Dari sana, Anda memiliki opsi untuk dipilih Terima batch untuk menerima data berlabel Anda.

Kesimpulan

Posting ini menunjukkan kepada Anda bagaimana beberapa pengguna Ground Truth Plus sekarang dapat membuat proyek dan kumpulan baru, berbagi data, dan menerima data menggunakan akun AWS yang sama melalui antarmuka layanan mandiri yang baru. Kemampuan baru ini memungkinkan Anda memulai proyek pelabelan dengan lebih cepat dan mengurangi biaya operasional. Kami juga mendemonstrasikan bagaimana Anda dapat mengontrol akses mendetail ke data dengan membatasi izin peran IAM Anda agar sesuai dengan tingkat akses individual Anda.

Kami mendorong Anda untuk mencoba fungsi baru ini, dan terhubung dengan Pembelajaran Mesin & komunitas AI jika Anda memiliki pertanyaan atau umpan balik!

Tentang penulis

Manis Goel adalah Manajer Produk untuk Amazon SageMaker Ground Truth Plus. Dia berfokus pada pembuatan produk yang memudahkan pelanggan untuk mengadopsi pembelajaran mesin. Di waktu luangnya, ia menikmati perjalanan darat dan membaca buku.

Karthik Ganduri adalah Insinyur Pengembangan Perangkat Lunak di Amazon AWS, tempat dia bekerja membangun alat ML untuk pelanggan dan solusi internal. Di luar pekerjaan, dia suka mengklik gambar.  

Zhu Ling Bai adalah Insinyur Pengembangan Perangkat Lunak di Amazon AWS. Dia bekerja mengembangkan sistem terdistribusi skala besar untuk memecahkan masalah pembelajaran mesin.

Aatef Baransy adalah insinyur Frontend di Amazon AWS. Dia menulis perangkat lunak yang cepat, andal, dan teruji secara menyeluruh untuk memelihara dan mengembangkan aplikasi AI paling canggih di industri.

Mohammad Adnan adalah Insinyur Senior untuk AI dan ML di AWS. Dia adalah bagian dari banyak peluncuran layanan AWS, terutama Amazon Lookout for Metrics dan AWS Panorama. Saat ini, dia fokus pada penawaran AWS human-in-the-loop (AWS SageMaker's Ground truth, Ground truth plus, dan Augmented AI). Dia adalah advokat kode yang bersih dan ahli materi pelajaran tentang arsitektur tanpa server dan berbasis peristiwa. Anda dapat mengikutinya di LinkedIn, mohammad-adnan-6a99a829.