Amazon SageMaker Ground Truth Plus ile yeni yerleşik arabirimleri kullanarak üretim sınıfı verilere daha hızlı ulaşın

AWS re:Invent 2021'de kullanıma sunuldu, Amazon SageMaker Temel Gerçek Artı veri etiketleme uygulamaları oluşturmak ve etiketleme işgücünü yönetmekle ilişkili farklılaşmamış ağır yükleri ortadan kaldırarak yüksek kaliteli eğitim veri kümeleri oluşturmanıza yardımcı olur. Tek yaptığınız, etiketleme gereksinimleriyle birlikte verileri paylaşmaktır ve Ground Truth Plus, veri etiketleme iş akışınızı bu gereksinimlere göre kurar ve yönetir. Oradan, çeşitli makine öğrenimi (ML) görevlerinde eğitilmiş uzman bir iş gücü verilerinizi etiketler. Ground Truth Plus'ı kullanmak için derin makine öğrenimi uzmanlığına veya iş akışı tasarımı ve kalite yönetimi bilgisine bile ihtiyacınız yok.

Bugün, Ground Truth Plus'ta yeni yerleşik arayüzlerin lansmanını duyurmaktan heyecan duyuyoruz. Bu yeni yetenekle birden fazla Ground Truth Plus kullanıcısı artık yeni bir proje ve yığın, verileri paylaşın ve self servis arabirimler aracılığıyla aynı AWS hesabını kullanarak veri alın. Bu, proje kurulum süresini azaltarak yüksek kaliteli eğitim veri kümelerinin gelişimini hızlandırmanızı sağlar. Ek olarak, verilerinizin kapsamını belirleyerek verilerinize ayrıntılı erişimi kontrol edebilirsiniz. AWS Kimlik ve Erişim Yönetimi Kişisel seviyenize uygun (IAM) rol izinleri Amazon Basit Depolama Hizmeti (Amazon S3) erişimi ve her zaman belirli klasörlere erişimi iptal etme seçeneğiniz vardır.

Şimdiye kadar, yeni veri etiketleme oluşturmak için Ground Truth Plus operasyon programı yöneticinize (OPM) ulaşmanız gerekiyordu. Projeler ve toplu. Bu süreçte bazı kısıtlamalar vardı çünkü yalnızca bir kullanıcının yeni bir proje ve parti talep etmesine izin veriyordu. konsol. Ek olarak, süreç, birden fazla manuel temas noktası ve sorun olması durumunda gerekli sorun giderme nedeniyle etiketleme sürecinin başlatılmasında yapay gecikmeler yarattı. Ayrı ayrı, tüm projeler verilere erişim için aynı IAM rolünü kullandı. Bu nedenle, farklı Amazon S3 klasörleri gibi farklı veri kaynaklarına erişim gerektiren projeleri ve partileri çalıştırmak için, S3 klasörlerinize manuel olarak uygulamanız gereken, hesabınıza özel S3 ilkelerini sağlamak için Ground Truth Plus OPM'nize güvenmeniz gerekiyordu. Bu operasyonun tamamı manuel olarak yoğundu ve bu da operasyonel ek yüklere neden oldu.

Bu gönderi, etiketleme sürecini verimli bir şekilde başlatmak için yeni self servis arayüzleri kullanarak yeni bir proje ve grup oluşturma, veri paylaşma ve veri alma adımlarında size yol gösterir. Bu gönderi, Ground Truth Plus'a aşina olduğunuzu varsayar. Daha fazla bilgi için, bkz Amazon SageMaker Ground Truth Plus – Kodsuz veya Şirket İçi Kaynaklar Olmadan Eğitim Veri Kümeleri Oluşturun.

Çözüme genel bakış

Aşağıdakilerin nasıl yapıldığını gösteriyoruz:

• Mevcut projeleri güncelleme
• Yeni bir proje talep edin
• Bir proje ekibi kurun
• Toplu iş oluştur

Önkoşullar

Başlamadan önce, aşağıdaki ön koşullara sahip olduğunuzdan emin olun:

• An AWS hesabı
• IAM rolleri oluşturma erişimi olan bir IAM kullanıcısı
• The Amazon S3 URI'sı etiketleme nesnelerinizin saklandığı kovanın

Mevcut projeleri güncelleme

Bu gönderide açıklanan yeni özelliklerin lansmanından (9 Aralık 2022) önce bir Ground Truth Plus projeniz varsa, bu özellikleri mevcut Ground Truth Plus projenizle kullanabilmek için bir IAM rolü oluşturmanız ve paylaşmanız gerekir. . Ground Truth Plus'ın yeni bir kullanıcısıysanız, bu bölümü atlayabilirsiniz.

Bir IAM rolü oluşturmak için aşağıdaki adımları tamamlayın:

1. IAM konsolunda, Rol oluştur.
2. seç Özel güven politikası.
3. Rol için aşağıdaki güven ilişkisini belirtin:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Klinik Sonraki.
5. Klinik Politika oluştur.
6. JSON sekmesinde aşağıdaki politikayı belirtin. Her bölüm için iki giriş belirterek Kaynak özelliğini güncelleyin: biri yalnızca ARN grubuyla, diğeri ARN grubuyla ve ardından /*. Örneğin, değiştir ile arn:aws:s3:::my-bucket/myprefix/ ve /* ile arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Klinik Sonraki: Etiketler ve Sonraki: İnceleme.
8. İlkenin adını ve isteğe bağlı bir açıklama girin.
9. Klinik Politika oluştur.
10. Bu sekmeyi kapatın ve rolünüzü oluşturmak için önceki sekmeye dönün.

İzin ekle sekmesinde, oluşturduğunuz yeni politikayı görmelisiniz (görmüyorsanız sayfayı yenileyin).

11. Yeni oluşturulan ilkeyi seçin ve seçin Sonraki.
12. Bir ad girin (örneğin, GTPlusExecutionRole) ve isteğe bağlı olarak rolün bir açıklaması.
13. Klinik Rol oluştur.
14. ARN rolünü, daha sonra bu yeni oluşturulan rolle mevcut projenizi güncelleyecek olan Ground Truth Plus OPM'nize sağlayın.

Yeni bir proje talep edin

Yeni bir proje istemek için aşağıdaki adımları tamamlayın:

1. Üzerinde Ground Truth Plus konsolu, gidin Projeler Bölüm.

Tüm projelerinizin listelendiği yer burasıdır.

2. Klinik Proje talep et.

The Proje talep et sayfası, bir ilk istişare araması planlamamıza ve projenizi oluşturmamıza yardımcı olacak ayrıntıları sağlamanız için bir fırsattır.

3. Proje adı ve açıklaması gibi genel bilgileri belirtmenin yanı sıra, projenin görev türünü ve kişisel olarak tanımlanabilir bilgiler (PII) içerip içermediğini belirtmeniz gerekir.

Verilerinizi etiketlemek için Ground Truth Plus'ın bir S3 klasöründeki ham verilerinize geçici olarak erişmesi gerekir. Etiketleme işlemi tamamlandığında, Ground Truth Plus, etiketleme çıktısını S3 kovanıza geri gönderir. Bu, bir IAM rolü aracılığıyla yapılır. Yeni bir rol oluşturabilir veya yeni bir rol oluşturmak için IAM konsoluna gidebilirsiniz (talimatlar için önceki bölüme bakın).

4. Bir rol oluşturmayı seçerseniz, Özel bir IAM rolü ARN girin ve şu biçimdeki IAM rolü ARN'nizi girin: arn:aws:iam:::role/.
5. Yerleşik aracı kullanmak için, altındaki açılır menüden IAM Rolü, seçmek Yeni bir rol oluştur.
6. Etiketleme verilerinizin grup konumunu belirtin. Etiketleme verilerinizin konumunu bilmiyorsanız veya yüklenmiş herhangi bir etiketleme veriniz yoksa, Herhangi bir S3 kovası, bu da Ground Truth Plus'ın hesabınızın tüm klasörlerine erişmesini sağlar.
7. Klinik oluşturmak rolü oluşturmak için.

IAM rolünüz, şu şekilde tanımlanan Ground Truth Plus'a izin verecektir: sagemaker-ground-truth-plus.amazonaws.com rolün içinde güven politikası, S3 klasörlerinizde aşağıdaki eylemleri çalıştırmak için:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Klinik Proje talep et talebi tamamlamak için.

Bir Ground Truth Plus OPM, veri etiketleme proje gereksinimlerinizi ve fiyatlandırmanızı görüşmek üzere sizinle bir ilk danışma görüşmesi planlayacaktır.

Bir proje ekibi kurun

Bir proje talebinde bulunduktan sonra, proje portalınızda oturum açmak için bir proje ekibi oluşturmanız gerekir. Bir proje ekibi, projeleri izlemek, metrikleri görüntülemek ve etiketleri incelemek için kuruluşunuzdaki veya ekibinizdeki üyelere erişim sağlar. seçeneğini kullanabilirsiniz E-posta ile yeni üyeler davet edin or Mevcut üyelerden içe aktar Amazon Cognito'su kullanıcı grupları. Bu gönderide, mevcut üyelerden üyelerin nasıl içe aktarılacağını gösteriyoruz. Amazon Cognito'su proje ekibinize kullanıcı eklemek için kullanıcı grupları.

1. Üzerinde Ground Truth Plus konsolu, gidin Proje takımı Bölüm.
2. Klinik Proje ekibi oluşturun.
3. Klinik Mevcut Amazon Cognito kullanıcı gruplarından üyeleri içe aktarın.
4. Bir Amazon Cognito kullanıcı havuzu seçin.

Kullanıcı havuzları, bir etki alanı ve mevcut bir kullanıcı grubu gerektirir.

5. Bir uygulama istemcisi seçin.

tarafından oluşturulmuş bir istemci kullanmanızı öneririz. Amazon Adaçayı Yapıcı.

6. Üyeleri içe aktarmak için havuzunuzdan bir kullanıcı grubu seçin.
7. Klinik Proje ekibi oluştur.
   

Proje ekibini oluşturduktan sonra seçerek daha fazla ekip üyesi ekleyebilirsiniz. yeni üyeler davet et üzerinde Üyeler Ground Truth Plus konsolunun sayfası.

Toplu iş oluştur

Proje talebini başarıyla gönderdikten ve bir proje ekibi oluşturduktan sonra, Ground Truth Plus proje portalına tıklayarak erişebilirsiniz. Proje portalını aç Ground Truth Plus konsolunda.

Bir proje için partiler oluşturmak üzere proje portalını kullanabilirsiniz, ancak bunu yalnızca projenin durumu olarak değiştirdikten sonra yapabilirsiniz. Request approved.

1. Proje adını seçerek bir projenin ayrıntılarını ve partilerini görüntüleyin.
   Proje adının yer aldığı bir sayfa açılır.
2. içinde Gruplar bölümü, seçim Toplu oluştur.
   
3. Bir toplu iş adı ve isteğe bağlı açıklama girin.
4. Giriş ve çıkış veri kümelerinin S3 konumlarını girin.

Partinin başarıyla oluşturulduğundan emin olmak için aşağıdaki gereksinimleri karşılamanız gerekir:

4. • S3 grubu ve öneki mevcut olmalı ve toplam dosya sayısı 0'dan büyük olmalıdır.
   • Toplam nesne sayısı 10,000'den az olmalıdır
   • Her nesnenin boyutu 2 GB'tan az olmalıdır
   • Birleştirilen tüm nesnelerin toplam boyutu 100 GB'tan azdır
   • Bir proje oluşturmak için sağlanan IAM rolü, toplu işi oluşturmak için kullanılan girdi grubu, çıktı grubu ve S3 dosyalarına erişim iznine sahiptir.
   • Girdi veri kümeleri için sağlanan S3 konumu altındaki dosyalar şu şekilde şifrelenmemelidir: AWS Anahtar Yönetim Hizmeti (AWS KMS)
5. Klinik Gönder.

Toplu iş durumunuz şu şekilde gösterilir: Request submitted. Ground Truth Plus verilerinize geçici olarak eriştikten sonra, AWS uzmanları veri etiketleme iş akışları oluşturacak ve bunları sizin adınıza çalıştıracak ve bu da toplu iş durumunu şu şekilde değiştirecektir: In-progress. Etiketleme tamamlandığında parti durumu değişir. In-progress için Ready for review. Etiketleri teslim almadan önce incelemek isterseniz, Partiyi gözden geçirin. Oradan, seçme seçeneğiniz var Partiyi kabul et etiketli verilerinizi almak için.

Sonuç

Bu gönderi, birden fazla Ground Truth Plus kullanıcısının artık nasıl yeni bir proje ve toplu iş oluşturabileceğini, verileri paylaşabileceğini ve yeni self servis arayüzler aracılığıyla aynı AWS hesabını kullanarak nasıl veri alabileceğini gösterdi. Bu yeni yetenek, etiketleme projelerinizi daha hızlı başlatmanıza olanak tanır ve operasyonel ek yükü azaltır. Ayrıca, bireysel erişim düzeyinize uyması için IAM rolü izinlerinizin kapsamını belirleyerek verilere ayrıntılı erişimi nasıl kontrol edebileceğinizi de gösterdik.

Bu yeni işlevi denemenizi ve şuraya bağlanmanızı öneririz: Makine Öğrenimi ve Yapay Zeka topluluğu herhangi bir sorunuz veya geri bildiriminiz varsa!

yazarlar hakkında

Manish Goel Amazon SageMaker Ground Truth Plus'ın Ürün Yöneticisidir. Müşterilerin makine öğrenimini benimsemesini kolaylaştıran ürünler oluşturmaya odaklanmıştır. Boş zamanlarında yolculuk yapmaktan ve kitap okumaktan hoşlanır.

Karthik Ganduri Amazon AWS'de bir Yazılım Geliştirme Mühendisidir ve burada müşteriler için makine öğrenimi araçları ve şirket içi çözümler oluşturmaya çalışır. İş dışında resimlere tıklamaktan hoşlanıyor.  

Zhuling Bai Amazon AWS'de Yazılım Geliştirme Mühendisi. Makine öğrenimi sorunlarını çözmek için büyük ölçekli dağıtık sistemler geliştirmeye çalışıyor.

Aatef Baransy Amazon AWS'de bir Önyüz mühendisidir. Sektörün en ileri teknoloji yapay zeka uygulamalarını beslemek ve büyütmek için hızlı, güvenilir ve baştan sona test edilmiş yazılımlar yazıyor.

Muhammed Adnan AWS'de Yapay Zeka ve Makine Öğrenimi için Kıdemli Mühendistir. Başta Amazon Lookout for Metrics ve AWS Panorama olmak üzere birçok AWS hizmet lansmanının parçasıydı. Şu anda AWS human-in-the-loop tekliflerine (AWS SageMaker's Ground Truth, Ground Truth Plus ve Augmented AI) odaklanmaktadır. Temiz kod savunucusu ve sunucusuz ve olay güdümlü mimari konusunda konu uzmanıdır. Onu LinkedIn'de takip edebilirsiniz, mohammad-adnan-6a99a829.