Ottieni dati di livello di produzione più rapidamente utilizzando le nuove interfacce integrate con Amazon SageMaker Ground Truth Plus

Lanciato ad AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus ti aiuta a creare set di dati di addestramento di alta qualità rimuovendo il lavoro pesante indifferenziato associato alla creazione di applicazioni di etichettatura dei dati e alla gestione della forza lavoro di etichettatura. Tutto ciò che fai è condividere i dati insieme ai requisiti di etichettatura e Ground Truth Plus imposta e gestisce il tuo flusso di lavoro di etichettatura dei dati in base a questi requisiti. Da lì, una forza lavoro esperta che viene addestrata su una varietà di attività di machine learning (ML) etichetta i tuoi dati. Non hai nemmeno bisogno di una profonda esperienza di ML o conoscenza della progettazione del flusso di lavoro e della gestione della qualità per utilizzare Ground Truth Plus.

Oggi siamo lieti di annunciare il lancio di nuove interfacce integrate su Ground Truth Plus. Con questa nuova funzionalità, più utenti di Ground Truth Plus possono ora creare un nuovo progetto ed partita, condividere e ricevere dati utilizzando lo stesso account AWS tramite interfacce self-service. Ciò consente di accelerare lo sviluppo di set di dati di addestramento di alta qualità riducendo i tempi di configurazione del progetto. Inoltre, puoi controllare l'accesso granulare ai tuoi dati definendo l'ambito del tuo Gestione dell'identità e dell'accesso di AWS (IAM) autorizzazioni di ruolo corrispondenti al tuo livello individuale di Servizio di archiviazione semplice Amazon (Amazon S3) e hai sempre la possibilità di revocare l'accesso a determinati bucket.

Fino ad ora, dovevi contattare il tuo responsabile del programma operativo Ground Truth Plus (OPM) per creare una nuova etichettatura dei dati progetti ed lotti. Questo processo presentava alcune restrizioni perché consentiva a un solo utente di richiedere un nuovo progetto e batch: se più utenti all'interno dell'organizzazione utilizzavano lo stesso account AWS, solo un utente poteva richiedere un nuovo progetto e batch di etichettatura dei dati utilizzando Ground Truth Plus consolare. Inoltre, il processo ha creato ritardi artificiali nell'avvio del processo di etichettatura a causa dei molteplici punti di contatto manuali e della risoluzione dei problemi richiesti in caso di problemi. Separatamente, tutti i progetti hanno utilizzato lo stesso ruolo IAM per l'accesso ai dati. Pertanto, per eseguire progetti e batch che richiedevano l'accesso a origini dati diverse, ad esempio diversi bucket Amazon S3, dovevi fare affidamento sul tuo Ground Truth Plus OPM per fornire policy S3 specifiche per il tuo account, che dovevi applicare manualmente ai tuoi bucket S3. L'intera operazione è stata intensiva manualmente con conseguenti costi operativi.

Questo post ti guida attraverso i passaggi per creare un nuovo progetto e batch, condividere dati e ricevere dati utilizzando le nuove interfacce self-service per avviare in modo efficiente il processo di etichettatura. Questo post presuppone che tu abbia familiarità con Ground Truth Plus. Per ulteriori informazioni, vedere Amazon SageMaker Ground Truth Plus: crea set di dati di addestramento senza codice o risorse interne.

Panoramica della soluzione

Dimostriamo come fare quanto segue:

• Aggiorna i progetti esistenti
• Richiedi un nuovo progetto
• Crea un team di progetto
• Crea un lotto

Prerequisiti

Prima di iniziare, assicurati di avere i seguenti prerequisiti:

• An Account AWS
• Un utente IAM con accesso per creare ruoli IAM
• Il URI di Amazon S3 del bucket in cui sono archiviati gli oggetti di etichettatura

Aggiorna i progetti esistenti

Se hai un progetto Ground Truth Plus prima del lancio (9 dicembre 2022) delle nuove funzionalità descritte in questo post, devi creare e condividere un ruolo IAM in modo da poter utilizzare queste funzionalità con il tuo progetto Ground Truth Plus esistente . Se sei un nuovo utente di Ground Truth Plus, puoi saltare questa sezione.

Per creare un ruolo IAM, completa i seguenti passaggi:

1. Sulla console IAM, scegli Crea ruolo.
2. Seleziona Politica di fiducia personalizzata.
3. Specificare la seguente relazione di trust per il ruolo:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Scegli Avanti.
5. Scegli Crea politica.
6. Nella scheda JSON, specifica la seguente policy. Aggiorna la proprietà Resource specificando due voci per ogni bucket: una con solo l'ARN del bucket e un'altra con l'ARN del bucket seguito da /*. Ad esempio, sostituisci con arn:aws:s3:::my-bucket/myprefix/ ed /* con arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Scegli Avanti: Tag ed Avanti: Revisione.
8. Immettere il nome della policy e una descrizione facoltativa.
9. Scegli Crea politica.
10. Chiudi questa scheda e torna alla scheda precedente per creare il tuo ruolo.

Nella scheda Aggiungi autorizzazioni, dovresti vedere il nuovo criterio che hai creato (aggiorna la pagina se non lo vedi).

11. Selezionare la politica appena creata e scegliere Avanti.
12. Immettere un nome (ad esempio, GTPlusExecutionRole) e facoltativamente una descrizione del ruolo.
13. Scegli Crea ruolo.
14. Fornisci l'ARN del ruolo al tuo OPM Ground Truth Plus, che aggiornerà quindi il tuo progetto esistente con questo ruolo appena creato.

Richiedi un nuovo progetto

Per richiedere un nuovo progetto, completare i seguenti passaggi:

1. Sulla Console Ground Truth Plus, vai al Progetti .

Qui è dove sono elencati tutti i tuoi progetti.

2. Scegli Richiedi progetto.

Il Richiedi progetto page è la tua opportunità per fornire dettagli che ci aiuteranno a programmare una chiamata di consulenza iniziale e impostare il tuo progetto.

3. Oltre a specificare informazioni generali come il nome e la descrizione del progetto, è necessario specificare il tipo di attività del progetto e se contiene informazioni di identificazione personale (PII).

Per etichettare i tuoi dati, Ground Truth Plus ha bisogno di un accesso temporaneo ai tuoi dati grezzi in un bucket S3. Quando il processo di etichettatura è completo, Ground Truth Plus restituisce l'output di etichettatura al bucket S3. Questo viene fatto tramite un ruolo IAM. Puoi creare un nuovo ruolo oppure passare alla console IAM per creare un nuovo ruolo (consulta la sezione precedente per le istruzioni).

4. Se scegli di creare un ruolo, scegli Immettere un ARN del ruolo IAM personalizzato e inserisci l'ARN del tuo ruolo IAM, che è nel formato di arn:aws:iam:::role/.
5. Per utilizzare lo strumento integrato, nel menu a discesa sotto Ruolo IAMscegli Crea un nuovo ruolo.
6. Specifica la posizione del bucket dei dati di etichettatura. Se non conosci la posizione dei tuoi dati di etichettatura o se non hai caricato alcun dato di etichettatura, seleziona Qualsiasi secchio S3, che darà a Ground Truth Plus l'accesso a tutti i bucket del tuo account.
7. Scegli Creare per creare il ruolo.

Il tuo ruolo IAM consentirà Ground Truth Plus, identificato come sagemaker-ground-truth-plus.amazonaws.com nei ruoli politica di fiducia, per eseguire le seguenti azioni sui tuoi bucket S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Scegli Richiedi progetto per completare la richiesta.

Un OPM Ground Truth Plus pianificherà una chiamata di consultazione iniziale con te per discutere i requisiti e i prezzi del progetto di etichettatura dei dati.

Crea un team di progetto

Dopo aver richiesto un progetto, è necessario creare un team di progetto per accedere al portale del progetto. Un team di progetto fornisce l'accesso ai membri dell'organizzazione o del team per tenere traccia dei progetti, visualizzare le metriche e rivedere le etichette. Puoi usare l'opzione Invita nuovi membri via e-mail or Importa membri da quelli esistenti Amazzonia Cognito gruppi di utenti. In questo post, mostriamo come importare membri esistenti Amazzonia Cognito gruppi di utenti per aggiungere utenti al team di progetto.

1. Sulla Console Ground Truth Plus, vai al Team di progetto .
2. Scegli Crea squadra di progetto.
3. Scegli Importa membri da gruppi di utenti esistenti di Amazon Cognito.
4. Scegli un pool di utenti Amazon Cognito.

I pool di utenti richiedono un dominio e un gruppo di utenti esistente.

5. Scegli un client dell'app.

Si consiglia di utilizzare un client generato da Amazon Sage Maker.

6. Scegli un gruppo di utenti dal tuo pool per importare i membri.
7. Scegli Crea squadra di progetto.
   

Puoi aggiungere più membri del team dopo aver creato il team di progetto scegliendo Invita nuovi membri sul canale Utenti pagina della console Ground Truth Plus.

Crea un lotto

Dopo aver inviato correttamente la richiesta del progetto e creato un team di progetto, puoi accedere al portale del progetto Ground Truth Plus facendo clic su Apri il portale del progetto sulla console Ground Truth Plus.

È possibile utilizzare il portale del progetto per creare batch per un progetto, ma solo dopo che lo stato del progetto è passato a Request approved.

1. Visualizza i dettagli e i batch di un progetto scegliendo il nome del progetto.
   Si apre una pagina intitolata con il nome del progetto.
2. Nel lotti sezione, scegliere Crea lotto.
   
3. Immettere un nome batch e una descrizione facoltativa.
4. Immettere le posizioni S3 dei set di dati di input e output.

Per garantire che il batch venga creato correttamente, è necessario soddisfare i seguenti requisiti:

4. • Il bucket e il prefisso S3 devono esistere e il numero totale di file deve essere maggiore di 0
   • Il numero totale di oggetti deve essere inferiore a 10,000
   • La dimensione di ciascun oggetto deve essere inferiore a 2 GB
   • La dimensione totale di tutti gli oggetti combinati è inferiore a 100 GB
   • Il ruolo IAM fornito per creare un progetto dispone dell'autorizzazione per accedere al bucket di input, al bucket di output e ai file S3 utilizzati per creare il batch
   • I file nella posizione S3 fornita per i set di dati di input non devono essere crittografati da Servizio di gestione delle chiavi AWS (AWSKMS)
5. Scegli Invio.

Lo stato del tuo batch verrà visualizzato come Request submitted. Dopo che Ground Truth Plus avrà accesso temporaneo ai tuoi dati, gli esperti AWS imposteranno i flussi di lavoro di etichettatura dei dati e li gestiranno per tuo conto, il che cambierà lo stato del batch in In-progress. Al termine dell'etichettatura, lo stato del lotto cambia da In-progress a Ready for review. Se desideri rivedere le tue etichette prima di riceverle, scegli Rivedi il lotto. Da lì, hai un'opzione da scegliere Accetta lotto per ricevere i tuoi dati etichettati.

Conclusione

Questo post ti ha mostrato come più utenti Ground Truth Plus possono ora creare un nuovo progetto e batch, condividere dati e ricevere dati utilizzando lo stesso account AWS attraverso nuove interfacce self-service. Questa nuova funzionalità consente di avviare più rapidamente i progetti di etichettatura e riduce i costi operativi. Abbiamo anche dimostrato come puoi controllare l'accesso granulare ai dati definendo l'ambito delle autorizzazioni del tuo ruolo IAM in modo che corrispondano al tuo livello di accesso individuale.

Ti invitiamo a provare questa nuova funzionalità e a connetterti con il Apprendimento automatico e comunità di intelligenza artificiale se avete domande o feedback!

Circa gli autori

Manish Goel è il Product Manager di Amazon SageMaker Ground Truth Plus. Si concentra sulla creazione di prodotti che rendano più facile per i clienti adottare l'apprendimento automatico. Nel tempo libero ama viaggiare e leggere libri.

Karthik Ganduri è un Software Development Engineer presso Amazon AWS, dove lavora alla creazione di strumenti ML per i clienti e soluzioni interne. Al di fuori del lavoro, gli piace fare clic sulle immagini.  

Zhuling Bai è un Software Development Engineer presso Amazon AWS. Lavora allo sviluppo di sistemi distribuiti su larga scala per risolvere problemi di machine learning.

Aatef Baransy è un ingegnere frontend presso Amazon AWS. Scrive software veloce, affidabile e accuratamente testato per coltivare e far crescere le applicazioni IA più all'avanguardia del settore.

Mohammed Adnan è Senior Engineer per AI e ML presso AWS. Ha preso parte a numerosi lanci di servizi AWS, in particolare Amazon Lookout for Metrics e AWS Panorama. Attualmente, si sta concentrando sulle offerte Human-in-the-loop di AWS (AWS SageMaker's Ground Truth, Ground Truth Plus e Augmented AI). È un sostenitore del codice pulito ed un esperto in materia di architettura senza server e guidata dagli eventi. Puoi seguirlo su LinkedIn, mohammad-adnan-6a99a829.