Accéder plus rapidement aux données de niveau production en utilisant de nouvelles interfaces intégrées avec Amazon SageMaker Ground Truth Plus

Lancé à AWS re:Invent 2021, Amazon SageMaker Vérité au sol Plus vous aide à créer des ensembles de données de formation de haute qualité en supprimant les charges lourdes indifférenciées associées à la création d'applications d'étiquetage de données et à la gestion de la main-d'œuvre d'étiquetage. Tout ce que vous faites est de partager des données avec les exigences d'étiquetage, et Ground Truth Plus configure et gère votre flux de travail d'étiquetage de données en fonction de ces exigences. À partir de là, une main-d'œuvre experte formée à diverses tâches d'apprentissage automatique (ML) étiquette vos données. Vous n'avez même pas besoin d'une expertise approfondie en ML ou de connaissances en conception de flux de travail et en gestion de la qualité pour utiliser Ground Truth Plus.

Aujourd'hui, nous sommes ravis d'annoncer le lancement de nouvelles interfaces intégrées sur Ground Truth Plus. Grâce à cette nouvelle fonctionnalité, plusieurs utilisateurs de Ground Truth Plus peuvent désormais créer un nouveau Projet ainsi que le lot, partager des données et recevoir des données à l'aide du même compte AWS via des interfaces en libre-service. Cela vous permet d'accélérer le développement d'ensembles de données de formation de haute qualité en réduisant le temps de configuration du projet. De plus, vous pouvez contrôler l'accès précis à vos données en définissant votre Gestion des identités et des accès AWS (IAM) des autorisations de rôle correspondant à votre niveau individuel de Service de stockage simple Amazon (Amazon S3) et vous avez toujours la possibilité de révoquer l'accès à certains compartiments.

Jusqu'à présent, vous deviez contacter votre responsable du programme des opérations Ground Truth Plus (OPM) pour créer un nouvel étiquetage des données. projets ainsi que le lots. Ce processus comportait certaines restrictions, car il n'autorisait qu'un seul utilisateur à demander un nouveau projet et un nouveau lot. Si plusieurs utilisateurs au sein de l'organisation utilisaient le même compte AWS, un seul utilisateur pouvait demander un nouveau projet et un nouveau lot d'étiquetage de données à l'aide de Ground Truth Plus. console. De plus, le processus a créé des retards artificiels dans le lancement du processus d'étiquetage en raison de multiples points de contact manuels et du dépannage requis en cas de problème. Séparément, tous les projets ont utilisé le même rôle IAM pour accéder aux données. Par conséquent, pour exécuter des projets et des lots nécessitant un accès à différentes sources de données telles que différents compartiments Amazon S3, vous deviez vous fier à votre OPM Ground Truth Plus pour fournir des politiques S3 spécifiques à votre compte, que vous deviez appliquer manuellement à vos compartiments S3. Toute cette opération était manuellement intensive, ce qui entraînait des frais généraux opérationnels.

Cet article vous guide à travers les étapes pour créer un nouveau projet et un lot, partager des données et recevoir des données à l'aide des nouvelles interfaces en libre-service pour lancer efficacement le processus d'étiquetage. Ce message suppose que vous connaissez Ground Truth Plus. Pour plus d'informations, voir Amazon SageMaker Ground Truth Plus – Créez des ensembles de données de formation sans code ni ressources internes.

Vue d'ensemble de la solution

Nous montrons comment faire ce qui suit :

• Mettre à jour les projets existants
• Demander un nouveau projet
• Mettre en place une équipe projet
• Créer un lot

Pré-requis

Avant de commencer, assurez-vous que vous disposez des conditions préalables suivantes:

• An Compte AWS
• Un utilisateur IAM disposant d'un accès pour créer des rôles IAM
• La URI Amazon S3 du compartiment où sont stockés vos objets d'étiquetage

Mettre à jour les projets existants

Si vous avez un projet Ground Truth Plus avant le lancement (9 décembre 2022) des nouvelles fonctionnalités décrites dans cet article, vous devez créer et partager un rôle IAM afin de pouvoir utiliser ces fonctionnalités avec votre projet Ground Truth Plus existant. . Si vous êtes un nouvel utilisateur de Ground Truth Plus, vous pouvez ignorer cette section.

Pour créer un rôle IAM, procédez comme suit :

1. Sur la console IAM, choisissez Créer un rôle.
2. Sélectionnez Politique de confiance personnalisée.
3. Spécifiez la relation d'approbation suivante pour le rôle :

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Selectionnez Suivant.
5. Selectionnez Créer une politique.
6. Dans l'onglet JSON, spécifiez la stratégie suivante. Mettez à jour la propriété Resource en spécifiant deux entrées pour chaque compartiment : une avec uniquement l'ARN du compartiment et une autre avec l'ARN du compartiment suivi de /*. Remplacez par exemple comprenant arn:aws:s3:::my-bucket/myprefix/ ainsi que le /* comprenant arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Selectionnez Suivant: Tags ainsi que le Suivant: Examen.
8. Saisissez le nom de la stratégie et une description facultative.
9. Selectionnez Créer une politique.
10. Fermez cet onglet et revenez à l'onglet précédent pour créer votre rôle.

Dans l'onglet Ajouter des autorisations, vous devriez voir la nouvelle stratégie que vous avez créée (actualisez la page si vous ne la voyez pas).

11. Sélectionnez la stratégie nouvellement créée et choisissez Suivant.
12. Entrez un nom (par exemple, GTPlusExecutionRole) et éventuellement une description du rôle.
13. Selectionnez Créer un rôle.
14. Fournissez le rôle ARN à votre OPM Ground Truth Plus, qui mettra ensuite à jour votre projet existant avec ce rôle nouvellement créé.

Demander un nouveau projet

Pour demander un nouveau projet, procédez comme suit :

1. Sur le Console Ground Truth Plus, naviguez jusqu'à Projets .

C'est là que tous vos projets sont répertoriés.

2. Selectionnez Demander un projet.

La Demander un projet est l'occasion de fournir des détails qui nous aideront à planifier un appel de consultation initial et à mettre en place votre projet.

3. En plus de spécifier des informations générales telles que le nom et la description du projet, vous devez spécifier le type de tâche du projet et s'il contient des informations personnellement identifiables (PII).

Pour étiqueter vos données, Ground Truth Plus a besoin d'un accès temporaire à vos données brutes dans un compartiment S3. Lorsque le processus d'étiquetage est terminé, Ground Truth Plus renvoie la sortie d'étiquetage à votre compartiment S3. Cela se fait via un rôle IAM. Vous pouvez soit créer un nouveau rôle, soit accéder à la console IAM pour créer un nouveau rôle (reportez-vous à la section précédente pour obtenir des instructions).

4. Si vous choisissez de créer un rôle, choisissez Entrez un ARN de rôle IAM personnalisé et saisissez l'ARN de votre rôle IAM, au format arn:aws:iam:::role/.
5. Pour utiliser l'outil intégré, dans le menu déroulant sous Rôle IAM, choisissez Créer un nouveau rôle.
6. Spécifiez l'emplacement du compartiment de vos données d'étiquetage. Si vous ne connaissez pas l'emplacement de vos données d'étiquetage ou si vous n'avez chargé aucune donnée d'étiquetage, sélectionnez Tout compartiment S3, qui donnera à Ground Truth Plus l'accès à tous les buckets de votre compte.
7. Selectionnez Création pour créer le rôle.

Votre rôle IAM permettra à Ground Truth Plus, identifié comme sagemaker-ground-truth-plus.amazonaws.com dans le rôle politique de confiance, pour exécuter les actions suivantes sur vos buckets S3 :

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Selectionnez Demander un projet pour compléter la demande.

Un OPM Ground Truth Plus planifiera un appel de consultation initial avec vous pour discuter des exigences et des prix de votre projet d'étiquetage des données.

Mettre en place une équipe projet

Après avoir demandé un projet, vous devez créer une équipe de projet pour vous connecter à votre portail de projet. Une équipe de projet donne accès aux membres de votre organisation ou de votre équipe pour suivre les projets, afficher les métriques et réviser les étiquettes. Vous pouvez utiliser l'option Inviter de nouveaux membres par email or Importer des membres à partir de Amazon Cognito groupes d'utilisateurs. Dans cet article, nous montrons comment importer des membres à partir de Amazon Cognito groupes d'utilisateurs pour ajouter des utilisateurs à votre équipe de projet.

1. Sur le Console Ground Truth Plus, naviguez jusqu'à Projet de groupe .
2. Selectionnez Créer une équipe de projet.
3. Selectionnez Importez des membres à partir de groupes d'utilisateurs Amazon Cognito existants.
4. Choisissez un groupe d'utilisateurs Amazon Cognito.

Les groupes d'utilisateurs nécessitent un domaine et un groupe d'utilisateurs existant.

5. Choisissez un client d'application.

Nous vous recommandons d'utiliser un client généré par Amazon Sage Maker.

6. Choisissez un groupe d'utilisateurs dans votre pool pour importer des membres.
7. Selectionnez Créer une équipe de projet.
   

Vous pouvez ajouter d'autres membres de l'équipe après avoir créé l'équipe de projet en choisissant Inviter de nouveaux membres sur le Membres page de la console Ground Truth Plus.

Créer un lot

Après avoir soumis avec succès la demande de projet et créé une équipe de projet, vous pouvez accéder au portail du projet Ground Truth Plus en cliquant sur Ouvrir le portail du projet sur la console Ground Truth Plus.

Vous pouvez utiliser le portail de projets pour créer des lots pour un projet, mais uniquement après que le statut du projet est passé à Request approved.

1. Affichez les détails et les lots d'un projet en choisissant le nom du projet.
   Une page intitulée avec le nom du projet s'ouvre.
2. Dans le Des lots section, choisissez Créer un lot.
   
3. Entrez un nom de lot et une description facultative.
4. Entrez les emplacements S3 des jeux de données d'entrée et de sortie.

Pour vous assurer que le lot est créé avec succès, vous devez remplir les conditions suivantes :

4. • Le compartiment et le préfixe S3 doivent exister et le nombre total de fichiers doit être supérieur à 0
   • Le nombre total d'objets doit être inférieur à 10,000 XNUMX
   • La taille de chaque objet doit être inférieure à 2 Go
   • La taille totale de tous les objets combinés est inférieure à 100 Go
   • Le rôle IAM fourni pour créer un projet est autorisé à accéder au compartiment d'entrée, au compartiment de sortie et aux fichiers S3 utilisés pour créer le lot
   • Les fichiers sous l'emplacement S3 fourni pour les jeux de données d'entrée ne doivent pas être chiffrés par Service de gestion des clés AWS (KMS AWS)
5. Selectionnez Envoyer.

L'état de votre lot s'affichera comme Request submitted. Une fois que Ground Truth Plus aura temporairement accès à vos données, les experts AWS mettront en place des workflows d'étiquetage des données et les exécuteront en votre nom, ce qui changera le statut du lot en In-progress. Lorsque l'étiquetage est terminé, l'état du lot passe de In-progress à Ready for review. Si vous souhaitez revoir vos étiquettes avant de les recevoir, choisissez Revoir le lot. À partir de là, vous avez la possibilité de choisir Accepter le lot pour recevoir vos données étiquetées.

Conclusion

Cet article vous a montré comment plusieurs utilisateurs de Ground Truth Plus peuvent désormais créer un nouveau projet et un lot, partager des données et recevoir des données à l'aide du même compte AWS via de nouvelles interfaces en libre-service. Cette nouvelle fonctionnalité vous permet de lancer vos projets d'étiquetage plus rapidement et de réduire les frais généraux opérationnels. Nous avons également montré comment vous pouvez contrôler l'accès précis aux données en adaptant les autorisations de votre rôle IAM à votre niveau d'accès individuel.

Nous vous encourageons à essayer cette nouvelle fonctionnalité et à vous connecter avec le Communauté d'apprentissage automatique et d'IA si vous avez des questions ou des commentaires!

À propos des auteurs

Manish Goël est le chef de produit pour Amazon SageMaker Ground Truth Plus. Il se concentre sur la création de produits qui facilitent l'adoption de l'apprentissage automatique par les clients. Dans ses temps libres, il aime les voyages en voiture et lire des livres.

Karthik Ganduri est ingénieur en développement logiciel chez Amazon AWS, où il travaille à la création d'outils ML pour les clients et les solutions internes. En dehors du travail, il aime cliquer sur les photos.  

Zhuling Bai est ingénieur en développement logiciel chez Amazon AWS. Elle travaille sur le développement de systèmes distribués à grande échelle pour résoudre des problèmes d'apprentissage automatique.

Aatef Baransy est ingénieur Frontend chez Amazon AWS. Il écrit des logiciels rapides, fiables et soigneusement testés pour développer et développer les applications d'IA les plus avancées du secteur.

Mohamed Adnan est ingénieur senior pour l'IA et le ML chez AWS. Il a participé à de nombreux lancements de services AWS, notamment Amazon Lookout for Metrics et AWS Panorama. Actuellement, il se concentre sur les offres AWS human-in-the-loop (vérité au sol d'AWS SageMaker, vérité au sol plus et IA augmentée). Il est un défenseur du code propre et un expert en la matière sur l'architecture sans serveur et pilotée par les événements. Vous pouvez le suivre sur LinkedIn, mohammad-adnan-6a99a829.