Inspectez vos étiquettes de données avec un outil visuel sans code pour créer des ensembles de données de formation de haute qualité avec Amazon SageMaker Ground Truth Plus

Lancé à AWS re:Invent 2021, Amazon SageMaker Vérité au sol Plus vous aide à créer des ensembles de données de formation de haute qualité en supprimant les charges lourdes indifférenciées associées à la création d'applications d'étiquetage de données et à la gestion de la main-d'œuvre d'étiquetage. Tout ce que vous faites est de partager des données avec les exigences d'étiquetage, et Ground Truth Plus configure et gère votre flux de travail d'étiquetage de données en fonction de ces exigences. À partir de là, une main-d'œuvre experte formée à diverses tâches d'apprentissage automatique (ML) effectue l'étiquetage des données. Vous n'avez même pas besoin d'une expertise approfondie en ML ou de connaissances en conception de flux de travail et en gestion de la qualité pour utiliser Ground Truth Plus.

La création d'un ensemble de données d'entraînement de haute qualité pour votre algorithme ML est un processus itératif. Les praticiens du ML créent souvent des systèmes personnalisés pour inspecter les étiquettes de données, car des données étiquetées avec précision sont essentielles à la qualité du modèle de ML. Pour vous assurer d'obtenir des données d'entraînement de haute qualité, Ground Truth Plus vous fournit une interface utilisateur intégrée (interface utilisateur de révision) pour inspecter la qualité des étiquettes de données et fournir des commentaires sur les étiquettes de données jusqu'à ce que vous soyez satisfait que les étiquettes représentent avec précision le la vérité terrain ou ce qui est directement observable dans le monde réel.

Cet article vous guide à travers les étapes pour créer une équipe de projet et utiliser plusieurs nouvelles fonctionnalités intégrées de l'outil Review UI pour effectuer efficacement votre inspection d'un jeu de données étiqueté. La procédure pas à pas suppose que vous avez un projet d'étiquetage Ground Truth Plus actif. Pour plus d'informations, voir Amazon SageMaker Ground Truth Plus – Créez des ensembles de données de formation sans code ni ressources internes.

Mettre en place une équipe projet

Une équipe de projet donne accès aux membres de votre organisation pour inspecter les étiquettes de données à l'aide de l'outil d'interface utilisateur Review. Pour configurer une équipe de projet, procédez comme suit :

1. Sur la vérité au sol plus console, choisissez Créer une équipe de projet.
2. Sélectionnez Créer un nouveau groupe d'utilisateurs Amazon Cognito . Si vous avez déjà un existant Amazon Cognito groupe d'utilisateurs, sélectionnez le Importer des membres option.
3. Pour Nom du groupe d'utilisateurs Amazon Cognito, entrez un nom. Ce nom ne peut pas être modifié.
4. Pour Les adresses de courriel, saisissez les adresses e-mail de 50 membres de l'équipe au maximum, séparées par des virgules.
5. Selectionnez Créer une équipe de projet.

Les membres de votre équipe recevront un e-mail les invitant à rejoindre l'équipe du projet Ground Truth Plus. À partir de là, ils peuvent se connecter au portail du projet Ground Truth Plus pour examiner les étiquettes de données.

Inspecter la qualité des ensembles de données étiquetés

Plongeons maintenant dans un exemple de suivi d'objet vidéo en utilisant Scènes de rue CBCL jeu de données.

Une fois les données de votre lot étiquetées, le lot est marqué comme Prêt pour examen.

Sélectionnez le lot et choisissez Revoir le lot. Vous êtes redirigé vers l'interface utilisateur de révision. Vous avez la possibilité de choisir un taux d'échantillonnage différent pour chaque lot que vous examinez. Par exemple, dans notre exemple de lot, nous avons un total de cinq vidéos. Vous pouvez spécifier si vous souhaitez revoir uniquement un sous-ensemble de ces cinq vidéos ou toutes.

Examinons maintenant les différentes fonctionnalités de l'interface utilisateur de révision qui vous aideront à inspecter plus rapidement la qualité de l'ensemble de données étiqueté et à fournir des commentaires sur la qualité :

• Filtrer les étiquettes en fonction de la catégorie d'étiquettes – Dans l'interface utilisateur de révision, dans le volet de droite, vous pouvez filtrer les étiquettes en fonction de leur catégorie d'étiquette. Cette fonctionnalité est pratique lorsqu'il existe plusieurs catégories d'étiquettes (par exemple, Vehicles, Pedestrianset Poles) dans un objet de jeu de données dense et vous souhaitez afficher les étiquettes d'une seule catégorie d'étiquettes à la fois. Par exemple, concentrons-nous sur le Car catégorie d'étiquette. Entrer le Car catégorie d'étiquettes dans le volet de droite pour filtrer toutes les annotations de type uniquement Car. Les captures d'écran suivantes montrent la vue de l'interface utilisateur de révision avant et après l'application du filtre.
  
• Superposer les valeurs d'attribut annotées associées – Chaque étiquette peut se voir attribuer des attributs à annoter. Par exemple, pour la catégorie d'étiquette Car , imaginons que vous souhaitiez demander aux ouvriers d'annoter également Color  ainsi que  Occlusion attributs pour chaque instance d'étiquette. Lorsque vous chargez l'interface utilisateur de révision, vous verrez les attributs correspondants sous chaque instance d'étiquette dans le volet de droite. Mais que se passe-t-il si vous souhaitez plutôt voir ces annotations d'attributs directement sur l'image ? Vous sélectionnez l'étiquette Car:1 , et pour superposer les annotations d'attribut pour Car:1 , vous appuyez sur Ctrl + A.
  Vous verrez maintenant l'annotation Dark Blue pour le Color attribut et annotation None pour le Occlusion attribut directement affiché sur l'image à côté du Car:1 boîte englobante. Maintenant, vous pouvez facilement vérifier que Car:1 a été marqué comme Dark Blue, sans occlusion juste en regardant l'image au lieu d'avoir à localiser Car:1 dans le volet de droite pour voir les annotations d'attribut.
  
• Laisser des commentaires au niveau de l'étiquette – Pour chaque étiquette, vous pouvez laisser des commentaires au niveau de l'étiquette dans Commentaires sur l'étiquette attribut de chaîne libre. Par exemple, sur cette image, Car:1 semble plus noir que bleu foncé. Vous pouvez relayer cet écart sous forme de commentaires pour Car:1 utilisant l' Commentaires sur l'étiquette champ pour suivre le commentaire jusqu'à cette étiquette sur cette image. Notre équipe interne de contrôle de la qualité examinera ces commentaires et apportera des modifications au processus d'annotation et aux politiques d'étiquetage, et formera les annotateurs si nécessaire.
  
• Laisser des commentaires au niveau du cadre – De même, pour chaque image, vous pouvez laisser des commentaires au niveau de l'image sous la Rétroaction de trame attribut de chaîne libre. Dans ce cas, les annotations pour Car ainsi que  Pedestrian les classes semblent correctes et bien implémentées dans ce cadre. Vous pouvez relayer ces commentaires positifs en utilisant le Fournir une réponse champ, et votre commentaire est lié à ce cadre.
  
• Copier les commentaires d'annotation dans d'autres cadres – Vous pouvez copier les commentaires au niveau de l'étiquette et au niveau de l'image dans d'autres images si vous cliquez avec le bouton droit sur cet attribut. Cette fonctionnalité est utile lorsque vous souhaitez dupliquer le même retour sur plusieurs images pour cette étiquette ou appliquer le même retour au niveau de l'image à plusieurs images. Cette fonction vous permet de terminer rapidement l'inspection des étiquettes de données.
  
• Approuver ou rejeter chaque objet de jeu de données – Pour chaque objet de jeu de données que vous examinez, vous avez la possibilité de choisir soit Approuver si vous êtes satisfait des annotations ou choisissez Rejeter si vous n'êtes pas satisfait et souhaitez que ces annotations soient retravaillées. Lorsque vous choisissez Envoyer, vous avez la possibilité d'approuver ou de rejeter la vidéo que vous venez de revoir. Dans les deux cas, vous pouvez fournir des commentaires supplémentaires :
  • Si vous choisissez Approuver, le commentaire est facultatif.
    
  • Si vous choisissez Rejeter, des commentaires sont requis et nous vous suggérons de fournir des commentaires détaillés. Vos commentaires seront examinés par une équipe de contrôle qualité Ground Truth Plus dédiée, qui prendra des mesures correctives pour éviter des erreurs similaires dans les vidéos suivantes.
    

Après avoir soumis la vidéo avec vos commentaires, vous êtes redirigé vers la page de détail du projet dans le portail du projet, où vous pouvez voir le nombre d'objets rejetés sous le Objets rejetés colonne et le taux d'erreur, qui est calculé comme le nombre d'objets acceptés sur les objets examinés sous la Taux d'acceptation colonne pour chaque lot de votre projet. Par exemple, pour le lot 1 dans la capture d'écran suivante, le taux d'acceptation est de 80 % car quatre objets ont été acceptés sur les cinq objets examinés.

Conclusion

Un ensemble de données de formation de haute qualité est essentiel pour réaliser vos initiatives de ML. Avec Ground Truth Plus, vous disposez désormais d'un outil d'interface utilisateur de révision intégré amélioré qui supprime le travail lourd indifférencié associé à la création d'outils personnalisés pour vérifier la qualité de l'ensemble de données étiqueté. Cet article vous a expliqué comment configurer une équipe de projet et utiliser les nouvelles fonctionnalités intégrées de l'outil Review UI. Visiter le Console Ground Truth Plus pour commencer.

Comme toujours, AWS apprécie les commentaires. Veuillez soumettre vos commentaires ou questions.

À propos de l’auteur

Manish Goël est le chef de produit pour Amazon SageMaker Ground Truth Plus. Il se concentre sur la création de produits qui facilitent l'adoption de l'apprentissage automatique par les clients. Dans ses temps libres, il aime les voyages en voiture et lire des livres.

Revekka Kostoïeva est ingénieur développeur de logiciels chez Amazon AWS, où elle travaille sur des solutions internes et destinées aux clients pour étendre l'étendue et l'évolutivité des services Sagemaker Ground Truth. En tant que chercheuse, elle est déterminée à améliorer les outils du métier pour faire avancer l'innovation.

• Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
• Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
• CryptoHawk. Radar Altcoins. Essai gratuit.
• Source : https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- avec-amazon-sagemaker-ground-truth-plus/