Amazon Rekognition Labels ajoute 600 nouvelles étiquettes, y compris des points de repère, et détecte désormais les couleurs dominantes

Amazon Reconnaissance offre des capacités de vision par ordinateur pré-formées et personnalisables pour extraire des informations et des idées à partir d'images et de vidéos. Une de ces capacités est Étiquettes de reconnaissance Amazon, qui détecte les objets, les scènes, les actions et les concepts dans les images. Des clients tels que Synchronoss, Shutterstocket Nomad Media utilisent Amazon Rekognition Labels pour ajouter automatiquement des métadonnées à leur bibliothèque de contenu et activer les résultats de recherche basés sur le contenu. TripleLift utilise Amazon Rekognition Labels pour déterminer les meilleurs moments pour insérer dynamiquement des publicités qui complètent l'expérience de visionnage du public. vidmob utilise Amazon Rekognition Labels pour extraire les métadonnées des créations publicitaires afin de comprendre le rôle unique de la prise de décision créative dans les performances publicitaires, afin que les spécialistes du marketing puissent produire des publicités qui ont un impact sur les objectifs clés qui les intéressent le plus. De plus, des milliers d'autres clients utilisent les étiquettes Amazon Rekognition pour prendre en charge de nombreux autres cas d'utilisation, tels que la classification des photos de sentiers ou de randonnées, la détection de personnes ou de véhicules dans les images des caméras de sécurité et la classification des images de documents d'identité.

Amazon Rekognition Labels for images détecte 600 nouvelles étiquettes, y compris des points de repère et des activités, et améliore la précision de plus de 2,000 XNUMX étiquettes existantes. De plus, Amazon Rekognition Labels prend désormais en charge les propriétés d'image pour détecter les couleurs dominantes d'une image, son premier plan et son arrière-plan, ainsi que les objets détectés avec des cadres de délimitation. Les propriétés de l'image mesurent également la luminosité, la netteté et le contraste de l'image. Enfin, Amazon Rekognition Labels organise désormais les résultats des étiquettes à l'aide de deux champs supplémentaires, aliases ainsi que categories, et prend en charge le filtrage de ces résultats. Dans les sections suivantes, nous passons en revue les nouvelles fonctionnalités et leurs avantages plus en détail avec quelques exemples.

Nouvelles étiquettes

Amazon Rekognition Labels a ajouté plus de 600 nouvelles étiquettes, élargissant ainsi la liste des étiquettes prises en charge. Voici quelques exemples des nouvelles étiquettes :

• Monuments populaires – Pont de Brooklyn, Colisée, Tour Eiffel, Machu Picchu, Taj Mahal, etc.
• Activités et Services - Applaudissements, cyclisme, célébration, saut, promenade de chien, etc.
• Détection des dommages – Dent de voiture, égratignure de voiture, corrosion, dommages à la maison, dommages au toit, dommages aux termites, etc.
• Texte et documents – Graphique à barres, carte d'embarquement, organigramme, carnet, facture, reçu, etc.
• Sports – Match de baseball, batte de cricket, patinage artistique, rugby, water-polo, etc.
• Et bien plus - Course de bateaux, amusement, paysage urbain, village, proposition de mariage, banquet, etc.

Avec ces étiquettes, les clients du partage d'images, de la photographie de stock ou des médias de diffusion peuvent automatiquement ajouter de nouvelles métadonnées à leur bibliothèque de contenu pour améliorer leurs capacités de recherche.

Regardons un exemple de détection d'étiquette pour le pont de Brooklyn.

Le tableau suivant montre les étiquettes et les scores de confiance renvoyés dans la réponse de l'API.

Étiquettes améliorées

Amazon Rekognition Labels a également amélioré la précision de plus de 2,000 XNUMX étiquettes. Voici quelques exemples d'étiquettes améliorées :

• Activités et Services – Plongée, Conduite, Lecture, Assis, Debout, etc.
• Vêtements et accessoires – Sac à dos, ceinture, chemisier, sweat à capuche, veste, chaussure, etc.
• Maison et intérieur – Piscine, plante en pot, oreiller, cheminée, couverture, etc.
• Technologie et informatique - Casque, téléphone portable, tablette, lecture, ordinateur portable, etc.
• Véhicules et automobile - Camion, roue, pneu, pare-chocs, siège de voiture, miroir de voiture, etc.
• Texte et documents – Passeport, permis de conduire, carte de visite, document, etc.
• Et bien plus – Chien, Kangourou, Place de la Ville, Festival, Rire, etc.

Propriétés d'image pour la détection des couleurs dominantes et la qualité d'image

Les propriétés d'image sont une nouvelle fonctionnalité d'Amazon Rekognition Labels pour les images et peuvent être utilisées avec ou sans la fonctionnalité de détection d'étiquettes. Remarque : Propriétés de l'image est prix séparément d'Amazon Rekognition Labels et n'est disponible qu'avec les kits SDK mis à jour.

Détection des couleurs dominantes

Les propriétés d'image identifient les couleurs dominantes dans une image en fonction des pourcentages de pixels. Ces couleurs dominantes correspondent aux Palette de 140 couleurs CSS, RVB, code hexadécimal et 12 couleurs simplifiées (vert, rose, noir, rouge, jaune, cyan, marron, orange, blanc, violet, bleu, gris). Par défaut, l'API renvoie jusqu'à 10 couleurs dominantes, sauf si vous spécifiez le nombre de couleurs à renvoyer. Le nombre maximal de couleurs dominantes que l'API peut renvoyer est de 12.

Lorsqu'il est utilisé de manière autonome, Image Properties détecte les couleurs dominantes d'une image entière ainsi que son premier plan et son arrière-plan. Lorsqu'elles sont utilisées avec les fonctionnalités de détection d'étiquettes, les propriétés d'image identifient également les couleurs dominantes des objets détectés avec des cadres de délimitation.

Les clients du partage d'images ou de la photographie de stock peuvent utiliser la détection des couleurs dominantes pour enrichir les métadonnées de leur bibliothèque d'images afin d'améliorer la découverte de contenu, permettant à leurs utilisateurs finaux de filtrer par couleur ou de rechercher des objets avec des couleurs spécifiques, telles que "chaise bleue" ou "chaussures rouges". ” De plus, les clients publicitaires peuvent déterminer les performances des publicités en fonction des couleurs de leurs éléments créatifs.

La qualité d'image

En plus de la détection des couleurs dominantes, les propriétés d'image mesurent également les qualités de l'image grâce aux scores de luminosité, de netteté et de contraste. Chacun de ces scores varie de 0 à 100. Par exemple, une image très sombre renverra des valeurs de luminosité faibles, tandis qu'une image très éclairée renverra des valeurs élevées.

Grâce à ces scores, les clients du partage d'images, de la publicité ou du commerce électronique peuvent effectuer une inspection de la qualité et filtrer les images avec une luminosité et une netteté faibles pour réduire les fausses prédictions d'étiquettes.

L'image suivante montre un exemple avec la Tour Eiffel.

Le tableau suivant est un exemple de données de propriétés d'image renvoyées dans la réponse de l'API.

L'image suivante est un exemple pour une chaise rouge.

Voici un exemple de données de propriétés d'image renvoyées dans la réponse de l'API.

L'image suivante est un exemple pour un chien avec un fond jaune.

Voici un exemple de données de propriétés d'image renvoyées dans la réponse de l'API.

Nouveaux champs d'alias et de catégories

Amazon Rekognition Labels renvoie désormais deux nouveaux champs, aliases ainsi que categories, dans la réponse de l'API. Les alias sont d'autres noms pour le même libellé et les catégories regroupent des libellés individuels en fonction de 40 thèmes communs, tels que Food and Beverage ainsi que Animals and Pets. Avec la mise à jour du modèle de détection d'étiquettes, les alias ne sont plus renvoyés dans la liste principale des noms d'étiquettes. Au lieu de cela, les alias sont renvoyés dans le nouveau aliases champ dans la réponse de l'API. Remarque : Les alias et les catégories ne sont renvoyés qu'avec les SDK mis à jour.

Les clients du partage de photos, du commerce électronique ou de la publicité peuvent utiliser des alias et des catégories pour organiser leur taxonomie de métadonnées de contenu afin d'améliorer encore la recherche et le filtrage de contenu :

• Exemple d'alias - Car Car ainsi que Automobile sont des alias, vous pouvez ajouter des métadonnées à une image avec Car ainsi que Automobile à la fois
• Exemple de catégories – Vous pouvez utiliser des catégories pour créer un filtre de catégorie ou afficher toutes les images liées à une catégorie particulière, telles que Food and Beverage, sans avoir à ajouter explicitement des métadonnées à chaque image avec Food and Beverage

L'image suivante montre un exemple de détection d'étiquette avec des alias et des catégories pour un plongeur.

Le tableau suivant présente les étiquettes, les scores de confiance, les alias et les catégories renvoyés dans la réponse de l'API.

L'image suivante est un exemple pour un cycliste.

Le tableau suivant contient les étiquettes, les scores de confiance, les alias et les catégories renvoyés dans la réponse de l'API.

Filtres d'inclusion et d'exclusion

Amazon Rekognition Labels introduit de nouvelles options de filtrage d'inclusion et d'exclusion dans les paramètres d'entrée de l'API pour affiner la liste spécifique des étiquettes renvoyées dans la réponse de l'API. Vous pouvez fournir une liste explicite d'étiquettes ou de catégories que vous souhaitez inclure ou exclure. Remarque : Ces filtres sont disponibles avec les SDK mis à jour.

Les clients peuvent utiliser des filtres d'inclusion et d'exclusion pour obtenir des étiquettes ou des catégories spécifiques qui les intéressent sans avoir à créer de logique supplémentaire dans leur application. Par exemple, les clients de l'assurance peuvent utiliser LabelCategoriesInclusionFilter pour n'inclure que les résultats de l'étiquette dans Damage Detection catégorie.

Le code suivant est un exemple de requête d'API avec des filtres d'inclusion et d'exclusion :

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Voici des exemples de fonctionnement des filtres d'inclusion et d'exclusion :

• Si vous voulez seulement détecter Person ainsi que Car, et que vous ne vous souciez pas des autres libellés, vous pouvez spécifier [“Person”,”Car”] dans LabelsInclusionFilter.
• Si vous souhaitez détecter toutes les étiquettes à l'exception de Clothing, vous pouvez spécifier [“Clothing”] dans LabelsExclusionFilter.
• Si vous voulez détecter uniquement les étiquettes dans le Animal and Pets catégories à l'exception de Dog ainsi que Cat, vous pouvez spécifier ["Animal and Pets"] dans le LabelCategoriesInclusionFilter, avec ["Dog", "Cat"] dans LabelsExclusionFilter.
• Si une étiquette est spécifiée dans LabelsInclusionFilter or LabelsExclusionFilter, leurs alias seront inclus ou exclus en conséquence car aliases est une sous-taxonomie d'étiquettes. Par exemple, parce que Automobile est un alias de Car, si vous spécifiez Car in LabelsInclusionFilter, l'API renverra le Car étiqueter avec Automobile dans le aliases champ.

Conclusion

Amazon Rekognition Labels détecte 600 nouvelles étiquettes et améliore la précision de plus de 2,000 XNUMX étiquettes existantes. Parallèlement à ces mises à jour, Amazon Rekognition Labels prend désormais en charge les propriétés d'image, les alias et les catégories, ainsi que les filtres d'inclusion et d'inclusion.

Pour essayer le nouveau modèle de détection d'étiquettes avec ses nouvelles fonctionnalités, connectez-vous à votre compte AWS et consultez le Console Amazon Rekognition pour la détection des étiquettes et les propriétés de l'image. Pour en savoir plus, visitez Détection d'étiquettes.

À propos des auteurs

Maria Handoko est chef de produit senior chez AWS. Elle se concentre sur l'aide aux clients pour résoudre leurs problèmes commerciaux grâce à l'apprentissage automatique et à la vision par ordinateur. Dans ses temps libres, elle aime faire de la randonnée, écouter des podcasts et explorer différentes cuisines.

Shipra Kanoria est chef de produit principal chez AWS. Elle se passionne pour aider les clients à résoudre leurs problèmes les plus complexes grâce à la puissance de l'apprentissage automatique et de l'intelligence artificielle. Avant de rejoindre AWS, Shipra a passé plus de 4 ans chez Amazon Alexa, où elle a lancé de nombreuses fonctionnalités liées à la productivité sur l'assistant vocal Alexa.