Amazon Rekognition Labels voegt 600 nieuwe labels toe, inclusief oriëntatiepunten, en detecteert nu dominante kleuren

Amazon Rekognition biedt vooraf getrainde en aanpasbare computervisiemogelijkheden om informatie en inzichten uit afbeeldingen en video's te extraheren. Een van die mogelijkheden is Amazon Erkenningslabels, dat objecten, scènes, acties en concepten in afbeeldingen detecteert. Klanten zoals Synchronoss, Shutterstock, en Nomad Media gebruiken Amazon Rekognition Labels om automatisch metadata toe te voegen aan hun inhoudsbibliotheek en op inhoud gebaseerde zoekresultaten mogelijk te maken. TripleLift gebruikt Amazon Rekognition Labels om de beste momenten te bepalen om dynamisch advertenties in te voegen die de kijkervaring voor het publiek aanvullen. vidmob gebruikt Amazon Rekognition Labels om metadata uit advertentiemateriaal te extraheren om de unieke rol van creatieve besluitvorming in advertentieprestaties te begrijpen, zodat marketeers advertenties kunnen produceren die van invloed zijn op de belangrijkste doelstellingen waar ze het meest om geven. Bovendien gebruiken duizenden andere klanten Amazon-herkenningslabels om vele andere use-cases te ondersteunen, zoals het classificeren van trail- of wandelfoto's, het detecteren van mensen of voertuigen in beelden van beveiligingscamera's en het classificeren van identiteitsdocumentfoto's.

Amazon Rekognition Labels voor afbeeldingen detecteert 600 nieuwe labels, inclusief oriëntatiepunten en activiteiten, en verbetert de nauwkeurigheid van meer dan 2,000 bestaande labels. Bovendien ondersteunt Amazon Rekognition Labels nu Afbeeldingseigenschappen om dominante kleuren van een afbeelding, de voorgrond en achtergrond ervan te detecteren, evenals gedetecteerde objecten met begrenzingskaders. Afbeeldingseigenschappen meet ook de helderheid, scherpte en contrast van afbeeldingen. Ten slotte organiseert Amazon Rekognition Labels nu labelresultaten met behulp van twee extra velden, aliases en categories, en ondersteunt het filteren van die resultaten. In de volgende secties bekijken we de nieuwe mogelijkheden en hun voordelen in meer detail met enkele voorbeelden.

Nieuwe etiketten

Amazon Rekognition Labels heeft meer dan 600 nieuwe labels toegevoegd, waarmee de lijst met ondersteunde labels wordt uitgebreid. Hieronder volgen enkele voorbeelden van de nieuwe labels:

• Populaire oriëntatiepunten – Brooklyn Bridge, Colosseum, Eiffeltoren, Machu Picchu, Taj Mahal, enz.
• Activiteiten – Applaus, Fietsen, Feestvieren, Springen, Hond uitlaten, etc.
• Detectie van schade – Autodeuk, autokras, corrosie, huisschade, dakschade, termietschade, enz.
• Tekst en documenten - Staafdiagram, instapkaart, stroomschema, notitieboekje, factuur, ontvangstbewijs, etc.
• Sport - Honkbalspel, cricketbat, kunstschaatsen, rugby, waterpolo, enz.
• Veel meer - Bootraces, plezier, stadsgezicht, dorp, huwelijksaanzoek, banket, enz.

Met deze labels kunnen klanten in het delen van afbeeldingen, stockfotografie of uitzendmedia automatisch nieuwe metadata aan hun inhoudsbibliotheek toevoegen om hun zoekmogelijkheden te verbeteren.

Laten we eens kijken naar een voorbeeld van labeldetectie voor de Brooklyn Bridge.

In de volgende tabel ziet u de labels en betrouwbaarheidsscores die worden geretourneerd in de API-respons.

Verbeterde etiketten

Amazon Rekognition Labels heeft ook de nauwkeurigheid van meer dan 2,000 labels verbeterd. Hieronder volgen enkele voorbeelden van de verbeterde labels:

• Activiteiten - Duiken, autorijden, lezen, zitten, staan, enz.
• Kleding en accessoires - Rugzak, riem, blouse, hoodie, jas, schoen, enz.
• Thuis en binnenshuis - Zwembad, potplant, kussen, open haard, deken, enz.
• Technologie en informatica - Koptelefoon, mobiele telefoon, tabletcomputer, lezen, laptop, enz.
• Voertuigen en auto's - Vrachtwagen, wiel, band, bumper, autostoel, autospiegel, enz.
• Tekst en documenten – Paspoort, rijbewijs, visitekaartje, document, enz.
• Veel meer – Hond, Kangoeroe, Stadsplein, Festival, Lachen, etc.

Afbeeldingseigenschappen voor detectie van dominante kleuren en beeldkwaliteit

Afbeeldingseigenschappen is een nieuwe mogelijkheid van Amazon Herkenningslabels voor afbeeldingen en kan met of zonder de labeldetectiefunctionaliteit worden gebruikt. Opmerking: afbeeldingseigenschappen is apart geprijsd van Amazon Rekognition Labels en is alleen beschikbaar met de bijgewerkte SDK's.

Detectie van dominante kleuren

Afbeeldingseigenschappen identificeert dominante kleuren in een afbeelding op basis van pixelpercentages. Deze dominante kleuren worden toegewezen aan de 140 CSS-kleurenpalet, RGB, hex-code en 12 vereenvoudigde kleuren (groen, roze, zwart, rood, geel, cyaan, bruin, oranje, wit, paars, blauw, grijs). De API retourneert standaard maximaal 10 dominante kleuren, tenzij u het aantal kleuren opgeeft dat moet worden geretourneerd. Het maximale aantal dominante kleuren dat de API kan retourneren is 12.

Bij zelfstandig gebruik detecteert Image Properties de dominante kleuren van een hele afbeelding, evenals de voorgrond en achtergrond. Bij gebruik in combinatie met labeldetectiefuncties identificeert Afbeeldingseigenschappen ook de dominante kleuren van gedetecteerde objecten met begrenzingskaders.

Klanten in het delen van afbeeldingen of stockfotografie kunnen detectie van dominante kleuren gebruiken om de metadata van hun beeldbibliotheek te verrijken om de ontdekking van inhoud te verbeteren, waardoor hun eindgebruikers kunnen filteren op kleur of zoeken naar objecten met specifieke kleuren, zoals 'blauwe stoel' of 'rode schoenen'. ” Bovendien kunnen klanten in advertenties de advertentieprestaties bepalen op basis van de kleuren van hun creatieve middelen.

Beeldkwaliteit

Naast detectie van dominante kleuren, meet Image Properties ook beeldkwaliteiten door middel van helderheid, scherpte en contrastscores. Elk van deze scores varieert van 0-100. Een zeer donkere afbeelding zal bijvoorbeeld lage helderheidswaarden opleveren, terwijl een helder verlichte afbeelding hoge waarden zal retourneren.

Met deze scores kunnen klanten in het delen van afbeeldingen, advertenties of e-commerce kwaliteitsinspecties uitvoeren en afbeeldingen met een lage helderheid en scherpte eruit filteren om onjuiste labelvoorspellingen te verminderen.

De volgende afbeelding toont een voorbeeld met de Eiffeltoren.

De volgende tabel is een voorbeeld van afbeeldingseigenschappen die worden geretourneerd in het API-antwoord.

De volgende afbeelding is een voorbeeld voor een rode stoel.

Het volgende is een voorbeeld van afbeeldingseigenschappen die worden geretourneerd in het API-antwoord.

De volgende afbeelding is een voorbeeld voor een hond met een gele achtergrond.

Het volgende is een voorbeeld van afbeeldingseigenschappen die worden geretourneerd in het API-antwoord.

Nieuwe aliassen en categorievelden

Amazon Erkenningslabels retourneert nu twee nieuwe velden, aliases en categories, in het API-antwoord. Aliassen zijn andere namen voor hetzelfde label en categorieën groeperen individuele labels samen op basis van 40 gemeenschappelijke thema's, zoals Food and Beverage en Animals and Pets. Met de update van het labeldetectiemodel worden aliassen niet langer geretourneerd in de primaire lijst met labelnamen. In plaats daarvan worden aliassen geretourneerd in het bestand new aliases veld in het API-antwoord. Opmerking: Aliassen en categorieën worden alleen geretourneerd met de bijgewerkte SDK's.

Klanten in het delen van foto's, e-commerce of advertenties kunnen aliassen en categorieën gebruiken om hun inhoudmetadata-taxonomie te organiseren om het zoeken en filteren van inhoud verder te verbeteren:

• Aliassen voorbeeld - Omdat Car en Automobile zijn aliassen, waarmee u metadata aan een afbeelding kunt toevoegen Car en Automobile tegelijkertijd
• Categorieën voorbeeld – U kunt categorieën gebruiken om een ​​categoriefilter te maken of om alle afbeeldingen weer te geven die betrekking hebben op een bepaalde categorie, zoals Food and Beverage, zonder expliciet metadata aan elke afbeelding toe te voegen Food and Beverage

De volgende afbeelding toont een voorbeeld van labeldetectie met aliassen en categorieën voor een duiker.

De volgende tabel toont de labels, betrouwbaarheidsscores, aliassen en categorieën die in de API-respons worden geretourneerd.

De volgende afbeelding is een voorbeeld voor een fietser.

De volgende tabel bevat de labels, betrouwbaarheidsscores, aliassen en categorieën die in het API-antwoord worden geretourneerd.

In- en uitsluitingsfilters

Amazon Rekognition Labels introduceert nieuwe opname- en uitsluitingsfilteropties in de API-invoerparameters om de specifieke lijst met labels die in het API-antwoord worden geretourneerd, te verfijnen. U kunt een expliciete lijst met labels of categorieën opgeven die u wilt opnemen of uitsluiten. Opmerking: deze filters zijn beschikbaar met de bijgewerkte SDK's.

Klanten kunnen in- en uitsluitingsfilters gebruiken om specifieke labels of categorieën te verkrijgen waarin ze geïnteresseerd zijn, zonder dat ze extra logica in hun applicatie hoeven te creëren. Klanten in verzekeringen kunnen er bijvoorbeeld gebruik van maken LabelCategoriesInclusionFilter om alleen labelresultaten op te nemen in het Damage Detection categorie.

De volgende code is een API-voorbeeldverzoek met in- en uitsluitingsfilters:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Hieronder volgen voorbeelden van hoe in- en uitsluitingsfilters werken:

• Als u alleen wilt detecteren Person en Car, en geeft u niet om andere labels, dan kunt u [“Person”,”Car”] in LabelsInclusionFilter.
• Als u alle labels behalve Clothing, kunt u opgeven [“Clothing”] in LabelsExclusionFilter.
• Als u alleen labels wilt detecteren binnen het Animal and Pets categorieën behalve Dog en Cat, kunt u opgeven ["Animal and Pets"] in de LabelCategoriesInclusionFilter, met ["Dog", "Cat"] in LabelsExclusionFilter.
• Als een label is opgegeven in LabelsInclusionFilter or LabelsExclusionFilter, zullen hun aliassen dienovereenkomstig worden opgenomen of uitgesloten omdat aliases is een subtaxonomie van labels. Bijvoorbeeld omdat Automobile is een alias van Car, als u specificeert Car in LabelsInclusionFilter, retourneert de API de Car label met Automobile in de aliases veld.

Conclusie

Amazon Rekognition Labels detecteert 600 nieuwe labels en verbetert de nauwkeurigheid van meer dan 2,000 bestaande labels. Samen met deze updates ondersteunt Amazon Rekognition Labels nu afbeeldingseigenschappen, aliassen en categorieën, evenals opname- en opnamefilters.

Om het nieuwe labeldetectiemodel met zijn nieuwe functies uit te proberen, logt u in op uw AWS-account en bekijkt u de Amazon Rekognition-console voor labeldetectie en beeldeigenschappen. Ga voor meer informatie naar Etiketten detecteren.

Over de auteurs

Maria Handoko is senior productmanager bij AWS. Ze richt zich op het helpen van klanten bij het oplossen van hun zakelijke uitdagingen door middel van machine learning en computervisie. In haar vrije tijd houdt ze van wandelen, naar podcasts luisteren en verschillende keukens ontdekken.

Shipra Kanoria is Principal Product Manager bij AWS. Ze is gepassioneerd om klanten te helpen bij het oplossen van hun meest complexe problemen met de kracht van machine learning en kunstmatige intelligentie. Voordat ze bij AWS kwam, werkte Shipra meer dan 4 jaar bij Amazon Alexa, waar ze veel productiviteitsgerelateerde functies op de Alexa-spraakassistent lanceerde.