Amazon Rekognition Labels lägger till 600 nya etiketter, inklusive landmärken, och upptäcker nu dominerande färger

Amazon-erkännande erbjuder förutbildade och anpassningsbara datorseendefunktioner för att extrahera information och insikter från bilder och videor. En sådan förmåga är Amazon erkännandeetiketter, som upptäcker objekt, scener, handlingar och koncept i bilder. Kunder som Synchronoss, Shutterstock, och Nomad Media använder Amazon Rekognition Labels för att automatiskt lägga till metadata till sitt innehållsbibliotek och aktivera innehållsbaserade sökresultat. TripleLift använder Amazon Rekognition Labels för att fastställa de bästa ögonblicken för att dynamiskt infoga annonser som kompletterar tittarupplevelsen för publiken. vidmob använder Amazon Rekognition Labels för att extrahera metadata från annonsmaterial för att förstå den unika rollen av kreativt beslutsfattande i annonsresultat, så att marknadsförare kan producera annonser som påverkar de viktigaste målen de bryr sig om mest. Dessutom använder tusentals andra kunder Amazon Rekognition Labels för att stödja många andra användningsfall, som att klassificera spår- eller vandringsfoton, upptäcka personer eller fordon i säkerhetskameror och klassificering av identitetsdokumentbilder.

Amazon Rekognition Labels för bilder upptäcker 600 nya etiketter, inklusive landmärken och aktiviteter, och förbättrar noggrannheten för över 2,000 XNUMX befintliga etiketter. Dessutom stöder nu Amazon Rekognition Labels bildegenskaper för att upptäcka dominerande färger i en bild, dess förgrund och bakgrund, samt upptäckta objekt med avgränsande rutor. Bildegenskaper mäter också bildens ljusstyrka, skärpa och kontrast. Slutligen, Amazon Rekognition Labels organiserar nu etikettresultat med två ytterligare fält, aliases och categories, och stöder filtrering av dessa resultat. I de följande avsnitten går vi igenom de nya funktionerna och deras fördelar mer i detalj med några exempel.

Nya etiketter

Amazon Rekognition Labels har lagt till över 600 nya etiketter, vilket utökar listan över etiketter som stöds. Följande är några exempel på de nya etiketterna:

• Populära landmärken – Brooklyn Bridge, Colosseum, Eiffeltornet, Machu Picchu, Taj Mahal, etc.
• Flöde – Applåder, cykling, firande, hoppning, gåhund, etc.
• Skadedetektering – Bilbucklor, bilskrapor, korrosion, hemskador, takskador, termitskador, etc.
• Text och dokument – Stapeldiagram, boardingkort, flödesschema, anteckningsbok, faktura, kvitto, etc.
• Sporter – Basebollspel, cricketbat, konståkning, rugby, vattenpolo, etc.
• Många fler – Båtracing, kul, stadsbild, by, bröllopsförslag, bankett, etc.

Med dessa etiketter kan kunder inom bilddelning, bildfotografering eller sändningsmedia automatiskt lägga till ny metadata till sitt innehållsbibliotek för att förbättra sina sökmöjligheter.

Låt oss titta på ett etikettdetekteringsexempel för Brooklyn Bridge.

Följande tabell visar etiketterna och konfidenspoängen som returneras i API-svaret.

Förbättrade etiketter

Amazon Rekognition Labels har också förbättrat noggrannheten för över 2,000 XNUMX etiketter. Följande är några exempel på de förbättrade etiketterna:

• Flöde – Dykning, körning, läsning, sittande, stående, etc.
• Kläder och tillbehör – Ryggsäck, bälte, blus, luvtröja, jacka, sko, etc.
• Hemma och inomhus – Pool, krukväxt, kudde, öppen spis, filt, etc.
• Teknik och datoranvändning – Hörlurar, mobiltelefon, surfplatta, läsning, bärbar dator, etc.
• Fordon och fordon – Lastbil, hjul, däck, stötfångare, bilbarnstol, bilspegel, etc.
• Text och dokument – Pass, körkort, visitkort, dokument, etc.
• Många fler – Hund, känguru, torget, festival, skratt, etc.

Bildegenskaper för dominerande färgdetektering och bildkvalitet

Image Properties är en ny funktion hos Amazon Rekognition Labels för bilder och kan användas med eller utan etikettdetekteringsfunktionen. Obs: Bildegenskaper är prissätts separat från Amazon Rekognition Labels och är endast tillgänglig med de uppdaterade SDK:erna.

Dominant färgdetektering

Bildegenskaper identifierar dominerande färger i en bild baserat på pixelprocent. Dessa dominerande färger mappas till 140 CSS färgpalett, RGB, hex-kod och 12 förenklade färger (grön, rosa, svart, röd, gul, cyan, brun, orange, vit, lila, blå, grå). Som standard returnerar API:et upp till 10 dominerande färger om du inte anger antalet färger som ska returneras. Det maximala antalet dominerande färger som API kan returnera är 12.

När den används fristående upptäcker Bildegenskaper de dominerande färgerna i en hel bild såväl som dess förgrund och bakgrund. När de används tillsammans med etikettdetekteringsfunktioner identifierar Image Properties också de dominerande färgerna på upptäckta objekt med begränsningsrutor.

Kunder inom bilddelning eller arkivfotografering kan använda dominant färgdetektering för att berika sina bildbiblioteksmetadata för att förbättra innehållsupptäckten, så att deras slutanvändare kan filtrera efter färg eller söka efter objekt med specifika färger, som "blå stol" eller "röda skor". ” Dessutom kan kunder inom annonsering bestämma annonsresultat baserat på färgerna på deras kreativa tillgångar.

Bildkvalitet

Förutom dominerande färgdetektering mäter Bildegenskaper även bildkvaliteter genom ljusstyrka, skärpa och kontrastpoäng. Var och en av dessa poäng varierar från 0–100. Till exempel ger en mycket mörk bild låga ljusstyrkavärden, medan en starkt upplyst bild ger höga värden.

Med dessa poäng kan kunder inom bilddelning, reklam eller e-handel utföra kvalitetsinspektioner och filtrera bort bilder med låg ljusstyrka och skärpa för att minska falska etikettförutsägelser.

Följande bild visar ett exempel med Eiffeltornet.

Följande tabell är ett exempel på data för bildegenskaper som returneras i API-svaret.

Följande bild är ett exempel på en röd stol.

Följande är ett exempel på bildegenskaper som returneras i API-svaret.

Följande bild är ett exempel på en hund med gul bakgrund.

Följande är ett exempel på bildegenskaper som returneras i API-svaret.

Nya alias och kategorifält

Amazon Rekognition Labels returnerar nu två nya fält, aliases och categories, i API-svaret. Alias ​​är andra namn för samma etikett och kategorier grupperar individuella etiketter utifrån 40 vanliga teman, som t.ex. Food and Beverage och Animals and Pets. Med uppdateringen av etikettdetekteringsmodellen returneras inte längre alias i den primära listan med etikettnamn. Istället returneras alias i det nya aliases fältet i API-svaret. Obs: Alias ​​och kategorier returneras endast med de uppdaterade SDK:erna.

Kunder inom fotodelning, e-handel eller reklam kan använda alias och kategorier för att organisera sin innehållsmetadataklassificering för att ytterligare förbättra innehållssökning och filtrering:

• Exempel på alias - Eftersom Car och Automobile är alias kan du lägga till metadata till en bild med Car och Automobile Samtidigt
• Exempel på kategorier – Du kan använda kategorier för att skapa ett kategorifilter eller visa alla bilder relaterade till en viss kategori, t.ex Food and Beverage, utan att uttryckligen behöva lägga till metadata till varje bild med Food and Beverage

Följande bild visar ett etikettdetekteringsexempel med alias och kategorier för en dykare.

Följande tabell visar etiketter, konfidenspoäng, alias och kategorier som returneras i API-svaret.

Följande bild är ett exempel för en cyklist.

Följande tabell innehåller etiketter, konfidenspoäng, alias och kategorier som returneras i API-svaret.

Inklusions- och exkluderingsfilter

Amazon Rekognition Labels introducerar nya inkluderings- och exkluderingsfiltreringsalternativ i API-indataparametrarna för att begränsa den specifika listan med etiketter som returneras i API-svaret. Du kan tillhandahålla en explicit lista över etiketter eller kategorier som du vill inkludera eller utesluta. Obs: Dessa filter är tillgängliga med de uppdaterade SDK:erna.

Kunder kan använda inkluderings- och exkluderingsfilter för att få specifika etiketter eller kategorier de är intresserade av utan att behöva skapa ytterligare logik i sin applikation. Kunder inom försäkring kan till exempel använda LabelCategoriesInclusionFilter att endast inkludera etikettresultat i Damage Detection kategori.

Följande kod är en API-exempelbegäran med inkluderings- och exkluderingsfilter:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Följande är exempel på hur inkluderings- och exkluderingsfilter fungerar:

• Om du bara vill upptäcka Person och Car, och bryr dig inte om andra etiketter, kan du ange [“Person”,”Car”] i LabelsInclusionFilter.
• Om du vill upptäcka alla etiketter utom Clothing, kan du ange [“Clothing”] i LabelsExclusionFilter.
• Om du bara vill upptäcka etiketter inom Animal and Pets kategorier förutom Dog och Cat, kan du ange ["Animal and Pets"] i LabelCategoriesInclusionFilter, med ["Dog", "Cat"] i LabelsExclusionFilter.
• Om en etikett anges i LabelsInclusionFilter or LabelsExclusionFilter, kommer deras alias att inkluderas eller exkluderas i enlighet med detta eftersom aliases är en undertaxonomi av etiketter. Till exempel eftersom Automobile är ett alias av Car, om du anger Car in LabelsInclusionFilter, kommer API:et att returnera Car märka med Automobile i aliases fält.

Slutsats

Amazon Rekognition Labels upptäcker 600 nya etiketter och förbättrar noggrannheten för över 2,000 XNUMX befintliga etiketter. Tillsammans med dessa uppdateringar stöder nu Amazon Rekognition Labels bildegenskaper, alias och kategorier, såväl som inkluderings- och inkluderingsfilter.

För att prova den nya etikettdetekteringsmodellen med dess nya funktioner, logga in på ditt AWS-konto och kolla in Amazon Rekognitionskonsol för etikettdetektering och bildegenskaper. För att lära dig mer, besök Upptäcker etiketter.

Om författarna

Maria Handoko är Senior Product Manager på AWS. Hon fokuserar på att hjälpa kunder att lösa sina affärsutmaningar genom maskininlärning och datorseende. På fritiden tycker hon om att vandra, lyssna på poddar och utforska olika kök.

Shipra Kanoria är huvudproduktchef på AWS. Hon brinner för att hjälpa kunder att lösa sina mest komplexa problem med kraften i maskininlärning och artificiell intelligens. Innan Shipra började på AWS tillbringade hon över fyra år på Amazon Alexa, där hon lanserade många produktivitetsrelaterade funktioner på Alexa röstassistent.