Amazon Rekognition Labels tilføjer 600 nye etiketter, inklusive vartegn, og registrerer nu dominerende farver

Amazon-anerkendelse tilbyder forudtrænede og tilpasselige computersynsfunktioner til at udtrække information og indsigt fra billeder og videoer. En sådan evne er Amazon-genkendelsesetiketter, som registrerer objekter, scener, handlinger og koncepter i billeder. Kunder som Synchronoss, Shutterstock, og Nomad Media bruger Amazon Rekognition Labels til automatisk at tilføje metadata til deres indholdsbibliotek og aktivere indholdsbaserede søgeresultater. TripleLift bruger Amazon Rekognition Labels til at bestemme de bedste øjeblikke til dynamisk at indsætte annoncer, der komplementerer seeroplevelsen for publikum. vidmob bruger Amazon Rekognition Labels til at udtrække metadata fra annoncemateriale for at forstå den unikke rolle, kreativ beslutningstagning spiller i annonceeffektivitet, så marketingfolk kan producere annoncer, der påvirker de vigtigste mål, de holder mest af. Derudover bruger tusindvis af andre kunder Amazon Rekognition Labels til at understøtte mange andre brugssager, såsom klassificering af sti- eller vandrefotos, opdagelse af personer eller køretøjer i sikkerhedskameraoptagelser og klassificering af identitetsdokumentbilleder.

Amazon Rekognition Labels til billeder registrerer 600 nye etiketter, inklusive vartegn og aktiviteter, og forbedrer nøjagtigheden for over 2,000 eksisterende etiketter. Derudover understøtter Amazon Rekognition Labels nu billedegenskaber til at detektere dominerende farver i et billede, dets forgrund og baggrund, samt registrerede objekter med afgrænsningsfelter. Billedegenskaber måler også billedets lysstyrke, skarphed og kontrast. Endelig organiserer Amazon Rekognition Labels nu etiketresultater ved hjælp af to yderligere felter, aliases , categories, og understøtter filtrering af disse resultater. I de følgende afsnit gennemgår vi de nye muligheder og deres fordele mere detaljeret med nogle eksempler.

Nye etiketter

Amazon Rekognition Labels har tilføjet over 600 nye etiketter, hvilket udvider listen over understøttede etiketter. Følgende er nogle eksempler på de nye etiketter:

• Populære vartegn – Brooklyn Bridge, Colosseum, Eiffeltårnet, Machu Picchu, Taj Mahal osv.
• Aktiviteter – Bifald, cykling, fejring, hop, gåhund osv.
• Skaderegistrering – Bilbuler, bilridser, korrosion, boligskader, tagskader, termitskader osv.
• Tekst og dokumenter – Søjlediagram, boardingkort, rutediagram, notesbog, faktura, kvittering osv.
• Sport – Baseballspil, cricketbat, kunstskøjteløb, rugby, vandpolo osv.
• Mange flere – Bådracer, sjov, bybillede, landsby, bryllupsforslag, banket osv.

Med disse etiketter kan kunder inden for billeddeling, stockfotografering eller broadcast-medier automatisk tilføje nye metadata til deres indholdsbibliotek for at forbedre deres søgemuligheder.

Lad os se på et etiketdetekteringseksempel for Brooklyn Bridge.

Følgende tabel viser de etiketter og konfidensscore, der returneres i API-svaret.

Forbedrede etiketter

Amazon Rekognition Labels har også forbedret nøjagtigheden for over 2,000 labels. Følgende er nogle eksempler på de forbedrede etiketter:

• Aktiviteter – Dykning, kørsel, læsning, siddende, stående osv.
• Beklædning og tilbehør – Rygsæk, bælte, bluse, hættetrøje, jakke, sko osv.
• Hjemme og indendørs – Svømmebassin, potteplante, pude, pejs, tæppe osv.
• Teknologi og databehandling – Hovedtelefoner, mobiltelefon, tabletcomputer, læsning, bærbar mv.
• Køretøjer og biler – Lastbil, hjul, dæk, kofanger, autostol, bilspejl osv.
• Tekst og dokumenter – Pas, kørekort, visitkort, dokument osv.
• Mange flere – Hund, kænguru, bytorv, festival, griner osv.

Billedegenskaber til dominerende farvegenkendelse og billedkvalitet

Billedegenskaber er en ny funktion i Amazon Rekognition Labels til billeder og kan bruges med eller uden etiketdetektionsfunktionalitet. Bemærk: Billedegenskaber er prissat særskilt fra Amazon Rekognition Labels, og er kun tilgængelig med de opdaterede SDK'er.

Dominant farvedetektering

Billedegenskaber identificerer dominerende farver i et billede baseret på pixelprocenter. Disse dominerende farver er kortlagt til 140 CSS farvepalet, RGB, hex-kode og 12 forenklede farver (grøn, pink, sort, rød, gul, cyan, brun, orange, hvid, lilla, blå, grå). Som standard returnerer API'en op til 10 dominerende farver, medmindre du angiver antallet af farver, der skal returneres. Det maksimale antal dominerende farver, som API'en kan returnere, er 12.

Når det bruges selvstændigt, registrerer Billedegenskaber de dominerende farver på et helt billede såvel som dets forgrund og baggrund. Når de bruges sammen med etiketdetekteringsfunktioner, identificerer billedegenskaber også de dominerende farver på detekterede objekter med afgrænsningsfelter.

Kunder inden for billeddeling eller stockfotografering kan bruge dominerende farvegenkendelse til at berige deres billedbiblioteks metadata for at forbedre indholdsgenkendelsen, så deres slutbrugere kan filtrere efter farve eller søge efter objekter med bestemte farver, såsom "blå stol" eller "røde sko". ” Derudover kan kunder i annoncering bestemme annonceeffektivitet baseret på farverne på deres kreative aktiver.

Billedkvalitet

Udover dominerende farvegenkendelse måler billedegenskaber også billedkvaliteter gennem lysstyrke, skarphed og kontrastscore. Hver af disse score spænder fra 0-100. For eksempel vil et meget mørkt billede returnere lave lysstyrkeværdier, hvorimod et stærkt oplyst billede vil returnere høje værdier.

Med disse scores kan kunder inden for billeddeling, annoncering eller e-handel udføre kvalitetsinspektion og filtrere billeder fra med lav lysstyrke og skarphed for at reducere falske etiketforudsigelser.

Følgende billede viser et eksempel med Eiffeltårnet.

Følgende tabel er et eksempel på billedegenskabsdata, der returneres i API-svaret.

Følgende billede er et eksempel på en rød stol.

Det følgende er et eksempel på billedegenskabsdata, der returneres i API-svaret.

Følgende billede er et eksempel på en hund med gul baggrund.

Det følgende er et eksempel på billedegenskabsdata, der returneres i API-svaret.

Nye aliaser og kategorier felter

Amazon Rekognition Labels returnerer nu to nye felter, aliases , categories, i API-svaret. Aliaser er andre navne for den samme etiket, og kategorier grupperer individuelle etiketter sammen baseret på 40 fælles temaer, som f.eks. Food and Beverage , Animals and Pets. Med opdateringen af ​​etiketdetektionsmodellen returneres aliaser ikke længere i den primære liste over etiketnavne. I stedet returneres aliaser i det nye aliases felt i API-svaret. Bemærk: Aliaser og kategorier returneres kun med de opdaterede SDK'er.

Kunder inden for fotodeling, e-handel eller annoncering kan bruge aliaser og kategorier til at organisere deres indholdsmetadatataksonomi for yderligere at forbedre indholdssøgning og -filtrering:

• Eksempel på aliaser - Fordi Car , Automobile er aliaser, kan du tilføje metadata til et billede med Car , Automobile samtidig
• Eksempel på kategorier – Du kan bruge kategorier til at oprette et kategorifilter eller vise alle billeder relateret til en bestemt kategori, som f.eks Food and Beverage, uden eksplicit at skulle tilføje metadata til hvert billede med Food and Beverage

Følgende billede viser et etiketdetekteringseksempel med aliaser og kategorier for en dykker.

Følgende tabel viser etiketter, konfidensscore, aliaser og kategorier, der returneres i API-svaret.

Følgende billede er et eksempel for en cyklist.

Følgende tabel indeholder etiketter, konfidensscore, aliaser og kategorier, der returneres i API-svaret.

Inklusions- og eksklusionsfiltre

Amazon Rekognition Labels introducerer nye inkluderings- og ekskluderingsfiltreringsmuligheder i API-inputparametrene for at indsnævre den specifikke liste over etiketter, der returneres i API-svaret. Du kan angive en eksplicit liste over etiketter eller kategorier, som du vil inkludere eller ekskludere. Bemærk: Disse filtre er tilgængelige med de opdaterede SDK'er.

Kunder kan bruge inklusions- og ekskluderingsfiltre til at få specifikke etiketter eller kategorier, de er interesserede i, uden at skulle oprette yderligere logik i deres applikation. For eksempel kan kunder i forsikring bruge LabelCategoriesInclusionFilter kun at inkludere etiketresultater i Damage Detection kategori.

Følgende kode er en API-eksempelanmodning med inkluderings- og ekskluderingsfiltre:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Følgende er eksempler på, hvordan inklusions- og ekskluderingsfiltre fungerer:

• Hvis du kun vil opdage Person , Car, og er ligeglad med andre etiketter, kan du angive [“Person”,”Car”] i LabelsInclusionFilter.
• Hvis du vil detektere alle etiketter undtagen Clothing, kan du angive [“Clothing”] i LabelsExclusionFilter.
• Hvis du kun vil opdage etiketter inden for Animal and Pets kategorier undtagen Dog , Cat, kan du angive ["Animal and Pets"] i LabelCategoriesInclusionFilter, med ["Dog", "Cat"] i LabelsExclusionFilter.
• Hvis en etiket er angivet i LabelsInclusionFilter or LabelsExclusionFilter, vil deres aliaser blive inkluderet eller ekskluderet i overensstemmelse hermed, fordi aliases er en undertaksonomi af etiketter. For eksempel fordi Automobile er et alias af Car, hvis du angiver Car in LabelsInclusionFilter, vil API'en returnere Car mærke med Automobile i aliases felt.

Konklusion

Amazon Rekognition Labels registrerer 600 nye etiketter og forbedrer nøjagtigheden for over 2,000 eksisterende etiketter. Sammen med disse opdateringer understøtter Amazon Rekognition Labels nu billedegenskaber, aliaser og kategorier samt inklusions- og inklusionsfiltre.

For at prøve den nye etiketdetektionsmodel med dens nye funktioner skal du logge ind på din AWS-konto og tjekke Amazon-genkendelseskonsol til etiketdetektering og billedegenskaber. For at lære mere, besøg Detektering af etiketter.

Om forfatterne

Maria Handoko er Senior Product Manager hos AWS. Hun fokuserer på at hjælpe kunder med at løse deres forretningsudfordringer gennem machine learning og computervision. I sin fritid nyder hun at vandre, lytte til podcasts og udforske forskellige køkkener.

Shipra Kanoria er Principal Product Manager hos AWS. Hun brænder for at hjælpe kunder med at løse deres mest komplekse problemer med kraften i maskinlæring og kunstig intelligens. Før hun kom til AWS, tilbragte Shipra over 4 år hos Amazon Alexa, hvor hun lancerede mange produktivitetsrelaterede funktioner på Alexa-stemmeassistenten.