Amazon Rekognition Labels legger til 600 nye etiketter, inkludert landemerker, og oppdager nå dominerende farger

Amazon-anerkjennelse tilbyr ferdigtrente og tilpassbare datasynsfunksjoner for å trekke ut informasjon og innsikt fra bilder og videoer. En slik evne er Amazon-gjenkjenningsetiketter, som oppdager objekter, scener, handlinger og konsepter i bilder. Kunder som Synchronoss, Shutterstock, og Nomad Media bruker Amazon Rekognition Labels for automatisk å legge til metadata til innholdsbiblioteket deres og aktivere innholdsbaserte søkeresultater. TripleLift bruker Amazon Rekognition Labels for å finne de beste øyeblikkene for dynamisk å sette inn annonser som utfyller seeropplevelsen for publikum. vidmob bruker Amazon Rekognition Labels for å trekke ut metadata fra annonsereklamer for å forstå den unike rollen som kreativ beslutningstaking har i annonseresultatene, slik at markedsførere kan produsere annonser som påvirker hovedmålene de bryr seg mest om. I tillegg bruker tusenvis av andre kunder Amazon Rekognition Labels for å støtte mange andre brukstilfeller, for eksempel klassifisering av sti- eller turbilder, oppdage personer eller kjøretøy i sikkerhetskameraopptak og klassifisering av identitetsdokumentbilder.

Amazon Rekognition Labels for bilder oppdager 600 nye etiketter, inkludert landemerker og aktiviteter, og forbedrer nøyaktigheten for over 2,000 eksisterende etiketter. I tillegg støtter Amazon Rekognition Labels nå bildeegenskaper for å oppdage dominerende farger på et bilde, dets forgrunn og bakgrunn, samt oppdagede objekter med avgrensende rammer. Bildeegenskaper måler også bildets lysstyrke, skarphet og kontrast. Til slutt organiserer nå Amazon Rekognition Labels etikettresultater ved å bruke to ekstra felt, aliases og categories, og støtter filtrering av disse resultatene. I de følgende avsnittene gjennomgår vi de nye egenskapene og fordelene deres mer detaljert med noen eksempler.

Nye etiketter

Amazon Rekognition Labels har lagt til over 600 nye etiketter, og utvider listen over støttede etiketter. Følgende er noen eksempler på de nye etikettene:

• Populære landemerker – Brooklyn Bridge, Colosseum, Eiffeltårnet, Machu Picchu, Taj Mahal, etc.
• aktiviteter – Applaus, sykling, feiring, hopping, turgåing, etc.
• Skadedeteksjon – Bilbulk, bilriper, korrosjon, boligskader, takskader, termittskader, etc.
• Tekst og dokumenter – Stolpediagram, boardingkort, flytskjema, notatbok, faktura, kvittering osv.
• Sports – Baseballspill, cricketballtre, kunstløp, rugby, vannpolo, etc.
• Mange fler – Båtracing, moro, bybilde, landsby, bryllupsforslag, bankett, etc.

Med disse etikettene kan kunder innen bildedeling, arkivfotografering eller kringkastingsmedier automatisk legge til nye metadata til innholdsbiblioteket for å forbedre søkemulighetene.

La oss se på et etikettdeteksjonseksempel for Brooklyn Bridge.

Tabellen nedenfor viser etikettene og konfidenspoengene som ble returnert i API-svaret.

Forbedrede etiketter

Amazon Rekognition Labels har også forbedret nøyaktigheten for over 2,000 etiketter. Følgende er noen eksempler på de forbedrede etikettene:

• aktiviteter – Dykking, kjøring, lesing, sittende, stående osv.
• Klær og tilbehør – Ryggsekk, belte, bluse, hettegenser, jakke, sko, etc.
• Hjemme og innendørs – Svømmebasseng, potteplante, pute, peis, teppe, etc.
• Teknologi og databehandling – Hodetelefoner, mobiltelefon, nettbrett, lesing, bærbar PC, etc.
• Kjøretøy og bil – Lastebil, hjul, dekk, støtfanger, bilsete, bilspeil, etc.
• Tekst og dokumenter – Pass, førerkort, visittkort, dokument osv.
• Mange fler – Hund, kenguru, torget, festival, latter osv.

Bildeegenskaper for dominerende fargegjenkjenning og bildekvalitet

Bildeegenskaper er en ny funksjon for Amazon Rekognition Labels for bilder, og kan brukes med eller uten etikettdeteksjonsfunksjonalitet. Merk: Bildeegenskaper er prises separat fra Amazon Rekognition Labels, og er kun tilgjengelig med de oppdaterte SDK-ene.

Dominant fargegjenkjenning

Bildeegenskaper identifiserer dominerende farger i et bilde basert på pikselprosentandeler. Disse dominerende fargene er kartlagt til 140 CSS fargepalett, RGB, hex-kode og 12 forenklede farger (grønn, rosa, svart, rød, gul, cyan, brun, oransje, hvit, lilla, blå, grå). Som standard returnerer API-en opptil 10 dominerende farger med mindre du angir antall farger som skal returneres. Maksimalt antall dominerende farger API kan returnere er 12.

Når det brukes frittstående, oppdager Bildeegenskaper de dominerende fargene til et helt bilde, så vel som dets forgrunn og bakgrunn. Når det brukes sammen med etikettdeteksjonsfunksjoner, identifiserer Bildeegenskaper også de dominerende fargene til oppdagede objekter med avgrensende bokser.

Kunder innen bildedeling eller arkivfotografering kan bruke dominant fargegjenkjenning for å berike bildebibliotekets metadata for å forbedre innholdsoppdagelsen, slik at sluttbrukerne kan filtrere etter farge eller søke etter objekter med bestemte farger, for eksempel "blå stol" eller "røde sko". ” I tillegg kan kunder i annonsering bestemme annonseresultater basert på fargene på kreative eiendeler.

Bildekvalitet

I tillegg til dominerende fargedeteksjon, måler Bildeegenskaper også bildekvaliteter gjennom lysstyrke, skarphet og kontrastscore. Hver av disse poengsummene varierer fra 0–100. For eksempel vil et veldig mørkt bilde gi lave lysstyrkeverdier, mens et sterkt opplyst bilde vil gi høye verdier.

Med disse poengsummene kan kunder innen bildedeling, annonsering eller e-handel utføre kvalitetsinspeksjon og filtrere ut bilder med lav lysstyrke og skarphet for å redusere falske etikettspådommer.

Følgende bilde viser et eksempel med Eiffeltårnet.

Tabellen nedenfor er et eksempel på data for bildeegenskaper som returneres i API-svaret.

Følgende bilde er et eksempel på en rød stol.

Følgende er et eksempel på bildeegenskaper som returneres i API-svaret.

Følgende bilde er et eksempel for en hund med gul bakgrunn.

Følgende er et eksempel på bildeegenskaper som returneres i API-svaret.

Nye aliaser og kategorier felt

Amazon Rekognition Labels returnerer nå to nye felt, aliases og categories, i API-svaret. Aliaser er andre navn for samme etikett og kategorier grupperer individuelle etiketter basert på 40 vanlige temaer, som f.eks. Food and Beverage og Animals and Pets. Med oppdateringen av etikettdeteksjonsmodellen returneres ikke lenger aliaser i den primære listen over etikettnavn. I stedet returneres aliaser i den nye aliases feltet i API-svaret. Merk: Aliaser og kategorier returneres bare med de oppdaterte SDK-ene.

Kunder innen bildedeling, e-handel eller annonsering kan bruke aliaser og kategorier for å organisere innholdsmetadata-taksonomien for å forbedre innholdssøk og -filtrering ytterligere:

• Eksempel på aliaser - Fordi Car og Automobile er aliaser, kan du legge til metadata til et bilde med Car og Automobile samtidig
• Eksempel på kategorier – Du kan bruke kategorier til å lage et kategorifilter eller vise alle bilder relatert til en bestemt kategori, for eksempel Food and Beverage, uten å eksplisitt legge til metadata til hvert bilde med Food and Beverage

Følgende bilde viser et etikettdeteksjonseksempel med aliaser og kategorier for en dykker.

Tabellen nedenfor viser etiketter, konfidenspoeng, aliaser og kategorier som returneres i API-svaret.

Følgende bilde er et eksempel for en syklist.

Følgende tabell inneholder etiketter, konfidenspoeng, aliaser og kategorier som returneres i API-svaret.

Inkluderings- og eksklusjonsfiltre

Amazon Rekognition Labels introduserer nye inkluderings- og ekskluderingsfiltreringsalternativer i API-inndataparameterne for å begrense den spesifikke listen over etiketter som returneres i API-svaret. Du kan oppgi en eksplisitt liste over etiketter eller kategorier som du vil inkludere eller ekskludere. Merk: Disse filtrene er tilgjengelige med de oppdaterte SDK-ene.

Kunder kan bruke inkluderings- og ekskluderingsfiltre for å få spesifikke etiketter eller kategorier de er interessert i uten å måtte lage ytterligere logikk i applikasjonen. For eksempel kan kunder i forsikring bruke LabelCategoriesInclusionFilter å bare inkludere etikettresultater i Damage Detection kategori.

Følgende kode er en API-eksempelforespørsel med inkluderings- og ekskluderingsfiltre:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Følgende er eksempler på hvordan inkluderings- og ekskluderingsfiltre fungerer:

• Hvis du bare vil oppdage Person og Car, og ikke bryr deg om andre etiketter, kan du spesifisere [“Person”,”Car”] i LabelsInclusionFilter.
• Hvis du vil oppdage alle etiketter bortsett fra Clothing, kan du spesifisere [“Clothing”] i LabelsExclusionFilter.
• Hvis du bare vil oppdage etiketter innenfor Animal and Pets kategorier bortsett fra Dog og Cat, kan du spesifisere ["Animal and Pets"] i LabelCategoriesInclusionFilter, med ["Dog", "Cat"] i LabelsExclusionFilter.
• Hvis en etikett er spesifisert i LabelsInclusionFilter or LabelsExclusionFilter, vil deres aliaser inkluderes eller ekskluderes tilsvarende fordi aliases er en undertaksonomi av etiketter. For eksempel fordi Automobile er et alias av Car, hvis du spesifiserer Car in LabelsInclusionFilter, vil API returnere Car merke med Automobile i aliases feltet.

konklusjonen

Amazon Rekognition Labels oppdager 600 nye etiketter og forbedrer nøyaktigheten for over 2,000 eksisterende etiketter. Sammen med disse oppdateringene støtter Amazon Rekognition Labels nå bildeegenskaper, aliaser og kategorier, samt inkluderings- og inkluderingsfiltre.

For å prøve den nye etikettdeteksjonsmodellen med dens nye funksjoner, logg inn på AWS-kontoen din og sjekk ut Amazon Rekognisjonskonsoll for etikettdeteksjon og bildeegenskaper. For å lære mer, besøk Oppdager etiketter.

Om forfatterne

Maria Handoko er senior produktsjef i AWS. Hun fokuserer på å hjelpe kunder med å løse sine forretningsutfordringer gjennom maskinlæring og datasyn. På fritiden liker hun å gå på fotturer, lytte til podcaster og utforske ulike retter.

Shipra Kanoria er hovedproduktsjef i AWS. Hun brenner for å hjelpe kunder med å løse deres mest komplekse problemer med kraften til maskinlæring og kunstig intelligens. Før hun begynte i AWS, tilbrakte Shipra over 4 år hos Amazon Alexa, hvor hun lanserte mange produktivitetsrelaterte funksjoner på Alexa stemmeassistent.