Amazon Rekognition Labels fügt 600 neue Labels hinzu, darunter Orientierungspunkte, und erkennt jetzt dominante Farben

Amazon-Anerkennung bietet vortrainierte und anpassbare Computer-Vision-Funktionen zum Extrahieren von Informationen und Erkenntnissen aus Bildern und Videos. Eine solche Fähigkeit ist Amazon Rekognition-Etiketten, das Objekte, Szenen, Aktionen und Konzepte in Bildern erkennt. Kunden wie Synchronoss, Shutterstock, und Nomad Media verwenden Amazon Rekognition Labels, um ihrer Inhaltsbibliothek automatisch Metadaten hinzuzufügen und inhaltsbasierte Suchergebnisse zu ermöglichen. TripleLift verwendet Amazon Rekognition Labels, um die besten Momente für das dynamische Einfügen von Anzeigen zu bestimmen, die das Seherlebnis für das Publikum ergänzen. vidmob verwendet Amazon Rekognition Labels, um Metadaten aus Werbeanzeigen zu extrahieren, um die einzigartige Rolle der kreativen Entscheidungsfindung bei der Anzeigenleistung zu verstehen, damit Vermarkter Anzeigen produzieren können, die sich auf die wichtigsten Ziele auswirken, die ihnen am wichtigsten sind. Darüber hinaus verwenden Tausende anderer Kunden Amazon Rekognition Labels, um viele andere Anwendungsfälle zu unterstützen, wie z. B. das Klassifizieren von Trail- oder Wanderfotos, das Erkennen von Personen oder Fahrzeugen in Überwachungskameraaufnahmen und das Klassifizieren von Ausweisdokumentenbildern.

Amazon Rekognition Labels for images erkennt 600 neue Labels, einschließlich Sehenswürdigkeiten und Aktivitäten, und verbessert die Genauigkeit für über 2,000 vorhandene Labels. Darüber hinaus unterstützt Amazon Rekognition Labels jetzt Bildeigenschaften, um dominante Farben eines Bildes, seinen Vorder- und Hintergrund sowie erkannte Objekte mit Begrenzungsrahmen zu erkennen. Bildeigenschaften misst auch Bildhelligkeit, Schärfe und Kontrast. Schließlich organisiert Amazon Rekognition Labels jetzt Etikettenergebnisse mithilfe von zwei zusätzlichen Feldern, aliases und categories, und unterstützt das Filtern dieser Ergebnisse. In den folgenden Abschnitten gehen wir anhand einiger Beispiele ausführlicher auf die neuen Funktionen und ihre Vorteile ein.

Neue Etiketten

Amazon Rekognition Labels hat über 600 neue Labels hinzugefügt und damit die Liste der unterstützten Labels erweitert. Im Folgenden sind einige Beispiele für die neuen Etiketten aufgeführt:

• Beliebte Sehenswürdigkeiten – Brooklyn Bridge, Kolosseum, Eiffelturm, Machu Picchu, Taj Mahal usw.
• Aktivitäten – Applaus, Radfahren, Feiern, Springen, Gassigehen usw.
• Schadenserkennung – Autobeule, Autokratzer, Korrosion, Hausschaden, Dachschaden, Termitenschaden usw.
• Texte und Dokumente – Balkendiagramm, Bordkarte, Flussdiagramm, Notizbuch, Rechnung, Quittung usw.
• Sports – Baseballspiel, Cricketschläger, Eiskunstlauf, Rugby, Wasserball usw.
• Viel mehr – Bootsrennen, Spaß, Stadtbild, Dorf, Heiratsantrag, Bankett usw.

Mit diesen Labels können Kunden in den Bereichen Bildfreigabe, Stockfotografie oder Rundfunkmedien automatisch neue Metadaten zu ihrer Inhaltsbibliothek hinzufügen, um ihre Suchfunktionen zu verbessern.

Sehen wir uns ein Beispiel für die Etikettenerkennung für die Brooklyn Bridge an.

Die folgende Tabelle zeigt die Labels und Konfidenzwerte, die in der API-Antwort zurückgegeben werden.

Verbesserte Etiketten

Amazon Rekognition Labels hat auch die Genauigkeit für über 2,000 Etiketten verbessert. Im Folgenden sind einige Beispiele für die verbesserten Etiketten aufgeführt:

• Aktivitäten – Tauchen, Fahren, Lesen, Sitzen, Stehen usw.
• Kleidung und Accessoires – Rucksack, Gürtel, Bluse, Hoodie, Jacke, Schuh usw.
• Zuhause und drinnen – Swimmingpool, Topfpflanze, Kissen, Kamin, Decke usw.
• Technologie und Computer – Kopfhörer, Handy, Tablet-Computer, Lesen, Laptop usw.
• Fahrzeuge und Automobil – LKW, Rad, Reifen, Stoßstange, Autositz, Autospiegel usw.
• Texte und Dokumente – Reisepass, Führerschein, Visitenkarte, Dokument usw.
• Viel mehr – Hund, Känguru, Marktplatz, Fest, Lachen usw.

Bildeigenschaften für dominante Farberkennung und Bildqualität

Bildeigenschaften ist eine neue Funktion von Amazon Rekognition Labels für Bilder und kann mit oder ohne Label-Erkennungsfunktion verwendet werden. Hinweis: Bildeigenschaften ist separat bepreist von Amazon Rekognition Labels und ist nur mit den aktualisierten SDKs verfügbar.

Dominante Farberkennung

Bildeigenschaften identifiziert dominante Farben in einem Bild basierend auf Pixelprozentsätzen. Diese dominanten Farben werden dem zugeordnet 140 CSS-Farbpalette, RGB, Hex-Code und 12 vereinfachte Farben (grün, pink, schwarz, rot, gelb, cyan, braun, orange, weiß, lila, blau, grau). Standardmäßig gibt die API bis zu 10 dominante Farben zurück, es sei denn, Sie geben die Anzahl der zurückzugebenden Farben an. Die maximale Anzahl dominanter Farben, die die API zurückgeben kann, ist 12.

Bei eigenständiger Verwendung erkennt Image Properties die dominierenden Farben eines gesamten Bildes sowie dessen Vorder- und Hintergrund. Bei Verwendung zusammen mit Label-Erkennungsfunktionen identifiziert Image Properties auch die dominanten Farben von erkannten Objekten mit Begrenzungsrahmen.

Kunden im Bereich Bildfreigabe oder Stock-Fotografie können die Erkennung dominanter Farben verwenden, um die Metadaten ihrer Bildbibliothek anzureichern, um die Inhaltserkennung zu verbessern, sodass ihre Endbenutzer nach Farbe filtern oder Objekte mit bestimmten Farben suchen können, z. B. „blauer Stuhl“ oder „rote Schuhe“. ” Darüber hinaus können Kunden in der Werbung die Anzeigenleistung anhand der Farben ihrer kreativen Assets bestimmen.

Bildqualität

Neben der Erkennung dominanter Farben misst Image Properties auch die Bildqualität anhand von Helligkeits-, Schärfe- und Kontrastwerten. Jede dieser Punktzahlen reicht von 0–100. Beispielsweise liefert ein sehr dunkles Bild niedrige Helligkeitswerte, während ein hell erleuchtetes Bild hohe Werte zurückgibt.

Mit diesen Bewertungen können Kunden in den Bereichen Bildfreigabe, Werbung oder E-Commerce eine Qualitätsprüfung durchführen und Bilder mit geringer Helligkeit und Schärfe herausfiltern, um Vorhersagen zu falschen Etiketten zu reduzieren.

Das folgende Bild zeigt ein Beispiel mit dem Eiffelturm.

Die folgende Tabelle ist ein Beispiel für Bildeigenschaftendaten, die in der API-Antwort zurückgegeben werden.

Das folgende Bild ist ein Beispiel für einen roten Stuhl.

Das Folgende ist ein Beispiel für Bildeigenschaftendaten, die in der API-Antwort zurückgegeben werden.

Das folgende Bild ist ein Beispiel für einen Hund mit gelbem Hintergrund.

Das Folgende ist ein Beispiel für Bildeigenschaftendaten, die in der API-Antwort zurückgegeben werden.

Neue Felder für Aliase und Kategorien

Amazon Rekognition Labels gibt jetzt zwei neue Felder zurück, aliases und categories, in der API-Antwort. Aliasse sind andere Namen für dasselbe Label und Kategorien gruppieren einzelne Labels basierend auf 40 gemeinsamen Themen, wie z Food and Beverage und Animals and Pets. Mit der Aktualisierung des Bezeichnungserkennungsmodells werden Aliase nicht mehr in der primären Liste der Bezeichnungsnamen zurückgegeben. Stattdessen werden Aliase in new zurückgegeben aliases Feld in der API-Antwort. Hinweis: Aliasse und Kategorien werden nur mit den aktualisierten SDKs zurückgegeben.

Kunden in den Bereichen Fotofreigabe, E-Commerce oder Werbung können Aliase und Kategorien verwenden, um ihre Inhaltsmetadaten-Taxonomie zu organisieren, um die Suche und Filterung von Inhalten weiter zu verbessern:

• Alias-Beispiel - Weil Car und Automobile sind Aliase, mit denen Sie einem Bild Metadaten hinzufügen können Car und Automobile gleichzeitig
• Beispiel Kategorien – Sie können Kategorien verwenden, um einen Kategoriefilter zu erstellen oder alle Bilder anzuzeigen, die sich auf eine bestimmte Kategorie beziehen, z Food and Beverage, ohne jedem Bild explizit Metadaten hinzufügen zu müssen Food and Beverage

Das folgende Bild zeigt ein Beispiel für die Label-Erkennung mit Aliasen und Kategorien für einen Taucher.

Die folgende Tabelle zeigt die Labels, Konfidenzwerte, Aliase und Kategorien, die in der API-Antwort zurückgegeben werden.

Das folgende Bild ist ein Beispiel für einen Radfahrer.

Die folgende Tabelle enthält die Labels, Konfidenzwerte, Aliase und Kategorien, die in der API-Antwort zurückgegeben werden.

Einschluss- und Ausschlussfilter

Amazon Rekognition Labels führt neue Einschluss- und Ausschlussfilteroptionen in den API-Eingabeparametern ein, um die spezifische Liste der in der API-Antwort zurückgegebenen Labels einzugrenzen. Sie können eine explizite Liste von Labels oder Kategorien angeben, die Sie einschließen oder ausschließen möchten. Hinweis: Diese Filter sind mit den aktualisierten SDKs verfügbar.

Kunden können Einschluss- und Ausschlussfilter verwenden, um bestimmte Labels oder Kategorien zu erhalten, an denen sie interessiert sind, ohne zusätzliche Logik in ihrer Anwendung erstellen zu müssen. Zum Beispiel können Kunden in Versicherungen verwenden LabelCategoriesInclusionFilter nur Label-Ergebnisse in die aufzunehmen Damage Detection Apps.

Der folgende Code ist eine API-Beispielanforderung mit Einschluss- und Ausschlussfiltern:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Im Folgenden finden Sie Beispiele für die Funktionsweise von Inklusions- und Exklusionsfiltern:

• Wenn Sie nur erkennen möchten Person und Car, und kümmern Sie sich nicht um andere Labels, Sie können [“Person”,”Car”] im LabelsInclusionFilter.
• Wenn Sie alle Labels außer erkennen möchten Clothing, Sie können angeben [“Clothing”] im LabelsExclusionFilter.
• Wenn Sie nur Etiketten innerhalb der erkennen möchten Animal and Pets Kategorien außer Dog und Cat, Sie können angeben ["Animal and Pets"] in dem LabelCategoriesInclusionFilter, mit ["Dog", "Cat"] im LabelsExclusionFilter.
• Wenn ein Label angegeben ist in LabelsInclusionFilter or LabelsExclusionFilter, ihre Aliase werden entsprechend eingeschlossen oder ausgeschlossen, weil aliases ist eine Untertaxonomie von Labels. Zum Beispiel weil Automobile ist ein Alias ​​von Car, wenn Sie angeben Car in LabelsInclusionFilter, gibt die API die zurück Car beschriften mit Automobile der aliases Feld.

Zusammenfassung

Amazon Rekognition Labels erkennt 600 neue Labels und verbessert die Genauigkeit für über 2,000 bestehende Labels. Zusammen mit diesen Updates unterstützt Amazon Rekognition Labels jetzt Bildeigenschaften, Aliase und Kategorien sowie Inklusion und Inklusionsfilter.

Um das neue Etikettenerkennungsmodell mit seinen neuen Funktionen auszuprobieren, melden Sie sich bei Ihrem AWS-Konto an und sehen Sie sich die an Amazon Rekognition-Konsole für Etikettenerkennung und Bildeigenschaften. Um mehr zu erfahren, besuchen Sie Erkennung von Etiketten.

Über die Autoren

Maria Handoko ist Senior Product Manager bei AWS. Sie konzentriert sich darauf, Kunden bei der Lösung ihrer geschäftlichen Herausforderungen durch maschinelles Lernen und Computer Vision zu unterstützen. In ihrer Freizeit geht sie gerne wandern, hört Podcasts und erkundet verschiedene Küchen.

Shipra Kanoria ist Principal Product Manager bei AWS. Sie ist leidenschaftlich daran interessiert, Kunden dabei zu helfen, ihre komplexesten Probleme mit der Kraft des maschinellen Lernens und der künstlichen Intelligenz zu lösen. Bevor sie zu AWS kam, verbrachte Shipra über 4 Jahre bei Amazon Alexa, wo sie viele produktivitätsbezogene Funktionen des Alexa-Sprachassistenten einführte.