Amazon Rekognition Labels dodaje 600 nowych etykiet, w tym punkty orientacyjne, a teraz wykrywa dominujące kolory

Amazon Rekognition oferuje wstępnie wyszkolone i konfigurowalne możliwości widzenia komputerowego w celu wydobywania informacji i spostrzeżeń z obrazów i filmów. Jedną z takich zdolności jest Etykiety rozpoznawania Amazon, który wykrywa obiekty, sceny, działania i koncepcje na obrazach. Klienci tacy jak Synchronoss, Shutterstock, a Nomad Media używają Amazon Rekognition Labels do automatycznego dodawania metadanych do swojej biblioteki treści i udostępniania wyników wyszukiwania opartych na treści. TripleLift korzysta z Amazon Rekognition Labels, aby określić najlepsze momenty do dynamicznego wstawiania reklam, które uzupełniają wrażenia widzów. vidmob wykorzystuje Amazon Rekognition Labels do wyodrębniania metadanych z kreacji reklamowych, aby zrozumieć wyjątkową rolę kreatywnego podejmowania decyzji w skuteczności reklam, dzięki czemu marketerzy mogą tworzyć reklamy, które wpływają na kluczowe cele, na których im najbardziej zależy. Ponadto tysiące innych klientów korzysta z Amazon Rekognition Labels do obsługi wielu innych zastosowań, takich jak klasyfikowanie zdjęć szlaków lub wędrówek, wykrywanie ludzi lub pojazdów na nagraniach z kamer bezpieczeństwa oraz klasyfikowanie zdjęć dokumentów tożsamości.

Amazon Rekognition Labels dla obrazów wykrywa 600 nowych etykiet, w tym punkty orientacyjne i działania, oraz poprawia dokładność ponad 2,000 istniejących etykiet. Ponadto Amazon Rekognition Labels obsługuje teraz właściwości obrazu w celu wykrywania dominujących kolorów obrazu, jego pierwszego planu i tła, a także wykrytych obiektów z ramkami ograniczającymi. Właściwości obrazu mierzą również jasność, ostrość i kontrast obrazu. Wreszcie, Amazon Rekognition Labels porządkuje teraz wyniki etykiet za pomocą dwóch dodatkowych pól, aliases i categoriesi obsługuje filtrowanie tych wyników. W poniższych sekcjach omówimy bardziej szczegółowo nowe możliwości i ich zalety wraz z kilkoma przykładami.

Nowe etykiety

Amazon Rekognition Labels dodało ponad 600 nowych etykiet, rozszerzając listę obsługiwanych etykiet. Oto kilka przykładów nowych etykiet:

• Popularne punkty orientacyjne – Most Brookliński, Koloseum, Wieża Eiffla, Machu Picchu, Taj Mahal itp.
• Wydarzenia – Oklaski, jazda na rowerze, świętowanie, skakanie, spacer z psem itp.
• Wykrywanie uszkodzeń – Wgniecenie samochodu, zarysowanie samochodu, korozja, uszkodzenie domu, uszkodzenie dachu, uszkodzenie termitów itp.
• Tekst i dokumenty – Wykres słupkowy, karta pokładowa, schemat blokowy, notatnik, faktura, paragon itp.
• SPORTOWE – Baseball, kij do krykieta, łyżwiarstwo figurowe, rugby, piłka wodna itp.
• Wiele więcej – Wyścigi łodzi, zabawa, pejzaż miejski, wieś, propozycja ślubu, bankiet itp.

Dzięki tym etykietom klienci zajmujący się udostępnianiem obrazów, fotografiami stockowymi lub mediami mogą automatycznie dodawać nowe metadane do swojej biblioteki treści, aby poprawić swoje możliwości wyszukiwania.

Przyjrzyjmy się przykładowi wykrywania etykiet dla mostu Brooklyn Bridge.

W poniższej tabeli przedstawiono etykiety i oceny ufności zwrócone w odpowiedzi interfejsu API.

Ulepszone etykiety

Amazon Rekognition Labels poprawiło również dokładność ponad 2,000 etykiet. Oto kilka przykładów ulepszonych etykiet:

• Wydarzenia – Nurkowanie, jazda samochodem, czytanie, siedzenie, stanie itp.
• Odzież i akcesoria – Plecak, pasek, bluza, bluza z kapturem, kurtka, but itp.
• W domu i w pomieszczeniu – Basen, roślina doniczkowa, poduszka, kominek, koc itp.
• Technologia i informatyka – Słuchawki, telefon komórkowy, tablet, czytanie, laptop itp.
• Pojazdy i motoryzacja - Ciężarówka, koło, opona, zderzak, fotelik samochodowy, lusterko samochodowe itp.
• Tekst i dokumenty – paszport, prawo jazdy, wizytówka, dokument itp.
• Wiele więcej – Pies, Kangur, Rynek, Festiwal, Śmiech itp.

Właściwości obrazu do wykrywania dominujących kolorów i jakości obrazu

Image Properties to nowa funkcja Amazon Rekognition Labels dla obrazów, której można używać z funkcją wykrywania etykiet lub bez niej. Uwaga: Właściwości obrazu to wycenione osobno z Amazon Rekognition Labels i jest dostępny tylko ze zaktualizowanymi pakietami SDK.

Wykrywanie koloru dominującego

Właściwości obrazu identyfikują dominujące kolory na obrazie na podstawie procentowej zawartości pikseli. Te dominujące kolory są odwzorowane na Paleta kolorów 140 CSS, RGB, kod szesnastkowy i 12 uproszczonych kolorów (zielony, różowy, czarny, czerwony, żółty, błękitny, brązowy, pomarańczowy, biały, fioletowy, niebieski, szary). Domyślnie interfejs API zwraca do 10 dominujących kolorów, chyba że określisz liczbę zwracanych kolorów. Maksymalna liczba dominujących kolorów, które może zwrócić interfejs API, to 12.

Gdy jest używany samodzielnie, Właściwości obrazu wykrywa dominujące kolory całego obrazu, a także jego pierwszy plan i tło. W połączeniu z funkcjami wykrywania etykiet funkcja Właściwości obrazu identyfikuje również dominujące kolory wykrytych obiektów za pomocą ramek ograniczających.

Klienci zajmujący się udostępnianiem obrazów lub fotografiami stockowymi mogą korzystać z funkcji wykrywania dominujących kolorów, aby wzbogacić metadane biblioteki obrazów w celu usprawnienia wyszukiwania treści, umożliwiając użytkownikom końcowym filtrowanie według koloru lub wyszukiwanie obiektów o określonych kolorach, takich jak „niebieskie krzesło” lub „czerwone buty”. ” Ponadto klienci reklamowi mogą określać skuteczność reklam na podstawie kolorów swoich zasobów kreatywnych.

Jakość obrazu

Oprócz wykrywania dominujących kolorów, właściwości obrazu mierzą również jakość obrazu poprzez ocenę jasności, ostrości i kontrastu. Każdy z tych wyników mieści się w przedziale od 0 do 100. Na przykład bardzo ciemny obraz zwróci niskie wartości jasności, podczas gdy jasno oświetlony obraz zwróci wysokie wartości.

Dzięki tym wynikom klienci z branży udostępniania obrazów, reklamy lub handlu elektronicznego mogą przeprowadzać kontrolę jakości i odfiltrowywać obrazy o niskiej jasności i ostrości, aby ograniczyć fałszywe prognozy dotyczące etykiet.

Poniższy obraz przedstawia przykład z wieżą Eiffla.

Poniższa tabela zawiera przykład danych właściwości obrazu zwróconych w odpowiedzi interfejsu API.

Poniższy obraz jest przykładem czerwonego krzesła.

Poniżej przedstawiono przykład danych właściwości obrazu zwróconych w odpowiedzi interfejsu API.

Poniższy obraz jest przykładem psa z żółtym tłem.

Poniżej przedstawiono przykład danych właściwości obrazu zwróconych w odpowiedzi interfejsu API.

Nowe pola aliasów i kategorii

Amazon Rekognition Labels zwraca teraz dwa nowe pola, aliases i categories, w odpowiedzi interfejsu API. Aliasy to inne nazwy tej samej etykiety, a kategorie grupują poszczególne etykiety na podstawie 40 wspólnych motywów, takich jak Food and Beverage i Animals and Pets. Wraz z aktualizacją modelu wykrywania etykiet aliasy nie są już zwracane na podstawowej liście nazw etykiet. Zamiast tego aliasy są zwracane w new aliases pole w odpowiedzi API. Uwaga: aliasy i kategorie są zwracane tylko ze zaktualizowanymi pakietami SDK.

Klienci zajmujący się udostępnianiem zdjęć, handlem elektronicznym lub reklamą mogą używać aliasów i kategorii do organizowania taksonomii metadanych treści w celu dalszego usprawnienia wyszukiwania i filtrowania treści:

• Przykład aliasów - Dlatego Car i Automobile są aliasami, za pomocą których można dodawać metadane do obrazu Car i Automobile naraz
• Przykład kategorii – Możesz użyć kategorii, aby utworzyć filtr kategorii lub wyświetlić wszystkie obrazy związane z określoną kategorią, np Food and Beverage, bez konieczności jawnego dodawania metadanych do każdego obrazu za pomocą Food and Beverage

Poniższy obraz przedstawia przykład wykrywania etykiet z aliasami i kategoriami dla nurka.

W poniższej tabeli przedstawiono etykiety, oceny ufności, aliasy i kategorie zwrócone w odpowiedzi interfejsu API.

Poniższy obraz jest przykładem rowerzysty.

Poniższa tabela zawiera etykiety, oceny ufności, aliasy i kategorie zwracane w odpowiedzi interfejsu API.

Filtry włączenia i wyłączenia

Amazon Rekognition Labels wprowadza nowe opcje filtrowania włączania i wyłączania w parametrach wejściowych API, aby zawęzić listę etykiet zwracanych w odpowiedzi API. Możesz podać wyraźną listę etykiet lub kategorii, które chcesz uwzględnić lub wykluczyć. Uwaga: te filtry są dostępne w zaktualizowanych pakietach SDK.

Klienci mogą korzystać z filtrów włączenia i wykluczenia, aby uzyskać określone etykiety lub kategorie, którymi są zainteresowani, bez konieczności tworzenia dodatkowej logiki w swojej aplikacji. Na przykład klienci w ubezpieczeniach mogą korzystać LabelCategoriesInclusionFilter aby uwzględnić tylko wyniki etykiet w pliku Damage Detection kategorii.

Poniższy kod to przykładowe żądanie interfejsu API z filtrami włączania i wykluczania:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Poniżej przedstawiono przykłady działania filtrów włączania i wykluczania:

• Jeśli chcesz tylko wykryć Person i Cari nie przejmuj się innymi etykietami, możesz określić [“Person”,”Car”] w LabelsInclusionFilter.
• Jeśli chcesz wykryć wszystkie etykiety z wyjątkiem Clothing, możesz określić [“Clothing”] w LabelsExclusionFilter.
• Jeśli chcesz wykryć tylko etykiety w Animal and Pets kategorie z wyjątkiem Dog i Cat, możesz określić ["Animal and Pets"] w LabelCategoriesInclusionFilter, z ["Dog", "Cat"] w LabelsExclusionFilter.
• Jeśli etykieta jest określona w LabelsInclusionFilter or LabelsExclusionFilter, ich aliasy zostaną odpowiednio uwzględnione lub wykluczone, ponieważ aliases jest podtaksonomią etykiet. Na przykład, ponieważ Automobile jest aliasem Car, jeśli określisz Car in LabelsInclusionFilter, API zwróci Car etykieta z Automobile aliases pole.

Wnioski

Amazon Rekognition Labels wykrywa 600 nowych etykiet i poprawia dokładność ponad 2,000 istniejących etykiet. Wraz z tymi aktualizacjami Amazon Rekognition Labels obsługuje teraz właściwości obrazu, aliasy i kategorie, a także filtry włączania i włączania.

Aby wypróbować nowy model wykrywania etykiet z jego nowymi funkcjami, zaloguj się na swoje konto AWS i sprawdź Konsola Amazon Rekognition do wykrywania etykiet i właściwości obrazu. Aby dowiedzieć się więcej, odwiedź Wykrywanie etykiet.

O autorach

Marii Handoko jest Senior Product Managerem w AWS. Koncentruje się na pomaganiu klientom w rozwiązywaniu ich wyzwań biznesowych poprzez uczenie maszynowe i wizję komputerową. W wolnym czasie lubi wędrować, słuchać podcastów i odkrywać różne kuchnie.

Shipra Kanoria jest głównym menedżerem produktu w AWS. Pasjonuje się pomaganiem klientom w rozwiązywaniu ich najbardziej złożonych problemów dzięki sile uczenia maszynowego i sztucznej inteligencji. Przed dołączeniem do AWS Shipra spędziła ponad 4 lata w Amazon Alexa, gdzie wprowadziła wiele funkcji związanych z produktywnością w asystencie głosowym Alexa.