Amazon Rekognition Labels додає 600 нових міток, включаючи орієнтири, і тепер визначає домінуючі кольори

Amazon Rekognition пропонує попередньо підготовлені та настроювані можливості комп’ютерного зору для отримання інформації та розуміння із зображень і відео. Однією з таких можливостей є Етикетки Amazon Rekognition, який виявляє об’єкти, сцени, дії та поняття на зображеннях. Такі клієнти, як Synchronoss, Shutterstock, і Nomad Media використовують Amazon Rekognition Labels для автоматичного додавання метаданих до своєї бібліотеки вмісту та надання результатів пошуку на основі вмісту. TripleLift використовує Amazon Rekognition Labels для визначення найкращих моментів для динамічного вставлення реклами, яка доповнює враження від перегляду для аудиторії. відмоб використовує Amazon Rekognition Labels для отримання метаданих із рекламних оголошень, щоб зрозуміти унікальну роль прийняття творчих рішень у ефективності реклами, щоб маркетологи могли створювати рекламу, яка впливає на ключові цілі, які їх найбільше цікавлять. Крім того, тисячі інших клієнтів використовують мітки Amazon Rekognition Label для підтримки багатьох інших випадків використання, таких як класифікація фотографій стежок або походів, виявлення людей або транспортних засобів на записах камер безпеки та класифікація зображень документів, що посвідчують особу.

Amazon Rekognition Labels для зображень виявляє 600 нових міток, включаючи орієнтири та види діяльності, і покращує точність для понад 2,000 існуючих міток. Крім того, Amazon Rekognition Labels тепер підтримує властивості зображення для виявлення домінуючих кольорів зображення, його переднього плану та фону, а також виявлені об’єкти з обмежувальними рамками. Властивості зображення також вимірюють яскравість, різкість і контрастність зображення. Нарешті, Amazon Rekognition Labels тепер упорядковує результати міток за допомогою двох додаткових полів, aliases та categoriesі підтримує фільтрацію цих результатів. У наступних розділах ми більш детально розглядаємо нові можливості та їхні переваги з кількома прикладами.

Нові етикетки

Amazon Rekognition Labels додала понад 600 нових міток, розширюючи список підтримуваних міток. Нижче наведено кілька прикладів нових міток:

• Популярні пам'ятки – Бруклінський міст, Колізей, Ейфелева вежа, Мачу-Пікчу, Тадж-Махал тощо.
• Діяльності – Оплески, їзда на велосипеді, святкування, стрибки, вигул собаки тощо.
• Виявлення пошкоджень – Вм’ятини автомобіля, подряпини автомобіля, корозія, пошкодження будинку, пошкодження даху, пошкодження термітами тощо.
• Текст і документи – Гістограма, посадковий талон, блок-схема, блокнот, рахунок-фактура, квитанція тощо.
• SPORTS – Гра в бейсбол, біта в крикет, фігурне катання, регбі, водне поло тощо.
• Набагато більше – Човнові перегони, Веселощі, Міський пейзаж, Село, Весільна пропозиція, Банкет тощо.

За допомогою цих міток клієнти, які обмінюються зображеннями, стоковими фотографіями або телевізійними медіа, можуть автоматично додавати нові метадані до своєї бібліотеки вмісту, щоб покращити свої можливості пошуку.

Давайте розглянемо приклад визначення міток для Бруклінського мосту.

У наведеній нижче таблиці показано мітки та оцінки достовірності, які повертаються у відповіді API.

Покращені мітки

Amazon Rekognition Labels також покращила точність понад 2,000 міток. Нижче наведено кілька прикладів покращених міток:

• Діяльності – Дайвінг, водіння, читання, сидячи, стоячи тощо.
• Одяг та аксесуари – Рюкзак, пояс, блуза, худі, куртка, взуття тощо.
• Вдома та в приміщенні – Басейн, рослина в горщику, подушка, камін, ковдра тощо.
• Технологія та обчислювальна техніка – Навушники, мобільний телефон, планшетний комп’ютер, читання, ноутбук тощо.
• Транспортні засоби та автомобілебудування – Вантажівка, колесо, шина, бампер, автокрісло, автомобільне дзеркало тощо.
• Текст і документи – Паспорт, водійське посвідчення, візитка, документ тощо.
• Набагато більше – Собака, Кенгуру, Міська площа, Фестиваль, Сміється тощо.

Властивості зображення для визначення домінантного кольору та якості зображення

Властивості зображення — це нова функція Amazon Rekognition Labels для зображень, яку можна використовувати з функцією виявлення міток або без неї. Примітка. Властивості зображення є ціна окремо від Amazon Rekognition Labels і доступний лише з оновленими SDK.

Виявлення домінантного кольору

Властивості зображення визначає домінуючі кольори в зображенні на основі відсотка пікселів. Ці домінуючі кольори зіставляються з Палітра кольорів 140 CSS, RGB, шістнадцятковий код і 12 спрощених кольорів (зелений, рожевий, чорний, червоний, жовтий, блакитний, коричневий, оранжевий, білий, фіолетовий, синій, сірий). За замовчуванням API повертає до 10 домінуючих кольорів, якщо ви не вкажете кількість кольорів, які потрібно повернути. Максимальна кількість домінуючих кольорів, які може повернути API, становить 12.

При автономному використанні Властивості зображення визначають домінуючі кольори всього зображення, а також його переднього плану та фону. У разі використання разом із функціями виявлення міток «Властивості зображення» також визначають домінуючі кольори виявлених об’єктів за допомогою обмежувальних рамок.

Клієнти, які обмінюються зображеннями або стоковими фотографіями, можуть використовувати визначення домінантного кольору, щоб збагатити метадані своєї бібліотеки зображень, щоб покращити виявлення вмісту, дозволяючи своїм кінцевим користувачам фільтрувати за кольором або шукати об’єкти з певними кольорами, наприклад «синій стілець» або «червоні черевики». » Крім того, рекламні клієнти можуть визначати ефективність реклами на основі кольорів своїх творчих ресурсів.

якість зображення

Окрім визначення домінантного кольору, «Властивості зображення» також вимірює якість зображення через показники яскравості, різкості та контрастності. Кожна з цих оцінок варіюється від 0 до 100. Наприклад, дуже темне зображення поверне низькі значення яскравості, тоді як яскраво освітлене зображення поверне високі значення.

Завдяки цим показникам клієнти, які займаються обміном зображеннями, рекламою чи електронною комерцією, можуть виконувати перевірку якості та відфільтрувати зображення з низькою яскравістю та різкістю, щоб зменшити кількість помилкових передбачень міток.

На наступному зображенні показано приклад Ейфелевої вежі.

У наведеній нижче таблиці наведено приклад даних властивостей зображення, які повертаються у відповідь API.

Наступне зображення є прикладом для червоного стільця.

Нижче наведено приклад даних властивостей зображення, які повертаються у відповідь API.

Наступне зображення є прикладом собаки з жовтим фоном.

Нижче наведено приклад даних властивостей зображення, які повертаються у відповідь API.

Нові псевдоніми та поля категорій

Amazon Rekognition Labels тепер повертає два нових поля, aliases та categories, у відповіді API. Псевдоніми — це інші назви однієї мітки, а категорії об’єднують окремі мітки на основі 40 загальних тем, як-от Food and Beverage та Animals and Pets. З оновленням моделі виявлення міток псевдоніми більше не повертаються в основному списку імен міток. Натомість псевдоніми повертаються в new aliases у відповіді API. Примітка. Псевдоніми та категорії повертаються лише з оновленими SDK.

Клієнти, які займаються обміном фотографіями, електронною комерцією чи рекламою, можуть використовувати псевдоніми та категорії, щоб організувати таксономію своїх метаданих вмісту, щоб ще більше покращити пошук і фільтрацію вмісту:

• Приклад псевдонімів - Оскільки Car та Automobile є псевдонімами, за допомогою яких можна додавати метадані до зображення Car та Automobile в той же час
• Приклад категорій – Ви можете використовувати категорії, щоб створити фільтр категорії або відобразити всі зображення, пов’язані з певною категорією, наприклад Food and Beverage, без необхідності явного додавання метаданих до кожного зображення за допомогою Food and Beverage

На наступному зображенні показано приклад виявлення мітки з псевдонімами та категоріями для дайвера.

У наведеній нижче таблиці показано мітки, оцінки надійності, псевдоніми та категорії, які повертаються у відповіді API.

Наступне зображення є прикладом для велосипедиста.

У наведеній нижче таблиці містяться мітки, оцінки надійності, псевдоніми та категорії, повернуті у відповіді API.

Фільтри включення та виключення

Amazon Rekognition Labels представляє нові параметри фільтрації включення та виключення у вхідних параметрах API, щоб звузити певний список міток, які повертаються у відповіді API. Ви можете надати чіткий список міток або категорій, які потрібно включити або виключити. Примітка. Ці фільтри доступні з оновленими SDK.

Клієнти можуть використовувати фільтри включення та виключення, щоб отримати конкретні мітки або категорії, які їх цікавлять, без необхідності створювати додаткову логіку у своїй програмі. Наприклад, клієнти в страхуванні можуть використовувати LabelCategoriesInclusionFilter щоб включити лише результати міток у Damage Detection категорії.

Наступний код є прикладом запиту API з фільтрами включення та виключення:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Нижче наведено приклади роботи фільтрів включення та виключення.

• Якщо ви хочете лише виявити Person та Car, і не дбають про інші мітки, ви можете вказати [“Person”,”Car”] у LabelsInclusionFilter.
• Якщо ви хочете виявити всі мітки, крім Clothing, ви можете вказати [“Clothing”] у LabelsExclusionFilter.
• Якщо ви хочете виявити лише мітки в межах Animal and Pets категорії за винятком Dog та Cat, ви можете вказати ["Animal and Pets"] в LabelCategoriesInclusionFilter, з ["Dog", "Cat"] у LabelsExclusionFilter.
• Якщо мітка вказана в LabelsInclusionFilter or LabelsExclusionFilter, їхні псевдоніми будуть включені або виключені відповідно, оскільки aliases є підтаксономією міток. Наприклад, тому що Automobile є псевдонімом Car, якщо ви вкажете Car in LabelsInclusionFilter, API поверне Car мітка з Automobile в aliases поле.

Висновок

Amazon Rekognition Labels виявляє 600 нових міток і підвищує точність для понад 2,000 існуючих міток. Разом із цими оновленнями Amazon Rekognition Labels тепер підтримує властивості зображень, псевдоніми та категорії, а також включення та фільтри включення.

Щоб спробувати нову модель виявлення міток із новими функціями, увійдіть у свій обліковий запис AWS і перегляньте Консоль Amazon Rekoggnition для визначення міток і властивостей зображення. Щоб дізнатися більше, відвідайте Виявлення міток.

Про авторів

Марія Хандоко є старшим менеджером із продуктів в AWS. Вона зосереджена на тому, щоб допомогти клієнтам вирішити їхні бізнес-завдання за допомогою машинного навчання та комп’ютерного зору. У вільний час вона любить піші прогулянки, слухає подкасти та вивчає різні кухні.

Шипра Канорія є головним менеджером із продуктів в AWS. Вона захоплено допомагає клієнтам вирішувати їхні найскладніші проблеми за допомогою можливостей машинного навчання та штучного інтелекту. Перш ніж приєднатися до AWS, Шипра пропрацювала понад 4 роки в Amazon Alexa, де вона запустила багато функцій, пов’язаних з продуктивністю, у голосовому помічнику Alexa.