Amazon Rekognition Labels добавляет 600 новых меток, включая ориентиры, и теперь определяет доминирующие цвета.

Апостол предлагает предварительно обученные и настраиваемые возможности компьютерного зрения для извлечения информации и идей из изображений и видео. Одной из таких возможностей является Этикетки признания Amazon, который обнаруживает объекты, сцены, действия и понятия на изображениях. Такие клиенты, как Synchronoss, Shutterstockи Nomad Media используют Amazon Rekognition Labels для автоматического добавления метаданных в свою библиотеку контента и включения результатов поиска на основе контента. TripleLift использует метки Amazon Rekognition для определения лучших моментов для динамической вставки рекламы, дополняющей впечатления от просмотра для аудитории. ВидМоб использует Amazon Rekognition Labels для извлечения метаданных из рекламных объявлений, чтобы понять уникальную роль принятия творческих решений в эффективности рекламы, чтобы маркетологи могли создавать рекламу, которая влияет на ключевые цели, которые их больше всего волнуют. Кроме того, тысячи других клиентов используют Amazon Rekognition Labels для поддержки многих других вариантов использования, таких как классификация фотографий маршрутов или походов, обнаружение людей или транспортных средств на кадрах с камер видеонаблюдения и классификация изображений документов, удостоверяющих личность.

Amazon Rekognition Labels для изображений обнаруживает 600 новых меток, включая ориентиры и действия, и повышает точность для более чем 2,000 существующих меток. Кроме того, Amazon Rekognition Labels теперь поддерживает свойства изображения для определения доминирующих цветов изображения, его переднего плана и фона, а также обнаруженных объектов с ограничивающими рамками. Свойства изображения также измеряют яркость, резкость и контрастность изображения. Наконец, Amazon Rekognition Labels теперь упорядочивает результаты маркировки с помощью двух дополнительных полей: aliases и categoriesи поддерживает фильтрацию этих результатов. В следующих разделах мы рассмотрим новые возможности и их преимущества более подробно с некоторыми примерами.

Новые ярлыки

В Amazon Rekognition Labels добавлено более 600 новых меток, что расширило список поддерживаемых меток. Ниже приведены некоторые примеры новых этикеток:

• Популярные достопримечательности – Бруклинский мост, Колизей, Эйфелева башня, Мачу-Пикчу, Тадж-Махал и др.
• Активности - Аплодисменты, езда на велосипеде, празднование, прыжки, прогулка с собакой и т. д.
• Обнаружение повреждений - Автомобильная вмятина, автомобильная царапина, коррозия, повреждение дома, повреждение крыши, повреждение термита и т. Д.
• Текст и документы - Гистограмма, посадочный талон, блок-схема, блокнот, счет-фактура, квитанция и т. д.
• Спорт – Игра в бейсбол, бита для крикета, фигурное катание, регби, водное поло и т. д.
• Многое другое - Гонки на лодках, развлечения, городской пейзаж, деревня, свадебное предложение, банкет и т. д.

С помощью этих меток клиенты, занимающиеся обменом изображениями, стоковыми фотографиями или вещательными СМИ, могут автоматически добавлять новые метаданные в свою библиотеку контента, чтобы улучшить свои возможности поиска.

Давайте рассмотрим пример обнаружения меток для Бруклинского моста.

В следующей таблице показаны метки и оценки достоверности, возвращенные в ответе API.

Улучшенные метки

Amazon Rekognition Labels также повысил точность более чем 2,000 меток. Ниже приведены некоторые примеры улучшенных меток:

• Активности - Дайвинг, вождение, чтение, сидя, стоя и т. д.
• Одежда и аксессуары - Рюкзак, ремень, блузка, толстовка с капюшоном, куртка, обувь и т. д.
• Дома и в помещении - Бассейн, растение в горшке, подушка, камин, одеяло и т. д.
• Технологии и вычисления - Наушники, мобильный телефон, планшетный компьютер, чтение, ноутбук и т. д.
• Транспортные средства и автомобилестроение - Грузовик, колесо, шина, бампер, автокресло, автомобильное зеркало и т. д.
• Текст и документы - Паспорт, водительские права, визитная карточка, документ и т. д.
• Многое другое - Собака, кенгуру, городская площадь, фестиваль, смех и т. д.

Свойства изображения для определения доминирующего цвета и качества изображения

Свойства изображения — это новая возможность Amazon Rekognition Labels для изображений, которую можно использовать как с функцией обнаружения меток, так и без нее. Примечание. Свойства изображения цена отдельно от Amazon Rekognition Labels и доступен только с обновленными SDK.

Обнаружение доминирующего цвета

Свойства изображения определяют доминирующие цвета в изображении на основе процентного содержания пикселей. Эти доминирующие цвета отображаются на 140 цветовых палитр CSS, RGB, шестнадцатеричный код и 12 упрощенных цветов (зеленый, розовый, черный, красный, желтый, голубой, коричневый, оранжевый, белый, фиолетовый, синий, серый). По умолчанию API возвращает до 10 доминирующих цветов, если вы не укажете количество возвращаемых цветов. Максимальное количество доминирующих цветов, которое может вернуть API, равно 12.

При автономном использовании свойства изображения определяют доминирующие цвета всего изображения, а также его передний план и фон. При использовании вместе с функциями обнаружения меток, свойства изображения также определяют доминирующие цвета обнаруженных объектов с помощью ограничивающих рамок.

Клиенты, занимающиеся обменом изображениями или стоковой фотографией, могут использовать обнаружение доминирующего цвета, чтобы обогатить метаданные своей библиотеки изображений, чтобы улучшить обнаружение контента, позволяя своим конечным пользователям фильтровать по цвету или искать объекты с определенными цветами, такими как «синий стул» или «красные туфли». ” Кроме того, клиенты в рекламе могут определять эффективность рекламы на основе цветов своих творческих ресурсов.

Качество изображения

В дополнение к определению доминирующего цвета функция Image Properties также измеряет качество изображения с помощью показателей яркости, резкости и контрастности. Каждый из этих показателей находится в диапазоне от 0 до 100. Например, очень темное изображение вернет низкие значения яркости, тогда как ярко освещенное изображение вернет высокие значения.

С помощью этих оценок клиенты в области обмена изображениями, рекламы или электронной коммерции могут выполнять проверку качества и отфильтровывать изображения с низкой яркостью и резкостью, чтобы уменьшить количество ложных прогнозов.

На следующем изображении показан пример с Эйфелевой башней.

В следующей таблице приведен пример данных о свойствах изображения, возвращаемых в ответе API.

На следующем изображении показан пример красного стула.

Ниже приведен пример данных свойств изображения, возвращаемых в ответе API.

Следующее изображение является примером для собаки с желтым фоном.

Ниже приведен пример данных свойств изображения, возвращаемых в ответе API.

Новые поля псевдонимов и категорий

Amazon Rekognition Labels теперь возвращает два новых поля: aliases и categories, в ответе API. Псевдонимы — это другие имена для одной и той же метки, а категории объединяют отдельные метки на основе 40 общих тем, таких как Food and Beverage и Animals and Pets. После обновления модели обнаружения меток псевдонимы больше не возвращаются в первичном списке имен меток. Вместо этого псевдонимы возвращаются в новом aliases поле в ответе API. Примечание. Псевдонимы и категории возвращаются только с обновленными пакетами SDK.

Клиенты, занимающиеся обменом фотографиями, электронной торговлей или рекламой, могут использовать псевдонимы и категории для организации таксономии метаданных своего контента для дальнейшего улучшения поиска и фильтрации контента:

• Пример псевдонимов - Так как Car и Automobile являются псевдонимами, вы можете добавить метаданные к изображению с помощью Car и Automobile в то же время
• Пример категорий – Вы можете использовать категории для создания фильтра категорий или отображения всех изображений, относящихся к определенной категории, например Food and Beverage, без необходимости явно добавлять метаданные к каждому изображению с помощью Food and Beverage

На следующем изображении показан пример обнаружения метки с псевдонимами и категориями для дайвера.

В следующей таблице показаны метки, оценки достоверности, псевдонимы и категории, возвращенные в ответе API.

Следующее изображение является примером для велосипедиста.

Следующая таблица содержит метки, оценки достоверности, псевдонимы и категории, возвращенные в ответе API.

Фильтры включения и исключения

Amazon Rekognition Labels представляет новые параметры фильтрации включения и исключения во входных параметрах API, чтобы сузить конкретный список меток, возвращаемых в ответе API. Вы можете предоставить явный список меток или категорий, которые вы хотите включить или исключить. Примечание. Эти фильтры доступны в обновленных SDK.

Клиенты могут использовать фильтры включения и исключения для получения определенных меток или категорий, которые им интересны, без необходимости создавать дополнительную логику в своем приложении. Например, клиенты в сфере страхования могут использовать LabelCategoriesInclusionFilter включать только результаты этикетки в Damage Detection категория.

Следующий код представляет собой образец запроса API с фильтрами включения и исключения:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Ниже приведены примеры того, как работают фильтры включения и исключения:

• Если вы хотите обнаружить только Person и Car, и не заботьтесь о других метках, вы можете указать [“Person”,”Car”] в LabelsInclusionFilter.
• Если вы хотите обнаружить все метки, кроме Clothing, вы можете указать [“Clothing”] в LabelsExclusionFilter.
• Если вы хотите обнаруживать только метки в пределах Animal and Pets категории, кроме Dog и Cat, вы можете указать ["Animal and Pets"] в LabelCategoriesInclusionFilter, с ["Dog", "Cat"] в LabelsExclusionFilter.
• Если метка указана в LabelsInclusionFilter or LabelsExclusionFilter, их псевдонимы будут включены или исключены соответственно, потому что aliases является подтаксономией меток. Например, потому что Automobile это псевдоним Car, если вы укажете Car in LabelsInclusionFilter, API вернет Car пометить Automobile в aliases поле.

Заключение

Amazon Rekognition Labels обнаруживает 600 новых меток и повышает точность более 2,000 существующих меток. Наряду с этими обновлениями Amazon Rekognition Labels теперь поддерживает свойства изображений, псевдонимы и категории, а также фильтры включения и включения.

Чтобы попробовать новую модель обнаружения этикеток с ее новыми функциями, войдите в свою учетную запись AWS и ознакомьтесь с Консоль Amazon Rekognition для обнаружения меток и свойств изображения. Чтобы узнать больше, посетите Обнаружение меток.

Об авторах

Мария Хандоко является старшим менеджером по продуктам в AWS. Она фокусируется на том, чтобы помогать клиентам решать их бизнес-задачи с помощью машинного обучения и компьютерного зрения. В свободное время она любит ходить в походы, слушать подкасты и знакомиться с разными кухнями.

Шипра Канория является главным менеджером по продуктам в AWS. Она увлечена тем, что помогает клиентам решать их самые сложные проблемы с помощью машинного обучения и искусственного интеллекта. До прихода в AWS Шипра более 4 лет работала в Amazon Alexa, где запустила множество функций, связанных с продуктивностью, в голосовом помощнике Alexa.