Amazon Rekognition Labels adiciona 600 novos rótulos, incluindo pontos de referência, e agora detecta cores dominantes

Reconhecimento da Amazônia oferece recursos de visão computacional pré-treinados e personalizáveis ​​para extrair informações e insights de imagens e vídeos. Uma dessas capacidades é Rótulos do Amazon Rekognition, que detecta objetos, cenas, ações e conceitos em imagens. Clientes como Synchronoss, Shutterstock, e a Nomad Media usam Amazon Rekognition Labels para adicionar automaticamente metadados à sua biblioteca de conteúdo e permitir resultados de pesquisa baseados em conteúdo. TripleLift usa Amazon Rekognition Labels para determinar os melhores momentos para inserir anúncios dinamicamente que complementam a experiência de visualização do público. videomob usa Amazon Rekognition Labels para extrair metadados de criativos de anúncios para entender o papel exclusivo da tomada de decisões criativas no desempenho do anúncio, para que os profissionais de marketing possam produzir anúncios que afetam os principais objetivos com os quais mais se importam. Além disso, milhares de outros clientes usam o Amazon Rekognition Labels para oferecer suporte a muitos outros casos de uso, como classificação de fotos de trilhas ou caminhadas, detecção de pessoas ou veículos em imagens de câmeras de segurança e classificação de fotos de documentos de identidade.

O Amazon Rekognition Labels para imagens detecta 600 novos rótulos, incluindo pontos de referência e atividades, e melhora a precisão de mais de 2,000 rótulos existentes. Além disso, o Amazon Rekognition Labels agora oferece suporte a Image Properties para detectar cores dominantes de uma imagem, seu primeiro plano e plano de fundo, bem como objetos detectados com caixas delimitadoras. As Propriedades da imagem também medem o brilho, a nitidez e o contraste da imagem. Por fim, o Amazon Rekognition Labels agora organiza os resultados de rótulos usando dois campos adicionais, aliases e categories, e oferece suporte à filtragem desses resultados. Nas seções a seguir, revisamos os novos recursos e seus benefícios com mais detalhes com alguns exemplos.

Novos rótulos

O Amazon Rekognition Labels adicionou mais de 600 novos rótulos, expandindo a lista de rótulos compatíveis. A seguir estão alguns exemplos dos novos rótulos:

• Pontos de referência populares – Ponte do Brooklyn, Coliseu, Torre Eiffel, Machu Picchu, Taj Mahal, etc.
• Atividades – Aplausos, Andar de bicicleta, Comemorar, Pular, Passear com o Cachorro, etc.
• Detecção de danos - Amassados ​​no carro, arranhões no carro, corrosão, danos à casa, danos ao telhado, danos causados ​​por cupins, etc.
• Texto e documentos – Gráfico de Barras, Cartão de Embarque, Fluxograma, Caderno, Nota Fiscal, Recibo, etc.
• Esportes – Jogo de Beisebol, Taco de Críquete, Patinação Artística, Rugby, Pólo Aquático, etc.
• Muito mais – Corrida de barco, diversão, paisagem urbana, vila, proposta de casamento, banquete, etc.

Com esses rótulos, os clientes de compartilhamento de imagens, fotografia ou mídia de transmissão podem adicionar automaticamente novos metadados à sua biblioteca de conteúdo para melhorar seus recursos de pesquisa.

Vejamos um exemplo de detecção de rótulo para a Ponte do Brooklyn.

A tabela a seguir mostra os rótulos e as pontuações de confiança retornados na resposta da API.

Rótulos aprimorados

O Amazon Rekognition Labels também melhorou a precisão de mais de 2,000 rótulos. A seguir estão alguns exemplos de rótulos aprimorados:

• Atividades – Mergulhar, Dirigir, Ler, Sentar, Ficar de Pé, etc.
• Vestuário e acessórios – Mochila, Cinto, Blusa, Moletom, Jaqueta, Sapato, etc.
• Casa e dentro de casa – Piscina, Vaso de Planta, Almofada, Lareira, Manta, etc.
• Tecnologia e computação – Fones de ouvido, Celular, Tablet, Leitura, Laptop, etc.
• Veículos e automotivo - Caminhão, Roda, Pneu, Pára-choque, Cadeira de Carro, Espelho de Carro, etc.
• Texto e documentos – Passaporte, Carta de Condução, Cartão de Visita, Documento, etc.
• Muito mais – Cachorro, Canguru, Praça da Cidade, Festival, Rindo, etc.

Propriedades de imagem para detecção de cores dominantes e qualidade de imagem

Image Properties é um novo recurso do Amazon Rekognition Labels para imagens e pode ser usado com ou sem a funcionalidade de detecção de rótulos. Observação: Propriedades da imagem é com preços separados do Amazon Rekognition Labels e está disponível apenas com os SDKs atualizados.

Detecção de cor dominante

As Propriedades da imagem identificam as cores dominantes em uma imagem com base nas porcentagens de pixels. Essas cores dominantes são mapeadas para o 140 paleta de cores CSS, RGB, código hexadecimal e 12 cores simplificadas (verde, rosa, preto, vermelho, amarelo, ciano, marrom, laranja, branco, roxo, azul, cinza). Por padrão, a API retorna até 10 cores dominantes, a menos que você especifique o número de cores a serem retornadas. O número máximo de cores dominantes que a API pode retornar é 12.

Quando usado de forma independente, o Image Properties detecta as cores dominantes de uma imagem inteira, bem como seu primeiro plano e plano de fundo. Quando usado em conjunto com as funcionalidades de detecção de rótulos, as Propriedades da imagem também identificam as cores dominantes dos objetos detectados com caixas delimitadoras.

Os clientes de compartilhamento de imagens ou banco de imagens podem usar a detecção de cores dominantes para enriquecer os metadados de sua biblioteca de imagens para melhorar a descoberta de conteúdo, permitindo que seus usuários finais filtrem por cor ou pesquisem objetos com cores específicas, como “cadeira azul” ou “sapatos vermelhos”. ” Além disso, os clientes de publicidade podem determinar o desempenho do anúncio com base nas cores de seus ativos criativos.

Qualidade de imagem

Além da detecção de cores dominantes, as Propriedades da imagem também medem as qualidades da imagem por meio de pontuações de brilho, nitidez e contraste. Cada uma dessas pontuações varia de 0 a 100. Por exemplo, uma imagem muito escura retornará valores de brilho baixos, enquanto uma imagem muito iluminada retornará valores altos.

Com essas pontuações, os clientes de compartilhamento de imagens, publicidade ou comércio eletrônico podem realizar inspeção de qualidade e filtrar imagens com baixo brilho e nitidez para reduzir previsões falsas de rótulos.

A imagem a seguir mostra um exemplo com a Torre Eiffel.

A tabela a seguir é um exemplo de dados de propriedades de imagem retornados na resposta da API.

A imagem a seguir é um exemplo de uma cadeira vermelha.

Veja a seguir um exemplo de dados de propriedades de imagem retornados na resposta da API.

A imagem a seguir é um exemplo de cachorro com fundo amarelo.

Veja a seguir um exemplo de dados de propriedades de imagem retornados na resposta da API.

Novos campos de aliases e categorias

Amazon Rekognition Labels agora retorna dois novos campos, aliases e categories, na resposta da API. Aliases são outros nomes para o mesmo rótulo e categorias agrupam rótulos individuais com base em 40 temas comuns, como Food and Beverage e Animals and Pets. Com a atualização do modelo de detecção de rótulos, os aliases não são mais retornados na lista principal de nomes de rótulos. Em vez disso, os aliases são retornados no novo aliases campo na resposta da API. Observação: os aliases e as categorias são retornados apenas com os SDKs atualizados.

Os clientes de compartilhamento de fotos, comércio eletrônico ou publicidade podem usar aliases e categorias para organizar sua taxonomia de metadados de conteúdo para aprimorar ainda mais a pesquisa e a filtragem de conteúdo:

• exemplo de alias - Porque Car e Automobile são aliases, você pode adicionar metadados a uma imagem com Car e Automobile ao mesmo tempo
• Exemplo de categorias – Você pode usar categorias para criar um filtro de categoria ou exibir todas as imagens relacionadas a uma determinada categoria, como Food and Beverage, sem precisar adicionar metadados explicitamente a cada imagem com Food and Beverage

A imagem a seguir mostra um exemplo de detecção de rótulo com aliases e categorias para um mergulhador.

A tabela a seguir mostra os rótulos, pontuações de confiança, aliases e categorias retornadas na resposta da API.

A imagem a seguir é um exemplo para um ciclista.

A tabela a seguir contém os rótulos, pontuações de confiança, aliases e categorias retornadas na resposta da API.

Filtros de inclusão e exclusão

O Amazon Rekognition Labels apresenta novas opções de filtragem de inclusão e exclusão nos parâmetros de entrada da API para restringir a lista específica de rótulos retornados na resposta da API. Você pode fornecer uma lista explícita de rótulos ou categorias que deseja incluir ou excluir. Observação: esses filtros estão disponíveis com os SDKs atualizados.

Os clientes podem usar filtros de inclusão e exclusão para obter rótulos ou categorias específicas nos quais estão interessados ​​sem precisar criar lógica adicional em seu aplicativo. Por exemplo, clientes de seguros podem usar LabelCategoriesInclusionFilter para incluir apenas resultados de rótulos no Damage Detection categoria.

O código a seguir é uma amostra de solicitação de API com filtros de inclusão e exclusão:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Veja a seguir exemplos de como funcionam os filtros de inclusão e exclusão:

• Se você deseja apenas detectar Person e Car, e não se importa com outros rótulos, você pode especificar [“Person”,”Car”] em LabelsInclusionFilter.
• Se você deseja detectar todos os rótulos, exceto para Clothing, você pode especificar [“Clothing”] em LabelsExclusionFilter.
• Se você deseja detectar apenas rótulos dentro do Animal and Pets categorias, exceto para Dog e Cat, você pode especificar ["Animal and Pets"] no LabelCategoriesInclusionFilter, com ["Dog", "Cat"] em LabelsExclusionFilter.
• Se um rótulo for especificado em LabelsInclusionFilter or LabelsExclusionFilter, seus aliases serão incluídos ou excluídos de acordo porque aliases é uma subtaxonomia de rótulos. Por exemplo, porque Automobile é um pseudônimo de Car, se você especificar Car in LabelsInclusionFilter, a API retornará o Car etiqueta com Automobile no aliases campo.

Conclusão

O Amazon Rekognition Labels detecta 600 novos rótulos e melhora a precisão de mais de 2,000 rótulos existentes. Juntamente com essas atualizações, o Amazon Rekognition Labels agora oferece suporte a propriedades de imagem, aliases e categorias, bem como inclusão e filtros de inclusão.

Para experimentar o novo modelo de detecção de rótulos com seus novos recursos, faça login em sua conta da AWS e confira o Console Amazon Rekognition para detecção de etiquetas e propriedades de imagem. Para saber mais, visite Detectando rótulos.

Sobre os autores

Maria Handoko é gerente de produto sênior da AWS. Ela se concentra em ajudar os clientes a resolver seus desafios de negócios por meio de aprendizado de máquina e visão computacional. Em seu tempo livre, ela gosta de caminhar, ouvir podcasts e explorar diferentes cozinhas.

Shipra Kanoria é gerente de produto principal da AWS. Ela é apaixonada por ajudar os clientes a resolver seus problemas mais complexos com o poder do aprendizado de máquina e da inteligência artificial. Antes de ingressar na AWS, Shipra passou mais de 4 anos na Amazon Alexa, onde lançou muitos recursos relacionados à produtividade no assistente de voz Alexa.