Amazon Rekognition Labels agrega 600 etiquetas nuevas, incluidos puntos de referencia, y ahora detecta los colores dominantes

Reconocimiento de amazonas ofrece capacidades de visión por computadora preentrenadas y personalizables para extraer información y conocimientos de imágenes y videos. Una de esas capacidades es Etiquetas de reconocimiento de Amazon, que detecta objetos, escenas, acciones y conceptos en imágenes. Clientes como Synchronoss, Shutterstocky Nomad Media usan Amazon Rekognition Labels para agregar automáticamente metadatos a su biblioteca de contenido y habilitar resultados de búsqueda basados ​​en contenido. TripleLift utiliza etiquetas de Amazon Rekognition para determinar los mejores momentos para insertar dinámicamente anuncios que complementen la experiencia de visualización de la audiencia. VidMob utiliza las etiquetas de Amazon Rekognition para extraer metadatos de las creatividades de los anuncios para comprender el rol único de la toma de decisiones creativas en el rendimiento de los anuncios, de modo que los especialistas en marketing puedan producir anuncios que impacten en los objetivos clave que más les interesan. Además, miles de otros clientes utilizan las etiquetas de Amazon Rekognition para respaldar muchos otros casos de uso, como la clasificación de fotos de senderos o caminatas, la detección de personas o vehículos en imágenes de cámaras de seguridad y la clasificación de imágenes de documentos de identidad.

Amazon Rekognition Labels para imágenes detecta 600 etiquetas nuevas, incluidos puntos de referencia y actividades, y mejora la precisión de más de 2,000 etiquetas existentes. Además, Amazon Rekognition Labels ahora es compatible con Propiedades de imagen para detectar los colores dominantes de una imagen, su primer plano y fondo, así como los objetos detectados con cuadros delimitadores. Propiedades de imagen también mide el brillo, la nitidez y el contraste de la imagen. Por último, Amazon Rekognition Labels ahora organiza los resultados de las etiquetas usando dos campos adicionales, aliases y categoriesy admite el filtrado de esos resultados. En las siguientes secciones, revisamos las nuevas capacidades y sus beneficios en más detalle con algunos ejemplos.

Nuevas etiquetas

Amazon Rekognition Labels ha agregado más de 600 etiquetas nuevas, lo que amplía la lista de etiquetas admitidas. Los siguientes son algunos ejemplos de las nuevas etiquetas:

• Hitos populares – Puente de Brooklyn, Coliseo, Torre Eiffel, Machu Picchu, Taj Mahal, etc.
• Actividades – Aplausos, Ciclismo, Celebrando, Saltando, Paseando al Perro, etc.
• Detección de daños – Abolladuras en el automóvil, rayones en el automóvil, corrosión, daños en el hogar, daños en el techo, daños por termitas, etc.
• Texto y documentos – Gráfico de barras, Tarjeta de embarque, Diagrama de flujo, Cuaderno, Factura, Recibo, etc.
• Deportes – Juego de béisbol, bate de críquet, patinaje artístico, rugby, waterpolo, etc.
• Mucho mas – Carreras de botes, Diversión, Paisaje urbano, Pueblo, Propuesta de boda, Banquete, etc.

Con estas etiquetas, los clientes que comparten imágenes, fotografía de archivo o medios de transmisión pueden agregar automáticamente nuevos metadatos a su biblioteca de contenido para mejorar sus capacidades de búsqueda.

Veamos un ejemplo de detección de etiquetas para el Puente de Brooklyn.

La siguiente tabla muestra las etiquetas y las puntuaciones de confianza devueltas en la respuesta de la API.

Etiquetas mejoradas

Amazon Rekognition Labels también ha mejorado la precisión de más de 2,000 etiquetas. Los siguientes son algunos ejemplos de las etiquetas mejoradas:

• Actividades – Buceo, conducción, lectura, sentado, de pie, etc.
• Ropa y accesorios – Mochila, cinturón, blusa, sudadera con capucha, chaqueta, zapato, etc.
• Hogar e interior – Piscina, Maceta, Cojín, Chimenea, Manta, etc.
• Tecnología y computación – Auriculares, Teléfono Móvil, Tablet PC, Lectura, Laptop, etc.
• vehículos y automoción – Camión, rueda, neumático, parachoques, asiento de automóvil, espejo de automóvil, etc.
• Texto y documentos – Pasaporte, Permiso de Conducir, Tarjeta de Visita, Documento, etc.
• Mucho mas – Perro, canguro, plaza de la ciudad, festival, risa, etc.

Propiedades de imagen para detección de color dominante y calidad de imagen

Image Properties es una nueva capacidad de Amazon Rekognition Labels para imágenes y se puede utilizar con o sin la función de detección de etiquetas. Nota: Propiedades de imagen es precio por separado de Amazon Rekognition Labels y solo está disponible con los SDK actualizados.

Detección de color dominante

Propiedades de imagen identifica los colores dominantes en una imagen en función de los porcentajes de píxeles. Estos colores dominantes se asignan a la Paleta de colores 140 CSS, RGB, código hexadecimal y 12 colores simplificados (verde, rosa, negro, rojo, amarillo, cian, marrón, naranja, blanco, morado, azul, gris). De forma predeterminada, la API devuelve hasta 10 colores dominantes a menos que especifique la cantidad de colores que se devolverán. El número máximo de colores dominantes que la API puede devolver es 12.

Cuando se usa de forma independiente, Propiedades de imagen detecta los colores dominantes de una imagen completa, así como su primer plano y fondo. Cuando se usa junto con las funcionalidades de detección de etiquetas, Propiedades de imagen también identifica los colores dominantes de los objetos detectados con cuadros delimitadores.

Los clientes que comparten imágenes o fotografías de archivo pueden usar la detección de color dominante para enriquecer los metadatos de su biblioteca de imágenes y mejorar el descubrimiento de contenido, lo que permite a sus usuarios finales filtrar por color o buscar objetos con colores específicos, como "silla azul" o "zapatos rojos". ” Además, los clientes en publicidad pueden determinar el rendimiento de los anuncios en función de los colores de sus activos creativos.

La calidad de imagen

Además de la detección de color dominante, Propiedades de la imagen también mide las cualidades de la imagen a través de las puntuaciones de brillo, nitidez y contraste. Cada una de estas puntuaciones oscila entre 0 y 100. Por ejemplo, una imagen muy oscura devolverá valores de brillo bajos, mientras que una imagen muy iluminada devolverá valores altos.

Con estos puntajes, los clientes que comparten imágenes, publicidad o comercio electrónico pueden realizar una inspección de calidad y filtrar imágenes con bajo brillo y nitidez para reducir las predicciones de etiquetas falsas.

La siguiente imagen muestra un ejemplo con la Torre Eiffel.

La siguiente tabla es un ejemplo de los datos de propiedades de imagen devueltos en la respuesta de la API.

La siguiente imagen es un ejemplo de una silla roja.

El siguiente es un ejemplo de los datos de propiedades de imagen devueltos en la respuesta de la API.

La siguiente imagen es un ejemplo de un perro con fondo amarillo.

El siguiente es un ejemplo de los datos de propiedades de imagen devueltos en la respuesta de la API.

Nuevos campos de alias y categorías

Amazon Rekognition Labels ahora devuelve dos nuevos campos, aliases y categories, en la respuesta de la API. Los alias son otros nombres para la misma etiqueta y las categorías agrupan etiquetas individuales en función de 40 temas comunes, como Food and Beverage y Animals and Pets. Con la actualización del modelo de detección de etiquetas, los alias ya no se muestran en la lista principal de nombres de etiquetas. En su lugar, los alias se devuelven en el nuevo aliases campo en la respuesta de la API. Nota: Los alias y las categorías solo se devuelven con los SDK actualizados.

Los clientes que comparten fotos, comercio electrónico o publicidad pueden usar alias y categorías para organizar su taxonomía de metadatos de contenido para mejorar aún más la búsqueda y el filtrado de contenido:

• Ejemplo de alias - Porque Car y Automobile son alias, puede agregar metadatos a una imagen con Car y Automobile al mismo tiempo
• Ejemplo de categorías – Puede usar categorías para crear un filtro de categoría o mostrar todas las imágenes relacionadas con una categoría en particular, como Food and Beverage, sin tener que agregar explícitamente metadatos a cada imagen con Food and Beverage

La siguiente imagen muestra un ejemplo de detección de etiquetas con alias y categorías para un buceador.

La siguiente tabla muestra las etiquetas, las puntuaciones de confianza, los alias y las categorías devueltas en la respuesta de la API.

La siguiente imagen es un ejemplo de un ciclista.

La siguiente tabla contiene las etiquetas, las puntuaciones de confianza, los alias y las categorías devueltas en la respuesta de la API.

Filtros de inclusión y exclusión

Amazon Rekognition Labels presenta nuevas opciones de filtrado de inclusión y exclusión en los parámetros de entrada de la API para reducir la lista específica de etiquetas devueltas en la respuesta de la API. Puede proporcionar una lista explícita de etiquetas o categorías que desee incluir o excluir. Nota: Estos filtros están disponibles con los SDK actualizados.

Los clientes pueden usar filtros de inclusión y exclusión para obtener etiquetas o categorías específicas que les interesen sin tener que crear una lógica adicional en su aplicación. Por ejemplo, los clientes de seguros pueden utilizar LabelCategoriesInclusionFilter incluir solo los resultados de la etiqueta en el Damage Detection categoría.

El siguiente código es una solicitud de muestra de API con filtros de inclusión y exclusión:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Los siguientes son ejemplos de cómo funcionan los filtros de inclusión y exclusión:

• Si solo quieres detectar Person y Car, y no le importan otras etiquetas, puede especificar [“Person”,”Car”] en LabelsInclusionFilter.
• Si desea detectar todas las etiquetas excepto Clothing, puede especificar [“Clothing”] en LabelsExclusionFilter.
• Si desea detectar solo etiquetas dentro del Animal and Pets categorías a excepción de Dog y Cat, puede especificar ["Animal and Pets"] en el LabelCategoriesInclusionFilter, con ["Dog", "Cat"] en LabelsExclusionFilter.
• Si se especifica una etiqueta en LabelsInclusionFilter or LabelsExclusionFilter, sus alias se incluirán o excluirán según corresponda porque aliases es una sub-taxonomía de etiquetas. Por ejemplo, porque Automobile es un alias de Car, si especificas Car in LabelsInclusionFilter, la API devolverá el Car etiqueta con Automobile existentes aliases campo.

Conclusión

Amazon Rekognition Labels detecta 600 etiquetas nuevas y mejora la precisión de más de 2,000 etiquetas existentes. Junto con estas actualizaciones, las etiquetas de Amazon Rekognition ahora admiten propiedades de imagen, alias y categorías, así como filtros de inclusión e inclusión.

Para probar el nuevo modelo de detección de etiquetas con sus nuevas funciones, inicie sesión en su cuenta de AWS y consulte el Consola de Amazon Rekognition para detección de etiquetas y propiedades de imagen. Para obtener más información, visite Detección de etiquetas.

Sobre los autores

Maria Handoko es gerente sénior de productos en AWS. Se enfoca en ayudar a los clientes a resolver sus desafíos comerciales a través del aprendizaje automático y la visión por computadora. En su tiempo libre, le gusta hacer caminatas, escuchar podcasts y explorar diferentes cocinas.

Shipra Canoria es gerente principal de productos en AWS. Le apasiona ayudar a los clientes a resolver sus problemas más complejos con el poder del aprendizaje automático y la inteligencia artificial. Antes de unirse a AWS, Shipra pasó más de 4 años en Amazon Alexa, donde lanzó muchas funciones relacionadas con la productividad en el asistente de voz de Alexa.