Inspeccione sus etiquetas de datos con una herramienta visual sin código para crear conjuntos de datos de entrenamiento de alta calidad con Amazon SageMaker Ground Truth Plus

Reeditado por Platón

seguidores: 0

Lanzado en AWS re:Invent 2021, Amazon SageMaker Tierra Verdad Plus le ayuda a crear conjuntos de datos de capacitación de alta calidad al eliminar el trabajo pesado indiferenciado asociado con la creación de aplicaciones de etiquetado de datos y la gestión de la fuerza laboral de etiquetado. Todo lo que debe hacer es compartir datos junto con los requisitos de etiquetado, y Ground Truth Plus configura y administra su flujo de trabajo de etiquetado de datos en función de estos requisitos. A partir de ahí, una fuerza laboral experta capacitada en una variedad de tareas de aprendizaje automático (ML) realiza el etiquetado de datos. Ni siquiera necesita una gran experiencia en aprendizaje automático o conocimientos de diseño de flujo de trabajo y gestión de calidad para utilizar Ground Truth Plus.

Crear un conjunto de datos de entrenamiento de alta calidad para su algoritmo de aprendizaje automático es un proceso iterativo. Los profesionales de ML a menudo crean sistemas personalizados para inspeccionar etiquetas de datos porque los datos etiquetados con precisión son fundamentales para la calidad del modelo de ML. Para garantizar que obtenga datos de entrenamiento de alta calidad, Ground Truth Plus le proporciona una interfaz de usuario integrada (Review UI) para inspeccionar la calidad de las etiquetas de datos y proporcionar comentarios sobre las etiquetas de datos hasta que esté satisfecho de que las etiquetas representan con precisión la verdad fundamental, o lo que es directamente observable en el mundo real.

Esta publicación lo guía a través de los pasos para crear un equipo de proyecto y utilizar varias funciones integradas nuevas de la herramienta Revisar UI para completar de manera eficiente la inspección de un conjunto de datos etiquetados. El tutorial supone que tiene un proyecto de etiquetado Ground Truth Plus activo. Para más información, ver Amazon SageMaker Ground Truth Plus: cree conjuntos de datos de capacitación sin código ni recursos internos.

Configurar un equipo de proyecto

Un equipo de proyecto proporciona acceso a los miembros de su organización para inspeccionar etiquetas de datos mediante la herramienta Revisar interfaz de usuario. Para configurar un equipo de proyecto, complete los siguientes pasos:

Sobre el terreno Verdad Plus un mueble consola, escoger Crear equipo de proyecto.
Seleccione Cree un nuevo grupo de usuarios de Amazon Cognito . Si ya tienes un existente Cognito Amazonas grupo de usuarios, seleccione el Importar miembros .
Nombre del grupo de usuarios de Amazon Cognito, ingresa un nombre. Este nombre no se puede cambiar.
Las direcciones de correo, ingrese las direcciones de correo electrónico de hasta 50 miembros del equipo, separadas por comas.
Elige Crear equipo de proyecto.

Los miembros de su equipo recibirán un correo electrónico invitándolos a unirse al equipo del proyecto Ground Truth Plus. Desde allí, pueden iniciar sesión en el portal del proyecto Ground Truth Plus para revisar las etiquetas de datos.

Inspeccionar la calidad del conjunto de datos etiquetados

Ahora profundicemos en un ejemplo de seguimiento de objetos de vídeo usando Escenas callejeras CBCL conjunto de datos

Después de etiquetar los datos de su lote, el lote se marca como Listo para revisar.

Seleccione el lote y elija Revisar lote. Serás redirigido a la interfaz de usuario de revisión. Tiene la flexibilidad de elegir una frecuencia de muestreo diferente para cada lote que revise. Por ejemplo, en nuestro lote de ejemplo, tenemos un total de cinco vídeos. Puede especificar si desea revisar solo un subconjunto de estos cinco videos o todos ellos.

Ahora veamos las diferentes funcionalidades dentro de la interfaz de usuario de Revisión que le ayudarán a inspeccionar la calidad del conjunto de datos etiquetados a un ritmo más rápido y a proporcionar comentarios sobre la calidad:

Filtrar las etiquetas según la categoría de etiqueta – Dentro de la interfaz de usuario de Revisar, en el panel derecho, puede filtrar las etiquetas según su categoría de etiqueta. Esta característica resulta útil cuando hay varias categorías de etiquetas (por ejemplo, Vehicles, Pedestriansy Poles) en un objeto de conjunto de datos denso y desea ver etiquetas para una categoría de etiquetas a la vez. Por ejemplo, centrémonos en el Car categoría de etiqueta. Introducir el Car categoría de etiqueta en el panel derecho para filtrar todas las anotaciones de un solo tipo Car. Las siguientes capturas de pantalla muestran la vista Revisar UI antes y después de aplicar el filtro.
Superponer valores de atributos anotados asociados – A cada etiqueta se le pueden asignar atributos para anotar. Por ejemplo, para la categoría de etiqueta Car , digamos que desea pedir a los trabajadores que también anoten el Color y Occlusion atributos para cada instancia de etiqueta. Cuando cargue la interfaz de usuario de Review, verá los atributos correspondientes debajo de cada instancia de etiqueta en el panel derecho. Pero, ¿qué sucede si desea ver estas anotaciones de atributos directamente en la imagen? Tu seleccionas la etiqueta Car:1 y superponer las anotaciones de atributos para Car:1 , presionas Ctrl+A.
Ahora verás la anotación. Dark Blue para Color atributo y anotación None para Occlusion atributo que se muestra directamente en la imagen junto al Car:1 cuadro delimitador. Ahora puedes verificarlo fácilmente Car:1 fue marcado como Dark Blue, sin oclusión solo por mirar la imagen en lugar de tener que localizar Car:1 en el panel derecho para ver las anotaciones de atributos.
Deje comentarios a nivel de etiqueta – Para cada etiqueta, puede dejar comentarios a nivel de etiqueta en el directorio de esa etiqueta. Comentarios de etiquetas atributo de cadena libre. Por ejemplo, en esta imagen, Car:1 Parece más negro que azul oscuro. Puede transmitir esta discrepancia como retroalimentación para Car:1 usando el Comentarios de etiquetas para rastrear el comentario hasta esa etiqueta en ese marco. Nuestro equipo interno de control de calidad revisará estos comentarios e introducirá cambios en el proceso de anotación y las políticas de etiquetas, y capacitará a los anotadores según sea necesario.
Deje comentarios a nivel de marco – De manera similar, para cada cuadro, puede dejar comentarios en el nivel del cuadro debajo del marco de ese cuadro. Comentarios del marco atributo de cadena libre. En este caso, las anotaciones para Car y Pedestrian Las clases se ven correctas y bien implementadas en este marco. Puede transmitir estos comentarios positivos utilizando el Suministre realimentación campo, y su comentario está vinculado a este marco.
Copie los comentarios de la anotación a otros marcos. – Puede copiar comentarios tanto a nivel de etiqueta como a nivel de marco a otros marcos si hace clic con el botón derecho en ese atributo. Esta función es útil cuando desea duplicar los mismos comentarios en todos los fotogramas para esa etiqueta o aplicar los mismos comentarios a nivel de fotograma a varios fotogramas. Esta característica le permite completar rápidamente la inspección de las etiquetas de datos.
Aprobar o rechazar cada objeto del conjunto de datos – Para cada objeto del conjunto de datos que revise, tiene la opción de elegir Aprobar si estás satisfecho con las anotaciones o eliges Rechazar si no está satisfecho y desea reelaborar esas anotaciones. cuando tu eliges Enviar, se te presenta la opción de aprobar o rechazar el video que acabas de revisar. En cualquier caso, puede proporcionar comentarios adicionales:
- Si usted elige Aprobar, el comentario es opcional.
- Si usted elige Rechazar, se requieren comentarios y sugerimos proporcionar comentarios detallados. Sus comentarios serán revisados por un equipo de control de calidad dedicado de Ground Truth Plus, que tomará medidas correctivas para evitar errores similares en videos posteriores.

Después de enviar el video con sus comentarios, se le redirigirá nuevamente a la página de detalles del proyecto en el portal del proyecto, donde podrá ver la cantidad de objetos rechazados en el Objetos rechazados columna y la tasa de error, que se calcula como el número de objetos aceptados de los objetos revisados bajo el Nivel de aceptación columna para cada lote en su proyecto. Por ejemplo, para el lote 1 en la siguiente captura de pantalla, la tasa de aceptación es del 80% porque se aceptaron cuatro objetos de los cinco revisados.

Conclusión

Un conjunto de datos de capacitación de alta calidad es fundamental para lograr sus iniciativas de aprendizaje automático. Con Ground Truth Plus, ahora tiene una herramienta de revisión de interfaz de usuario incorporada mejorada que elimina el trabajo pesado indiferenciado asociado con la creación de herramientas personalizadas para revisar la calidad del conjunto de datos etiquetados. Esta publicación le explicó cómo configurar un equipo de proyecto y utilizar las nuevas funciones integradas de la herramienta Revisar interfaz de usuario. Visita el Consola Ground Truth Plus para comenzar.

Como siempre, AWS agradece sus comentarios. Envíe sus comentarios o preguntas.

Sobre la autora

manish goel es el Gerente de Producto de Amazon SageMaker Ground Truth Plus. Se centra en la creación de productos que faciliten a los clientes la adopción del aprendizaje automático. En su tiempo libre, disfruta de los viajes por carretera y de la lectura de libros.

Revekka Kostoeva es ingeniera desarrolladora de software en Amazon AWS, donde trabaja en soluciones internas y de atención al cliente para ampliar la amplitud y escalabilidad de los servicios de Sagemaker Ground Truth. Como investigadora, su motivación es mejorar las herramientas del oficio para impulsar la innovación.