Obtenga datos de nivel de producción más rápido mediante el uso de nuevas interfaces integradas con Amazon SageMaker Ground Truth Plus

Lanzado en AWS re:Invent 2021, Amazon SageMaker Tierra Verdad Plus lo ayuda a crear conjuntos de datos de capacitación de alta calidad al eliminar el trabajo pesado no diferenciado asociado con la creación de aplicaciones de etiquetado de datos y la administración de la fuerza laboral de etiquetado. Todo lo que hace es compartir datos junto con los requisitos de etiquetado, y Ground Truth Plus configura y administra su flujo de trabajo de etiquetado de datos en función de estos requisitos. A partir de ahí, una fuerza laboral experta que está capacitada en una variedad de tareas de aprendizaje automático (ML) etiqueta sus datos. Ni siquiera necesita una gran experiencia en ML o conocimientos de diseño de flujo de trabajo y gestión de calidad para usar Ground Truth Plus.

Hoy, nos complace anunciar el lanzamiento de nuevas interfaces integradas en Ground Truth Plus. Con esta nueva capacidad, varios usuarios de Ground Truth Plus ahora pueden crear un nuevo proyecto y lote, comparta datos y reciba datos utilizando la misma cuenta de AWS a través de interfaces de autoservicio. Esto le permite acelerar el desarrollo de conjuntos de datos de capacitación de alta calidad al reducir el tiempo de configuración del proyecto. Además, puede controlar el acceso detallado a sus datos mediante el alcance de su Gestión de identidades y accesos de AWS (IAM) permisos de función para que coincida con su nivel individual de Servicio de almacenamiento simple de Amazon (Amazon S3), y siempre tiene la opción de revocar el acceso a ciertos depósitos.

Hasta ahora, tenía que comunicarse con su administrador de programas de operaciones (OPM) de Ground Truth Plus para crear un nuevo etiquetado de datos proyecta y lotes. Este proceso tenía algunas restricciones porque permitía que solo un usuario solicitara un nuevo proyecto y lote; si varios usuarios dentro de la organización usaban la misma cuenta de AWS, solo un usuario podía solicitar un nuevo proyecto y lote de etiquetado de datos utilizando Ground Truth Plus. consola. Además, el proceso generó retrasos artificiales en el inicio del proceso de etiquetado debido a los múltiples puntos de contacto manuales y la resolución de problemas necesarios en caso de problemas. Por separado, todos los proyectos utilizaron el mismo rol de IAM para acceder a los datos. Por lo tanto, para ejecutar proyectos y lotes que necesitaban acceso a diferentes fuentes de datos, como diferentes cubos de Amazon S3, tenía que confiar en su OPM de Ground Truth Plus para proporcionar las políticas de S3 específicas de su cuenta, que tenía que aplicar manualmente a sus cubos de S3. Toda esta operación fue intensiva manualmente, lo que resultó en gastos generales operativos.

Esta publicación lo guía a través de los pasos para crear un nuevo proyecto y lote, compartir datos y recibir datos utilizando las nuevas interfaces de autoservicio para iniciar de manera eficiente el proceso de etiquetado. Esta publicación asume que está familiarizado con Ground Truth Plus. Para más información, ver Amazon SageMaker Ground Truth Plus: cree conjuntos de datos de capacitación sin código ni recursos internos.

Resumen de la solución

Demostramos cómo hacer lo siguiente:

• Actualizar proyectos existentes
• Solicitar un nuevo proyecto
• Configurar un equipo de proyecto
• crear un lote

Requisitos previos

Antes de comenzar, asegúrese de tener los siguientes requisitos previos:

• An Cuenta de AWS
• Un usuario de IAM con acceso para crear funciones de IAM
• La URI de Amazon S3 del cubo donde se almacenan sus objetos de etiquetado

Actualizar proyectos existentes

Si tiene un proyecto Ground Truth Plus antes del lanzamiento (9 de diciembre de 2022) de las nuevas funciones descritas en esta publicación, entonces debe crear y compartir un rol de IAM para poder usar estas funciones con su proyecto Ground Truth Plus existente. . Si es un nuevo usuario de Ground Truth Plus, puede omitir esta sección.

Para crear un rol de IAM, complete los siguientes pasos:

1. En la consola de IAM, elija Crear rol.
2. Seleccione Política de confianza personalizada.
3. Especifique la siguiente relación de confianza para el rol:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Elige Siguiente.
5. Elige Crear política.
6. En la pestaña JSON, especifique la siguiente política. Actualice la propiedad Resource especificando dos entradas para cada depósito: una con solo el ARN del depósito y otra con el ARN del depósito seguido de /*. Por ejemplo, reemplazar arn:aws:s3:::my-bucket/myprefix/ y /* arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Elige Siguiente: Etiquetas y Siguiente: Revisión.
8. Ingrese el nombre de la política y una descripción opcional.
9. Elige Crear política.
10. Cierra esta pestaña y vuelve a la pestaña anterior para crear tu rol.

En la pestaña Agregar permisos, debería ver la nueva política que creó (actualice la página si no la ve).

11. Seleccione la política recién creada y elija Siguiente.
12. Ingrese un nombre (por ejemplo, GTPlusExecutionRole) y, opcionalmente, una descripción del rol.
13. Elige Crear rol.
14. Proporcione el ARN del rol a su OPM de Ground Truth Plus, quien luego actualizará su proyecto existente con este rol recién creado.

Solicitar un nuevo proyecto

Para solicitar un nuevo proyecto, complete los siguientes pasos:

1. En Consola Ground Truth Plus, navega hacia el Proyectos .

Aquí es donde se enumeran todos sus proyectos.

2. Elige Solicitar proyecto.

La Solicitar proyecto es su oportunidad para proporcionar detalles que nos ayudarán a programar una llamada de consulta inicial y configurar su proyecto.

3. Además de especificar información general como el nombre y la descripción del proyecto, debe especificar el tipo de tarea del proyecto y si contiene información de identificación personal (PII).

Para etiquetar sus datos, Ground Truth Plus necesita acceso temporal a sus datos sin procesar en un depósito S3. Cuando se completa el proceso de etiquetado, Ground Truth Plus devuelve el resultado del etiquetado a su depósito S3. Esto se hace a través de un rol de IAM. Puede crear un nuevo rol o puede navegar a la consola de IAM para crear un nuevo rol (consulte la sección anterior para obtener instrucciones).

4. Si elige crear un rol, elija Ingrese un ARN de función de IAM personalizado e ingrese el ARN de su rol de IAM, que tiene el formato de arn:aws:iam:::role/.
5. Para utilizar la herramienta integrada, en el menú desplegable bajo Rol de IAM, escoger Crear un nuevo rol.
6. Especifique la ubicación del depósito de sus datos de etiquetado. Si no conoce la ubicación de sus datos de etiquetado o si no ha cargado ningún dato de etiquetado, seleccione Cualquier cubo S3, que le dará a Ground Truth Plus acceso a todos los cubos de su cuenta.
7. Elige Crear para crear el rol.

Su función de IAM permitirá que Ground Truth Plus, identificado como sagemaker-ground-truth-plus.amazonaws.com en el papel política de confianza, para ejecutar las siguientes acciones en sus depósitos S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Elige Solicitar proyecto para completar la solicitud.

Un OPM de Ground Truth Plus programará una llamada de consulta inicial con usted para discutir los requisitos y precios de su proyecto de etiquetado de datos.

Configurar un equipo de proyecto

Después de solicitar un proyecto, debe crear un equipo de proyecto para iniciar sesión en el portal de su proyecto. Un equipo de proyecto proporciona acceso a los miembros de su organización o equipo para realizar un seguimiento de los proyectos, ver las métricas y revisar las etiquetas. Puedes usar la opción Invitar a nuevos miembros por correo electrónico or Importar miembros de existentes Cognito Amazonas Grupos de Usuarios. En esta publicación, mostramos cómo importar miembros de existentes Cognito Amazonas grupos de usuarios para agregar usuarios a su equipo de proyecto.

1. En Consola Ground Truth Plus, navega hacia el Equipo de proyecto .
2. Elige Crear equipo de proyecto.
3. Elige Importe miembros de grupos de usuarios de Amazon Cognito existentes.
4. Elija un grupo de usuarios de Amazon Cognito.

Los grupos de usuarios requieren un dominio y un grupo de usuarios existente.

5. Elija un cliente de aplicación.

Recomendamos utilizar un cliente generado por Amazon SageMaker.

6. Elija un grupo de usuarios de su grupo para importar miembros.
7. Elige Crear equipo de proyecto.
   

Puede agregar más miembros del equipo después de crear el equipo del proyecto eligiendo Invitar a nuevos miembros en Miembros página de la consola Ground Truth Plus.

crear un lote

Una vez que haya enviado con éxito la solicitud del proyecto y haya creado un equipo de proyecto, puede acceder al portal del proyecto Ground Truth Plus haciendo clic en Abrir portal de proyectos en la consola Ground Truth Plus.

Puede usar el portal de proyectos para crear lotes para un proyecto, pero solo después de que el estado del proyecto haya cambiado a Request approved.

1. Vea los detalles y lotes de un proyecto eligiendo el nombre del proyecto.
   Se abre una página titulada con el nombre del proyecto.
2. En Lotes sección, elija Crear lote.
   
3. Introduzca un nombre de lote y una descripción opcional.
4. Ingrese las ubicaciones de S3 de los conjuntos de datos de entrada y salida.

Para garantizar que el lote se cree correctamente, debe cumplir con los siguientes requisitos:

4. • El depósito y el prefijo de S3 deben existir, y la cantidad total de archivos debe ser mayor que 0
   • El número total de objetos debe ser inferior a 10,000
   • El tamaño de cada objeto debe ser inferior a 2 GB
   • El tamaño total de todos los objetos combinados es inferior a 100 GB
   • El rol de IAM proporcionado para crear un proyecto tiene permiso para acceder al depósito de entrada, al depósito de salida y a los archivos de S3 que se utilizan para crear el lote.
   • Los archivos en la ubicación S3 provista para los conjuntos de datos de entrada no deben ser encriptados por Servicio de administración de claves de AWS (AWS KMS)
5. Elige Enviar.

El estado de su lote se mostrará como Request submitted. Después de que Ground Truth Plus tenga acceso temporal a sus datos, los expertos de AWS configurarán flujos de trabajo de etiquetado de datos y los operarán en su nombre, lo que cambiará el estado del lote a In-progress. Cuando se completa el etiquetado, el estado del lote cambia de In-progress a Ready for review. Si desea revisar sus etiquetas antes de recibirlas, elija Revisar lote. A partir de ahí, usted tiene una opción para elegir Aceptar lote para recibir sus datos etiquetados.

Conclusión

Esta publicación le mostró cómo varios usuarios de Ground Truth Plus ahora pueden crear un nuevo proyecto y lote, compartir datos y recibir datos utilizando la misma cuenta de AWS a través de nuevas interfaces de autoservicio. Esta nueva capacidad le permite poner en marcha sus proyectos de etiquetado más rápido y reduce los gastos generales operativos. También demostramos cómo puede controlar el acceso detallado a los datos determinando el alcance de los permisos de su rol de IAM para que coincida con su nivel de acceso individual.

Lo alentamos a que pruebe esta nueva funcionalidad y se conecte con el Comunidad de inteligencia artificial y aprendizaje automático si tiene alguna pregunta o comentario!

Sobre los autores

manish goel es el Gerente de Producto de Amazon SageMaker Ground Truth Plus. Se centra en la creación de productos que faciliten a los clientes la adopción del aprendizaje automático. En su tiempo libre, disfruta de los viajes por carretera y de la lectura de libros.

Karthik Ganduri es ingeniero de desarrollo de software en Amazon AWS, donde trabaja en la creación de herramientas de aprendizaje automático para clientes y soluciones internas. Fuera del trabajo, le gusta hacer clic en las imágenes.  

Bai Zhuling es ingeniero de desarrollo de software en Amazon AWS. Trabaja en el desarrollo de sistemas distribuidos a gran escala para resolver problemas de aprendizaje automático.

Aatef Baransy es ingeniero frontend en Amazon AWS. Escribe software rápido, confiable y completamente probado para nutrir y hacer crecer las aplicaciones de inteligencia artificial más avanzadas de la industria.

Mohamed Adnan es ingeniero sénior de IA y ML en AWS. Formó parte del lanzamiento de muchos servicios de AWS, en particular Amazon Lookout for Metrics y AWS Panorama. Actualmente, se está enfocando en las ofertas de AWS human-in-the-loop (Ground Truth, Ground Truth Plus y Augmented AI de AWS SageMaker). Es un defensor del código limpio y un experto en la materia de la arquitectura sin servidor y basada en eventos. Puedes seguirlo en LinkedIn, mohammad-adnan-6a99a829.