Obtenha dados de nível de produção mais rapidamente usando novas interfaces integradas com o Amazon SageMaker Ground Truth Plus

Lançado no AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus ajuda você a criar conjuntos de dados de treinamento de alta qualidade removendo o trabalho pesado indiferenciado associado à criação de aplicativos de rotulagem de dados e ao gerenciamento da força de trabalho de rotulagem. Tudo o que você faz é compartilhar dados junto com os requisitos de rotulagem, e o Ground Truth Plus configura e gerencia seu fluxo de trabalho de rotulagem de dados com base nesses requisitos. A partir daí, uma força de trabalho especializada treinada em uma variedade de tarefas de aprendizado de máquina (ML) rotula seus dados. Você nem precisa de experiência profunda em ML ou conhecimento de design de fluxo de trabalho e gerenciamento de qualidade para usar o Ground Truth Plus.

Hoje, temos o prazer de anunciar o lançamento de novas interfaces integradas no Ground Truth Plus. Com esse novo recurso, vários usuários do Ground Truth Plus agora podem criar um novo projeto e fornada, compartilhe dados e receba dados usando a mesma conta da AWS por meio de interfaces de autoatendimento. Isso permite que você acelere o desenvolvimento de conjuntos de dados de treinamento de alta qualidade, reduzindo o tempo de configuração do projeto. Além disso, você pode controlar o acesso minucioso aos seus dados ao definir o escopo do seu Gerenciamento de acesso e identidade da AWS (IAM) permissões de função para corresponder ao seu nível individual de Serviço de armazenamento simples da Amazon (Amazon S3) e você sempre tem a opção de revogar o acesso a determinados buckets.

Até agora, você precisava entrar em contato com o gerente do programa de operações (OPM) do Ground Truth Plus para criar uma nova rotulagem de dados projetos e lotes. Esse processo tinha algumas restrições porque permitia que apenas um usuário solicitasse um novo projeto e lote — se vários usuários dentro da organização estivessem usando a mesma conta da AWS, apenas um usuário poderia solicitar um novo projeto de rotulagem de dados e lote usando o Ground Truth Plus console. Além disso, o processo criava atrasos artificiais no início do processo de rotulagem devido a vários pontos de contato manuais e à solução de problemas necessária em caso de problemas. Separadamente, todos os projetos usaram a mesma função IAM para acessar dados. Portanto, para executar projetos e lotes que precisavam de acesso a diferentes fontes de dados, como diferentes buckets do Amazon S3, você precisava contar com o OPM do Ground Truth Plus para fornecer políticas S3 específicas à sua conta, que precisava aplicar manualmente aos seus buckets S3. Toda essa operação era manual intensiva, resultando em despesas operacionais.

Esta postagem orienta você pelas etapas para criar um novo projeto e lote, compartilhar dados e receber dados usando as novas interfaces de autoatendimento para iniciar com eficiência o processo de rotulagem. Esta postagem pressupõe que você esteja familiarizado com o Ground Truth Plus. Para mais informações, veja Amazon SageMaker Ground Truth Plus – Crie conjuntos de dados de treinamento sem código ou recursos internos.

Visão geral da solução

Demonstramos como fazer o seguinte:

• Atualizar projetos existentes
• Solicite um novo projeto
• Configurar uma equipe de projeto
• Criar um lote

Pré-requisitos

Antes de começar, verifique se você tem os seguintes pré-requisitos:

• An Conta da AWS
• Um usuário do IAM com acesso para criar funções do IAM
• A URI do Amazon S3 do balde onde seus objetos de rotulagem são armazenados

Atualizar projetos existentes

Se você tiver um projeto Ground Truth Plus antes do lançamento (9 de dezembro de 2022) dos novos recursos descritos nesta postagem, precisará criar e compartilhar uma função IAM para poder usar esses recursos com seu projeto Ground Truth Plus existente . Se você for um novo usuário do Ground Truth Plus, pode pular esta seção.

Para criar uma função do IAM, conclua as seguintes etapas:

1. No console IAM, escolha Criar função.
2. Selecionar Política de confiança personalizada.
3. Especifique a seguinte relação de confiança para a função:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Escolha Próximo.
5. Escolha Criar política.
6. Na guia JSON, especifique a política a seguir. Atualize a propriedade Resource especificando duas entradas para cada bucket: uma com apenas o ARN do bucket e outra com o ARN do bucket seguido por /*. Por exemplo, substitua de arn:aws:s3:::my-bucket/myprefix/ e /* de arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Escolha Próximo: Tags e Próximo: Revisão.
8. Digite o nome da política e uma descrição opcional.
9. Escolha Criar política.
10. Feche esta guia e volte para a guia anterior para criar sua função.

Na guia Adicionar permissões, você deve ver a nova política que criou (atualize a página se não a vir).

11. Selecione a política recém-criada e escolha Próximo.
12. Insira um nome (por exemplo, GTPlusExecutionRole) e, opcionalmente, uma descrição da função.
13. Escolha Criar função.
14. Forneça o ARN da função ao seu OPM do Ground Truth Plus, que atualizará seu projeto existente com essa função recém-criada.

Solicite um novo projeto

Para solicitar um novo projeto, siga os seguintes passos:

1. No Console Ground Truth Plusnavegue até o Projectos seção.

É aqui que todos os seus projetos são listados.

2. Escolha Solicitar projeto.

A Solicitar projeto página é sua oportunidade de fornecer detalhes que nos ajudarão a agendar uma chamada de consulta inicial e configurar seu projeto.

3. Além de especificar informações gerais como o nome e a descrição do projeto, você deve especificar o tipo de tarefa do projeto e se ele contém informações de identificação pessoal (PII).

Para rotular seus dados, o Ground Truth Plus precisa de acesso temporário aos seus dados brutos em um balde S3. Quando o processo de rotulagem é concluído, o Ground Truth Plus devolve a saída da rotulagem ao seu balde S3. Isso é feito por meio de uma função do IAM. Você pode criar uma nova função ou navegar até o console do IAM para criar uma nova função (consulte a seção anterior para obter instruções).

4. Se você optar por criar uma função, escolha Insira um ARN de papel IAM personalizado e insira o ARN da função IAM, que está no formato de arn:aws:iam:::role/.
5. Para usar a ferramenta integrada, no menu suspenso em Papel IAM, escolha Crie uma nova função.
6. Especifique a localização do bucket de seus dados de rotulagem. Se você não souber a localização de seus dados de rotulagem ou se não tiver nenhum dado de rotulagem carregado, selecione Qualquer balde S3, que dará ao Ground Truth Plus acesso a todos os baldes da sua conta.
7. Escolha Crie para criar o papel.

Sua função IAM permitirá que o Ground Truth Plus, identificado como sagemaker-ground-truth-plus.amazonaws.com no papel política de confiança, para executar as seguintes ações em seus buckets S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Escolha Solicitar projeto para concluir o pedido.

Um OPM do Ground Truth Plus agendará uma chamada de consulta inicial com você para discutir os requisitos e preços do projeto de rotulagem de dados.

Configurar uma equipe de projeto

Depois de solicitar um projeto, você precisa criar uma equipe de projeto para fazer login no portal do projeto. Uma equipe de projeto fornece acesso aos membros de sua organização ou equipe para rastrear projetos, visualizar métricas e revisar rótulos. Você pode usar a opção Convidar novos membros por e-mail or Importar membros de existentes Amazon Cognito grupos de usuários. Nesta postagem, mostramos como importar membros de Amazon Cognito grupos de usuários para adicionar usuários à sua equipe de projeto.

1. No Console Ground Truth Plusnavegue até o Equipe de projeto seção.
2. Escolha Criar equipe de projeto.
3. Escolha Importe membros de grupos de usuários existentes do Amazon Cognito.
4. Escolha um grupo de usuários do Amazon Cognito.

Os grupos de usuários requerem um domínio e um grupo de usuários existente.

5. Escolha um cliente de aplicativo.

Recomendamos o uso de um cliente gerado por Amazon Sage Maker.

6. Escolha um grupo de usuários do seu pool para importar membros.
7. Escolha Criar equipe de projeto.
   

Você pode adicionar mais membros da equipe depois de criar a equipe do projeto escolhendo Convidar novos membros na Membros página do console do Ground Truth Plus.

Criar um lote

Depois de enviar com sucesso a solicitação do projeto e criar uma equipe de projeto, você pode acessar o portal do projeto Ground Truth Plus clicando em Abrir portal do projeto no console do Ground Truth Plus.

Você pode usar o portal do projeto para criar lotes para um projeto, mas somente depois que o status do projeto for alterado para Request approved.

1. Visualize os detalhes e lotes de um projeto escolhendo o nome do projeto.
   Uma página intitulada com o nome do projeto é aberta.
2. No Lotes seção, escolha Criar lote.
   
3. Insira um nome de lote e uma descrição opcional.
4. Insira os locais S3 dos conjuntos de dados de entrada e saída.

Para garantir que o lote seja criado com sucesso, você deve atender aos seguintes requisitos:

4. • O bucket S3 e o prefixo devem existir, e o número total de arquivos deve ser maior que 0
   • O número total de objetos deve ser inferior a 10,000
   • O tamanho de cada objeto deve ser inferior a 2 GB
   • O tamanho total de todos os objetos combinados é inferior a 100 GB
   • A função do IAM fornecida para criar um projeto tem permissão para acessar o bucket de entrada, o bucket de saída e os arquivos S3 usados ​​para criar o lote
   • Os arquivos no local S3 fornecido para os conjuntos de dados de entrada não devem ser criptografados por Serviço de gerenciamento de chaves AWS (AWS KMS)
5. Escolha Submeter.

O status do seu lote será exibido como Request submitted. Depois que o Ground Truth Plus tiver acesso temporário aos seus dados, os especialistas da AWS configurarão fluxos de trabalho de rotulagem de dados e os operarão em seu nome, o que alterará o status do lote para In-progress. Quando a rotulagem estiver concluída, o status do lote muda de In-progress para Ready for review. Se você quiser revisar seus rótulos antes de recebê-los, escolha Revise o lote. A partir daí, você tem a opção de escolher Aceitar lote para receber seus dados rotulados.

Conclusão

Esta postagem mostrou como vários usuários do Ground Truth Plus agora podem criar um novo projeto e lote, compartilhar dados e receber dados usando a mesma conta da AWS por meio de novas interfaces de autoatendimento. Esse novo recurso permite que você inicie seus projetos de rotulagem mais rapidamente e reduz a sobrecarga operacional. Também demonstramos como você pode controlar o acesso refinado aos dados ao definir o escopo de suas permissões de função do IAM para corresponder ao seu nível individual de acesso.

Incentivamos você a experimentar esta nova funcionalidade e conectar-se com o Comunidade de aprendizado de máquina e IA se você tiver alguma dúvida ou feedback!

Sobre os autores

Manish Goel é o gerente de produto do Amazon SageMaker Ground Truth Plus. Ele está focado na criação de produtos que facilitem a adoção de aprendizado de máquina pelos clientes. Em seu tempo livre, ele gosta de viajar e ler livros.

Karthik Ganduri é um engenheiro de desenvolvimento de software na Amazon AWS, onde trabalha na criação de ferramentas de ML para clientes e soluções internas. Fora do trabalho, ele gosta de clicar em fotos.  

Zhulingbai é um engenheiro de desenvolvimento de software na Amazon AWS. Ela trabalha no desenvolvimento de sistemas distribuídos em larga escala para resolver problemas de aprendizado de máquina.

Aatef Baransy é um engenheiro de front-end na Amazon AWS. Ele escreve softwares rápidos, confiáveis ​​e exaustivamente testados para nutrir e desenvolver os aplicativos de IA mais avançados do setor.

Mohammed Adnan é engenheiro sênior de IA e ML na AWS. Ele fez parte de muitos lançamentos de serviços da AWS, notadamente Amazon Lookout for Metrics e AWS Panorama. Atualmente, ele está se concentrando nas ofertas human-in-the-loop da AWS (Ground Truth da AWS SageMaker, Ground Truth Plus e Augmented AI). Ele é um defensor do código limpo e um especialista no assunto em arquitetura sem servidor e orientada a eventos. Você pode segui-lo no LinkedIn, mohammad-adnan-6a99a829.