Inspecione seus rótulos de dados com uma ferramenta visual e sem código para criar conjuntos de dados de treinamento de alta qualidade com o Amazon SageMaker Ground Truth Plus

Lançado no AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus ajuda a criar conjuntos de dados de treinamento de alta qualidade, eliminando o trabalho pesado indiferenciado associado à construção de aplicativos de rotulagem de dados e ao gerenciamento da força de trabalho de rotulagem. Tudo o que você faz é compartilhar dados junto com os requisitos de rotulagem, e o Ground Truth Plus configura e gerencia seu fluxo de trabalho de rotulagem de dados com base nesses requisitos. A partir daí, uma força de trabalho especializada treinada em diversas tarefas de aprendizado de máquina (ML) realiza a rotulagem de dados. Você nem mesmo precisa de profundo conhecimento em ML ou conhecimento em design de fluxo de trabalho e gerenciamento de qualidade para usar o Ground Truth Plus.

Construir um conjunto de dados de treinamento de alta qualidade para seu algoritmo de ML é um processo iterativo. Os profissionais de ML geralmente criam sistemas personalizados para inspecionar rótulos de dados porque dados rotulados com precisão são essenciais para a qualidade do modelo de ML. Para garantir que você obtenha dados de treinamento de alta qualidade, o Ground Truth Plus fornece uma interface de usuário integrada (IU de revisão) para inspecionar a qualidade dos rótulos de dados e fornecer feedback sobre os rótulos de dados até que você esteja satisfeito de que os rótulos representam com precisão o verdade básica, ou o que é diretamente observável no mundo real.

Esta postagem orienta você nas etapas para criar uma equipe de projeto e usar vários novos recursos integrados da ferramenta Review UI para concluir com eficiência a inspeção de um conjunto de dados rotulado. O passo a passo pressupõe que você tenha um projeto de rotulagem Ground Truth Plus ativo. Para mais informações, veja Amazon SageMaker Ground Truth Plus – Crie conjuntos de dados de treinamento sem código ou recursos internos.

Configurar uma equipe de projeto

Uma equipe de projeto fornece acesso aos membros da sua organização para inspecionar rótulos de dados usando a ferramenta Review UI. Para configurar uma equipe de projeto, conclua as seguintes etapas:

1. No terreno Verdade Plus consolá, escolha Criar equipe de projeto.
2. Selecionar Crie um novo grupo de usuários do Amazon Cognito . Se você já possui um existente Amazon Cognito grupo de usuários, selecione o Importar membros opção.
3. Escolha Nome do grupo de usuários do Amazon Cognito, Insira o nome. Este nome não pode ser alterado.
4. Escolha Endereço de email, insira os endereços de e-mail de até 50 membros da equipe, separados por vírgulas.
5. Escolha Criar equipe de projeto.

Os membros da sua equipe receberão um e-mail convidando-os a ingressar na equipe do projeto Ground Truth Plus. A partir daí, eles podem fazer login no portal do projeto Ground Truth Plus para revisar os rótulos de dados.

Inspecione a qualidade do conjunto de dados rotulado

Agora vamos mergulhar em um exemplo de rastreamento de objetos de vídeo usando Cenas de rua do CBCL conjunto de dados.

Depois que os dados do seu lote forem rotulados, o lote será marcado como Pronto para revisão.

Selecione o lote e escolha Revisar lote. Você será redirecionado para a IU de revisão. Você tem a flexibilidade de escolher uma taxa de amostragem diferente para cada lote analisado. Por exemplo, em nosso lote de exemplo, temos um total de cinco vídeos. Você pode especificar se deseja revisar apenas um subconjunto desses cinco vídeos ou todos eles.

Agora vamos dar uma olhada nas diferentes funcionalidades da UI de revisão que ajudarão você a inspecionar a qualidade do conjunto de dados rotulado em um ritmo mais rápido e a fornecer feedback sobre a qualidade:

• Filtre os rótulos com base na categoria do rótulo – Na IU de revisão, no painel direito, você pode filtrar os rótulos com base em sua categoria de rótulo. Esse recurso é útil quando há diversas categorias de rótulos (por exemplo, Vehicles, Pedestrians e Poles) em um objeto de conjunto de dados denso e deseja visualizar rótulos para uma categoria de rótulo por vez. Por exemplo, vamos nos concentrar no Car categoria de rótulo. Introduzir o Car categoria de rótulo no painel direito para filtrar todas as anotações de apenas tipo Car. As capturas de tela a seguir mostram a visualização da IU de revisão antes e depois de aplicar o filtro.
  
• Sobrepor valores de atributos anotados associados – Cada rótulo pode receber atributos a serem anotados. Por exemplo, para a categoria de rótulo Car , digamos que você queira pedir aos trabalhadores que também anotem o Color  e Occlusion atributos para cada instância de rótulo. Ao carregar a IU de revisão, você verá os atributos correspondentes em cada instância de rótulo no painel direito. Mas e se você quiser ver essas anotações de atributos diretamente na imagem? Você seleciona o rótulo Car:1 e para sobrepor as anotações de atributos para Car:1 , você pressiona Ctrl + A.
  Agora você verá a anotação Dark Blue para o Color atributo e anotação None para o Occlusion atributo exibido diretamente na imagem ao lado do Car:1 caixa delimitadora. Agora você pode verificar facilmente isso Car:1 foi marcado como Dark Blue, sem oclusão apenas olhando a imagem em vez de localizar Car:1 no painel direito para ver as anotações do atributo.
  
• Deixe comentários no nível do rótulo – Para cada rótulo, você pode deixar comentários no nível do rótulo no respectivo rótulo Feedback do rótulo atributo de string livre. Por exemplo, nesta imagem, Car:1 parece mais preto do que azul escuro. Você pode transmitir essa discrepância como feedback para Car:1 usando o Feedback do rótulo campo para rastrear o comentário para esse rótulo nesse quadro. Nossa equipe interna de controle de qualidade analisará esse feedback e introduzirá alterações no processo de anotação e nas políticas de etiqueta, além de treinar os anotadores conforme necessário.
  
• Deixe comentários no nível do quadro – Da mesma forma, para cada quadro, você pode deixar feedback no nível do quadro sob o nível desse quadro. Feedback do quadro atributo de string livre. Neste caso, as anotações para Car e Pedestrian as classes parecem corretas e bem implementadas neste quadro. Você pode transmitir esse feedback positivo usando o Dar uma resposta campo, e seu comentário está vinculado a este quadro.
  
• Copie o feedback da anotação para outros quadros – Você pode copiar feedback em nível de rótulo e em nível de quadro para outros quadros se clicar com o botão direito nesse atributo. Esse recurso é útil quando você deseja duplicar o mesmo feedback entre quadros para esse rótulo ou aplicar o mesmo feedback em nível de quadro a vários quadros. Este recurso permite concluir rapidamente a inspeção das etiquetas de dados.
  
• Aprovar ou rejeitar cada objeto do conjunto de dados – Para cada objeto de conjunto de dados revisado, você tem a opção de escolher Aprovar se você estiver satisfeito com as anotações ou escolher Rejeitar se você não estiver satisfeito e quiser que essas anotações sejam retrabalhadas. Quando você escolhe Submeter, você terá a opção de aprovar ou rejeitar o vídeo que acabou de analisar. Em ambos os casos, você pode fornecer comentários adicionais:
  • Se você escolher Aprovar, o comentário é opcional.
    
  • Se você escolher Rejeitar, são necessários comentários e sugerimos fornecer feedback detalhado. Seu feedback será analisado por uma equipe dedicada de controle de qualidade do Ground Truth Plus, que tomará ações corretivas para evitar erros semelhantes em vídeos subsequentes.
    

Depois de enviar o vídeo com seu feedback, você será redirecionado de volta à página de detalhes do projeto no portal do projeto, onde poderá visualizar o número de objetos rejeitados na seção Objetos rejeitados coluna e a taxa de erro, que é calculada como o número de objetos aceitos dentre os objetos revisados ​​sob a Taxa de aceitação coluna para cada lote em seu projeto. Por exemplo, para o lote 1 na captura de tela a seguir, a taxa de aceitação é de 80% porque quatro objetos foram aceitos dos cinco objetos revisados.

Conclusão

Um conjunto de dados de treinamento de alta qualidade é fundamental para alcançar suas iniciativas de ML. Com o Ground Truth Plus, agora você tem uma ferramenta de UI de revisão integrada aprimorada que elimina o trabalho pesado indiferenciado associado à construção de ferramentas personalizadas para revisar a qualidade do conjunto de dados rotulado. Esta postagem orientou você sobre como configurar uma equipe de projeto e usar os novos recursos integrados da ferramenta Review UI. Visite a Console Ground Truth Plus para começar.

Como sempre, a AWS agradece o feedback. Por favor, envie quaisquer comentários ou perguntas.

Sobre o autor

Manish Goel é o gerente de produto do Amazon SageMaker Ground Truth Plus. Ele está focado na criação de produtos que facilitem a adoção de aprendizado de máquina pelos clientes. Em seu tempo livre, ele gosta de viajar e ler livros.

Revekka Kostoeva é engenheira desenvolvedora de software na Amazon AWS, onde trabalha em soluções internas e voltadas para o cliente para expandir a amplitude e escalabilidade dos serviços Sagemaker Ground Truth. Como pesquisadora, ela está motivada a melhorar as ferramentas do comércio para impulsionar a inovação.

• Coinsmart. A melhor troca de Bitcoin e criptografia da Europa.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. ACESSO LIVRE.
• CryptoHawk. Radar Altcoin. Teste grátis.
• Fonte: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- com-amazon-sagemaker-ground-truth-plus/