As tendências tecnológicas e os avanços na mídia digital na última década resultaram na proliferação de dados baseados em texto. Os benefícios potenciais de explorar este texto para obter insights, tanto táticos quanto estratégicos, são enormes. Isso é chamado de processamento de linguagem natural (PNL). Você pode usar a PNL, por exemplo, para analisar as avaliações de seus produtos em busca dos sentimentos dos clientes, treinar um modelo de reconhecimento de entidade personalizado para identificar tipos de produtos de interesse com base nos comentários dos clientes ou treinar um modelo de classificação de texto personalizado para determinar as categorias de produtos mais populares.
Amazon Comprehend é um serviço de PNL com inteligência pronta para extrair insights sobre o conteúdo dos documentos. Ele desenvolve insights reconhecendo entidades, frases-chave, linguagem, sentimentos e outros elementos comuns em um documento. O Amazon Comprehend Custom usa machine learning automático (Auto ML) para criar modelos de PNL em seu nome usando seus próprios dados. Isso permite detectar entidades exclusivas do seu negócio ou classificar textos ou documentos de acordo com suas necessidades. Além disso, você pode automatizar todo o seu fluxo de trabalho de PNL com APIs fáceis de usar.
Hoje temos o prazer de anunciar o lançamento do recurso de cópia de modelo personalizado do Amazon Comprehend, que permite copiar automaticamente seus modelos personalizados do Amazon Comprehend de uma conta de origem para contas de destino designadas na mesma região sem exigir acesso aos conjuntos de dados que o modelo foi treinado e avaliado. A partir de hoje, você pode usar o Console de gerenciamento da AWS, Interface de linha de comando da AWS (AWS CLI) ou o API boto3 (Python SDK para AWS) para copiar modelos personalizados treinados de uma conta de origem para uma conta de destino designada. Esse novo recurso está disponível para classificação personalizada do Amazon Comprehend e modelos de reconhecimento de entidade personalizados.
Benefícios do recurso de cópia de modelo
Este novo recurso tem os seguintes benefícios:
- Estratégia MLOps multicontas – Treine um modelo uma vez e garanta uma implantação previsível em vários ambientes em contas diferentes.
- Implementação mais rápida – Você pode copiar rapidamente um modelo treinado entre contas, evitando o tempo necessário para treinar novamente em cada conta.
- Proteja conjuntos de dados confidenciais – Agora você não precisa mais compartilhar os conjuntos de dados entre diferentes contas ou usuários. Os dados de treinamento precisam estar disponíveis apenas na conta onde o treinamento é realizado. Isto é muito importante para determinados setores, como os serviços financeiros, onde o isolamento de dados e o sandbox são essenciais para cumprir os requisitos regulamentares.
- Colaboração fácil – Parceiros ou fornecedores agora podem treinar facilmente no Amazon Comprehend Custom e compartilhar os modelos com seus clientes.
Como funciona a cópia do modelo
Com o novo recurso de cópia de modelo, você pode copiar modelos personalizados entre contas da AWS na mesma região em um processo de duas etapas. Primeiro, um usuário em uma conta da AWS (conta A) compartilha um modelo personalizado que está em sua conta. Em seguida, um usuário em outra conta da AWS (conta B) importa o modelo para sua conta.
Compartilhe um modelo
Para compartilhar um modelo personalizado na conta A, o usuário anexa um Gerenciamento de acesso e identidade da AWS (IAM) baseada em recursos para uma versão de modelo. Esta política autoriza uma entidade na conta B, como um usuário ou função do IAM, a importar a versão do modelo para o Amazon Comprehend em sua conta da AWS. Você pode configurar uma política baseada em recursos por meio do console ou com o recurso personalizado do Amazon Comprehend. PutResourcePolicy
API.
Importar um modelo
Para importar o modelo para a conta B, o usuário dessa conta fornece ao Amazon Comprehend os detalhes necessários, como o nome de recurso da Amazon (ARN) do modelo. Ao importar o modelo, esse usuário cria um novo modelo personalizado em sua conta da AWS que replica o modelo importado. Este modelo está totalmente treinado e pronto para trabalhos de inferência, como classificação de documentos ou reconhecimento de entidade nomeada. Se o modelo for criptografado com um Serviço de gerenciamento de chaves AWS (AWS KMS) na origem, a função de serviço especificada durante a importação do modelo precisará ter acesso à chave KMS para descriptografar o modelo durante a importação. A conta de destino também pode especificar uma chave KMS para criptografar o modelo durante a importação. A importação do modelo compartilhado também está disponível tanto no console quanto como API.
Visão geral da solução
Para demonstrar a funcionalidade do recurso de cópia de modelo, mostramos como treinar, compartilhar e importar um modelo de reconhecimento de entidade personalizado do Amazon Comprehend usando o console do Amazon Comprehend e a AWS CLI. Para esta demonstração, usamos duas contas diferentes. As etapas também se aplicam à classificação personalizada do Amazon Comprehend. As etapas necessárias são as seguintes:
- Treine um modelo de reconhecimento de entidade personalizado do Amazon Comprehend na conta de origem.
- Defina a política de recursos do IAM para o modelo treinado para permitir acesso entre contas.
- Copie o modelo treinado da conta de origem para a conta de destino.
- Teste o modelo copiado por meio de um trabalho em lote.
Treine um modelo de reconhecimento de entidade personalizado do Amazon Comprehend na conta de origem
A primeira etapa é treinar um modelo de reconhecimento de entidade personalizado do Amazon Comprehend na conta de origem. Como conjunto de dados de entrada para o treinamento, usamos um arquivo CSV lista de entidades e documentos de treinamento para reconhecer ofertas de serviços da AWS em um determinado documento. Certifique-se de que a lista de entidades e os documentos de treinamento estejam em um Serviço de armazenamento simples da Amazon (Amazon S3) na conta de origem. Para obter instruções, consulte Adicionar documentos ao Amazon S3.
Crie uma função do IAM para Amazon Comprehend e forneça o acesso necessário ao bucket S3 com os dados de treinamento. Observe os caminhos do bucket ARN e S3 da função a serem usados em etapas posteriores.
Treine um modelo com a AWS CLI
Crie um reconhecedor de entidade usando o seguinte comando da AWS CLI. Substitua seus parâmetros pelos caminhos S3, função IAM e região. A resposta retorna o EntityRecognizerArn
.
O status do trabalho de treinamento pode ser monitorado chamando o reconhecedor de entidade de descrição e verificando o Status na resposta.
Treine um modelo por meio do console
Para treinar um modelo por meio do console, conclua as etapas a seguir:
- No console Amazon Comprehend, em Personalização, crie um novo modelo de reconhecedor de entidade personalizado.
- Forneça um nome de modelo e versão.
- Escolha Língua, escolha Inglês.
- Escolha Tipo de entidade personalizada, adicionar
AWS_OFFERING
.
Para treinar um modelo de reconhecimento de entidade personalizado, você pode escolher uma das duas maneiras de fornecer dados ao Amazon Comprehend: anotações or listas de entidades. Para simplificar, use o método de lista de entidades.
- Escolha Formato de dados, selecione arquivo CSV.
- Escolha Tipo de treinamento, selecione Usando lista de entidades e documentos de treinamento.
- Forneça os caminhos de localização do S3 para o CSV da lista de entidades e os dados de treinamento.
- Para conceder permissões ao Amazon Comprehend para acessar seu bucket S3, crie uma função vinculada ao serviço do IAM.
No Política baseada em recursos seção, você pode autorizar o acesso para a versão do modelo. As contas às quais você concede acesso podem importar esse modelo para suas contas. Pulamos esta etapa por enquanto e adicionamos a política depois que o modelo for treinado e estivermos satisfeitos com o desempenho do modelo.
- Escolha Crie.
Isso envia seu reconhecedor de entidade personalizado, que passa por vários modelos, ajusta seus hiperparâmetros e verifica a validação cruzada para garantir que seu modelo seja robusto. Todas essas são as mesmas atividades que os cientistas de dados realizam.
Defina a política de recursos do IAM para o modelo treinado para permitir acesso entre contas
Quando estivermos satisfeitos com o desempenho do treinamento, podemos prosseguir e compartilhar a versão específica do modelo adicionando uma política de recursos.
Adicione uma política baseada em recursos da AWS CLI
Autorize a importação do modelo da conta de destino adicionando uma política de recursos ao modelo, conforme mostrado no código a seguir. A política pode ter um escopo restrito para uma versão de modelo específica e uma entidade de destino específica. Substitua o ARN do seu reconhecedor de entidade treinado e a conta de destino para fornecer acesso.
Adicione uma política baseada em recursos por meio do console
Quando o treinamento for concluído, uma versão personalizada do modelo de reconhecimento de entidade será gerada. Podemos escolher o modelo treinado e a versão para visualizar os detalhes do treinamento, incluindo o desempenho do modelo treinado.
Para atualizar a política, conclua as seguintes etapas:
- No Tags, VPC e política , edite a política baseada em recursos.
- Forneça o nome da política, entidade de serviço do Amazon Comprehend (
comprehend.amazonaws.com
), ID da conta de destino e usuários do IAM na conta de destino autorizados a importar a versão do modelo.
Nós especificamos root
como entidade IAM para autorizar todos os usuários na conta de destino.
Copie o modelo treinado da conta de origem para a conta de destino
Agora o modelo é treinado e compartilhado na conta de origem. O usuário autorizado da conta de destino pode importar o modelo e criar uma cópia do modelo em sua própria conta.
Para importar um modelo, você precisa especificar o ARN do modelo de origem e a função de serviço do Amazon Comprehend para executar a ação de cópia em sua conta. Você pode especificar um ID do AWS KMS opcional para criptografar o modelo na sua conta de destino.
Importe o modelo por meio da AWS CLI
Para importar seu modelo com a AWS CLI, insira o seguinte código:
Importe o modelo através do console
Para importar o modelo por meio do console, conclua as etapas a seguir:
- No console Amazon Comprehend, em Reconhecimento de entidade personalizada, escolha Versão de importação.
- Escolha Versão do modelo ARN, insira o ARN do modelo treinado na conta de origem.
- Insira um nome de modelo e uma versão para o destino.
- Forneça uma função de conta de serviço e escolha Confirmar para iniciar o processo de importação do modelo.
Depois que o status do modelo mudar para Imported
, podemos visualizar os detalhes do modelo, incluindo os detalhes de desempenho do modelo treinado.
Teste o modelo copiado por meio de um trabalho em lote
Testamos o modelo copiado na conta de destino detectando entidades personalizadas com um trabalho em lote. Para testar o modelo, baixe o arquivo de teste e coloque-o em um bucket S3 em sua conta de destino. Crie uma função do IAM para Amazon Comprehend e forneça o acesso necessário ao bucket S3 com os dados de teste. Você usa os caminhos de bucket ARN e S3 da função anotados anteriormente.
Quando o trabalho for concluído, você poderá verificar os dados de inferência no bucket S3 de saída especificado.
Teste o modelo com a AWS CLI
Para testar o modelo usando a AWS CLI, insira o seguinte código:
Teste o modelo por meio do console
Para testar o modelo por meio do console, conclua as etapas a seguir:
- No console do Amazon Comprehend, escolha Trabalhos de análise e escolha Criar emprego.
- Escolha Nome, insira um nome para o trabalho.
- Escolha Tipo de análise¸ escolher Reconhecimento de entidade personalizada.
- Escolha o nome do modelo e a versão do modelo importado.
- Forneça os caminhos do S3 para o arquivo de teste do trabalho e o local de saída onde o Amazon Comprehend armazena o resultado.
- Escolha ou crie uma função do IAM com permissão para acessar os buckets do S3.
- Escolha Criar emprego.
Quando o trabalho de análise for concluído, você terá arquivos JSON no caminho do bucket S3 de saída, que podem ser baixados para verificar os resultados do reconhecimento da entidade do modelo importado.
Conclusão
Nesta postagem, demonstramos o recurso de cópia do modelo de entidade personalizado do Amazon Comprehend. Esse recurso permite treinar um modelo personalizado de reconhecimento ou classificação de entidades do Amazon Comprehend em uma conta e, em seguida, compartilhar o modelo com outra conta na mesma região. Isso simplifica a estratégia de múltiplas contas, onde o modelo pode ser treinado uma vez e compartilhado entre contas na mesma região sem a necessidade de treinar novamente ou compartilhar os conjuntos de dados de treinamento. Isso permite uma implantação previsível em cada conta como parte do seu fluxo de trabalho MLOps. Para obter mais informações, consulte nossa documentação em Compreenda a cópia personalizadaou experimente o passo a passo desta postagem por meio do console ou usando um Cloud Shell com a AWS CLI.
No momento em que este livro foi escrito, o recurso de cópia de modelo no Amazon Comprehend estava disponível nas seguintes regiões:
- Leste dos EUA (Ohio)
- Leste dos EUA (Virgínia do Norte)
- Oeste dos EUA (Oregon)
- Ásia Pacífico (Mumbai)
- Ásia Pacífico (Seul)
- Ásia Pacífico (Cingapura)
- Ásia-Pacífico (Sydney)
- Pacífico Asiático (Tóquio)
- UE (Frankfurt)
- UE (Irlanda)
- UE (Londres)
- AWS GovCloud (EUA-Oeste)
Experimente o recurso e envie-nos comentários por meio do Fórum da AWS para Amazon Comprehend ou por meio de seus contatos de suporte usuais da AWS.
Sobre os autores
Premkumar Rangarajan é arquiteto de soluções especializadas em IA/ML na Amazon Web Services e já foi autor do livro Natural Language Processing with AWS AI services. Ele tem 26 anos de experiência no setor de TI em diversas funções, incluindo líder de entrega, especialista em integração e arquiteto corporativo. Ele ajuda empresas de todos os tamanhos a adotar IA e ML para resolver seus desafios do mundo real.
Chethan Krishna é arquiteto de soluções parceiro sênior na Índia. Ele trabalha com parceiros estratégicos da AWS para estabelecer uma competência robusta em nuvem, adotando as melhores práticas da AWS e resolvendo os desafios dos clientes. Ele é um construtor e gosta de experimentar IA/ML, IoT e análises.
Sriharsha MS é arquiteto de soluções especializado em IA/ML na equipe de especialistas estratégicos da Amazon Web Services. Ele trabalha com clientes estratégicos da AWS que estão aproveitando IA/ML para resolver problemas de negócios complexos. Ele fornece orientação técnica e consultoria de design para implementar aplicações de IA/ML em escala. Sua experiência abrange arquitetura de aplicativos, bigdata, análise e aprendizado de máquina.
- Coinsmart. A melhor troca de Bitcoin e criptografia da Europa.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. ACESSO LIVRE.
- CryptoHawk. Radar Altcoin. Teste grátis.
- Fonte: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Sobre
- Acesso
- Conta
- Açao Social
- atividades
- avanços
- Vantagem
- conselho
- AI
- Serviços de IA
- Todos os Produtos
- Amazon
- Amazon Web Services
- análise
- analítica
- Anunciar
- Anunciando
- Outro
- api
- APIs
- relevante
- Aplicação
- aplicações
- arquitetura
- auto
- disponível
- AWS
- Benefícios
- MELHOR
- melhores práticas
- fronteira
- construir
- construtor
- negócio
- desafios
- a verificação
- Cheques
- classificação
- Na nuvem
- código
- comentários
- comum
- integrações
- cônsul
- conteúdo
- Clientes
- dados,
- década
- Entrega
- desenvolvimento
- Design
- diferente
- digital
- INSTITUCIONAIS
- facilmente
- efeito
- enorme
- Empreendimento
- essencial
- exemplo
- vasta experiência
- experiência
- Característica
- retornos
- financeiro
- serviços financeiros
- Primeiro nome
- seguinte
- funcionalidade
- feliz
- ter
- ajuda
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- identificar
- Dados de identificação:
- executar
- importante
- importador
- Incluindo
- Índia
- indústrias
- indústria
- INFORMAÇÕES
- insights
- integração
- Inteligência
- interesse
- iot
- Irlanda
- isolamento
- IT
- Trabalho
- Empregos
- Chave
- língua
- lançamento
- conduzir
- aprendizagem
- Line
- Lista
- localização
- London
- máquina
- aprendizado de máquina
- de grupos
- Mídia
- Mineração
- ML
- modelo
- modelos
- a maioria
- Mais populares
- Mumbai
- natural
- Ofertas
- Ohio
- ordem
- Oregon
- Outros
- Pacífico
- parceiro
- Parceiros
- atuação
- Frases
- Privacidade
- Popular
- Diretor
- problemas
- processo
- Produto
- fornecer
- fornece
- rapidamente
- reguladores
- requeridos
- Requisitos
- recurso
- resposta
- Resultados
- Retorna
- Opinões
- Escala
- cientistas
- Sdk
- Seul
- serviço
- Serviços
- Partilhar
- compartilhado
- ações
- concha
- simples
- Singapore
- So
- Soluções
- RESOLVER
- começo
- Declaração
- Status
- armazenamento
- lojas
- Estratégico
- Estratégia
- ajuda
- sydney
- Target
- Profissionais
- Dados Técnicos:
- teste
- A fonte
- Através da
- tempo
- hoje
- Tóquio
- Training
- Tendências
- único
- Atualizar
- us
- usar
- usuários
- fornecedores
- Ver
- Virgínia
- web
- serviços web
- Ocidente
- QUEM
- dentro
- sem
- trabalho
- escrita
- anos