Amazon-Lex tem o prazer de anunciar o Test Workbench, uma nova solução de teste de bot que fornece ferramentas para simplificar e automatizar o processo de teste de bot. Durante o desenvolvimento do bot, o teste é a fase em que os desenvolvedores verificam se um bot atende aos requisitos, necessidades e expectativas específicas, identificando erros, defeitos ou bugs no sistema antes de escaloná-lo. Os testes ajudam a validar o desempenho do bot em diversas frentes, como fluxo de conversação (compreender as consultas do usuário e responder com precisão), tratamento de sobreposição de intenções e consistência entre modalidades. No entanto, os testes costumam ser manuais, sujeitos a erros e não padronizados. O Test Workbench padroniza o gerenciamento automatizado de testes, permitindo que as equipes de desenvolvimento de chatbots gerem, mantenham e executem conjuntos de testes com uma metodologia consistente e evitem scripts personalizados e integrações ad-hoc. Nesta postagem, você aprenderá como o Test Workbench simplifica os testes automatizados das modalidades de voz e texto de um bot e fornece medidas de precisão e desempenho para parâmetros como transcrição de áudio, reconhecimento de intenção e resolução de slot para entradas de expressão única e conversas multivoltas. Isso permite identificar rapidamente áreas de melhoria do bot e manter uma linha de base consistente para medir a precisão ao longo do tempo e observar qualquer regressão de precisão devido a atualizações do bot.
O Amazon Lex é um serviço totalmente gerenciado para a criação de interfaces conversacionais de voz e texto. O Amazon Lex ajuda você a criar e implantar chatbots e assistentes virtuais em sites, serviços de contact center e canais de mensagens. Os bots do Amazon Lex ajudam a aumentar a produtividade da resposta de voz interativa (IVR), automatizar tarefas simples e gerar eficiência operacional em toda a organização. O Test Workbench for Amazon Lex padroniza e simplifica o ciclo de vida de testes de bots, o que é fundamental para melhorar o design do bot.
Recursos do ambiente de teste
O Test Workbench para Amazon Lex inclui os seguintes recursos:
- Gere conjuntos de dados de teste automaticamente a partir dos registros de conversa de um bot
- Carregar linhas de base do conjunto de testes criadas manualmente
- Realize testes ponta a ponta de conversas de entrada única ou multivoltas
- Teste as modalidades de áudio e texto de um bot
- Revise as métricas agregadas e detalhadas para dimensões do bot:
- Transcrição de fala
- Reconhecimento de intenção
- Resolução de slots (incluindo slots de valores múltiplos ou slots compostos)
- Tags de contexto
- Atributos da sessão
- Atributos de solicitação
- Dicas de tempo de execução
- Atraso de tempo em segundos
Pré-requisitos
Para testar esse recurso, você deve ter o seguinte:
Além disso, você deve ter conhecimento e compreensão dos seguintes serviços e recursos:
Crie um conjunto de testes
Para criar seu conjunto de testes, conclua as etapas a seguir:
- No Console Amazon Lex, sob Bancada de teste no painel de navegação, escolha Conjuntos de teste.
Você pode revisar uma lista de conjuntos de testes existentes, incluindo informações básicas como nome, descrição, número de entradas de teste, modalidade e status. Nas etapas a seguir, você pode escolher entre gerar um conjunto de testes a partir dos logs de conversa associados ao bot ou fazer upload de um conjunto de testes existente criado manualmente em um formato de arquivo CSV.
- Escolha Criar conjunto de teste.
- A geração de conjuntos de testes a partir de logs de conversas permite fazer o seguinte:
- Incluir conversas reais em vários turnos dos logs do bot no CloudWatch
- Inclua registros de áudio e realize testes que levem em conta nuances reais de fala, ruídos de fundo e sotaques
- Acelere a criação de conjuntos de testes
- Carregar um conjunto de testes criado manualmente permite fazer o seguinte:
- Teste novos bots para os quais não há dados de produção
- Execute testes de regressão em bots existentes para quaisquer intenções, slots e fluxos de conversa novos ou modificados
- Teste cenários cuidadosamente elaborados e detalhados que especificam atributos de sessão e atributos de solicitação
Para gerar um conjunto de testes, conclua as etapas a seguir. Para fazer upload de um conjunto de testes criado manualmente, vá para a etapa 7.
- Escolha Gere um conjunto de testes de linha de base.
- Escolha suas opções para Nome do bot, Apelido do bot e Língua.
- Escolha Intervalo de tempo, defina um intervalo de tempo para os registros.
- Escolha Função do IAM existente, escolha uma função.
Certifique-se de que a função do IAM possa conceder acesso para recuperar informações dos logs de conversa. Consulte Criação de funções do IAM para criar uma função do IAM com a política apropriada.
- Se preferir usar um conjunto de testes criado manualmente, selecione Faça upload de um arquivo para este conjunto de testes.
- Escolha Faça upload de um arquivo para este conjunto de testes, escolha uma das seguintes opções:
- Selecionar Fazer upload do intervalo S3 para fazer upload de um arquivo CSV de um Serviço de armazenamento simples da Amazon (Amazon S3).
- Selecionar Faça upload de um arquivo para este conjunto de testes para fazer upload de um arquivo CSV do seu computador.
Você pode usar o conjunto de teste de amostra fornecido nesta postagem. Para obter mais informações sobre modelos, escolha o Modelo CSV link na página.
- Escolha Modalidade, selecione a modalidade do seu conjunto de testes, seja Texto or em áudio.
Test Workbench fornece suporte de teste para formatos de entrada de áudio e texto.
- Escolha Localização S3, insira o local do bucket S3 onde os resultados serão armazenados.
- Opcionalmente, escolha um Serviço de gerenciamento de chaves AWS (AWS KMS) para criptografar transcrições de saída.
- Escolha Crie.
Seu conjunto de testes recém-criado será listado na Conjuntos de teste página com um dos seguintes status:
- Pronto para anotação – Para conjuntos de testes gerados a partir de logs de conversas de bots do Amazon Lex, a etapa de anotação serve como um mecanismo de controle manual para garantir entradas de teste de qualidade. Ao anotar valores para intenções esperadas e slots esperados para cada item de linha de teste, você indica a “verdade básica” para essa linha. Os resultados do teste da execução do bot são coletados e comparados com a verdade para marcar os resultados do teste como aprovados ou reprovados. Essa comparação em nível de linha permite a criação de medidas agregadas.
- Pronto para teste – Isso indica que o conjunto de testes está pronto para ser executado em um bot do Amazon Lex.
- Erro de validação - Os arquivos de teste carregados são verificados em busca de erros, como comprimento máximo suportado, caracteres inválidos em nomes de intenções ou links inválidos do Amazon S3 contendo arquivos de áudio. Se o conjunto de testes estiver no Erro de validação estado, baixe o arquivo que mostra os detalhes de validação para ver problemas ou erros de entrada de teste linha por linha. Depois que eles forem resolvidos, você poderá carregar manualmente o CSV do conjunto de testes corrigido no conjunto de testes.
Executando um conjunto de testes
Um conjunto de testes é desacoplado de um bot. O mesmo conjunto de testes pode ser executado em um bot ou alias de bot diferente no futuro, à medida que seu caso de uso de negócios evolui. Para relatar métricas de desempenho de um bot em relação aos dados de teste de linha de base, conclua as seguintes etapas:
- importação o bot de exemplo definição e construir o bot (consulte Importando um bot para orientação).
- No console do Amazon Lex, escolha Conjuntos de teste no painel de navegação.
- Escolha seu conjunto de testes validado.
Aqui você pode revisar informações básicas sobre o conjunto de testes e os dados de teste importados.
- Escolha Executar teste.
- Escolha as opções apropriadas para Nome do bot, Apelido do bot e Língua.
- Escolha Tipo de teste, selecione em áudio or Texto.
- Escolha Seleção de ponto final, selecione Game or Sem streaming.
- Escolha Validar discrepância para validar seu conjunto de dados de teste.
Antes de executar um conjunto de testes, você pode validar a cobertura do teste, incluindo a identificação de intenções e slots presentes no conjunto de testes, mas não no bot. Este aviso antecipado serve para definir a expectativa do testador em relação a falhas inesperadas nos testes. Se forem detectadas discrepâncias entre o conjunto de dados de teste e o bot, o Executar teste página será atualizada com o Ver detalhes botão.
Intents e slots encontrados no conjunto de dados de teste, mas não no alias do bot, são listados conforme mostrado nas capturas de tela a seguir.
- Depois de validar as discrepâncias, escolha Execute para executar o teste.
Resultados da revisão
As medidas de desempenho geradas após a execução de um conjunto de testes ajudam a identificar áreas do design do bot que precisam de melhorias e são úteis para agilizar o desenvolvimento e a entrega do bot para dar suporte aos seus clientes. O Test Workbench fornece insights sobre classificação de intenções e resolução de slots em conversas ponta a ponta e nível de entrada de linha única. As execuções de teste concluídas são armazenadas com carimbos de data/hora em seu bucket S3 e podem ser usadas para futuras revisões comparativas.
- No console do Amazon Lex, escolha Resultado dos testes no painel de navegação.
- Escolha o ID do resultado do teste para os resultados que você deseja revisar.
Na próxima página, os resultados do teste incluirão uma análise dos resultados organizados em quatro guias principais: Resultados gerais, resultados de conversa, resultados de intenção e slot, e Resultados detalhados.
Resultados gerais
A guia Resultados gerais contém três seções principais:
- Análise de entrada do conjunto de testes — Um gráfico que mostra o número total de conversas ponta a ponta e declarações de entrada única no conjunto de teste.
- Divisão de entrada única — Um gráfico que mostra o número de entradas únicas aprovadas ou reprovadas.
- Análise da conversa — Um gráfico mostrando o número de entradas multivoltas aprovadas ou com falha.
Para conjuntos de testes executados na modalidade de áudio, são fornecidos gráficos de transcrição de fala para mostrar o número de transcrições de fala aprovadas ou reprovadas em tipos de entrada única e de conversação. Na modalidade de áudio, uma conversa de entrada única ou multiturno pode passar no teste de transcrição de fala, mas falhar no teste geral de ponta a ponta. Isto pode ser causado, por exemplo, por uma resolução de slot ou por um problema de reconhecimento de intenção.
Resultados da conversa
O Test Workbench ajuda você a detalhar falhas de conversa que podem ser atribuídas a intenções ou slots específicos. A guia Resultados da conversa é organizada em três áreas principais, abrangendo todas as intenções e slots usados no conjunto de testes:
- Taxas de passagem de conversa — Uma tabela usada para visualizar quais intents e slots são responsáveis por possíveis falhas de conversação.
- Métricas de falha de intenção de conversa — Um gráfico de barras mostrando as cinco intenções de pior desempenho no conjunto de testes, se houver.
- Métricas de falha no slot de conversa — Um gráfico de barras mostrando os cinco slots com pior desempenho no conjunto de testes, se houver.
Resultados de intenção e slot
A guia Resultados de intenção e slot fornece métricas detalhadas para dimensões de bot, como reconhecimento de intenção e resolução de slot.
- Métricas de reconhecimento de intenção — Uma tabela mostrando a taxa de sucesso do reconhecimento de intenções.
- Métricas de resolução de slots — Uma tabela mostrando a taxa de sucesso de resolução de slots, por
Resultados detalhados
Você pode acessar um relatório detalhado do teste executado na guia Resultados detalhados. Uma tabela é exibida para mostrar a transcrição real, a intenção de saída e os valores de slot em um conjunto de testes. O relatório pode ser baixado como CSV para análise posterior.
A saída em nível de linha fornece insights para ajudar a melhorar o design do bot e aumentar a precisão. Por exemplo, entradas de fala reconhecidas incorretamente ou perdidas, como palavras de marca, podem ser adicionadas ao vocabulário personalizado de uma intenção ou como enunciados sob uma intenção.
Para melhorar ainda mais o design da conversa, você pode consultar esta postagem, descrevendo as práticas recomendadas sobre o uso de ML para criar um bot que encantará seus clientes ao compreendê-los com precisão.
Conclusão
Nesta postagem, apresentamos o Test Workbench para Amazon Lex, um recurso nativo que padroniza um processo de teste automatizado de chatbot e permite que desenvolvedores e designers de conversação otimizem e iterem rapidamente por meio do design e desenvolvimento de bots.
Estamos ansiosos para saber como você usa essa nova funcionalidade do Amazon Lex e agradecemos seus comentários! Para quaisquer dúvidas, bugs ou solicitações de recursos, entre em contato conosco através AWS re:Post para Amazon Lex ou seus contatos do AWS Support.
Para aprender mais, veja Perguntas frequentes sobre o Amazon Lex e os votos de Guia do desenvolvedor do Amazon Lex V2.
Sobre os autores
Sandeep Srinivasan é gerente de produto da equipe Amazon Lex. Como um observador atento do comportamento humano, ele é apaixonado pela experiência do cliente. Ele passa suas horas de vigília no cruzamento de pessoas, tecnologia e o futuro.
Grazia Russo Lassner é consultor sênior da equipe de IA de linguagem natural de serviços profissionais da AWS. Ela é especializada em projetar e desenvolver soluções de IA conversacional usando tecnologias da AWS para clientes em vários setores. Fora do trabalho, ela gosta de passar os fins de semana na praia, ler os livros de ficção mais recentes e a família.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- EVM Finanças. Interface unificada para finanças descentralizadas. Acesse aqui.
- Grupo de Mídia Quântica. IR/PR Amplificado. Acesse aqui.
- PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :é
- :não
- :onde
- $UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Capaz
- Sobre
- Acesso
- Conta
- precisão
- exatamente
- em
- real
- adicionado
- Adição
- Depois de
- contra
- AI
- Todos os Produtos
- Permitindo
- permite
- Amazon
- Amazon-Lex
- Amazon Web Services
- an
- análise
- e
- Anunciar
- qualquer
- apropriado
- SOMOS
- áreas
- AS
- assistentes
- associado
- At
- atributos
- auditivo
- automatizar
- Automatizado
- automaticamente
- evitar
- AWS
- Serviços Profissionais AWS
- fundo
- Barra
- Linha de Base
- basic
- base
- BE
- Beach
- antes
- MELHOR
- melhores práticas
- entre
- Livros
- impulsionar
- Bot
- ambos
- bots
- de marca
- Breakdown
- erros
- construir
- Prédio
- construído
- negócio
- mas a
- botão
- by
- CAN
- cuidadosamente
- casas
- causado
- Centralização de
- canais
- caracteres
- de cores
- charts
- chatbot
- chatbots
- verificar
- verificado
- Escolha
- classificação
- comparado
- comparação
- completar
- Efetuado
- computador
- Conduzir
- consistente
- cônsul
- consultor
- Contacto
- contact center
- contatos
- contém
- Conversa
- conversação
- IA conversacional
- conversas
- corrigida
- poderia
- cobertura
- cobertura
- crio
- criado
- Criar
- criação
- crítico
- personalizadas
- cliente
- experiência do cliente
- Clientes
- dados,
- conjunto de dados
- conjuntos de dados
- atraso
- deliciar
- Entrega
- implantar
- descrição
- Design
- desenhadores
- concepção
- detalhado
- detalhes
- detectou
- Developer
- desenvolvedores
- em desenvolvimento
- Desenvolvimento
- diferente
- dimensões
- do
- down
- download
- distância
- dois
- durante
- cada
- Cedo
- eficiências
- ou
- end-to-end
- garantir
- Entrar
- erro
- erros
- evolui
- superior
- animado
- executar
- executado
- executando
- existente
- expectativa
- expectativas
- esperado
- vasta experiência
- FALHA
- fracassado
- Falha
- família
- Característica
- Funcionalidades
- Ficção
- Envie o
- Arquivos
- fluxo
- seguinte
- Escolha
- formato
- para a frente
- encontrado
- quatro
- da
- totalmente
- funcionalidade
- mais distante
- futuro
- gerar
- gerado
- gerando
- conceder
- gráfico
- Solo
- orientações
- Manipulação
- Ter
- he
- audição
- ajudar
- ajuda
- sua
- HORÁRIO
- Como funciona o dobrador de carta de canal
- Contudo
- HTML
- http
- HTTPS
- humano
- ID
- identificar
- identificar
- if
- importador
- melhorar
- melhoria
- melhorias
- melhorar
- in
- incluir
- inclui
- Incluindo
- Crescimento
- indicam
- indicam
- indústrias
- INFORMAÇÕES
- entrada
- inputs
- insights
- instância
- integrações
- intenção
- interativo
- interfaces de
- interseção
- para dentro
- emitem
- questões
- jpg
- Afiado
- Chave
- Conhecimento
- língua
- mais recente
- APRENDER
- Comprimento
- Nível
- wifecycwe
- Line
- LINK
- Links
- Lista
- Listado
- localização
- olhar
- a Principal
- a manter
- gerenciados
- de grupos
- Gerente
- manual
- manualmente
- marca
- máximo
- a medida
- medidas
- mecanismo
- atende
- mensagens
- Metodologia
- Métrica
- perdido
- ML
- modificada
- mais
- nome
- nomes
- nativo
- natural
- Navegação
- você merece...
- Cria
- Novo
- recentemente
- Próximo
- não
- número
- observar
- of
- frequentemente
- on
- uma vez
- ONE
- operacional
- Opções
- or
- ordem
- organização
- Organizado
- saída
- lado de fora
- Acima de
- global
- página
- pão
- parâmetros
- passar
- passou
- apaixonado
- Pessoas
- atuação
- realização
- fase
- platão
- Inteligência de Dados Platão
- PlatãoData
- por favor
- Privacidade
- possível
- Publique
- práticas
- preferir
- presente
- apresentado
- processo
- Produto
- gerente de produto
- Produção
- produtividade
- profissional
- fornecido
- fornece
- qualidade
- consultas
- Frequentes
- rapidamente
- alcance
- Taxa
- RE
- alcançar
- Leitura
- pronto
- reais
- reconhecimento
- Denunciar
- solicitar
- pedidos
- Requisitos
- Resolução
- responder
- resposta
- responsável
- resultar
- Resultados
- rever
- Opinões
- Tipo
- Execute
- mesmo
- dimensionamento
- cenários
- screenshots
- seções
- Vejo
- senior
- serve
- serviço
- Serviços
- Sessão
- conjunto
- Conjuntos
- vários
- ela
- rede de apoio social
- mostrar
- mostrando
- simples
- simplificar
- solteiro
- caça-níqueis
- solução
- Soluções
- especializada
- específico
- discurso
- Estado
- Status
- Passo
- Passos
- armazenamento
- armazenadas
- simplificar
- sucesso
- tal
- ajuda
- Suportado
- .
- mesa
- tarefas
- Profissionais
- equipes
- Tecnologias
- Tecnologia
- modelos
- teste
- ensaio
- testes
- que
- A
- O Futuro
- Eles
- então
- Lá.
- deles
- isto
- três
- Através da
- tempo
- para
- ferramentas
- topo
- Total
- Verdade
- tipos
- para
- compreensão
- Inesperado
- Atualizar
- Atualizações
- Upload
- us
- usar
- caso de uso
- usava
- Utilizador
- utilização
- VALIDAR
- validado
- validação
- Valores
- vário
- Virtual
- voz
- queremos
- aviso
- we
- web
- serviços web
- sites
- boas-vindas
- se
- qual
- precisarão
- de
- palavras
- Atividades:
- o pior
- ainda
- Vocês
- investimentos
- zefirnet
- Zip