Amazon lex se complace en anunciar Test Workbench, una nueva solución de prueba de bots que proporciona herramientas para simplificar y automatizar el proceso de prueba de bots. Durante el desarrollo de bots, la prueba es la fase en la que los desarrolladores verifican si un bot cumple con los requisitos, necesidades y expectativas específicos mediante la identificación de errores, defectos o fallas en el sistema antes de escalar. Las pruebas ayudan a validar el rendimiento del bot en varios frentes, como el flujo conversacional (comprensión de las consultas de los usuarios y respuesta precisa), el manejo de la superposición de intenciones y la coherencia entre las modalidades. Sin embargo, las pruebas suelen ser manuales, propensas a errores y no estandarizadas. Test Workbench estandariza la gestión de pruebas automatizada al permitir que los equipos de desarrollo de chatbots generen, mantengan y ejecuten conjuntos de pruebas con una metodología coherente y eviten las secuencias de comandos personalizadas y las integraciones ad-hoc. En esta publicación, aprenderá cómo Test Workbench agiliza las pruebas automatizadas de las modalidades de voz y texto de un bot y proporciona medidas de precisión y rendimiento para parámetros como la transcripción de audio, el reconocimiento de intenciones y la resolución de espacios tanto para entradas de expresión única como para conversaciones de varios turnos. Esto le permite identificar rápidamente las áreas de mejora de los bots y mantener una línea base constante para medir la precisión a lo largo del tiempo y observar cualquier regresión de la precisión debido a las actualizaciones de los bots.
Amazon Lex es un servicio completamente administrado para crear interfaces conversacionales de voz y texto. Amazon Lex lo ayuda a crear e implementar chatbots y asistentes virtuales en sitios web, servicios de centros de contacto y canales de mensajería. Los bots de Amazon Lex ayudan a aumentar la productividad de la respuesta de voz interactiva (IVR), automatizar tareas simples e impulsar la eficiencia operativa en toda la organización. Test Workbench para Amazon Lex estandariza y simplifica el ciclo de vida de prueba de bots, que es fundamental para mejorar el diseño de bots.
Características del banco de trabajo de prueba
Test Workbench para Amazon Lex incluye las siguientes características:
- Genere conjuntos de datos de prueba automáticamente a partir de los registros de conversación de un bot
- Cargar líneas de base de conjuntos de pruebas creadas manualmente
- Realice pruebas de extremo a extremo de conversaciones de una sola entrada o de varios turnos
- Pruebe las modalidades de audio y texto de un bot
- Revise las métricas agregadas y detalladas para las dimensiones del bot:
- Transcripción de voz
- Reconocimiento de intenciones
- Resolución de ranuras (incluidas las ranuras de valores múltiples o las ranuras compuestas)
- Etiquetas de contexto
- Atributos de sesión
- Solicitar atributos
- Sugerencias de tiempo de ejecución
- Retardo de tiempo en segundos
Requisitos previos
Para probar esta característica, debe tener lo siguiente:
Además, debe tener conocimiento y comprensión de los siguientes servicios y funciones:
Crear un conjunto de prueba
Para crear su conjunto de prueba, complete los siguientes pasos:
- En Consola de Amazon Lex, bajo banco de trabajo de prueba en el panel de navegación, elija Conjuntos de prueba.
Puede revisar una lista de conjuntos de pruebas existentes, incluida información básica como el nombre, la descripción, la cantidad de entradas de prueba, la modalidad y el estado. En los siguientes pasos, puede elegir entre generar un conjunto de prueba a partir de los registros de conversación asociados con el bot o cargar un conjunto de prueba creado manualmente existente en un formato de archivo CSV.
- Elige Crear conjunto de prueba.
- La generación de conjuntos de prueba a partir de registros de conversación le permite hacer lo siguiente:
- Incluya conversaciones reales de varios turnos de los registros del bot en CloudWatch
- Incluya registros de audio y realice pruebas que tengan en cuenta los matices reales del habla, los ruidos de fondo y los acentos.
- Acelere la creación de conjuntos de prueba
- Cargar un conjunto de prueba creado manualmente le permite hacer lo siguiente:
- Probar nuevos bots para los que no hay datos de producción
- Realice pruebas de regresión en bots existentes para cualquier intento, espacio y flujo de conversación nuevos o modificados.
- Pruebe escenarios cuidadosamente elaborados y detallados que especifican atributos de sesión y atributos de solicitud
Para generar un conjunto de prueba, complete los siguientes pasos. Para cargar un conjunto de prueba creado manualmente, salte al paso 7.
- Elige Genere un conjunto de pruebas de referencia.
- Elige tus opciones para Nombre del bot, Alias de roboty Idioma.
- Intervalo de tiempo, establezca un intervalo de tiempo para los registros.
- Rol de IAM existente, elegir un papel.
Asegúrese de que el rol de IAM pueda otorgarle acceso para recuperar información de los registros de conversación. Consulte Creación de roles de IAM para crear un rol de IAM con la política adecuada.
- Si prefiere utilizar un conjunto de pruebas creado manualmente, seleccione Subir un archivo a este conjunto de prueba.
- Subir un archivo a este conjunto de prueba, elige entre las siguientes opciones:
- Seleccione Subir desde el depósito de S3 para cargar un archivo CSV desde un Servicio de almacenamiento simple de Amazon (Amazon S3) cubo.
- Seleccione Subir un archivo a este conjunto de prueba para cargar un archivo CSV desde su computadora.
Puede utilizar el conjunto de prueba de muestra proporcionado en esta publicación. Para obtener más información acerca de las plantillas, elija la Plantilla CSV enlace en la página.
- Modalidad, seleccione la modalidad de su conjunto de prueba, ya sea Texto or Audio.
Test Workbench proporciona soporte de prueba para formatos de entrada de audio y texto.
- Ubicación S3, ingrese la ubicación del depósito S3 donde se almacenarán los resultados.
- Opcionalmente, elija un Servicio de administración de claves de AWS (AWS KMS) clave para cifrar las transcripciones de salida.
- Elige Crear.
Su conjunto de prueba recién creado aparecerá en la lista Conjuntos de prueba página con uno de los siguientes estados:
- Listo para la anotación - Para los conjuntos de prueba generados a partir de los registros de conversación del bot de Amazon Lex, el paso de anotación sirve como un mecanismo de activación manual para garantizar entradas de prueba de calidad. Al anotar los valores para las intenciones esperadas y los espacios esperados para cada elemento de línea de prueba, indica la "verdad básica" para esa línea. Los resultados de la prueba de la ejecución del bot se recopilan y comparan con la realidad del terreno para marcar los resultados de la prueba como aprobados o no aprobados. Esta comparación de nivel de línea permite crear medidas agregadas.
- Listo para la prueba - Esto indica que el conjunto de prueba está listo para ejecutarse contra un bot de Amazon Lex.
- Error de validacion - Los archivos de prueba cargados se verifican en busca de errores, como exceder la longitud máxima admitida, caracteres no válidos en los nombres de intención o enlaces de Amazon S3 no válidos que contienen archivos de audio. Si el equipo de prueba está en el Error de validacion estado, descargue el archivo que muestra los detalles de validación para ver los problemas o errores de entrada de prueba línea por línea. Una vez que se abordan, puede cargar manualmente el CSV del conjunto de prueba corregido en el conjunto de prueba.
Ejecución de un conjunto de prueba
Un conjunto de prueba está desacoplado de un bot. El mismo conjunto de pruebas se puede ejecutar contra un bot o alias de bot diferente en el futuro a medida que evolucione su caso de uso comercial. Para informar las métricas de rendimiento de un bot en comparación con los datos de prueba de referencia, complete los siguientes pasos:
- Importa el robot de muestra definición y construir el bot (consulte Importación de un bot para ayuda).
- En la consola de Amazon Lex, elija Conjuntos de prueba en el panel de navegación.
- Elija su conjunto de prueba validado.
Aquí puede revisar la información básica sobre el conjunto de prueba y los datos de prueba importados.
- Elige Prueba de ejecución.
- Elija las opciones apropiadas para Nombre del bot, Alias de roboty Idioma.
- Tipo de prueba, seleccione Audio or Texto.
- Selección de punto final, seleccione cualquiera Streaming or sin transmisión.
- Elige Validar discrepancia para validar su conjunto de datos de prueba.
Antes de ejecutar un conjunto de prueba, puede validar la cobertura de la prueba, incluida la identificación de intenciones y ranuras presentes en el conjunto de prueba pero no en el bot. Esta advertencia temprana sirve para establecer la expectativa del probador para fallas de prueba inesperadas. Si se detectan discrepancias entre su conjunto de datos de prueba y su bot, el Prueba de ejecución la página se actualizará con el Ver detalles del botón.
Las intenciones y los espacios que se encuentran en el conjunto de datos de prueba, pero no en el alias del bot, se enumeran como se muestra en las siguientes capturas de pantalla.
- Después de validar las discrepancias, elija Implementación para ejecutar la prueba.
Revisar resultados
Las medidas de rendimiento generadas después de ejecutar un conjunto de prueba lo ayudan a identificar áreas del diseño de bots que necesitan mejoras y son útiles para acelerar el desarrollo y la entrega de bots para ayudar a sus clientes. Test Workbench proporciona información sobre la clasificación de intenciones y la resolución de ranuras en conversaciones de extremo a extremo y nivel de entrada de una sola línea. Las ejecuciones de prueba completadas se almacenan con marcas de tiempo en su depósito S3 y se pueden usar para futuras revisiones comparativas.
- En la consola de Amazon Lex, elija Resultados de la prueba en el panel de navegación.
- Elija la identificación del resultado de la prueba para los resultados que desea revisar.
En la página siguiente, los resultados de la prueba incluirán un desglose de los resultados organizados en cuatro pestañas principales: Resultados generales, resultados de conversación, resultados de intención y espacio, y Resultados detallados.
Resultados totales
La pestaña Resultados generales contiene tres secciones principales:
- Desglose de entrada del equipo de prueba — Un gráfico que muestra el número total de conversaciones de extremo a extremo y expresiones de entrada única en el conjunto de prueba.
- Desglose de entrada única — Un gráfico que muestra el número de entradas individuales aprobadas o fallidas.
- Desglose de la conversación — Un gráfico que muestra el número de entradas de múltiples vueltas aprobadas o fallidas.
Para los conjuntos de pruebas que se ejecutan en modalidad de audio, se proporcionan gráficos de transcripción de voz para mostrar la cantidad de transcripciones de voz aprobadas o fallidas tanto en tipos de entrada única como de conversación. En la modalidad de audio, una sola entrada o una conversación de varios turnos podría pasar la prueba de transcripción de voz, pero fallar en la prueba general de extremo a extremo. Esto puede ser causado, por ejemplo, por una resolución de ranura o un problema de reconocimiento de intenciones.
Resultados de la conversación
Test Workbench lo ayuda a profundizar en las fallas de conversación que se pueden atribuir a intenciones o espacios específicos. La pestaña de resultados de la conversación está organizada en tres áreas principales, que cubren todas las intenciones y espacios utilizados en el conjunto de prueba:
- Tasas de pase de conversación — Una tabla utilizada para visualizar qué intenciones y espacios son responsables de posibles fallas en la conversación.
- Métricas de fallas en la intención de conversación — Un gráfico de barras que muestre las cinco intenciones de peor desempeño en el conjunto de prueba, si las hay.
- Métricas de fallas en el espacio de conversación — Un gráfico de barras que muestre los cinco intervalos con peor desempeño en el conjunto de prueba, si corresponde.
Resultados de la intención y el espacio
La pestaña Resultados de intención y ranura proporciona métricas detalladas para las dimensiones del bot, como el reconocimiento de intención y la resolución de ranura.
- Métricas de reconocimiento de intención — Una tabla que muestra la tasa de éxito del reconocimiento de intenciones.
- Métricas de resolución de ranuras — Una tabla que muestra la tasa de éxito de resolución de ranuras, por
Resultados detallados
Puede acceder a un informe detallado de la ejecución de la prueba ejecutada en la pestaña Resultados detallados. Se muestra una tabla para mostrar la transcripción real, la intención de salida y los valores de ranura en un conjunto de prueba. El informe se puede descargar como un CSV para su posterior análisis.
La salida de nivel de línea proporciona información para ayudar a mejorar el diseño del bot y aumentar la precisión. Por ejemplo, las entradas de voz mal reconocidas o perdidas, como palabras de marca, se pueden agregar al vocabulario personalizado de una intención o como declaraciones bajo una intención.
Para mejorar aún más el diseño de la conversación, puede consultar esta publicación, que describe las mejores prácticas sobre el uso de ML para crear un bot que hará las delicias de sus clientes al comprenderlos con precisión.
Conclusión
En esta publicación, presentamos Test Workbench para Amazon Lex, una capacidad nativa que estandariza un proceso de prueba automatizado de chatbot y permite a los desarrolladores y diseñadores de conversación optimizar e iterar rápidamente a través del diseño y desarrollo de bots.
¡Esperamos escuchar cómo utiliza esta nueva funcionalidad de Amazon Lex y agradecemos sus comentarios! Para cualquier pregunta, error o solicitud de funciones, comuníquese con nosotros a través de AWS re: publicación para Amazon Lex o sus contactos de soporte de AWS.
Para aprender más, vea Preguntas frecuentes sobre Amazon Lex y del Guía para desarrolladores de Amazon Lex V2.
Sobre los autores
Sandeep Srinivasan es Product Manager en el equipo de Amazon Lex. Como agudo observador del comportamiento humano, le apasiona la experiencia del cliente. Pasa sus horas de vigilia en la intersección de las personas, la tecnología y el futuro.
Grazia Russo Lassner es consultor sénior del equipo de IA de lenguaje natural de servicios profesionales de AWS. Se especializa en el diseño y desarrollo de soluciones de inteligencia artificial conversacional utilizando tecnologías de AWS para clientes en diversas industrias. Fuera del trabajo, disfruta los fines de semana en la playa, leer los últimos libros de ficción y la familia.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- EVM Finanzas. Interfaz unificada para finanzas descentralizadas. Accede Aquí.
- Grupo de medios cuánticos. IR/PR amplificado. Accede Aquí.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :es
- :no
- :dónde
- $ UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Poder
- Nuestra Empresa
- de la máquina
- Mi Cuenta
- la exactitud
- precisamente
- a través de
- real
- adicional
- adición
- Después
- en contra
- AI
- Todos
- Permitir
- permite
- Amazon
- Amazon lex
- Amazon Web Services
- an
- análisis
- y
- Anunciar
- cualquier
- adecuado
- somos
- áreas
- AS
- asistentes
- asociado
- At
- atributos
- audio
- automatizado
- Confirmación de Viaje
- automáticamente
- evitar
- AWS
- Servicios profesionales de AWS
- fondo
- de caramelos
- Base
- básica
- base
- BE
- Beach
- antes
- MEJOR
- y las mejores prácticas
- entre
- Libros
- empujón
- Bot
- ambas
- los robots
- calificada
- Breakdown
- loco
- build
- Construir la
- construido
- pero
- .
- by
- PUEDEN
- estudiar cuidadosamente
- case
- causado
- Reubicación
- canales
- personajes
- Tabla
- Gráficas
- chatterbot
- Chatbots
- comprobar
- comprobado
- Elige
- clasificación
- en comparación con
- comparación
- completar
- Completado
- computadora
- Conducir
- consistente
- Consola
- consultor
- contacte
- contact center
- contactos
- contiene
- Conversación
- conversacional
- AI conversacional
- conversaciones
- corregido
- podría
- cobertura
- cubierta
- Para crear
- creado
- Creamos
- creación
- crítico
- personalizado
- cliente
- experiencia del cliente
- Clientes
- datos
- conjunto de datos
- conjuntos de datos
- retrasar
- deleitar
- entrega
- desplegar
- descripción
- Diseño
- diseñadores
- diseño
- detallado
- detalles
- detectado
- Developer
- desarrolladores
- el desarrollo
- Desarrollo
- una experiencia diferente
- dimensiones
- do
- DE INSCRIPCIÓN
- descargar
- el lado de la transmisión
- dos
- durante
- cada una
- Temprano en la
- eficiencias
- ya sea
- de extremo a extremo
- garantizar
- Participar
- error
- Errores
- evoluciona
- superior
- excitado
- ejecutar
- ejecutado
- ejecución
- existente
- expectativa
- las expectativas
- esperado
- experience
- FALLO
- Fallidos
- Fracaso
- familia
- Feature
- Caracteristicas
- Ficción
- Archive
- archivos
- de tus señales
- siguiendo
- formato
- adelante
- encontrado
- Digital XNUMXk
- Desde
- completamente
- a la fatiga
- promover
- futuras
- generar
- generado
- la generación de
- conceder
- gráfica
- Polo a Tierra
- guía
- Manejo
- Tienen
- he
- .
- ayuda
- ayuda
- su
- HORAS
- Cómo
- Sin embargo
- HTML
- http
- HTTPS
- humana
- ID
- Identifique
- identificar
- if
- importador
- mejorar
- es la mejora continua
- mejoras
- la mejora de
- in
- incluir
- incluye
- Incluye
- aumente
- indicar
- Indica
- industrias
- información
- Las opciones de entrada
- entradas
- Insights
- ejemplo
- integraciones
- intención
- interactivo
- las interfaces
- intersección
- dentro
- cuestiones
- jpg
- Keen
- Clave
- especialistas
- idioma
- más reciente
- APRENDE:
- Longitud Mínima
- Nivel
- ciclo de vida
- línea
- LINK
- enlaces
- Lista
- Listado
- Ubicación
- Mira
- Inicio
- mantener
- gestionado
- Management
- gerente
- manual
- a mano
- marca
- máximas
- medir
- medidas
- mecanismo
- se une a la
- mensajería
- Metodología
- Métrica
- perdida
- ML
- modificado
- más,
- nombre
- nombres
- nativo
- Natural
- Navegación
- ¿ Necesita ayuda
- Nuevo
- recién
- Next
- no
- número
- observar
- of
- a menudo
- on
- una vez
- ONE
- operativos.
- Opciones
- or
- solicite
- organización
- Organizado
- salida
- afuera
- Más de
- total
- página
- cristal
- parámetros
- pass
- pasado
- apasionado
- Personas
- actuación
- realizar
- fase
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Por favor
- política
- posible
- Publicación
- prácticas
- preferir
- presente
- presentó
- Producto
- gerente de producto
- Producción
- productividad
- Profesional
- previsto
- proporciona un
- calidad
- consultas
- Preguntas
- con rapidez
- distancia
- Rate
- RE
- en comunicarse
- Reading
- ready
- real
- reconocimiento
- reporte
- solicita
- solicitudes
- Requisitos
- Resolución
- responder
- respuesta
- responsable
- resultado
- Resultados
- una estrategia SEO para aparecer en las búsquedas de Google.
- Reseñas
- Función
- Ejecutar
- mismo
- la ampliación
- escenarios
- capturas de pantalla
- (secciones)
- ver
- mayor
- sirve
- de coches
- Servicios
- Sesión
- set
- Sets
- Varios
- ella
- tienes
- Mostrar
- mostrado
- sencillos
- simplificar
- soltero
- ranuras
- a medida
- Soluciones
- se especializa
- soluciones y
- habla
- Estado
- Estado
- paso
- pasos
- STORAGE
- almacenados
- aerodinamizar
- comercial
- tal
- SOPORTE
- Soportado
- te
- mesa
- tareas
- equipo
- equipos
- Tecnologías
- Tecnología
- plantillas
- test
- Pruebas
- pruebas
- esa
- La
- El futuro de las
- Les
- luego
- Ahí.
- ellos
- así
- Tres
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- a
- parte superior
- Total
- verdad
- tipos
- bajo
- comprensión
- Inesperado
- Actualizar
- Actualizaciones
- ¿Cómo subir tu libro?
- us
- utilizan el
- caso de uso
- usado
- Usuario
- usando
- VALIDAR
- validado
- validación
- Valores
- diversos
- Virtual
- Voz
- quieres
- advertencia
- we
- web
- servicios web
- sitios web
- bienvenido
- sean
- que
- seguirá
- palabras
- Actividades:
- Peor
- aún
- Usted
- tú
- zephyrnet
- Zip