Muchas AWS clientes han estado utilizando con éxito Amazon Transcribe para convertir de manera precisa, eficiente y automática las conversaciones de audio de sus clientes en texto, y extraer información práctica de ellas. Estos conocimientos pueden ayudarlo a mejorar continuamente los procesos y productos que mejoran directamente la calidad y la experiencia de sus clientes.
En muchos países, como la India, el inglés no es el idioma principal de comunicación. Las conversaciones de los clientes indios contienen idiomas regionales como el hindi, con palabras y frases en inglés habladas al azar durante las llamadas. En los archivos multimedia de origen, puede haber nombres propios, acrónimos específicos del dominio, palabras o frases que el modelo predeterminado de Amazon Transcribe no reconoce. Las transcripciones de dichos archivos multimedia pueden tener errores ortográficos para esas palabras.
En esta publicación, demostramos cómo puede proporcionar más información a Amazon Transcribe con vocabularios personalizados para actualizar la forma en que Amazon Transcribe maneja la transcripción de sus archivos de audio con terminología específica de la empresa. Mostramos los pasos para mejorar la precisión de las transcripciones de las llamadas en Hinglish (llamadas en hindi indio que contienen palabras y frases en inglés indio). Puede usar el mismo proceso para transcribir llamadas de audio con cualquier Idioma compatible por Amazon Transcribe. Después de crear vocabularios personalizados, puede transcribir llamadas de audio con precisión y a escala utilizando nuestro análisis posteriores a la llamada solución, que discutiremos más adelante en esta publicación.
Resumen de la solución
Usamos la siguiente llamada de audio en hindi indio (SampleAudio.wav) con palabras aleatorias en inglés para demostrar el proceso.
Luego lo guiaremos a través de los siguientes pasos de alto nivel:
- Transcriba el archivo de audio utilizando el modelo predeterminado de Amazon Transcribe Hindi.
- Medir la precisión del modelo.
- Entrene al modelo con vocabulario personalizado.
- Mida la precisión del modelo entrenado.
Requisitos previos
Antes de comenzar, debemos confirmar que el archivo de audio de entrada cumple con los transcribir los requisitos de entrada de datos.
A monofónico grabación, también conocida como mono, contiene una señal de audio, en la que todos los elementos de audio del agente y del cliente se combinan en un solo canal. A estereofónico grabación, también conocida como estéreo, contiene dos señales de audio para capturar los elementos de audio del agente y del cliente en dos canales separados. Cada archivo de grabación de agente-cliente contiene dos canales de audio, uno para el agente y otro para el cliente.
Las grabaciones de audio de baja fidelidad, como las grabaciones telefónicas, suelen utilizar frecuencias de muestreo de 8,000 Hz. Amazon Transcribe admite el procesamiento de archivos de audio grabados en mono y de alta fidelidad con frecuencias de muestreo entre 16,000 48,000 y XNUMX XNUMX Hz.
Para obtener mejores resultados de transcripción y para distinguir claramente las palabras pronunciadas por el agente y el cliente, recomendamos utilizar archivos de audio grabados a una frecuencia de muestreo de 8,000 Hz y separados por canales estéreo.
Puedes usar una herramienta como ffmpeg para validar sus archivos de audio de entrada desde la línea de comando:
En la respuesta devuelta, verifique la línea que comienza con Stream en la sección Entrada y confirme que los archivos de audio tienen 8,000 Hz y están separados por canales estéreo:
Cuando crea una canalización para procesar una gran cantidad de archivos de audio, puede automatizar este paso para filtrar los archivos que no cumplen con los requisitos.
Como paso previo adicional, cree un depósito de Amazon Simple Storage Service (Amazon S3) para alojar los archivos de audio que se van a transcribir. Para obtener instrucciones, consulte Cree su primer depósito S3.Luego sube el archivo de audio al depósito S3.
Transcribir el archivo de audio con el modelo predeterminado
Ahora podemos iniciar un Amazon Transcribe llamar al trabajo de análisis usando el archivo de audio que subimos. En este ejemplo, usamos el Consola de administración de AWS para transcribir el archivo de audio. También puede utilizar el Interfaz de línea de comandos de AWS (CLI de AWS) o SDK de AWS.
- En la consola de Amazon Transcribe, elija Analítica de llamadas en el panel de navegación.
- Elige Trabajos de análisis de llamadas.
- Elige Crear trabajo.
- Nombre, ingresa un nombre.
- Ajustes de idioma, seleccione Idioma específico.
- Idioma, escoger hindi, IN (hola-IN).
- Tipo de modelo, seleccione Modelo general.
- Ubicación del archivo de entrada en S3, busque el depósito de S3 que contiene el archivo de audio cargado.
- En Datos resultantes sección, deje los valores predeterminados.
- En Permisos de acceso sección, seleccionar Crear un rol de IAM.
- Crear un nuevo Gestión de identidades y accesos de AWS (IAM) llamado HindiTranscription que proporciona permisos de servicio de Amazon Transcribe para leer los archivos de audio del depósito S3 y usar el Servicio de administración de claves de AWS (AWS KMS) clave para descifrar.
- En Configurar trabajo sección, deje los valores predeterminados, incluidos Vocabulario personalizado deseleccionado.
- Elige Crear trabajo para transcribir el archivo de audio.
Cuando el estado del trabajo es Completo, puede revisar la transcripción eligiendo el trabajo (SampleAudio).
Las oraciones del cliente y del agente están claramente separadas, lo que nos ayuda a identificar si el cliente o el agente hablaron palabras o frases específicas.
Medir la precisión del modelo
La tasa de error de palabras (WER) es la métrica recomendada y más utilizada para evaluar la precisión de los sistemas de reconocimiento automático de voz (ASR). El objetivo es reducir el WER tanto como sea posible para mejorar la precisión del sistema ASR.
Para calcular WER, complete los siguientes pasos. Esta publicación utiliza el código abierto evaluación-asr herramienta de evaluación para calcular WER, pero otras herramientas como SCTK or Jiwer También están disponibles.
- Instalar las
asr-evaluationherramienta, que hace que el script wer esté disponible en su línea de comando.
Use una línea de comando en plataformas macOS o Linux para ejecutar los comandos wer que se muestran más adelante en la publicación. - Copie la transcripción de la página de detalles del trabajo de Amazon Transcribe a un archivo de texto llamado
hypothesis.txt.
Cuando copie la transcripción desde la consola, notará un nuevo carácter de línea entre las palabrasAgent :, Customer :,y la escritura hindi.
Los caracteres de nueva línea se han eliminado para ahorrar espacio en esta publicación. Si elige usar el texto tal como está en la consola, asegúrese de que el archivo de texto de referencia que cree también tenga los caracteres de nueva línea, ya que la herramienta wer compara línea por línea. - Revise la transcripción completa e identifique las palabras o frases que deben corregirse:
Local : हेलो,
Agente : गुड मोर्निग इंडिया ट्रेवल एजेंसी सेम है। लावन्या बात कर ominal हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।।।।।।।
Local : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। ¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿
Agente :हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
Local : हाँ बढिय sigue थैंक यू अगले सैटatar
Agente : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के तसे
Local : सिरियसली एनी टिप्स Pollo शेर
Agente : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
Local Las palabras resaltadas son las que el modelo predeterminado de Amazon Transcribe no representó correctamente. - Crea otro archivo de texto llamado
reference.txt, reemplazando las palabras resaltadas con las palabras deseadas que espera ver en la transcripción:
Local : हेलो,
Agente : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर ominal हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।।।।।।।
Local : मैं बहुत दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। ¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿
Agente : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
Local : हाँ बढिय sigue थैंक यू अगले सैटatar
Agente : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के तसे
Local : सिरियसली एनी टिप्स यू केन शेर
Agente : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
Local : ग्रेट आइडिया थैंक्यू सो मच। - Use el siguiente comando para comparar los archivos de texto de referencia e hipótesis que creó:
Obtiene el siguiente resultado:
El comando wer compara el texto de los archivos reference.txt y hypothesis.txt. Informa errores para cada oración y también el número total de errores (WER: 9.848% ( 13 / 132)) en toda la transcripción.
Del resultado anterior, se informaron 13 errores de 132 palabras en la transcripción. Estos errores pueden ser de tres tipos:
- Errores de sustitución – Estos ocurren cuando Amazon Transcribe escribe una palabra en lugar de otra. Por ejemplo, en nuestra transcripción, la palabra “महीना (Mahina)” se escribió en lugar de “मिनार (Minar)” en la oración 4.
- Errores de borrado – Esto ocurre cuando Amazon Transcribe omite una palabra por completo en la transcripción. En nuestra transcripción, la palabra “सौथ (Sur)” se perdió en la oración 2.
- Errores de inserción – Esto ocurre cuando Amazon Transcribe inserta una palabra que no se pronunció. No vemos ningún error de inserción en nuestra transcripción.
Observaciones de la transcripción creada por el modelo predeterminado
Podemos hacer las siguientes observaciones basadas en la transcripción:
- El WER total es del 9.848 %, lo que significa que el 90.152 % de las palabras se transcriben con precisión.
- El modelo hindi predeterminado transcribió la mayoría de las palabras en inglés con precisión. Esto se debe a que el modelo predeterminado está capacitado para reconocer las palabras en inglés más comunes de manera inmediata. El modelo también está capacitado para reconocer el idioma Hinglish, donde las palabras en inglés aparecen aleatoriamente en las conversaciones en hindi. Por ejemplo:
- गुड मोर्निग – Buenos días (oración 2).
- ट्रेवल एजेंसी – Agencia de viajes (oración 2).
- ग्रेट आइडिया थैंक्यू सो मच – Gran idea, muchas gracias (oración 9).
- La oración 4 tiene la mayor cantidad de errores, que son los nombres de lugares en la ciudad india de Hyderabad:
- हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
En el siguiente paso, demostramos cómo corregir las palabras resaltadas en la oración anterior usando vocabulario personalizado en Amazon Transcribe:
- चार महीना (Carbonizarse mahina) debería ser चार मिनार (Carbonizarse Socavar)
- Rondaकुंडा फोर (golcuy four) debería ser गोलकोंडा फोर्ट (golcoy fort)
- सलार जंग (Salar Jung) debe ser सालार जंग (Salirlar jung)
Entrene el modelo predeterminado con un vocabulario personalizado
A crear un vocabulario personalizado, debe crear un archivo de texto en formato tabular con las palabras y frases para entrenar el modelo predeterminado de Amazon Transcribe. Su tabla debe contener las cuatro columnas (Phrase, SoundsLike, IPAy DisplayAs), pero el Phrase columna es la única que debe contener una entrada en cada fila. Puede dejar las otras columnas vacías. Cada columna debe estar separada por un carácter de tabulación, incluso si algunas columnas se dejan vacías. Por ejemplo, si deja el IPA y SoundsLike columnas vacías por una fila, el Phrase y DisplaysAs las columnas de esa fila deben estar separadas con tres caracteres de tabulación (entre Phrase y IPA, IPA y SoundsLikey SoundsLike y DisplaysAs).
Para entrenar el modelo con un vocabulario personalizado, complete los siguientes pasos:
- Crea un archivo llamado
HindiCustomVocabulary.txtcon el siguiente contenido.Solo puede usar caracteres compatibles con su idioma. Consulte su idioma conjunto de caracteres para obtener más detalles.
Las columnas contienen la siguiente información:
Phrase– Contiene las palabras o frases que desea transcribir con precisión. Las palabras o frases resaltadas en la transcripción creada por el modelo predeterminado de Amazon Transcribe aparecen en esta columna. Estas palabras son generalmente acrónimos, nombres propios o palabras y frases específicas de un dominio que el modelo predeterminado no conoce. Este es un campo obligatorio para cada fila en la tabla de vocabulario personalizado. En nuestra transcripción, para corregir “गोलकुंडा फोर (Golcunda Cuatro)” de la oración 4, use “गोलकुंडा-फोर (Golcunda-Cuatro)” en esta columna. Si su entrada contiene varias palabras, separe cada palabra con un guión (-); no use espacios.IPA– Contiene las palabras o frases que representan los sonidos del habla en forma escrita. La columna es opcional; puede dejar sus filas vacías. Esta columna está destinada a la ortografía fonética utilizando solo caracteres del Alfabeto Fonético Internacional (IPA). Consulte el conjunto de caracteres hindi para conocer los caracteres IPA permitidos para el idioma hindi. En nuestro ejemplo, no estamos usando IPA. Si tiene una entrada en esta columna, suSoundsLikela columna debe estar vacía.SoundsLike– Contiene palabras o frases desglosadas en partes más pequeñas (generalmente basadas en sílabas o palabras comunes) para proporcionar una pronunciación para cada parte en función de cómo suena esa parte. Esta columna es opcional; puede dejar las filas vacías. Solo agregue contenido a esta columna si su entrada incluye una palabra no estándar, como una marca, o para corregir una palabra que se transcribe incorrectamente. En nuestra transcripción, para corregir “सलार जंग (Salar Jung)” de la oración 4, use “सा-लार-जंग (Saa-lar-jung)” en esta columna. No use espacios en esta columna. Si tiene una entrada en esta columna, suIPAla columna debe estar vacía.DisplaysAs– Contiene palabras o frases con la ortografía que desea ver en la salida de transcripción para las palabras o frases en elPhrasecampo. Esta columna es opcional; puede dejar las filas vacías. Si no especifica este campo, Amazon Transcribe utiliza el contenido delPhrasecampo en el archivo de salida. Por ejemplo, en nuestra transcripción, para corregir “गोलकुंडा फोर (Golcunda Four)” de la oración 4, use “गोलकोंडा फोर्ट (Golconda Fort)” en esta columna.
- Subir el archivo de texto (
HindiCustomVocabulary.txt) a un depósito S3. Ahora creamos un vocabulario personalizado en Amazon Transcribe. - En la consola de Amazon Transcribe, elija Vocabulario personalizado en el panel de navegación.
- Nombre, ingresa un nombre.
- Idioma, escoger hindi, IN (hola-IN).
- Fuente de entrada de vocabulario, seleccione Ubicación S3.
- Ubicación del archivo de vocabulario en S3, ingrese la ruta S3 del
HindiCustomVocabulary.txtarchivo. - Elige Crea vocabulario.
- Transcribir el
SampleAudio.wavarchivo con el vocabulario personalizado, con los siguientes parámetros:- Nombre del trabajo , introduzca
SampleAudioCustomVocabulary. - Idioma, escoger hindi, IN (hola-IN).
- Ubicación del archivo de entrada en S3, busque la ubicación de
SampleAudio.wav. - Rol de IAM, seleccione Usar un rol de IAM existente y elija el rol que creó anteriormente.
- En Configurar trabajo sección, seleccionar Vocabulario personalizado y elige el vocabulario personalizado
HindiCustomVocabulary.
- Nombre del trabajo , introduzca
- Elige Crear trabajo.
Mida la precisión del modelo después de usar un vocabulario personalizado
Copie la transcripción de la página de detalles del trabajo de Amazon Transcribe a un archivo de texto llamado hypothesis-custom-vocabulary.txt:
Local : हेलो,
Agente : लावन्या बात कर ominal हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।।।।।।।
Local : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहok था। ¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿
Agente : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
Local : हाँ बढिय sigue थैंक यू अगले सैटatar
Agente : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के तसे
Local : सिरि यसली एनी टिप्स चिकन
Agente : आप टेक्सी यूस कर लो ड्रैब औecer
Local : ग्रेट आइडिया थैंक्यू सो मच।
Tenga en cuenta que las palabras resaltadas se transcriben como desee.
Ejecute el wer comando de nuevo con la nueva transcripción:
Obtiene el siguiente resultado:
Observaciones de la transcripción creada con vocabulario personalizado
El WER total es del 6.061 %, lo que significa que el 93.939 % de las palabras se transcriben con precisión.
Comparemos la salida wer para la oración 4 con y sin vocabulario personalizado. Lo siguiente es sin vocabulario personalizado:
Lo siguiente es con vocabulario personalizado:
No hay errores en la oración 4. Los nombres de los lugares se transcriben con precisión con la ayuda de un vocabulario personalizado, lo que reduce el WER general del 9.848 % al 6.061 % para este archivo de audio. Esto significa que la precisión de la transcripción mejoró en casi un 4%.
Cómo el vocabulario personalizado mejoró la precisión
Utilizamos el siguiente vocabulario personalizado:
Amazon Transcribe comprueba si hay alguna palabra en el archivo de audio que suene como las palabras mencionadas en el Phrase columna. Entonces el modelo usa las entradas en el IPA, SoundsLikey DisplaysAs columnas para que esas palabras específicas se transcriban con la ortografía deseada.
Con este vocabulario personalizado, cuando Amazon Transcribe identifica una palabra que suena como "गोलकुंडा-फोर (Golcunda-Four)", la transcribe como "गोलकोंडा फोर्ट (Golconda Fort)".
Recomendaciones
La precisión de la transcripción también depende de parámetros como la pronunciación de los hablantes, la superposición de los hablantes, la velocidad de conversación y el ruido de fondo. Por lo tanto, le recomendamos que siga el proceso con una variedad de llamadas (con diferentes clientes, agentes, interrupciones, etc.) que cubran las palabras específicas del dominio más utilizadas para que pueda crear un vocabulario personalizado completo.
En esta publicación, aprendimos el proceso para mejorar la precisión de la transcripción de una llamada de audio usando un vocabulario personalizado. Para procesar miles de grabaciones de llamadas de su centro de contacto todos los días, puede usar análisis posteriores a la llamada, una solución integral totalmente automatizada, escalable y rentable que se encarga de la mayor parte del trabajo pesado. Simplemente cargue sus archivos de audio en un depósito S3 y, en cuestión de minutos, la solución proporciona análisis de llamadas como sentimiento en una interfaz de usuario web. El análisis posterior a la llamada proporciona información procesable para detectar tendencias emergentes, identificar oportunidades de capacitación de agentes y evaluar el sentimiento general de las llamadas. El análisis posterior a la llamada es un solución de código abierto que puedes implementar usando Formación en la nube de AWS.
Tenga en cuenta que los vocabularios personalizados no utilizan el contexto en el que se pronunciaron las palabras, solo se centran en las palabras individuales que proporciona. Para mejorar aún más la precisión, puede utilizar modelos de idioma personalizados. A diferencia de los vocabularios personalizados, que asocian la pronunciación con la ortografía, los modelos de lenguaje personalizados aprenden el contexto asociado con una palabra determinada. Esto incluye cómo y cuándo se usa una palabra, y la relación que tiene una palabra con otras palabras. Para crear un modelo de idioma personalizado, puede usar las transcripciones derivadas del proceso que aprendimos para una variedad de llamadas y combinarlas con contenido de sus sitios web o manuales de usuario que contengan palabras y frases específicas del dominio.
Para lograr la mayor precisión de transcripción con transcripciones por lotes, puede usar vocabularios personalizados junto con sus modelos de lenguaje personalizados.
Conclusión
En esta publicación, brindamos pasos detallados para procesar con precisión los archivos de audio en hindi que contienen palabras en inglés utilizando análisis de llamadas y vocabularios personalizados en Amazon Transcribe. Puede usar estos mismos pasos para procesar llamadas de audio con cualquier Idioma compatible por Amazon Transcribe.
Después de obtener las transcripciones con la precisión deseada, puede mejorar sus conversaciones entre agentes y clientes capacitando a sus agentes. También puede comprender los sentimientos y las tendencias de sus clientes. Con la ayuda de las funciones de diarización del hablante, detección de volumen y filtrado de vocabulario en el análisis de llamadas, puede identificar si fue el agente o el cliente quien subió el tono o pronunció alguna palabra específica. Puede categorizar las llamadas en función de palabras específicas del dominio, capturar información procesable y ejecutar análisis para mejorar sus productos. Finalmente, puede traducir sus transcripciones al inglés u otros idiomas compatibles de su elección usando Traductor de Amazon.
Acerca de los autores
Sarat Guttikonda es arquitecto de soluciones sénior en el sector público mundial de AWS. Sarat disfruta ayudando a los clientes a automatizar, administrar y gobernar sus recursos en la nube sin sacrificar la agilidad comercial. En su tiempo libre, le encanta construir Legos con su hijo y jugar tenis de mesa.
Lavanya Sood es un arquitecto de soluciones en el sector público mundial de AWS con sede en Nueva Delhi, India. Lavanya disfruta aprendiendo nuevas tecnologías y ayudando a los clientes en su proceso de adopción de la nube. En su tiempo libre le encanta viajar y probar diferentes comidas.
- Avanzado (300)
- AI
- arte ai
- generador de arte ai
- robot ai
- Amazon Transcribe
- inteligencia artificial
- certificación de inteligencia artificial
- inteligencia artificial en banca
- robots de inteligencia artificial
- robots de inteligencia artificial
- software de inteligencia artificial
- Aprendizaje automático de AWS
- blockchain
- conferencia blockchain ai
- Coingenius
- inteligencia artificial conversacional
- criptoconferencia ai
- de dall
- deep learning
- google ai
- máquina de aprendizaje
- Platón
- platón ai
- Inteligencia de datos de Platón
- Juego de Platón
- PlatónDatos
- juego de platos
- escala ia
- sintaxis
- zephyrnet
