AWS ofrece un amplio conjunto de servicios de inteligencia artificial (IA) y aprendizaje automático (ML), incluido un conjunto de servicios pre-entrenados, listos para usar para desarrolladores sin experiencia previa en ML. En esta publicación, demostramos cómo usar dichos servicios para crear una aplicación que fomente la inclusión de personas con discapacidad visual o de comunicación, lo que incluye dificultades para ver, leer, oír, hablar o tener una conversación en un idioma extranjero. Con servicios como Amazon Transcribe, Amazon Polly, Traductor de Amazon, Reconocimiento de amazonas y Amazon Textil, puede agregar funciones a sus proyectos, como transcripción en vivo, texto a voz, traducción, detección de objetos y extracción de texto de imágenes.
Según la Organización Mundial de la Salud, más de mil millones de personas, alrededor del 1% de la población mundial, viven con algún tipo de discapacidad, y es probable que este número aumente debido al envejecimiento de la población y al aumento de la prevalencia de algunas enfermedades crónicas. Para las personas con problemas del habla, auditivos o visuales, las tareas cotidianas, como escuchar un discurso o un programa de televisión, expresar un sentimiento o una necesidad, mirar a su alrededor o leer un libro, pueden parecer desafíos imposibles. Un amplio cuerpo de investigación destaca la importancia de las tecnologías de asistencia para la inclusión de las personas con discapacidad en la sociedad. De acuerdo a investigación del Servicio de Investigación del Parlamento Europeo, las tecnologías convencionales, como los teléfonos inteligentes, brindan cada vez más capacidades adecuadas para abordar las necesidades de las personas con discapacidad. Además, cuando diseña para personas con discapacidades, tiende a crear funciones que mejoran la experiencia para todos; esto se conoce como el efecto de corte de acera.
Esta publicación demuestra cómo puede usar el AWS SDK para JavaScript para integrar capacidades proporcionadas por los servicios de IA de AWS en sus propias soluciones. Para hacerlo, una aplicación web de muestra muestra cómo usar Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition y Amazon Textract para implementar fácilmente funciones de accesibilidad. El código fuente de esta aplicación, AWS AugmentAbility, está disponible en GitHub para utilizar como punto de partida para sus propios proyectos.
Resumen de la solución
Capacidad de aumento de AWS funciona con cinco servicios de IA de AWS: Amazon Transcribe, Amazon Translate, Amazon Polly, Amazon Rekognition y Amazon Textract. también usa Cognito Amazonas grupos de usuarios y grupos de identidad para gestionar la autenticación y autorización de los usuarios.
Después de implementar la aplicación web, podrá acceder a las siguientes funciones:
- Transcripción en vivo y texto a voz – La aplicación transcribe conversaciones y discursos en tiempo real utilizando Amazon Transcribe, un servicio de reconocimiento de voz automático. Escriba lo que quiera decir y la aplicación lo dirá por usted mediante las capacidades de texto a voz de Amazon Polly. Esta función también se integra con Amazon Transcribe identificación automática de idioma para transcripciones de transmisión—con un mínimo de 3 segundos de audio, el servicio puede detectar automáticamente el idioma dominante y generar una transcripción sin que tengas que especificar el idioma hablado.
- Transcripción en vivo y texto a voz con traducción – La aplicación transcribe y traduce conversaciones y discursos para ti, en tiempo real. Escribe lo que quieres decir y la aplicación lo traduce y lo dice por ti. La traducción está disponible en los más de 75 idiomas actualmente admitidos por Amazon Translate.
- Traducción de conversaciones en tiempo real – Seleccione un idioma de destino, hable en su idioma y la aplicación traducirá lo que dijo en su idioma de destino al combinar las capacidades de Amazon Transcribe, Amazon Translate y Amazon Polly.
- Detección de objetos – Tome una fotografía con su teléfono inteligente y la aplicación describirá los objetos que lo rodean mediante las funciones de detección de etiquetas de Amazon Rekognition.
- Reconocimiento de texto para etiquetas, letreros y documentos – Haz una foto con tu smartphone de cualquier etiqueta, rótulo o documento, y la app te la lee en voz alta. Esta función cuenta con la tecnología de las capacidades de extracción de texto de Amazon Rekognition y Amazon Textract. AugmentAbility también puede traducir el texto a más de 75 idiomas o hacerlo más legible para los usuarios con dislexia mediante el uso de la fuente OpenDyslexic.
Las funciones de transcripción en vivo, texto a voz y traducción de conversaciones en tiempo real están actualmente disponibles en chino, inglés, francés, alemán, italiano, japonés, coreano, portugués brasileño y español. Las funciones de reconocimiento de texto están actualmente disponibles en árabe, inglés, francés, alemán, italiano, portugués, ruso y español. Una lista actualizada de los idiomas admitidos por cada característica está disponible en el Repositorio de GitHub de AugmentAbility.
Puede crear e implementar AugmentAbility localmente en su computadora o en su cuenta de AWS usando Alojamiento de AWS Amplify, un servicio de alojamiento web estático y CI/CD completamente administrado para aplicaciones renderizadas del lado del servidor y estáticas rápidas, seguras y confiables.
El siguiente diagrama ilustra la arquitectura de la aplicación, suponiendo que se implementa en la nube mediante AWS Amplify Hosting.
El flujo de trabajo de la solución incluye los siguientes pasos:
- Se utiliza un navegador móvil para acceder a la aplicación web: una aplicación HTML, CSS y JavaScript alojada por AWS Amplify Hosting. La aplicación se ha implementado utilizando el SDK para JavaScript y el Biblioteca JavaScript de AWS Amplify.
- El usuario inicia sesión ingresando un nombre de usuario y una contraseña. La autenticación se realiza en el grupo de usuarios de Amazon Cognito. Después de iniciar sesión correctamente, el grupo de identidades de Amazon Cognito se utiliza para proporcionar al usuario las credenciales temporales de AWS necesarias para acceder a las funciones de la aplicación.
- Mientras el usuario explora las diferentes funciones de la aplicación, el navegador móvil interactúa con Amazon Transcribe (StartStreamTranscriptionWebSocket operación), Amazon Translate (Traducir texto operación), Amazon Polly (sintetizar el habla operación), Amazon Rekognition (Detectar etiquetas y Detectar texto operaciones) y Amazon Texttract (DetectarDocumentoTexto operación).
Los servicios de AWS se han integrado en la aplicación web móvil mediante el SDK para JavaScript. En términos generales, el SDK para JavaScript brinda acceso a los servicios de AWS en scripts de navegador o Node.js; para este proyecto de muestra, el SDK se usa en las secuencias de comandos del navegador. Para obtener información adicional sobre cómo acceder a los servicios de AWS desde un script de navegador, consulte Primeros pasos en un script de navegador. El SDK para JavaScript se proporciona como un archivo JavaScript compatible con un conjunto predeterminado de servicios de AWS. Este archivo normalmente se carga en las secuencias de comandos del navegador mediante un <script>
etiqueta que hace referencia al paquete SDK alojado. Se creó un SDK de navegador personalizado con un conjunto específico de servicios (para obtener instrucciones, consulte Creación del SDK para el navegador).
Cada servicio se integró en la aplicación web móvil siguiendo las pautas y ejemplos de código disponibles en el Guía para desarrolladores de AWS SDK para JavaScript. La implementación de funciones de transcripción en vivo requirió algunos pasos adicionales porque WebSocket de transmisión de Amazon Transcribe requiere que los desarrolladores codifiquen el audio con codificación de flujo de eventos y usen el Proceso de firma de Signature Version 4 para agregar información de autenticación a las solicitudes de API de AWS enviadas por HTTP. Para obtener más información sobre este enfoque, consulte Transcripción de voz a texto en tiempo real mediante Amazon Transcribe con WebSocket.
La página web de inicio de sesión de usuario se ha implementado utilizando autenticación características de la biblioteca JavaScript de AWS Amplify. Para obtener más detalles sobre el flujo de autenticación y autorización, consulte Acceder a los servicios de AWS mediante un grupo de identidades después de iniciar sesión.
El siguiente tutorial muestra cómo implementar AugmentAbility mediante AWS Amplify Hosting; incluye los siguientes pasos:
- Cree el grupo de usuarios y el grupo de identidades de Amazon Cognito, y otorgue permisos para acceder a los servicios de IA de AWS.
- Clone el repositorio de GitHub y edite el archivo de configuración.
- Implemente la aplicación web móvil en el AWS amplificar consola.
- Utilice la aplicación web móvil.
Cree el grupo de usuarios y el grupo de identidades de Amazon Cognito, y conceda permisos para acceder a los servicios de IA de AWS
El primer paso requerido para implementar la aplicación consiste en creación de un grupo de usuarios de Amazon Cognito con el Interfaz de usuario alojada habilitada, creación de un grupo de identidades de Amazon Cognito, integrando las dos piscinas, y finalmente concesión de permisos para acceder a los servicios de AWS a la Gestión de identidades y accesos de AWS (IAM) asociado con el grupo de identidades. Puede completar este paso trabajando manualmente en cada tarea o implementando un Formación en la nube de AWS plantilla.
La plantilla de CloudFormation aprovisiona y configura automáticamente los recursos necesarios, incluidos los grupos de Amazon Cognito, los roles de IAM y las políticas de IAM.
- Inicia sesión en el Consola de administración de AWS e inicie la plantilla de CloudFormation eligiendo Pila de lanzamiento:
La plantilla se inicia en la región de AWS UE Oeste (Irlanda) de forma predeterminada. Para iniciar la solución en una región diferente, use el selector de región en la barra de navegación de la consola. Asegúrese de seleccionar una región en la que estén disponibles los servicios de AWS incluidos (Amazon Cognito, AWS Amplify, Amazon Transcribe, Amazon Polly, Amazon Translate, Amazon Rekognition y Amazon Textract) (us-east-2
,us-east-1
,us-west-1
,us-west-2
,ap-south-1
,ap-northeast-2
,ap-southeast-1
,ap-southeast-2
,ca-central-1
,eu-central-1
,eu-west-1
,eu-west-2
). - Elige Siguiente.
- Región, ingrese el identificador de la Región que desea usar (entre los admitidos).
- Usuario, ingrese el nombre de usuario que desea usar para acceder a la aplicación.
- Correo electrónico, ingrese la dirección de correo electrónico a la que debe enviarse la contraseña temporal para su primer inicio de sesión.
- Elige Siguiente.
- En Configurar opciones de pila página, elige Siguiente.
- En Revisar página, revisar y confirmar la configuración.
- Seleccione la casilla de verificación reconociendo que la plantilla creará recursos de IAM y puede requerir una capacidad de AWS CloudFormation.
- Elige Crear pila para desplegar la pila.
Puede ver el estado de la pila en la consola de AWS CloudFormation en el Estado columna. Deberías recibir un CREATE_COMPLETE
estado en un par de minutos.
Como parte de la implementación de la plantilla, se otorgan los siguientes permisos al rol de IAM que asume el usuario autenticado:
transcribe:StartStreamTranscriptionWebSocket
translate:TranslateText
comprehend:DetectDominantLanguage
polly:SynthesizeSpeech
rekognition:DetectText
rekognition:DetectLabels
textract:DetectDocumentText
Aunque Amazon Comprehend no se usa explícitamente en esta aplicación web, se otorgan permisos para la acción comprender:DetectarIdiomaDominante. Amazon Translate puede invocar automáticamente a Amazon Comprehend para determinar el idioma del texto que se traducirá si no se especifica un código de idioma.
Clona el repositorio de GitHub y edita el archivo de configuración
Ahora que se configuró el acceso a los servicios de IA de AWS, está listo para clonar el repositorio de GitHub y editar el archivo de configuración.
- En Repositorio de GitHub de AWS AugmentAbility, escoger Código y Descargar ZIP.
Se le pedirá que elija una ubicación en su computadora donde se debe descargar el archivo ZIP, o se guardará automáticamente en suDownloads
carpeta. - Después de descargar el archivo, descomprímalo y elimine el archivo ZIP.
Deberías haber obtenido una carpeta llamadaaws-augmentability-main
con algunos archivos y subcarpetas en él. - Crea un archivo llamado
config.js
con cualquier editor de texto, e ingrese el siguiente contenido en él: - En
config.js
archivo que creó, reemplace los cuatroINSERT_
cadenas con el ID del grupo de identidades de Amazon Cognito, el identificador de la región que elija, el ID del grupo de usuarios de Amazon Cognito y el ID del cliente del grupo de usuarios.
Puede recuperar dichos valores abriendo la consola de AWS CloudFormation, eligiendo la pila denominadaaugmentability-stack
, y eligiendo el Salidas .
- Guarde el archivo config.js en el
aws-augmentability-main
y comprima la carpeta para obtener una nuevaaws-augmentability-main.zip
archivo.
Implemente la aplicación web móvil en la consola de Amplify
Ahora que ha descargado y editado los archivos del proyecto AugmentAbility, está listo para crear e implementar la aplicación web móvil mediante la consola de Amplify.
- En Comience con Amplify Hosting página, elige Implementar sin el proveedor de Git.
- Elige Continúar.
- En Iniciar una implementación manual sección, para Nombre de la aplicación, ingrese el nombre de su aplicación.
- Nombre del entorno, introduzca un nombre significativo para el entorno, como
development
orproduction
. - Método, escoger Arrastrar y soltar.
- O arrastre y suelte el
aws-augmentability-main.zip
archivo de su computadora en la zona de colocación o use Seleccionar archivos Para seleccionar elaws-augmentability-main.zip
archivo de su computadora. - Elige Guardar y desplegary espera el mensaje Implementación completada con éxito.
Usar la aplicación web móvil
La aplicación web móvil ahora debería estar implementada. Antes de acceder a la aplicación por primera vez, debe establecer una nueva contraseña para el usuario que se creó automáticamente durante el Paso 1. Puede encontrar el enlace a la pantalla de inicio de sesión temporal en la Salidas pestaña para la pila de CloudFormation (campo UserPoolLoginUrl
). Para este primer inicio de sesión, utiliza el nombre de usuario que configuró y la contraseña temporal que recibió por correo electrónico.
Después de establecer su nueva contraseña, está listo para probar la aplicación web móvil.
En General sección de la consola de Amplify, debería poder encontrar un enlace a la aplicación debajo de la URL de la sucursal de producción etiqueta. Ábralo o envíelo a su teléfono inteligente, luego inicie sesión con sus nuevas credenciales y comience a jugar con AugmentAbility.
Próximos pasos
Si desea realizar cambios en la aplicación web móvil, puede trabajar en los archivos clonados del repositorio, compilar localmente la aplicación web móvil (como se explica en la Archivo README), y luego vuelva a implementar la aplicación cargando el archivo ZIP actualizado a través de la consola de Amplify. Como alternativa, puede crear un GitHub, Bitbucket, GitLab o Compromiso de código de AWS repositorio para almacenar los archivos de su proyecto y conéctelo a Amplify para beneficiarse de las compilaciones automáticas en cada confirmación de código. Para obtener más información sobre este enfoque, consulte Primeros pasos con el código existente. Si sigue este tutorial, asegúrese de reemplazar el comando npm run build
npm run-script build
en el Paso 2a.
Para crear usuarios adicionales en la consola de Amazon Cognito, consulte Creación de un nuevo usuario en la Consola de administración de AWS. En caso de que necesite recuperar la contraseña de un usuario, debe usar la pantalla de inicio de sesión temporal que utilizó para cambiar la contraseña temporal. Puedes encontrar el enlace en el Salidas pestaña de la pila de CloudFormation (campo UserPoolLoginUrl
).
Limpiar
Cuando haya terminado con sus pruebas, para evitar incurrir en cargos futuros, elimine los recursos creados durante este tutorial.
- En la consola de AWS CloudFormation, elija Stacks en el panel de navegación.
- Elige la pila
augmentability-stack
. - Elige Borrar y confirme la eliminación cuando se le solicite.
- En la consola de Amplify, seleccione la aplicación que creó.
- En Acciones menú, seleccione Eliminar aplicación y confirme la eliminación cuando se le solicite.
Conclusión
En esta publicación, le mostré cómo implementar una muestra de código que utiliza los servicios de IA y ML de AWS para poner características como la transcripción en vivo, texto a voz, detección de objetos o reconocimiento de texto en manos de todos. Saber cómo construir aplicaciones que puedan ser utilizadas por personas con una amplia gama de capacidades y discapacidades es clave para crear productos más inclusivos y accesibles.
Para comenzar con AugmentAbility, clone o bifurque el Repositorio GitHub y comience a experimentar con la aplicación web móvil. Si desea experimentar con AugmentAbility antes de implementar recursos en su cuenta de AWS, puede consultar el demo en vivo (cartas credenciales: demo-user
, Demo-password-1
).
Sobre la autora
luca guida es arquitecto de soluciones en AWS; tiene su sede en Milán y apoya a los ISV italianos en su viaje a la nube. Con una formación académica en informática e ingeniería, comenzó a desarrollar su pasión por la IA/ML en la universidad; como miembro de la comunidad de procesamiento de lenguaje natural (NLP) dentro de AWS, Luca ayuda a los clientes a tener éxito al adoptar servicios de IA/ML.
- Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
- CriptoHawk. Radar de altcoins. Prueba gratis.
- Fuente: https://aws.amazon.com/blogs/machine-learning/use-aws-ai-and-ml-services-to-foster-accessibility-and-inclusion-of-people-with-a-visual- o-deterioro-de-la-comunicación/
- "
- 100
- a
- Nuestra Empresa
- de la máquina
- accesibilidad
- accesible
- el acceso
- Conforme
- Mi Cuenta
- la columna Acción
- adición
- Adicionales
- dirección
- direccionamiento
- en contra
- AI
- Servicios de IA
- alternativa
- Amazon
- entre
- abejas
- applicación
- Aplicación
- aplicaciones
- enfoque
- aplicaciones
- arquitectura
- en torno a
- artificial
- inteligencia artificial
- Inteligencia Artificial (AI)
- asociado
- audio
- autenticado
- Autenticación
- autorización
- Automático
- automáticamente
- Hoy Disponibles
- AWS
- fondo
- porque
- antes
- es el beneficio
- mil millones
- cuerpo
- frontera
- Box
- cada navegador
- build
- construye
- capacidades
- retos
- cargos
- chino
- manera?
- Elige
- Soluciones
- código
- Columna
- hacer
- Comunicación
- vibrante e inclusiva
- completar
- computadora
- Ciencias de la Computación
- Configuración
- Contacto
- Consola
- contenido
- Conversación
- conversaciones
- Parejas
- Para crear
- creado
- Creamos
- Referencias
- En la actualidad
- personalizado
- Clientes
- demostrar
- desplegar
- desplegado
- Desplegando
- despliegue
- Diseño
- detalles
- Detección
- Determinar
- Developer
- desarrolladores
- el desarrollo
- una experiencia diferente
- enfermedad
- documentos
- dominio
- descargar
- Soltar
- durante
- pasan fácilmente
- editor
- Ingeniería
- Inglés
- Participar
- Entorno
- EU
- Europea
- Evento
- diario
- todos
- existente
- experience
- experimento
- RÁPIDO
- Feature
- Caracteristicas
- Finalmente
- Nombre
- primer vez
- de tus señales
- seguir
- siguiendo
- extranjero
- tenedor
- formulario
- Francés
- Desde
- futuras
- en general
- generar
- Git
- GitHub
- Buscar
- concedido
- Crecer
- orientaciones
- es
- Salud
- ayuda
- destacados
- organizado
- hosting
- Cómo
- Como Hacer
- HTTPS
- Identificación
- Identidad
- imágenes
- implementar
- implementación
- implementado
- importancia
- imposible
- mejorar
- incluye
- Incluye
- inclusión
- aumente
- información
- integrar
- COMPLETAMENTE
- Intelligence
- Irlanda
- IT
- Japonés
- JavaScript
- Clave
- conocido
- Coreano
- Label
- Etiquetas
- idioma
- Idiomas
- lanzamiento
- pone en marcha
- APRENDE:
- aprendizaje
- Biblioteca
- que otros
- LINK
- Lista
- Escucha Activa
- para vivir
- localmente
- Ubicación
- mirando
- máquina
- máquina de aprendizaje
- Corriente principal
- para lograr
- gestionado
- Management
- administrar
- manual
- a mano
- significativo
- miembro
- mínimo
- ML
- Móvil
- más,
- Natural
- Navegación
- necesario
- número
- obtenido
- Ofertas
- habiertos
- apertura
- Inteligente
- Operaciones
- EL DESARROLLADOR
- paquete
- parte
- pasión
- Contraseña
- (PDF)
- Personas
- imagen
- jugando
- punto
- políticas
- alberca
- Albercas
- población
- Portugués
- alimentado
- tratamiento
- Productos
- Programa
- proyecto
- proyecta
- proporcionar
- previsto
- proporciona un
- distancia
- Reading
- en tiempo real
- recepción
- recibido
- Recuperar
- región
- confianza
- repositorio
- solicitudes
- exigir
- Requisitos
- requiere
- la investigación
- Recursos
- una estrategia SEO para aparecer en las búsquedas de Google.
- Función
- Ejecutar
- Said
- Ciencia:
- Pantalla
- Sdk
- segundos
- seguro
- de coches
- Servicios
- set
- Demostramos a usted
- firmar
- Letreros y Pancartas
- teléfono inteligente
- teléfonos inteligentes
- Sociedades
- sólido
- a medida
- Soluciones
- algo
- código fuente
- Español
- De una Charla a tu equipo
- hablar
- montón
- comienzo
- fundó
- Estado
- tienda
- stream
- en streaming
- exitosos
- Con éxito
- Soportado
- Apoyar
- soportes
- Target
- tareas
- Tecnologías
- temporal
- test
- pruebas
- La
- La Fuente
- el mundo
- equipo
- Expediente académico
- Traducción
- tv
- típicamente
- ui
- bajo
- universidad
- utilizan el
- usuarios
- versión
- Ver
- esperar
- web
- West
- ¿
- mientras
- QUIENES
- dentro de
- sin
- Actividades:
- trabajando
- mundo
- tú