Las tendencias tecnológicas y los avances en los medios digitales en la última década han resultado en la proliferación de datos basados en texto. Los beneficios potenciales de extraer este texto para obtener conocimientos, tanto tácticos como estratégicos, son enormes. Esto se llama procesamiento del lenguaje natural (NLP). Puede usar NLP, por ejemplo, para analizar las reseñas de sus productos en busca de opiniones de los clientes, entrenar un modelo de reconocimiento de entidades personalizado para identificar los tipos de productos de interés en función de los comentarios de los clientes o entrenar un modelo de clasificación de texto personalizado para determinar las categorías de productos más populares.
Amazon Comprehend es un servicio de NLP con inteligencia preparada para extraer información sobre el contenido de los documentos. Desarrolla conocimientos mediante el reconocimiento de entidades, frases clave, idioma, sentimientos y otros elementos comunes en un documento. Amazon Comprehend Custom utiliza el aprendizaje automático automático (Auto ML) para crear modelos NLP en su nombre utilizando sus propios datos. Esto le permite detectar entidades exclusivas de su empresa o clasificar textos o documentos según sus requisitos. Además, puede automatizar todo su flujo de trabajo de NLP con API fáciles de usar.
Hoy nos complace anunciar el lanzamiento de la función de copia de modelos personalizados de Amazon Comprehend, que le permite copiar automáticamente sus modelos personalizados de Amazon Comprehend desde una cuenta de origen a cuentas de destino designadas en la misma región sin necesidad de acceder a los conjuntos de datos que el modelo fue entrenado y evaluado en. A partir de hoy, puede utilizar el Consola de administración de AWS, Interfaz de línea de comandos de AWS (AWS CLI) o el API de boto3 (SDK de Python para AWS) para copiar modelos personalizados entrenados desde una cuenta de origen a una cuenta de destino designada. Esta nueva función está disponible tanto para la clasificación personalizada de Amazon Comprehend como para los modelos de reconocimiento de entidades personalizados.
Beneficios de la función de copia de modelo
Esta nueva característica tiene los siguientes beneficios:
- Estrategia MLOps multicuenta – Entrene un modelo una vez y garantice una implementación predecible en múltiples entornos en diferentes cuentas.
- Despliegue más rápido – Puede copiar rápidamente un modelo entrenado entre cuentas, evitando el tiempo necesario para volver a entrenar en cada cuenta.
- Proteja los conjuntos de datos confidenciales – Ahora ya no necesita compartir los conjuntos de datos entre diferentes cuentas o usuarios. Los datos de entrenamiento deben estar disponibles solo en la cuenta donde se realiza el entrenamiento. Esto es muy importante para ciertas industrias como los servicios financieros, donde el aislamiento de datos y el sandboxing son esenciales para cumplir con los requisitos normativos.
- Colaboración sencilla – Los socios o proveedores ahora pueden capacitarse fácilmente en Amazon Comprehend Custom y compartir los modelos con sus clientes.
Cómo funciona la copia de modelo
Con la nueva función de copia de modelo, puede copiar modelos personalizados entre cuentas de AWS en la misma región en un proceso de dos etapas. Primero, un usuario en una cuenta de AWS (cuenta A), comparte un modelo personalizado que está en su cuenta. Luego, un usuario en otra cuenta de AWS (cuenta B) importa el modelo a su cuenta.
Comparte un modelo
Para compartir un modelo personalizado en la cuenta A, el usuario adjunta un Gestión de identidades y accesos de AWS (IAM) política basada en recursos a una versión modelo. Esta política autoriza a una entidad en la cuenta B, como un usuario o rol de IAM, a importar la versión del modelo en Amazon Comprehend en su cuenta de AWS. Puede configurar una política basada en recursos a través de la consola o con la configuración personalizada de Amazon Comprehend. PutResourcePolicy
API.
Importar un modelo
Para importar el modelo a la cuenta B, el usuario de esta cuenta proporciona a Amazon Comprehend los detalles necesarios, como el nombre de recurso de Amazon (ARN) del modelo. Cuando importa el modelo, este usuario crea un nuevo modelo personalizado en su cuenta de AWS que replica el modelo que importó. Este modelo está completamente capacitado y listo para trabajos de inferencia, como la clasificación de documentos o el reconocimiento de entidades nombradas. Si el modelo está encriptado con un Servicio de administración de claves de AWS (AWS KMS) en el origen, luego el rol de servicio especificado al importar el modelo debe tener acceso a la clave KMS para descifrar el modelo durante la importación. La cuenta de destino también puede especificar una clave KMS para cifrar el modelo durante la importación. La importación del modelo compartido también está disponible tanto en la consola como en una API.
Resumen de la solución
Para demostrar la funcionalidad de la función de copia del modelo, le mostramos cómo entrenar, compartir e importar un modelo de reconocimiento de entidades personalizado de Amazon Comprehend mediante la consola de Amazon Comprehend y la CLI de AWS. Para esta demostración, usamos dos cuentas diferentes. Los pasos también son aplicables a la clasificación personalizada de Amazon Comprehend. Los pasos requeridos son los siguientes:
- Entrene un modelo de reconocimiento de entidades personalizado de Amazon Comprehend en la cuenta de origen.
- Defina la política de recursos de IAM para el modelo entrenado para permitir el acceso entre cuentas.
- Copie el modelo entrenado de la cuenta de origen a la cuenta de destino.
- Pruebe el modelo copiado a través de un trabajo por lotes.
Entrene un modelo de reconocimiento de entidades personalizado de Amazon Comprehend en la cuenta de origen
El primer paso es entrenar un modelo de reconocimiento de entidades personalizado de Amazon Comprehend en la cuenta de origen. Como conjunto de datos de entrada para el entrenamiento, usamos un CSV lista de entidades y documentos de entrenamiento para reconocer las ofertas de servicios de AWS en un documento determinado. Asegúrese de que la lista de entidades y los documentos de capacitación estén en un Servicio de almacenamiento simple de Amazon (Amazon S3) depósito en la cuenta de origen. Para obtener instrucciones, consulte Adición de documentos a Amazon S3.
Crear un rol de IAM para Amazon Comprehend y proporcione el acceso requerido al depósito S3 con los datos de entrenamiento. Tenga en cuenta el ARN del rol y las rutas del depósito de S3 para usar en pasos posteriores.
Entrenar un modelo con la AWS CLI
Cree un reconocedor de entidades con el siguiente comando de la AWS CLI. Sustituya sus parámetros por las rutas de S3, el rol de IAM y la región. La respuesta devuelve el EntityRecognizerArn
.
El estado del trabajo de entrenamiento se puede monitorear llamando a describe-entity-recognizer y verificando el Estado en la respuesta.
Entrena un modelo a través de la consola
Para entrenar un modelo a través de la consola, complete los siguientes pasos:
- En la consola de Amazon Comprehend, en Personalización, cree un nuevo modelo de reconocedor de entidades personalizado.
- Proporcione un nombre de modelo y una versión.
- Idioma, escoger Inglés.
- Tipo de entidad personalizada, Añade
AWS_OFFERING
.
Para entrenar un modelo de reconocimiento de entidades personalizado, puede elegir una de las dos formas de proporcionar datos a Amazon Comprehend: anotaciones or listas de entidades. Para simplificar, utilice el método de lista de entidades.
- Formato de datos, seleccione archivo CSV.
- Tipo de entrenamiento, seleccione Usar la lista de entidades y los documentos de entrenamiento.
- Proporcione las rutas de ubicación de S3 para el CSV de la lista de entidades y los datos de entrenamiento.
- Para otorgar permisos a Amazon Comprehend para acceder a su depósito de S3, cree un rol vinculado al servicio de IAM.
En Política basada en recursos sección, puede autorizar el acceso para la versión del modelo. Las cuentas a las que otorgas acceso pueden importar este modelo a su cuenta. Omitimos este paso por ahora y agregamos la política después de que el modelo esté capacitado y estemos satisfechos con el rendimiento del modelo.
- Elige Crear.
Esto envía su reconocedor de entidades personalizadas, que pasa por varios modelos, ajusta sus hiperparámetros y verifica la validación cruzada para asegurarse de que su modelo sea sólido. Todas estas son las mismas actividades que realizan los científicos de datos.
Defina la política de recursos de IAM para el modelo entrenado para permitir el acceso entre cuentas
Cuando estamos satisfechos con el rendimiento de la capacitación, podemos continuar y compartir la versión específica del modelo agregando una política de recursos.
Agregue una política basada en recursos desde la AWS CLI
Autorice la importación del modelo desde la cuenta de destino agregando una política de recursos en el modelo, como se muestra en el siguiente código. La política puede tener un ámbito estricto para una versión de modelo particular y una entidad principal de destino. Sustituya el ARN del reconocedor de la entidad entrenada y la cuenta de destino para proporcionar acceso.
Agregar una política basada en recursos a través de la consola
Cuando se completa el entrenamiento, se genera una versión de modelo de reconocimiento de entidad personalizada. Podemos elegir el modelo y la versión entrenados para ver los detalles del entrenamiento, incluido el rendimiento del modelo entrenado.
Para actualizar la política, complete los siguientes pasos:
- En Etiquetas, VPC y política pestaña, edite la política basada en recursos.
- Proporcione el nombre de la política, principal del servicio de Amazon Comprehend (
comprehend.amazonaws.com
), el ID de la cuenta de destino y los usuarios de IAM en la cuenta de destino autorizados para importar la versión del modelo.
Especificamos root
como entidad de IAM para autorizar a todos los usuarios en la cuenta de destino.
- Tome nota del ARN del recurso del modelo, que usaremos más adelante durante el proceso de importación.
Copie el modelo entrenado de la cuenta de origen a la cuenta de destino
Ahora el modelo está entrenado y compartido desde la cuenta de origen. El usuario autorizado de la cuenta de destino puede importar el modelo y crear una copia del modelo en su propia cuenta.
Para importar un modelo, debe especificar el ARN del modelo de origen y la función de servicio para que Amazon Comprehend realice la acción de copia en su cuenta. Puede especificar un ID de AWS KMS opcional para cifrar el modelo en su cuenta de destino.
Importe el modelo a través de AWS CLI
Para importar su modelo con la CLI de AWS, ingrese el siguiente código:
Importar el modelo a través de la consola
Para importar el modelo a través de la consola, complete los siguientes pasos:
- En la consola de Amazon Comprehend, en Reconocimiento de entidades personalizadas, escoger Importar versión.
- ARN de la versión del modelo, ingrese el ARN para el modelo entrenado en la cuenta de origen.
- Introduzca un nombre de modelo y una versión para el objetivo.
- Proporcione un rol de cuenta de servicio y elija Confirmar para iniciar el proceso de importación del modelo.
Después de que el estado del modelo cambie a Imported
, podemos ver los detalles del modelo, incluidos los detalles de rendimiento del modelo entrenado.
Pruebe el modelo copiado a través de un trabajo por lotes
Probamos el modelo copiado en la cuenta de destino mediante la detección de entidades personalizadas con un trabajo por lotes. Para probar el modelo, descargue el archivo de prueba y colóquelo en un cubo S3 en su cuenta de destino. Crear un rol de IAM para Amazon Comprehend y proporcione el acceso necesario al depósito S3 con los datos de prueba. Utilice el ARN de rol y las rutas de depósito de S3 que anotó anteriormente.
Cuando se completa el trabajo, puede verificar los datos de inferencia en el depósito de S3 de salida especificado.
Pruebe el modelo con la AWS CLI
Para probar el modelo utilizando la CLI de AWS, ingrese el siguiente código:
Pruebe el modelo a través de la consola
Para probar el modelo a través de la consola, complete los siguientes pasos:
- En la consola de Amazon Comprehend, elija Trabajos de análisis y elige Crear trabajo.
- Nombre, introduzca un nombre para el trabajo.
- Tipo de análisisescoger Reconocimiento de entidades personalizadas.
- Elija el nombre del modelo y la versión del modelo importado.
- Proporcione las rutas de S3 para el archivo de prueba del trabajo y la ubicación de salida donde Amazon Comprehend almacena el resultado.
- Elija o cree un rol de IAM con permiso para acceder a los depósitos de S3.
- Elige Crear trabajo.
Cuando finaliza su trabajo de análisis, tiene archivos JSON en la ruta del depósito de S3 de salida, que puede descargar para verificar los resultados del reconocimiento de entidades del modelo importado.
Conclusión
En esta publicación, demostramos la función de copia del modelo de entidad personalizada de Amazon Comprehend. Esta característica le brinda la capacidad de entrenar un modelo de clasificación o reconocimiento de entidades personalizado de Amazon Comprehend en una cuenta y luego compartir el modelo con otra cuenta en la misma región. Esto simplifica la estrategia de múltiples cuentas en la que el modelo se puede entrenar una vez y compartir entre cuentas dentro de la misma región sin tener que volver a entrenar o compartir los conjuntos de datos de entrenamiento. Esto permite una implementación predecible en cada cuenta como parte de su flujo de trabajo de MLOps. Para obtener más información, consulte nuestra documentación sobre Comprender copia personalizada, o pruebe el tutorial en esta publicación a través de la consola o usando un shell en la nube con la CLI de AWS.
Al momento de escribir este artículo, la función de copia de modelo en Amazon Comprehend está disponible en las siguientes regiones:
- Este de los Estados Unidos (Ohio)
- Este de los Estados Unidos (Virginia del Norte)
- Oeste de EE. UU. (Oregón)
- Asia Pacífico (Mumbai)
- Asia Pacífico (Seúl)
- Asia Pacífico (Singapur)
- Asia Pacífico (Sydney)
- Asia Pacífico (Tokio)
- UE (Frankfurt)
- UE (Irlanda)
- UE (Londres)
- AWS GovCloud (EE.UU.-Oeste)
Pruebe la función y envíenos sus comentarios a través de la Foro de AWS para Amazon Comprehend oa través de sus contactos habituales de soporte de AWS.
Acerca de los autores
Premkumar Rangarajan es un arquitecto de soluciones especializado en IA/ML en Amazon Web Services y anteriormente fue autor del libro Procesamiento del lenguaje natural con los servicios de IA de AWS. Tiene 26 años de experiencia en la industria de TI en una variedad de funciones, que incluyen líder de entrega, especialista en integración y arquitecto empresarial. Ayuda a empresas de todos los tamaños a adoptar AI y ML para resolver sus desafíos del mundo real.
Chethan Krishna es Senior Partner Solutions Architect en India. Trabaja con socios estratégicos de AWS para establecer una sólida competencia en la nube, adoptar las mejores prácticas de AWS y resolver los desafíos de los clientes. Es constructor y le gusta experimentar con IA/ML, IoT y análisis.
Sriharsha MS es un arquitecto de soluciones especialista en IA / ML en el equipo de especialistas estratégicos de Amazon Web Services. Trabaja con clientes estratégicos de AWS que aprovechan AI / ML para resolver problemas comerciales complejos. Proporciona orientación técnica y asesoramiento de diseño para implementar aplicaciones de IA / ML a escala. Su experiencia abarca arquitectura de aplicaciones, bigdata, análisis y aprendizaje automático.
- Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
- CriptoHawk. Radar de altcoins. Prueba gratis.
- Fuente: https://aws.amazon.com/blogs/machine-learning/anounce-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Nuestra Empresa
- de la máquina
- Mi Cuenta
- la columna Acción
- actividades
- avances
- Ventaja
- consejos
- AI
- Servicios de IA
- Todos
- Amazon
- Amazon Web Services
- análisis
- Analytics
- Anunciar
- Anunciando
- Otra
- abejas
- API
- aplicable
- Aplicación
- aplicaciones
- arquitectura
- auto
- Hoy Disponibles
- AWS
- beneficios
- MEJOR
- y las mejores prácticas
- frontera
- build
- constructor
- retos
- comprobación
- Cheques
- clasificación
- Soluciones
- código
- comentarios
- Algunos
- integraciones
- Consola
- contenido
- Clientes
- datos
- década
- entrega
- despliegue
- Diseño
- una experiencia diferente
- digital
- documentos
- pasan fácilmente
- efecto
- enorme
- Empresa
- esencial
- ejemplo
- experience
- Experiencia
- Feature
- realimentación
- financiero
- servicios financieros
- Nombre
- siguiendo
- a la fatiga
- Ahorrar
- es
- ayuda
- Cómo
- Como Hacer
- HTTPS
- Identifique
- Identidad
- implementar
- importante
- importador
- Incluye
- India
- industrias
- energético
- información
- Insights
- integración
- Intelligence
- intereses
- IOT
- Irlanda
- solo
- IT
- Trabajos
- Empleo
- Clave
- idioma
- lanzamiento
- Lead
- aprendizaje
- línea
- Lista
- Ubicación
- Londres
- máquina
- máquina de aprendizaje
- Management
- Medios
- Minería
- ML
- modelo
- modelos
- MEJOR DE TU
- Más popular
- Mumbai
- Natural
- Lista de ofrendas
- Ohio
- solicite
- Oregón
- Otro
- Costa
- Socio
- socios
- actuación
- frases
- política
- Popular
- Director de la escuela
- problemas
- Producto
- proporcionar
- proporciona un
- con rapidez
- regulador
- Requisitos
- Requisitos
- Recurso
- respuesta
- Resultados
- devoluciones
- Reseñas
- Escala
- los científicos
- Sdk
- Seúl
- de coches
- Servicios
- Compartir
- compartido
- Acciones
- Cáscara
- sencillos
- Singapur
- So
- Soluciones
- RESOLVER
- comienzo
- Posicionamiento
- Estado
- STORAGE
- tiendas
- Estratégico
- Estrategia
- SOPORTE
- Sydney
- Target
- equipo
- Técnico
- test
- La Fuente
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- hoy
- Tokio
- Formación
- Tendencias
- único
- Actualizar
- us
- utilizan el
- usuarios
- vendedores
- Ver
- Virginia
- web
- servicios web
- West
- QUIENES
- dentro de
- sin
- funciona
- la escritura
- años