En esta publicación, le mostramos cómo implementar uno de los modelos preentrenados Hugging Face más descargados que se utiliza para resumir texto, DestilarBART-CNN-12-6, dentro de un cuaderno Jupyter utilizando Amazon SageMaker y del Kit de herramientas de inferencia de cara abrazada de SageMaker. Según los pasos que se muestran en esta publicación, puede intentar resumir el texto del WikiTexto-2 datos administrado por fast.ai, disponible en el Registro de datos abiertos en AWS.
Los volúmenes de datos globales están creciendo a escala de zettabytes a medida que las empresas y los consumidores amplían su uso de productos digitales y servicios en línea. Para comprender mejor estos datos crecientes, las técnicas de procesamiento de lenguaje natural (NLP) de aprendizaje automático (ML) para el análisis de texto han evolucionado para abordar casos de uso que involucran resumen de texto, reconocimiento de entidades, clasificación, traducción y más. AWS ofrece capacitación previa Servicios de AI de AWS que se pueden integrar en aplicaciones mediante llamadas API y no requieren experiencia en ML. Por ejemplo, Amazon Comprehend puede realizar tareas de NLP, como el reconocimiento de entidades personalizadas, el análisis de sentimientos, la extracción de frases clave, el modelado de temas y más para recopilar información del texto. Puede realizar análisis de texto en una amplia variedad de idiomas por sus diversas características.
El resumen de texto es una técnica útil para comprender grandes cantidades de datos de texto porque crea un subconjunto de información contextualmente significativa a partir de documentos de origen. Puede aplicar esta técnica de NLP a artículos y documentos de texto de formato más largo, lo que permite un consumo más rápido y una indexación de documentos más efectiva, por ejemplo, para resumir notas de llamadas de reuniones.
Abrazando la cara es una popular biblioteca de código abierto para NLP, con más de 49,000 185 modelos preentrenados en más de XNUMX idiomas con soporte para diferentes marcos. AWS y Hugging Face tienen un asociación que permite una integración perfecta a través de SageMaker con un conjunto de contenedores de aprendizaje profundo (DLC) de AWS para entrenamiento e inferencia en PyTorch o TensorFlow, y estimadores y predictores Hugging Face para SageMaker Python SDK. Estas capacidades en SageMaker ayudan a los desarrolladores y científicos de datos a comenzar con NLP en AWS más fácilmente. El procesamiento de textos con transformadores en marcos de aprendizaje profundo como PyTorch suele ser una tarea compleja y que requiere mucho tiempo para los científicos de datos, lo que a menudo genera frustración y falta de eficiencia al desarrollar proyectos de NLP. El surgimiento de comunidades de IA como Hugging Face, combinado con el poder de los servicios de ML en la nube como SageMaker, aceleran y simplifican el desarrollo de estas tareas de procesamiento de texto. SageMaker lo ayuda a crear, entrenar, implementar y poner en funcionamiento modelos Hugging Face.
Resumen de resumen de texto
Puede aplicar resúmenes de texto para identificar oraciones clave dentro de un documento o identificar oraciones clave en varios documentos. El resumen de texto puede producir dos tipos de resúmenes: extractivo y abstractivo. Los resúmenes extractivos no contienen ningún texto generado por máquina y son una colección de oraciones importantes seleccionadas del documento de entrada. Los resúmenes abstractivos contienen nuevas frases y oraciones legibles por humanos generadas por el modelo de resumen de texto. La mayoría de los sistemas de resumen de texto se basan en el resumen extractivo porque es difícil lograr un resumen de texto abstracto preciso.
Hugging Face tiene más de 400 usuarios de última generación pre-entrenados. modelos de resumen de texto disponibles, implementando diferentes combinaciones de técnicas de PNL. Estos modelos están entrenados en diferentes conjuntos de datos, cargados y mantenidos por empresas de tecnología y miembros de la comunidad Hugging Face. Puede filtrar los modelos por más descargados o más gustados, y cargarlos directamente al usar el canalización de resumen API de transformador Hugging Face. El transformador Hugging Face simplifica el proceso de implementación de NLP para que los modelos de NLP de alto rendimiento se puedan ajustar para entregar resúmenes de texto, sin necesidad de un amplio conocimiento de operaciones de ML.
Hugging Face modelos de resumen de texto en AWS
SageMaker ofrece a los analistas de negocios, científicos de datos e ingenieros de MLOps una selección de herramientas para diseñar y operar cargas de trabajo de ML en AWS. Estas herramientas le brindan una implementación y prueba más rápidas de los modelos ML para lograr resultados óptimos.
Desde el Kit de herramientas de inferencia de cara abrazada de SageMaker, una biblioteca de código abierto, describimos tres formas diferentes de implementar y alojar modelos de resumen de texto Hugging Face mediante un cuaderno Jupyter:
- Tubería de resumen de Hugging Face - Crear un Tubería de resumen de Hugging Face utilizando la "
summarization
” identificador de tarea para usar un modelo de resumen de texto predeterminado para la inferencia dentro de su cuaderno Jupyter. Estas canalizaciones abstraen el código complejo y ofrecen a los profesionales novatos de ML una API simple para implementar rápidamente el resumen de texto sin configurar un punto final de inferencia. La canalización también permite al profesional de ML seleccionar un modelo preentrenado específico y su tokenizador asociado. Los tokenizadores preparan el texto para que esté listo como entrada para el modelo al dividir el texto en palabras o subpalabras, que luego se convierten en ID a través de una tabla de búsqueda. Para simplificar, el siguiente fragmento de código proporciona el caso predeterminado cuando se usan canalizaciones. los DestilarBART-CNN-12-6 modelo es uno de los modelos de resumen más descargados en Hugging Face y es el modelo predeterminado para la canalización de resumen. La última línea llama al modelo preentrenado para obtener un resumen del texto pasado dados los dos argumentos proporcionados. - Extremo de SageMaker con modelo preentrenado – Cree un punto final de SageMaker con un modelo previamente entrenado desde el Hub modelo de cara abrazada e impleméntelo en un punto final de inferencia, como la instancia ml.m5.xlarge en el siguiente fragmento de código. Este método permite a los profesionales experimentados de ML seleccionar rápidamente modelos específicos de código abierto, ajustarlos e implementar los modelos en instancias de inferencia de alto rendimiento.
- Extremo de SageMaker con un modelo entrenado – Cree un extremo de modelo de SageMaker con un modelo entrenado almacenado en un Servicio de almacenamiento simple de Amazon (Amazon S3) e impleméntelo en un punto final de inferencia. Este método permite a los profesionales de ML experimentados implementar rápidamente sus propios modelos almacenados en Amazon S3 en instancias de inferencia de alto rendimiento. El modelo en sí se descarga de Hugging Face y se comprime, y luego se puede cargar en Amazon S3. Este paso se demuestra en el siguiente fragmento de código:
AWS tiene varios recursos disponibles para ayudarlo a implementar sus cargas de trabajo de ML. los Lente de aprendizaje automático de las Marco bien diseñado de AWS recomienda las mejores prácticas de cargas de trabajo de ML, incluida la optimización de recursos y la reducción de costos. Estos principios de diseño recomendados garantizan que las cargas de trabajo de ML bien diseñadas en AWS se implementen en producción. Recomendador de inferencia de Amazon SageMaker lo ayuda a seleccionar la instancia adecuada para implementar sus modelos de ML con un rendimiento y costo de inferencia óptimos. El recomendador de inferencias acelera la implementación del modelo y reduce el tiempo de comercialización al automatizar las pruebas de carga y optimizar el rendimiento del modelo en las instancias de ML.
En las siguientes secciones, demostramos cómo cargar un modelo entrenado desde un depósito S3 e implementarlo en una instancia de inferencia adecuada.
Requisitos previos
Para este tutorial, debe tener los siguientes requisitos previos:
- An Cuenta de AWS.
- Un cuaderno Jupyter dentro Estudio Amazon SageMaker o instancias de cuadernos de SageMaker. En esta publicación, usamos la imagen "Python 3 (PyTorch 1.4 Python 3.6 CPU Optimized)" con los fragmentos de código proporcionados, pero puede usar cualquier otra imagen PyTorch de versión superior de la núcleos de SageMaker disponibles.
- Un conjunto de datos en su depósito S3, como el WikiTexto-2 conjunto de datos de la Registro de datos abiertos en AWS.
Cargue el modelo Hugging Face en SageMaker para la inferencia de resumen de texto
Use el siguiente código para descargar el modelo de resumen de texto preentrenado Hugging Face DestilarBART-CNN-12-6 y su tokenizador, y guárdelos localmente en SageMaker en el directorio de su cuaderno Jupyter:
Comprima el modelo de resumen de texto guardado y su tokenizador en formato tar.gz y cargue el artefacto del modelo comprimido en un depósito S3:
Seleccione un inferencia de la imagen del contenedor de Docker para realizar la inferencia de resumen de texto. Defina el sistema operativo Linux, el marco PyTorch y la versión de Hugging Face Transformer y especifique el Nube informática elástica de Amazon (Amazon EC2) tipo de instancia para ejecutar el contenedor.
La imagen de Docker está disponible en el Registro de contenedores elásticos de Amazon (Amazon ECR) de la misma cuenta de AWS y el enlace para esa imagen de contenedor se devuelve como un URI.
Defina el modelo de resumen de texto que implementará la imagen del contenedor seleccionado que realiza la inferencia. En el siguiente fragmento de código, se implementa el modelo comprimido cargado en Amazon S3:
Pruebe el modelo de resumen de texto implementado en una entrada de muestra:
Use el Recomendador de inferencia para evaluar la instancia EC2 óptima para la tarea de inferencia
A continuación, cree varias muestras de carga útil de texto de entrada en formato JSON y comprímalas en un solo archivo de carga útil. El recomendador de inferencias utiliza estas muestras de carga útil para comparar el rendimiento de inferencias entre diferentes tipos de instancias EC2. Cada una de las cargas útiles de muestra debe coincidir con el formato JSON que se mostró anteriormente. Puede obtener ejemplos de la WikiTexto-2 datos administrado por fast.ai, disponible en el Registro de datos abiertos en AWS.
Cargue el artefacto del modelo de resumen de texto comprimido y el archivo de carga útil de muestra comprimido en el depósito de S3. Subimos el modelo en un paso anterior, pero para mayor claridad incluimos el código para volver a subirlo:
Revise la lista de modelos de aprendizaje automático estándar disponibles en SageMaker en zoológicos modelo común, como la PNL y la visión artificial. Seleccione un modelo NLP para realizar la inferencia de resumen de texto:
En el siguiente ejemplo se bert-base-cased
modelo de PNL. Registre el modelo de resumen de texto en el Registro de modelos de SageMaker con el dominio, el marco y la tarea correctamente identificados del paso anterior. Los parámetros para este ejemplo se muestran al principio del siguiente fragmento de código.
Tenga en cuenta el rango de tipos de instancias EC2 que evaluará el Recomendador de inferencias en SupportedRealtimeInferenceInstanceTypes
en el siguiente código. Asegúrese de que el límites de servicio para la cuenta de AWS permitir el despliegue de este tipo de nodos de inferencia.
Cree un trabajo predeterminado de Recomendador de inferencia utilizando el ModelPackageVersion
resultante del paso anterior. los uuid
La biblioteca de Python se usa para generar un nombre único para el trabajo.
Puede obtener el estado del trabajo del Recomendador de inferencia ejecutando el siguiente código:
Cuando el estado del trabajo es COMPLETED
, compare la latencia de inferencia, el tiempo de ejecución y otras métricas de los tipos de instancia EC2 evaluados por el trabajo predeterminado del Recomendador de inferencia. Seleccione el tipo de nodo adecuado según los requisitos de su caso de uso.
Conclusión
SageMaker ofrece múltiples formas de usar los modelos Hugging Face; para más ejemplos, echa un vistazo a la Ejemplos de AWS GitHub. Según la complejidad del caso de uso y la necesidad de ajustar el modelo, puede seleccionar la forma óptima de utilizar estos modelos. Las tuberías Hugging Face pueden ser un buen punto de partida para experimentar rápidamente y seleccionar modelos adecuados. Cuando necesite personalizar y parametrizar los modelos seleccionados, puede descargar los modelos e implementarlos en puntos finales de inferencia personalizados. Para ajustar más el modelo para un caso de uso específico, deberá entrenar el modelo después de descargarlo.
Los modelos NLP en general, incluidos los modelos de resumen de texto, funcionan mejor después de haber sido entrenados en un conjunto de datos que es específico para el caso de uso. Las funciones de monitoreo de modelos y MLOP de SageMaker aseguran que el modelo implementado continúe funcionando dentro de las expectativas. En esta publicación, usamos el Recomendador de inferencias para evaluar el tipo de instancia más adecuado para implementar el modelo de resumen de texto. Estas recomendaciones pueden optimizar el rendimiento y el costo para su caso de uso de ML.
Acerca de los autores
Dr. Nidal Al Beiruti es arquitecto sénior de soluciones en Amazon Web Services, apasionado por las soluciones de aprendizaje automático. Nidal tiene más de 25 años de experiencia trabajando en una variedad de roles de TI globales en diferentes niveles y verticales. Nidal actúa como un asesor de confianza para muchos clientes de AWS para respaldar y acelerar su proceso de adopción de la nube.
darren ko es un arquitecto de soluciones con sede en Londres. Asesora a los clientes de PYMES del Reino Unido e Irlanda sobre la rediseñación y la innovación en la nube. Darren está interesado en aplicaciones creadas con arquitecturas sin servidor y le apasiona resolver desafíos de sostenibilidad con aprendizaje automático.
- Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
- CriptoHawk. Radar de altcoins. Prueba gratis.
- Fuente: https://aws.amazon.com/blogs/machine-learning/text-summarization-with-amazon-sagemaker-and-hugging-face/
- '
- "
- 000
- 10
- 100
- 28
- a
- Nuestra Empresa
- RESUMEN
- acelerar
- Mi Cuenta
- preciso
- Lograr
- a través de
- dirección
- Adopción
- tutor
- AI
- permite
- Amazon
- Amazon Web Services
- cantidades
- análisis
- abejas
- Apple
- aplicaciones
- Aplicá
- argumentos
- asociado
- automatizar
- Hoy Disponibles
- otorgado
- AWS
- porque
- Comienzo
- "Ser"
- MEJOR
- y las mejores prácticas
- entre
- build
- llamar al
- Puede conseguir
- capacidades
- case
- cases
- retos
- manera?
- clase
- clasificación
- Soluciones
- código
- --
- combinaciones
- combinado
- Comunidades
- vibrante e inclusiva
- Empresas
- integraciones
- Calcular
- computadora
- Configuración
- Clientes
- consumo
- Envase
- Contenedores
- continúa
- Para crear
- crea
- personalizado
- Clientes
- personalizan
- datos
- día
- profundo
- entrega
- demostrar
- demostrado
- Dependiente
- desplegar
- desplegado
- Desplegando
- despliegue
- Diseño
- desarrolladores
- el desarrollo
- Desarrollo
- una experiencia diferente
- difícil
- digital
- directamente
- Pantalla
- Docker
- Médico
- documentos
- dominio
- dominios
- descargar
- cada una
- pasan fácilmente
- Eficaz
- eficiencia
- permitiendo
- Punto final
- certificados
- entidad
- Entorno
- evaluar
- ejemplo
- ejemplos
- Expandir
- las expectativas
- experience
- experimentado
- experimento
- en los detalles
- Cara
- RÁPIDO
- más rápida
- Caracteristicas
- siguiendo
- formato
- Marco conceptual
- marcos
- en
- General
- generar
- generado
- Buscar
- candidato
- Creciendo
- ayuda
- serviciales
- ayuda
- más alto
- Cómo
- Como Hacer
- HTTPS
- Bujes
- legible por humanos
- Identifique
- imagen
- implementar
- implementación
- implementación
- importante
- incluir
- Incluye
- información
- innovando
- Las opciones de entrada
- Insights
- ejemplo
- COMPLETAMENTE
- integración
- interesado
- Irlanda
- IT
- sí mismo
- Trabajos
- Clave
- especialistas
- idioma
- Idiomas
- large
- líder
- aprendizaje
- Biblioteca
- límites
- línea
- LINK
- Linux
- Lista
- carga
- localmente
- Londres
- búsqueda
- máquina
- máquina de aprendizaje
- para lograr
- Mercado
- Match
- significativo
- reuniones
- Miembros
- Métrica
- ML
- modelo
- modelos
- monitoreo
- más,
- MEJOR DE TU
- múltiples
- Natural
- Next
- nodos
- cuaderno
- Notas
- que ofrece
- Ofertas
- en línea
- habiertos
- funcionar
- Inteligente
- Optimización
- optimizado
- optimizando
- Otro
- EL DESARROLLADOR
- pasión
- apasionado
- actuación
- realizar
- frases
- punto
- Popular
- industria
- Preparar
- anterior
- tratamiento
- producir
- Producción
- Productos
- proyecta
- proporcionar
- previsto
- proporciona un
- con rapidez
- distancia
- de CFP.
- la reducción de
- región
- registrarte
- solicita
- exigir
- Requisitos
- Recursos
- resultante
- Función
- Ejecutar
- correr
- mismo
- Escala
- los científicos
- Sdk
- sin costura
- seleccionado
- sentimiento
- Sin servidor
- Servicios
- set
- Varios
- mostrado
- sencillos
- soltero
- So
- Soluciones
- soluciones y
- velocidades
- estándar
- fundó
- el estado de la técnica
- Estado
- STORAGE
- SOPORTE
- Sostenibilidad
- Todas las funciones a su disposición
- tareas
- técnicas
- Tecnología
- Pruebas
- El
- Tres
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- prolongado
- tema
- Formación
- Traducción
- de confianza
- tipos
- típicamente
- Uk
- bajo
- entender
- comprensión
- único
- utilizan el
- variedad
- diversos
- versión
- verticales
- visión
- volúmenes
- formas
- web
- servicios web
- dentro de
- sin
- palabras
- trabajando
- X
- años
- tú