El modelo base AI21 Jurassic-1 ya está disponible en Amazon SageMaker

Hoy nos complace anunciar que los modelos de base AI21 Jurassic-1 (J1) están disponibles para los clientes que usan Amazon SageMaker. Los modelos Jurassic-1 son muy versátiles, capaces tanto de generar texto similar a los humanos como de resolver tareas complejas como responder preguntas, clasificar texto y muchas otras. Puede probar fácilmente este modelo y usarlo con JumpStart de Amazon SageMaker. JumpStart es el centro de aprendizaje automático (ML) de SageMaker que brinda acceso a modelos básicos además de algoritmos integrados y plantillas de soluciones integrales para ayudarlo a comenzar rápidamente con ML.

En esta publicación, explicamos cómo usar el modelo Jurassic-1 Grande en SageMaker.

Modelos de base en SageMaker

JumpStart brinda acceso a una gama de modelos de centros de modelos populares, incluidos Hugging Face, PyTorch Hub y TensorFlow Hub, que puede usar dentro de su flujo de trabajo de desarrollo de ML en SageMaker. Los avances recientes en ML han dado lugar a una nueva clase de modelos conocidos como modelos de cimientos, que normalmente se entrenan en miles de millones de parámetros y se adaptan a una amplia categoría de casos de uso, como resúmenes de texto, generación de arte digital y traducción de idiomas. Debido a que estos modelos son costosos de entrenar, los clientes desean usar los modelos básicos preentrenados existentes y ajustarlos según sea necesario, en lugar de entrenar estos modelos ellos mismos. SageMaker proporciona una lista seleccionada de modelos entre los que puede elegir en la consola de SageMaker.

Ahora puede encontrar modelos de base de diferentes proveedores de modelos dentro de JumpStart, lo que le permite comenzar a usar modelos de base rápidamente. Puede encontrar modelos básicos basados ​​en diferentes tareas o proveedores de modelos, y revisar fácilmente las características del modelo y los términos de uso. También puede probar estos modelos usando un widget de IU de prueba. Cuando desee utilizar un modelo de base a escala, puede hacerlo fácilmente sin salir de SageMaker mediante el uso de cuadernos prediseñados de proveedores de modelos. Debido a que los modelos están alojados e implementados en AWS, puede estar seguro de que sus datos, ya sea que se utilicen para evaluar o usar el modelo a escala, nunca se compartirán con terceros.

Modelo de fundación Jurassic-1

Jurassic-1 es la primera generación de una serie de grandes modelos de lenguaje entrenados y hechos ampliamente accesibles por Laboratorios AI21. Para obtener una descripción completa de Jurassic-1, incluidos puntos de referencia y comparaciones cuantitativas con otros modelos, consulte el siguiente papel técnico. Todos los modelos J1 se entrenaron en un corpus masivo de texto en inglés, lo que los convierte en generadores de texto de uso general muy versátiles, capaces de componer texto similar al humano y resolver tareas complejas como responder preguntas, clasificar texto y muchas otras. J1 se puede aplicar a prácticamente cualquier tarea de lenguaje mediante la elaboración de un indicador adecuado que contenga una descripción de la tarea y algunos ejemplos, un proceso comúnmente conocido como pronta ingenieria. Los casos de uso populares incluyen la generación de copias de marketing, la activación de chatbots y la asistencia en la escritura creativa.

“Estamos construyendo modelos básicos de clase mundial para texto y queremos ayudar a nuestros clientes a innovar con los últimos modelos Jurassic-1. Amazon SageMaker ofrece el conjunto más profundo y amplio de servicios de ML, y nos complace colaborar con Amazon SageMaker para que los clientes puedan utilizar estos modelos básicos en SageMaker dentro de su entorno de desarrollo. Ahora los clientes pueden innovar rápidamente, reducir el tiempo de generación de valor e impulsar la eficiencia en sus negocios”.

-Ori Goshen, codirector ejecutivo de AI21 Labs.

Tutorial

Hagamos un recorrido para probar el modelo J1-Grande en SageMaker. Puedes probar la experiencia en tres sencillos pasos:

1. Elija el modelo Jurassic-1 en la consola de SageMaker.
2. Evalúe el modelo utilizando un widget de prueba.
3. Utilice un cuaderno asociado con el modelo base para implementarlo en su entorno.

Ampliemos cada paso en detalle.

Elija el modelo Jurassic-1 en la consola de SageMaker

El primer paso es iniciar sesión en el Consola de administración de AWS para Amazon SageMaker y solicite acceso a la lista de modelos básicos de la categoría de modelos básicos en Buen inicio aquí:

Después de que su cuenta esté permitida en la lista, puede ver una lista de modelos en esta página. Puede buscar rápidamente el modelo Jurassic-1 Grande desde la misma vista.

Evalúe el modelo Jurassic-1 Grande con un widget de prueba

En la lista Jurassic-1 Grande, elija Ver modelo. Verá una descripción del modelo y las tareas que puede realizar. Lea el CLUF del modelo antes de continuar.

Primero probemos el modelo para el resumen de texto. Elegir Probar modelo.

Accederá a la página en una pestaña separada del navegador donde puede proporcionar indicaciones de muestra al modelo J1-Grande y ver el resultado.

El siguiente ejemplo genera un resumen sobre un restaurante basado en reseñas.

Tenga en cuenta que los modelos básicos y su salida son del proveedor del modelo, y AWS no es responsable del contenido o la precisión de los mismos.

La salida del modelo puede variar según la configuración y el aviso. Puede generar texto a partir del modelo con instrucciones sencillas, pero al proporcionar al modelo más ejemplos en la solicitud, tal como lo haría un ser humano, puede producir terminaciones que estén más alineadas con sus intenciones. La mejor manera de guiar el modelo es proporcionar varios ejemplos de pares de entrada/salida en el aviso. Esto establece un patrón para que el modelo lo imite. Luego agregue la entrada para un ejemplo de consulta y deje que el modelo lo complete con una generación adecuada.

Después de haber jugado con el modelo, es hora de usar el cuaderno e implementarlo como punto final en su entorno.

Implementar el modelo base desde un cuaderno

Vuelva a la lista de modelos mostrada anteriormente y seleccione Ver libreta. Debería ver el cuaderno Jurassic-1 Grande Jupyter con el tutorial para implementar el modelo.

Usemos este cuaderno de Estudio Amazon SageMaker. Abra Studio y extraiga el cuaderno usando la URL del repositorio de Git https://github.com/AI21Labs/SageMaker.git.

El ejemplo del cuaderno usa tanto el SDK de Boto3 como el SDK de AI21 para implementar e interactuar con el endpoint.

Tenga en cuenta que este ejemplo usa una instancia ml.g5.12xlarge. Si su límite predeterminado para su cuenta de AWS es 0, debe solicitar un aumento del límite para esta instancia de GPU.

Vamos a crear el punto final usando la inferencia de SageMaker. Primero establecemos las variables necesarias, luego implementamos el modelo desde el paquete del modelo:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Después de implementar el punto final, puede ejecutar consultas de inferencia en el modelo.

Puede pensar en Jurassic-1 Grande como un algoritmo inteligente de finalización automática: es muy bueno para captar sugerencias y patrones expresados ​​en inglés simple y generar texto que sigue los mismos patrones. Una vez que se implementa el modelo, puede interactuar con el punto final implementado mediante el siguiente fragmento de código:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

El cuaderno también contiene un tutorial sobre cómo puede ejecutar consultas de inferencia con el SDK de AI21.

El siguiente video recorre el flujo de trabajo.

Limpiar

Una vez que haya probado el punto final, asegúrese de eliminar el punto final de inferencia de SageMaker y elimine el modelo para evitar incurrir en cargos.

Conclusión

En esta publicación, le mostramos cómo puede probar y usar el modelo Jurassic Grande de AI21 usando Amazon SageMaker. Solicitar acceso, probar el modelo base en SageMaker hoy y háganos saber sus comentarios.

Sobre los autores

Karthik Bharathy es el líder de producto del equipo de Amazon SageMaker con más de una década de experiencia en gestión de productos, estrategia de productos, ejecución y lanzamiento.

tomer asida es líder del equipo de algoritmos en AI21 Labs. Como líder del equipo algorítmico, Tomer encabeza los esfuerzos de desarrollo de algoritmos de nuestra plataforma de desarrollo Ai21 Studio, incluidos los modelos Jurassic-1 y las API asociadas.