Модель основания AI21 Jurassic-1 теперь доступна на Amazon SageMaker

Сегодня мы рады сообщить, что модели фундамента AI21 Jurassic-1 (J1) доступны для клиентов, использующих Создатель мудреца Амазонки. Модели Jurassic-1 очень универсальны, способны как генерировать человекоподобный текст, так и решать сложные задачи, такие как ответы на вопросы, классификация текстов и многие другие. Вы можете легко опробовать эту модель и использовать ее с Amazon SageMaker JumpStart. JumpStart — это центр машинного обучения (ML) SageMaker, который предоставляет доступ к базовым моделям в дополнение к встроенным алгоритмам и шаблонам комплексных решений, чтобы помочь вам быстро приступить к работе с ML.

В этом посте мы рассмотрим, как использовать модель Jurassic-1 Grande в SageMaker.

Базовые модели в SageMaker

JumpStart предоставляет доступ к ряду моделей из популярных центров моделей, включая Hugging Face, PyTorch Hub и TensorFlow Hub, которые вы можете использовать в процессе разработки машинного обучения в SageMaker. Недавние достижения в области машинного обучения привели к появлению нового класса моделей, известных как модели фундамента, которые обычно обучаются на миллиардах параметров и адаптируются к широкому кругу вариантов использования, таких как суммирование текста, создание цифрового искусства и языковой перевод. Поскольку обучение этих моделей обходится дорого, клиенты хотят использовать существующие предварительно обученные базовые модели и настраивать их по мере необходимости, а не обучать эти модели самостоятельно. SageMaker предоставляет список моделей, которые вы можете выбрать на консоли SageMaker.

Теперь вы можете найти модели фундамента от разных поставщиков моделей в JumpStart, что позволит вам быстро приступить к работе с моделями фундамента. Вы можете найти базовые модели, основанные на различных задачах или поставщиках моделей, и легко просматривать характеристики моделей и условия использования. Вы также можете опробовать эти модели с помощью тестового виджета пользовательского интерфейса. Если вы хотите использовать базовую модель в масштабе, вы можете легко сделать это, не выходя из SageMaker, используя готовые блокноты от поставщиков моделей. Поскольку модели размещаются и развертываются на AWS, вы можете быть уверены, что ваши данные, независимо от того, используются ли они для оценки или использования модели в масштабе, никогда не будут переданы третьим лицам.

Модель основания Юрского периода-1

Jurassic-1 — это первое поколение в серии больших языковых моделей, обученных и широко доступных Лаборатория AI21. Полное описание Jurassic-1, включая тесты и количественные сравнения с другими моделями, см. техническая документация. Все модели J1 были обучены на массивном корпусе текстов на английском языке, что сделало их универсальными текстовыми генераторами общего назначения, способными составлять человекоподобный текст и решать сложные задачи, такие как ответы на вопросы, классификация текстов и многие другие. J1 можно применить практически к любой языковой задаче, создав подходящую подсказку, содержащую описание задачи и несколько примеров. быстрый инжиниринг. Популярные варианты использования включают в себя создание маркетинговых текстов, поддержку чат-ботов и помощь в творческом написании.

«Мы создаем базовые модели мирового класса для текста и хотим помочь нашим клиентам внедрять инновации с помощью новейших моделей Jurassic-1. Amazon SageMaker предлагает самый глубокий и широкий набор сервисов машинного обучения, и мы рады сотрудничеству с Amazon SageMaker, чтобы клиенты могли использовать эти базовые модели SageMaker в своей среде разработки. Теперь клиенты могут быстро внедрять инновации, сокращать время окупаемости и повышать эффективность своего бизнеса».

— Ори Гошен, со-генеральный директор AI21 Labs.

Прохождение

Давайте познакомимся с вами, чтобы протестировать модель J1-Grande в SageMaker. Вы можете попробовать этот опыт, выполнив три простых шага:

1. Выберите модель Jurassic-1 на консоли SageMaker.
2. Оцените модель с помощью тестового виджета.
3. Используйте записную книжку, связанную с базовой моделью, чтобы развернуть ее в своей среде.

Давайте подробно разберем каждый шаг.

Выберите модель Jurassic-1 на консоли SageMaker.

Первым шагом является вход в систему Консоль управления AWS для Amazon SageMaker и запросите доступ к списку базовых моделей из категории базовых моделей в разделе Толчок здесь:

После того, как ваша учетная запись будет разрешена, вы сможете увидеть список моделей на этой странице. Вы можете быстро найти модель Jurassic-1 Grande с того же вида.

Оцените модель Jurassic-1 Grande с помощью тестового виджета

В списке Jurassic-1 Grande выберите Просмотр модели. Вы увидите описание модели и задачи, которые вы можете выполнить. Прежде чем продолжить, прочтите лицензионное соглашение с конечным пользователем для модели.

Давайте сначала попробуем модель для суммирования текста. Выбирать Попробуйте модель.

Вы попадаете на страницу в отдельной вкладке браузера, где вы можете дать образцы подсказок для модели J1-Grande и просмотреть результат.

В следующем примере создается сводка о ресторане на основе отзывов.

Обратите внимание, что базовые модели и их выходные данные предоставляются поставщиком моделей, и AWS не несет ответственности за их содержание или точность.

Вывод модели может варьироваться в зависимости от настроек и подсказки. Вы можете сгенерировать текст из модели с помощью простых инструкций, но, предоставив модели больше примеров в подсказке, как это сделал бы человек, она может произвести завершение, которое больше соответствует вашим намерениям. Лучший способ управлять моделью — предоставить несколько примеров пар ввода/вывода в подсказке. Это устанавливает шаблон, которому модель должна подражать. Затем добавьте входные данные для примера запроса и позвольте модели завершить его соответствующей генерацией.

После того, как вы поиграли с моделью, пришло время использовать записную книжку и развернуть ее в качестве конечной точки в вашей среде.

Развертывание базовой модели из записной книжки

Вернитесь к списку моделей, показанному ранее, и выберите Посмотреть блокнот. Вы должны увидеть записную книжку Jurassic-1 Grande Jupyter с пошаговым руководством по развертыванию модели.

Давайте использовать этот блокнот из Студия Amazon SageMaker. Откройте Studio и извлеките записную книжку, используя URL-адрес репозитория Git. https://github.com/AI21Labs/SageMaker.git.

В примере с записной книжкой для развертывания и взаимодействия с конечной точкой используется как Boto3 SDK, так и AI21 SDK.

Обратите внимание, что в этом примере используется экземпляр ml.g5.12xlarge. Если ваш лимит по умолчанию для вашей учетной записи AWS равен 0, вам необходимо запросить увеличение лимита для этого экземпляра графического процессора.

Давайте создадим конечную точку, используя вывод SageMaker. Сначала задаем нужные переменные, затем разворачиваем модель из пакета модели:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

После развертывания конечной точки вы можете выполнять запросы на вывод модели.

Вы можете думать о Jurassic-1 Grande как об интеллектуальном алгоритме автозавершения: он очень хорошо улавливает подсказки и шаблоны, выраженные простым английским языком, и генерирует текст, который следует тем же шаблонам. После развертывания модели вы можете взаимодействовать с развернутой конечной точкой, используя следующий фрагмент кода:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Записная книжка также содержит пошаговое руководство о том, как выполнять запросы на логические выводы с помощью AI21 SDK.

В следующем видео показан рабочий процесс.

Убирать

После того как вы протестировали конечную точку, убедитесь, что вы удалили конечную точку вывода SageMaker и удалили модель, чтобы избежать взимания платы.

Заключение

В этом посте мы показали вам, как можно протестировать и использовать модель Jurassic Grande AI21 с помощью Amazon SageMaker. Запрос доступа, попробовать базовую модель в SageMaker сегодня и дайте нам знать ваши отзывы!

Об авторах

Картик Бхарати является руководителем продукта в команде Amazon SageMaker с более чем десятилетним опытом управления продуктами, разработки стратегии, реализации и запуска продуктов.

Томер Асида является руководителем группы алгоритмов в AI21 Labs. В качестве руководителя группы алго Томер возглавляет усилия по разработке алгоритмов нашей платформы для разработчиков Ai21 Studio, включая модели Jurassic-1 и связанные с ними API.