AI21 Jurassic-1 基础模型现已在 Amazon SageMaker 上可用

今天，我们很高兴地宣布 AI21 Jurassic-1 (J1) 地基模型可供客户使用 亚马逊SageMaker. Jurassic-1 模型用途广泛，既能生成类人文本，又能解决诸如问答、文本分类等复杂任务。 您可以轻松试用此模型并将其与 亚马逊SageMaker JumpStart. JumpStart 是 SageMaker 的机器学习 (ML) 中心，除了内置算法和端到端解决方案模板外，它还提供对基础模型的访问，以帮助您快速开始使用 ML。

在本文中，我们将介绍如何在 SageMaker 中使用 Jurassic-1 Grande 模型。

SageMaker 中的基础模型

JumpStart 提供对来自流行模型中心的一系列模型的访问，包括 Hugging Face、PyTorch Hub 和 TensorFlow Hub，您可以在 SageMaker 的 ML 开发工作流程中使用它们。 机器学习的最新进展催生了一类新的模型，称为 基础模型，它们通常经过数十亿个参数的训练，适用于广泛的用例类别，例如文本摘要、生成数字艺术和语言翻译。 由于这些模型的训练成本很高，因此客户希望使用现有的预训练基础模型并根据需要对其进行微调，而不是自己训练这些模型。 SageMaker 提供了精选的模型列表，您可以在 SageMaker 控制台上从中进行选择。

您现在可以在 JumpStart 中找到来自不同模型提供商的基础模型，使您能够快速开始使用基础模型。 您可以根据不同的任务或模型提供商找到基础模型，并轻松查看模型特性和使用条款。 您还可以使用测试 UI 小部件试用这些模型。 当您想大规模使用基础模型时，您可以使用模型提供商提供的预建笔记本轻松实现，而无需离开 SageMaker。 由于模型托管和部署在 AWS 上，您可以放心，您的数据（无论是用于评估还是大规模使用模型）绝不会与第三方共享。

Jurassic-1 地基模型

Jurassic-1 是一系列大型语言模型中的第一代，由 AI21 实验室. 有关 Jurassic-1 的完整描述，包括与其他模型的基准和定量比较，请参阅以下内容 技术论文. 所有 J1 模型都在大量英语文本语料库上进行训练，使它们成为高度通用的通用文本生成器，能够编写类似人类的文本并解决复杂的任务，例如问答、文本分类等。 通过制作包含任务描述和一些示例的合适提示，J1 几乎可以应用于任何语言任务，这个过程通常称为 即时工程. 流行的用例包括生成营销文案、为聊天机器人提供动力和协助创意写作。

“我们正在构建世界一流的文本基础模型，并希望帮助我们的客户使用最新的 Jurassic-1 模型进行创新。 Amazon SageMaker 提供最深入和最广泛的 ML 服务集，我们很高兴与 Amazon SageMaker 合作，以便客户能够在其开发环境中使用 SageMaker 上的这些基础模型。 现在，客户可以快速创新、缩短价值实现时间并提高业务效率。”

-AI21 Labs 联席首席执行官 Ori Goshen。

演练

让我们带您参观一下在 SageMaker 中测试 J1-Grande 模型。 您可以通过三个简单的步骤来尝试体验：

1. 在 SageMaker 控制台上选择 Jurassic-1 模型。
2. 使用测试小部件评估模型。
3. 使用与基础模型关联的笔记本将其部署到您的环境中。

让我们详细展开每个步骤。

在 SageMaker 控制台上选择 Jurassic-1 模型

第一步是登录 AWS管理控制台 对于 Amazon SageMaker 并请求访问下面基础模型类别中的基础模型列表 快速启动 这里：

在您的帐户被允许列出后，您可以在此页面上看到模型列表。 您可以从同一视图快速搜索 Jurassic-1 Grande 模型。

使用测试小部件评估 Jurassic-1 Grande 模型

在 Jurassic-1 Grande 列表中，选择 查看模型. 您将看到模型的描述和您可以执行的任务。 在继续之前通读模型的 EULA。

让我们首先尝试文本摘要模型。 选择 试用模型.

您将转到单独的浏览器选项卡中的页面，您可以在其中为 J1-Grande 模型提供示例提示并查看输出。

以下示例根据评论生成有关餐厅的摘要。

请注意，基础模型及其输出来自模型提供商，AWS 不对其内容或准确性负责。

模型输出可能因设置和提示而异。 您可以使用简单的指令从模型生成文本，但通过在提示中为模型提供更多示例，就像人类一样，它可以生成更符合您意图的补全。 指导模型的最佳方法是在提示中提供几个输入/输出对示例。 这为模型建立了一个模式来模仿。 然后为查询示例添加输入，让模型通过适当的生成来完成它。

玩完模型后，就可以使用笔记本并将其部署为环境中的端点了。

从笔记本部署基础模型

返回到前面显示的模型列表并选择 查看笔记本. 您应该会看到 Jurassic-1 Grande Jupyter notebook 以及部署模型的演练。

让我们使用这个笔记本 亚马逊SageMaker Studio. 打开 Studio 并使用 Git 存储库 URL 拉入笔记本 https://github.com/AI21Labs/SageMaker.git.

笔记本示例同时使用 Boto3 SDK 和 AI21 SDK 来部署端点并与之交互。

请注意，此示例使用 ml.g5.12xlarge 实例。 如果您的 AWS 账户的默认限制为 0，则您需要请求提高此 GPU 实例的限制。

让我们使用 SageMaker 推理创建终端节点。 首先我们设置必要的变量，然后我们从模型包中部署模型：

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

部署端点后，您可以对模型运行推理查询。

您可以将 Jurassic-1 Grande 视为一种智能自动完成算法：它非常擅长抓住以简单英语表达的提示和模式，并生成遵循相同模式的文本。 部署模型后，您可以使用以下代码片段与部署的端点进行交互：

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

该笔记本还包含有关如何使用 AI21 SDK 运行推理查询的演练。

以下视频演示了整个工作流程。

清理

测试终端节点后，请确保删除 SageMaker 推理终端节点并删除模型以避免产生费用。

结论

在本文中，我们向您展示了如何使用 Amazon SageMaker 测试和使用 AI21 的 Jurassic Grande 模型。 申请进入， 试用基础模型 今天在 SageMaker 中，让我们知道您的反馈！

关于作者

卡提克·巴拉蒂 是 Amazon SageMaker 团队的产品负责人，拥有超过十年的产品管理、产品战略、执行和发布经验。

托默·阿西达 是 AI21 Labs 的算法团队负责人。 作为算法团队的负责人，Tomer 负责我们的开发平台 Ai21 Studio 的算法开发工作，包括 Jurassic-1 模型和相关 API。