我们很高兴地宣布 LightOn Lyra-fr 基础模型可供使用 Amazon SageMaker 的客户使用。 LightOn 是构建专门用于欧洲语言的基础模型的领导者。 Lyra-fr 是一种最先进的法语语言模型，可用于构建会话 AI、文案工具、文本分类器、语义搜索等。 您可以轻松试用此模型并将其与 亚马逊SageMaker JumpStart. JumpStart 是 SageMaker 的机器学习 (ML) 中心，除了内置算法和端到端解决方案模板外，它还提供对基础模型的访问，以帮助您快速开始使用 ML。
在这篇博客中，我们将演示如何在 SageMaker 中使用 Lyra-fr 模型。
基础模型
基础模型通常在数十亿个参数上进行训练，并且适用于广泛的用例类别。 当今最著名的基础模型用于总结文章、创建数字艺术以及从简单的文本指令生成代码。 这些模型的训练成本很高，因此客户希望使用现有的预训练基础模型并根据需要对其进行微调，而不是自己训练这些模型。 SageMaker 提供了精选的模型列表，您可以在 SageMaker 控制台上从中进行选择。 您可以直接在 Web 界面上测试这些模型。 当您想大规模使用基础模型时，您可以使用模型提供商提供的预建笔记本轻松实现，而无需离开 SageMaker。 由于模型托管和部署在 AWS 上，您可以放心，您的数据（无论是用于评估还是大规模使用模型）绝不会与第三方共享。
Lyra-fr 是当今市场上最大的法语模型。 它是一个 10 亿参数的模型，由 LightOn 训练和访问。 Lyra-fr 在大量法语精选数据上进行了训练，能够编写类似人类的文本并解决分类、问答和摘要等复杂任务。 所有这些同时保持合理的推理速度，对于平均请求在 1-2 秒的范围内。 你可以用自然语言简单地描述你想要执行的任务，Lyra-fr 将生成母语为法语的水平的响应。 Lyra-fr 只需几行代码即可提供业务就绪的智能原语，例如可控生成和文本分类。 对于更具挑战性的任务，可以在“小样本”学习模式下提高性能，在提示中提供几个输入输出示例。
在 SageMaker 上使用 Lyra-fr
我们将通过 3 个简单的步骤向您介绍如何使用 Lyra-fr 模型：
- Discover – 在适用于 SageMaker 的 AWS 管理控制台上找到 Lyra-fr 模型。
- 测试 – 使用网络界面测试模型。
- 部署 – 使用笔记本部署和测试模型的高级功能。
Discover
为了便于发现像 Lyra-fr 这样的基础模型，我们将所有基础模型整合到一个地方。 要找到 Lyra-fr 模型：
- 登录 适用于 SageMaker 的 AWS 管理控制台.
- 在左侧导航面板上，您应该看到一个名为 快速启动 基础模型 在它下面。 如果您还没有访问权限，请请求访问此功能。
- 一旦您的帐户被列入许可名单，您将在右侧看到模型列表。 您可以在这里找到 Lyra-fr 10B 型号。
- 点击 查看模型 将显示带有附加选项的完整模型卡。
测试
一个常见的用例是运行临时测试以确保模型满足您的需求。 您可以直接从 SageMaker 控制台测试 Lyra-fr 模型。 在这个例子中，我们将使用一个简单的文本提示，要求模型生成一个关于法语“水彩”或“水彩画”主题的文章创意列表。
- 从上一节中显示的模型卡中，选择 试用模型. 这将打开一个带有测试界面的新选项卡。
- 在此界面上，提供您要传递给模型的文本输入。 您还可以使用右侧的滑块调整任何您想要的参数。 满意后，选择 生成文本.
请注意，基础模型及其输出来自模型提供商，AWS 不对其内容或准确性负责。
部署
当您提供希望模型提供的信息示例时，文本生成模型效果最佳。 这称为少样本学习。 我们将使用 Lyra-fr 示例笔记本演示此功能。 示例笔记本介绍了如何在 SageMaker 上部署 Lyra-fr 模型、如何总结和生成文本以及小样本学习。
它还包括直接使用 JSON 或 Lyra Python SDK 发出推理请求的示例。 Lyra Python SDK 负责格式化输入、调用端点和解包输出。 每个端点有一个类：创建、分析、选择、嵌入、比较和标记化。 请注意，此示例使用 ml.p4d.24xlarge 实例。 如果您的 AWS 账户的默认限制为 0，则您需要请求提高此 GPU 实例的限制。
SageMaker 通过 SageMaker Studio 提供托管笔记本体验。 有关如何设置 SageMaker Studio 的详细信息，请参阅 Amazon SageMaker 开发人员指南. 在此演示中，我们将把这个 GitHub 存储库克隆到 SageMaker Studio 中，但笔记本也可以在其他环境中工作。
我们来看看如何运行notebook：
- 从这篇博文的“发现”部分转到模型卡，然后选择 查看笔记本. 您应该会在 GitHub 中看到一个带有 Lyra-fr 笔记本的新选项卡。
- 在 GitHub 中，选择 lightonmuse-sagemaker-sdk; 这将带您到回购协议。 选择 代码 按钮并复制 HTTPS URL。
- 打开 SageMaker Studio。 选择 克隆存储库 然后粘贴从上面复制的 URL。
- 使用左侧的文件浏览器导航到 Lyra-fr 笔记本。
- 该笔记本端到端运行，无需额外输入，还可以清理它创建的资源。 我们可以看一下“使用 Create 进行情绪分析”的例子。 此示例使用 Lyra Python SDK，并通过使用一些文本示例说明哪些文本应归类为正面 (positifs)、负面 (négatifs) 或混合 (mitigés)，从而演示少样本学习。
- 您可以看到，使用 Lyra Python SDK，您所要做的就是提供 SageMaker 端点的名称和输入。 SDK 会为您处理所有的解析、格式化和设置。
- 运行此提示会返回最后一个语句是肯定的。
清理
测试终端节点后，请确保删除 SageMaker 推理终端节点并删除模型以避免产生费用。
结论
在本文中，我们向您展示了如何使用 Amazon SageMaker 发现、测试和部署 Lyra-fr 模型。 请求访问 试用基础模型 今天在 SageMaker 中，让我们知道您的反馈！
关于作者
亚科波波利 是 LightOn 的 CTO，负责公司在构建非常大的语言模型并将其提供给公众方面的战略技术选择。 他热衷于通过直观界面实现机器学习的民主化。 在业余时间，他喜欢寻找巴黎最好的餐厅。
艾伦谭 是 SageMaker 的高级产品经理，负责大型模型推理方面的工作。 他热衷于将机器学习应用于分析领域。 工作之余，他喜欢户外活动。
