亚马逊SageMaker JumpStart 是一个机器学习 (ML) 中心,可以帮助您加快 ML 之旅。 借助 SageMaker JumpStart,您可以发现公开可用的专有基础模型并将其部署到专用的 亚马逊SageMaker 您的生成式 AI 应用程序的实例。 SageMaker JumpStart 允许您从网络隔离环境部署基础模型,并且不与模型提供商共享客户训练和推理数据。
在这篇文章中,我们将介绍如何开始使用 AI21、Cohere 和 LightOn 等模型提供商的专有模型 亚马逊SageMaker Studio。 SageMaker Studio 是一个笔记本环境,SageMaker 企业数据科学家客户可以在其中为其下一代生成 AI 应用程序评估和构建模型。
SageMaker 中的基础模型
基础模型是大规模 ML 模型,包含数十亿个参数,并针对 TB 级文本和图像数据进行了预训练,因此您可以执行各种任务,例如文章摘要以及文本、图像或视频生成。 由于基础模型是预先训练的,因此它们可以帮助降低培训和基础设施成本,并支持针对您的用例进行定制。
SageMaker JumpStart 提供两种类型的基础模型:
- 专有型号 – 这些模型来自 AI21 和 Jurassic-2 模型、Cohere 和 Cohere Command 以及 LightOn 和接受专有算法和数据训练的 Mini 等提供商。 您无法查看权重和脚本等模型工件,但仍然可以部署到 SageMaker 实例进行推理。
- 公开型号 – 这些来自流行的模型中心,例如 Hugging Face with Stable Diffusion、Falcon 和 FLAN,它们经过公开可用的算法和数据的训练。 对于这些模型,用户可以访问模型工件,并能够在部署推理之前使用自己的数据进行微调。
探索型号
您可以通过 SageMaker Studio UI 和 SageMaker Python SDK 中的 SageMaker JumpStart 访问基础模型。 在本部分中,我们将介绍如何在 SageMaker Studio UI 中发现模型。
SageMaker Studio 是一个基于 Web 的 ML 集成开发环境 (IDE),可让您构建、训练、调试、部署和监控 ML 模型。 有关如何开始和设置 SageMaker Studio 的更多详细信息,请参阅 亚马逊SageMaker Studio.
进入 SageMaker Studio UI 后,您可以访问 SageMaker JumpStart,其中包含预训练的模型、笔记本和预构建的解决方案,位于 预构建和自动化解决方案.
在 SageMaker JumpStart 登录页面中,您可以浏览解决方案、模型、笔记本和其他资源。 以下屏幕截图显示了登录页面的示例,其中列出了解决方案和基础模型。
每个模型都有一个模型卡,如下图所示,其中包含模型名称(是否可微调)、提供程序名称以及有关模型的简短描述。 您还可以打开模型卡以了解有关模型的更多信息并开始训练或部署。
在 AWS Marketplace 中订阅
SageMaker JumpStart 中的专有模型由 AI21、Cohere 和 LightOn 等模型提供商发布。 您可以通过型号卡上的“Proprietary”标签来识别专有型号,如下图所示。
你可以选择 查看笔记本 点击型号卡以只读模式打开笔记本,如下图所示。 您可以阅读笔记本以获取有关先决条件和其他使用说明的重要信息。
导入Notebook后,运行代码前需要选择合适的Notebook环境(镜像、内核、实例类型等)。 您还应该遵循所选笔记本的订阅和使用说明。
在使用专有模型之前,您需要首先从以下位置订阅该模型: AWS Marketplace:
- 打开 AWS Marketplace 中的模型列表页面。
URL 中提供 重要 笔记本部分,或者您可以从 SageMaker JumpStart 服务页面。 列表页面显示有关模型的概述、定价、使用情况和支持信息。
- 在 AWS Marketplace 列表中,选择 继续订阅.
如果您没有查看或订阅模型所需的权限,请联系您的 IT 管理员或采购联系人来为您订阅模型。 许多企业可能会限制 AWS Marketplace 权限,以控制具有这些权限的人员可以在 AWS Marketplace Management Portal 中执行的操作。
- 点击 订阅此软件页面,查看详细信息并选择 接受报价 如果您和您的组织同意 EULA、定价和支持条款。
如果您有任何疑问或要求批量折扣,请通过详细信息页面上提供的支持电子邮件直接联系模型提供商或联系您的 AWS 客户团队。
- 继续配置 并选择一个区域。
您将看到显示的产品 ARN。 这是您在使用 Boto3 创建可部署模型时需要指定的模型包 ARN。
- 复制与您的区域相对应的 ARN,并在笔记本的单元指令中指定相同的 ARN。
带有示例提示的示例推理
让我们看一下来自 A21 Labs、Cohere 和 LightOn 的一些示例基础模型,这些模型可通过 SageMaker Studio 中的 SageMaker JumpStart 发现。 它们都有相同的说明,用于从 AWS Marketplace 订阅以及导入和配置笔记本。
AI21总结
A121 Labs 的 Summarize 模型将冗长的文本压缩为简短、易于阅读的片段,并与来源保持事实一致。 该模型经过训练,可以生成摘要,捕获基于文本正文的关键思想。 它不需要任何提示。 您只需输入需要摘要的文本即可。 您的源文本最多可以包含 50,000 个字符,翻译成大约 10,000 个单词,或者令人印象深刻的 40 页。
AI21 Summarize 模型的示例笔记本提供了需要遵循的重要先决条件。 例如,模型是从 AWS Marketplace 订阅的,具有适当的 IAM 角色权限和所需的 boto3 版本等。它会引导您了解如何选择模型包、创建用于实时推理的终端节点,然后进行清理。
所选模型包包含 ARN 到区域的映射。 这是您选择后捕获的信息 继续配置 在 AWS Marketplace 订阅页面上(在 在 Marketplace 中评估和订阅),然后选择您将看到相应产品 ARN 的区域。
笔记本可能已经预填充了 ARN。
然后导入运行此笔记本所需的一些库并安装维基百科,这是一个 Python 库,可以轻松访问和解析维基百科的数据。 笔记本稍后使用它来展示如何总结维基百科的长文本。
笔记本电脑还继续安装 ai21
Python SDK,它是 SageMaker API 的包装器,例如 deploy
和 invoke endpoint
.
笔记本的接下来的几个单元将执行以下步骤:
- 选择区域并从模型包地图中获取模型包 ARN
- 通过选择实例类型来创建推理端点(取决于您的用例和模型支持的实例;请参阅 特定任务模型 了解更多详细信息)运行模型
- 从模型包创建可部署模型
让我们运行推理来生成新闻文章中单个段落的摘要。 正如您在输出中看到的,汇总文本显示为模型的输出。
AI21 Summarize 可以处理最多 50,000 个字符的输入。 这相当于大约 10,000 个单词或 40 页。 作为模型行为的演示,我们从维基百科加载一个页面。
现在您已经执行了实时推理以进行测试,您可能不再需要该端点。 您可以删除该终端节点以避免被计费。
协调命令
Cohere Command 是一种生成模型,可以很好地响应类似指令的提示。 该模型为企业和企业在所有生成任务中提供最佳的质量、性能和准确性。 您可以使用 Cohere 的命令模型来激发您的文案写作、命名实体识别、释义或摘要工作,并将其提升到一个新的水平。
Cohere Command 模型的示例笔记本提供了需要遵循的重要先决条件。 例如,模型是从 AWS Marketplace 订阅的,具有适当的 IAM 角色权限和所需的 boto3 版本等。它会引导您了解如何选择模型包、创建用于实时推理的终端节点,然后进行清理。
有些任务与前面的笔记本示例中介绍的任务类似,例如安装 Boto3、安装 cohere-sagemaker
(该包提供了为简化与 Cohere 模型的接口而开发的功能)以及获取会话和区域。
让我们探索创建端点。 您提供模型包 ARN、终端节点名称、要使用的实例类型和实例数量。 创建后,端点将出现在您的 端点 SageMaker 部分。
现在让我们运行推理来查看命令模型的一些输出。
以下屏幕截图显示了生成职位发布及其输出的示例。 正如您所看到的,模型根据给定的提示生成了一篇帖子。
现在让我们看看以下示例:
- 生成产品描述
- 生成博客文章的正文段落
- 生成外展电子邮件
正如您所看到的,Cohere Command 模型为各种生成任务生成了文本。
现在您已经执行了实时推理以进行测试,您可能不再需要端点。 您可以删除该终端节点以避免被计费。
LightOn 迷你指令
Mini-instruct是LightOn创建的具有40亿个参数的AI模型,是一个强大的多语言AI系统,使用来自众多来源的高质量数据进行训练。 它旨在理解自然语言并对特定于您的需求的命令做出反应。 它在语音助手、聊天机器人和智能家电等消费产品中表现出色。 它还具有广泛的业务应用程序,包括代理协助和用于自动化客户服务的自然语言生成。
LightOn Mini-instruct 模型的示例笔记本提供了需要遵循的重要先决条件。 例如,模型是从 AWS Marketplace 订阅的,具有适当的 IAM 角色权限和所需的 boto3 版本等。它会引导您了解如何选择模型包、创建用于实时推理的终端节点,然后进行清理。
有些任务与前面的笔记本示例中介绍的任务类似,例如安装 Boto3 和获取会话区域。
让我们看看如何创建端点。 首先,提供模型包ARN、端点名称、要使用的实例类型和实例数量。 创建后,端点将显示在 SageMaker 的端点部分中。
现在,让我们尝试通过要求模型生成某个主题(在本例中为水彩画)的文章的想法列表来推断模型。
正如您所看到的,LightOn Mini-instruct 模型能够根据给定的提示提供生成的文本。
清理
在测试模型并为上面的示例专有基础模型创建端点后,请确保删除 SageMaker 推理端点并删除模型,以避免产生费用。
结论
在这篇文章中,我们向您展示了如何在 SageMaker Studio 中开始使用 AI21、Cohere 和 LightOn 等模型提供商的专有模型。 客户可以在 Studio 的 SageMaker JumpStart、SageMaker SDK 和 SageMaker 控制台中发现和使用专有的基础模型。 这样,他们就可以访问包含数十亿个参数的大规模机器学习模型,并经过 TB 级文本和图像数据的预训练,以便客户可以执行各种任务,例如文章摘要以及文本、图像或视频生成。 由于基础模型是经过预训练的,因此它们还可以帮助降低培训和基础设施成本,并支持针对您的用例进行定制。
资源
关于作者
六月赢了 是 SageMaker JumpStart 的产品经理。 他专注于使基础模型易于发现和使用,以帮助客户构建生成式人工智能应用程序。
玛尼哈努加 是 Amazon Web Services (AWS) 的人工智能和机器学习专家 SA。 她帮助客户使用机器学习解决使用 AWS 的业务挑战。 她大部分时间都花在深入研究和教授客户有关计算机视觉、自然语言处理、预测、边缘 ML 等 AI/ML 项目。 她对 ML at edge 充满热情,因此,她创建了自己的实验室,配备了自动驾驶套件和原型制造生产线,她在那里度过了很多空闲时间。
尼廷优西比乌斯 是 AWS 的高级企业解决方案架构师,拥有软件工程、企业架构和 AI/ML 方面的经验。 他与客户合作,帮助他们在 AWS 平台上构建架构良好的应用程序。 他热衷于解决技术挑战并帮助客户完成云之旅。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/use-proprietary-foundation-models-from-amazon-sagemaker-jumpstart-in-amazon-sagemaker-studio/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 000
- 10
- 100
- 40
- 50
- 500
- 7
- 87
- a
- Able
- 关于
- 以上
- 加快
- ACCESS
- 账号管理
- 行动
- 管理员
- 后
- 经纪人
- AI
- AI / ML
- 算法
- 所有类型
- 允许
- 已经
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊SageMaker JumpStart
- 亚马逊SageMaker Studio
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- an
- 和
- 和基础设施
- 任何
- 再
- APIs
- 出现
- 家电
- 应用领域
- 适当
- 架构
- 保健
- 围绕
- 刊文
- 刊文
- 人造的
- 人工智能
- 人工智能和机器学习
- AS
- 帮助
- 助理
- At
- 自动化
- 可使用
- 避免
- AWS
- AWS Marketplace
- 基于
- BE
- 因为
- 很
- before
- 作为
- 最佳
- 亿
- 十亿美元
- 博客
- 身体
- 建立
- 建
- 商业
- 商业应用
- 企业
- 但是
- by
- CAN
- 捕获
- 捕获
- 卡
- 牌
- 关心
- 案件
- 细胞
- 挑战
- 字符
- 带电
- 收费
- 聊天机器人
- 选择
- 云端技术
- 代码
- 一台
- 计算机视觉
- 一贯
- 安慰
- 消费者
- 消费产品
- CONTACT
- 包含
- 包含
- 控制
- 文案
- 相应
- 成本
- 覆盖
- 创建信息图
- 创建
- 创造
- 顾客
- 合作伙伴
- 定制
- data
- 数据科学家
- 专用
- 深
- 根据
- 部署
- 部署
- 部署
- 描述
- 细节
- 详情
- 发达
- 研发支持
- 扩散
- 直接
- 已优惠
- 通过各种方式找到
- 显示
- 不会
- 别
- 容易
- 易
- 边缘
- 工作的影响。
- 邮箱地址
- enable
- 端点
- 工程师
- 企业
- 企业
- 实体
- 环境
- 等
- 评估
- 例子
- 例子
- 体验
- 探索
- 面部彩妆
- 少数
- (名字)
- 重点
- 遵循
- 其次
- 以下
- 针对
- 基金会
- 自由的
- 止
- 功能
- 生成
- 产生
- 发电
- 代
- 生成的
- 生成式人工智能
- 得到
- 越来越
- 特定
- Go
- 处理
- 有
- he
- 帮助
- 帮助
- 帮助
- 这里
- 高品质
- 创新中心
- How To
- HTML
- HTTPS
- 中心
- 思路
- 鉴定
- if
- 图片
- 进口
- 重要
- 输入
- 有声有色
- in
- 包含
- 信息
- 基础设施
- 输入
- 输入
- 安装
- 安装
- 例
- 说明
- 集成
- 房源搜索
- 成
- 孤立
- IT
- 它的
- 工作
- 旅程
- JPG
- 键
- 实验室
- 实验室
- 着陆
- 语言
- 大规模
- 后来
- 学习用品
- 学习
- 让
- Level
- 库
- 自学资料库
- 喜欢
- 极限
- Line
- 清单
- 已发布
- 清单
- 加载
- 长
- 看
- 占地
- 降低
- 机
- 机器学习
- 使
- 制作
- 制作
- 颠覆性技术
- 经理
- 制造业
- 许多
- 制图
- 市场
- 可能..
- ML
- 时尚
- 模型
- 模型
- 显示器
- 更多
- 最先进的
- 姓名
- 命名
- 自然
- 自然语言处理
- 必要
- 需求
- 需要
- 网络
- 消息
- 下页
- 笔记本
- 数
- 众多
- of
- on
- 一旦
- 打开
- or
- 组织
- 其他名称
- 输出
- 产量
- 推广
- 超过
- 简介
- 己
- 包
- 页
- 参数
- 多情
- 演出
- 性能
- 执行
- 施行
- 权限
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 热门
- 门户网站
- 帖子
- 强大
- 先决条件
- 呈现
- 以前
- 价格
- 先
- 所得款项
- 处理
- 采购
- 产品
- 产品经理
- 生产
- 核心产品
- 项目
- 所有权
- 原型
- 提供
- 提供
- 提供者
- 供应商
- 提供
- 公然
- 出版
- 蟒蛇
- 质量
- 有疑问吗?
- 范围
- 达到
- 应对
- 阅读
- 只读模式
- 实时的
- 承认
- 关于
- 地区
- 地区
- 有关
- 留
- 请求
- 要求
- 必须
- 资源
- 检讨
- 角色
- περίπου
- 运行
- 运行
- SA
- sagemaker
- SageMaker 推理
- 同
- 科学家
- 脚本
- SDK
- 部分
- 看到
- 选
- 选择
- 自驾车
- 服务
- 特色服务
- 会议
- 集
- Share
- 她
- 短
- 应该
- 展示
- 显示
- 如图
- 作品
- 类似
- 简化
- 只是
- 单
- 智能
- So
- 软件
- 软件工程
- 解决方案
- 解决
- 解决
- 一些
- 有人
- 来源
- 来源
- 专家
- 具体的
- 稳定
- 开始
- 开始
- 步骤
- 仍
- 工作室
- 订阅
- 订阅
- 这样
- 总结
- 概要
- SUPPORT
- 支持
- 系统
- 行李牌
- 采取
- 拍摄
- 任务
- 教诲
- 团队
- 专业技术
- 条款
- 测试
- 测试
- 这
- 信息
- 其
- 他们
- 然后
- 因此
- 博曼
- 他们
- Free Introduction
- 那些
- 通过
- 次
- 至
- 主题
- 培训
- 熟练
- 产品培训
- 尝试
- 二
- 类型
- 类型
- ui
- 下
- 理解
- 网址
- 可用
- 用法
- 使用
- 用例
- 用过的
- 用户
- 使用
- 运用
- 各个
- 版本
- 通过
- 视频
- 查看
- 愿景
- 音色
- 体积
- 是
- we
- 卷筒纸
- Web服务
- 基于网络的
- 重量
- 井
- 这
- 而
- 宽
- 大范围
- 维基百科上的数据
- 将
- 话
- 合作
- 完全
- 您一站式解决方案
- 和风网