今天,我们很高兴地宣布,由技术创新研究所 (TII) 开发并在 Amazon SageMaker 上进行训练的 Falcon 180B 基础模型可供客户通过 亚马逊SageMaker JumpStart 一键部署以运行推理。 Falcon 180B 拥有 3.5 亿个参数大小,并在 180 万亿代币的海量数据集上进行训练,是最大、性能最好的模型之一,具有可公开访问的权重。 您可以使用 SageMaker JumpStart 尝试此模型,SageMaker JumpStart 是一个机器学习 (ML) 中心,提供对算法、模型和 ML 解决方案的访问,以便您可以快速开始使用 ML。 在这篇文章中,我们将介绍如何通过 SageMaker JumpStart 发现和部署 Falcon 180B 模型。
什么是猎鹰180B
猎鹰180B是发布的型号 信息产业部 继 Falcon 系列之前的版本之后。 它是 Falcon 40B 的放大版本,它使用多查询注意力来实现更好的可扩展性。 它是一种使用优化的转换器架构的自回归语言模型。 它接受了 3.5 万亿个令牌数据的训练,主要包括来自 精网 (约 85%)。 该型号有两个版本:180B和180B-Chat。 180B 是一个原始的、预先训练的模型,应该针对大多数用例进行进一步微调。 180B-Chat 更适合接受通用指令。 聊天模型已经在聊天和指令数据集以及几个大型对话数据集上进行了微调。
该模型可在 Falcon-180B TII 许可证 和 可接受使用政策.
Falcon 180B 接受了 TII 的培训 亚马逊SageMaker,在大约 4K A100 GPU 的集群上。 它使用名为 Gigatron 的自定义分布式训练代码库,该代码库使用 ZeRO 的 3D 并行性以及自定义的高性能 Triton 内核。 使用的分布式训练架构 亚马逊简单存储服务 (Amazon S3)作为数据加载和检查点写入和读取的唯一统一服务,这特别有助于提高工作负载可靠性和操作简单性。
什么是 SageMaker JumpStart
借助 SageMaker JumpStart,机器学习从业者可以从不断增长的性能最佳基础模型列表中进行选择。 ML 从业者可以将基础模型部署到网络隔离环境中的专用 SageMaker 实例,并使用 Amazon SageMaker 自定义模型以进行模型训练和部署。
您现在只需点击几下即可发现并部署 Falcon 180B 亚马逊SageMaker Studio 或通过 SageMaker Python SDK 以编程方式,使您能够利用 SageMaker 功能导出模型性能和 MLOps 控制,例如 Amazon SageMaker管道, Amazon SageMaker调试器,或容器日志。 该模型部署在 AWS 安全环境中并受您的 VPC 控制,有助于确保数据安全。 Falcon 180B 是可发现的,并且可以部署在有必要实例可用的区域中。 目前,ml.p4de 实例在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)可用。
探索型号
您可以通过 SageMaker Studio UI 和 SageMaker Python SDK 中的 SageMaker JumpStart 访问基础模型。 在本节中,我们将介绍如何在 SageMaker Studio 中发现模型。
SageMaker Studio 是一个集成开发环境 (IDE),提供基于 Web 的单一可视化界面,您可以在其中访问专用工具来执行所有 ML 开发步骤,从准备数据到构建、训练和部署 ML 模型。 有关如何开始和设置 SageMaker Studio 的更多详细信息,请参阅 亚马逊SageMaker Studio.
在 SageMaker Studio 中,您可以访问 SageMaker JumpStart,其中包含预训练的模型、笔记本和预构建的解决方案,位于 预构建和自动化解决方案.
在 SageMaker JumpStart 登录页面中,您可以浏览解决方案、模型、笔记本和其他资源。 您可以在以下位置找到 Falcon 180B: 基础模型:文本生成 旋转木马
您还可以通过选择找到其他型号变体 探索所有文本生成模型 或搜寻 Falcon
.
您可以选择模型卡来查看有关模型的详细信息,例如许可证、用于训练的数据以及如何使用。 您还会发现两个按钮, 部署 和 打开笔记本,这将帮助您使用该模型(以下屏幕截图显示了 部署 选项)。
部署模型
当你选择 部署,模型部署将开始。 或者,您可以通过选择显示的示例笔记本进行部署 打开笔记本。 该示例笔记本提供了有关如何部署模型进行推理和清理资源的端到端指导。
要使用笔记本进行部署,我们首先选择适当的模型,由 model_id
。 您可以使用以下代码在 SageMaker 上部署任何选定的模型:
这会使用默认配置在 SageMaker 上部署模型,包括默认实例类型和默认 VPC 配置。 您可以通过在中指定非默认值来更改这些配置 JumpStartModel
。 要了解更多信息,请参阅 API文档。 部署后,您可以通过 SageMaker 预测器对部署的终端节点运行推理。 请看下面的代码:
推理参数控制端点处的文本生成过程。 最大新令牌控制是指模型生成的输出的大小。 请注意,这与单词数不同,因为模型的词汇表与英语词汇不同,并且每个标记可能不是英语单词。 温度控制输出的随机性。 较高的温度会产生更多的创造性和幻觉输出。 所有推理参数都是可选的。
此 180B 参数模型为 335GB,需要更多 GPU 内存才能充分执行 16 位精度的推理。 目前,JumpStart 仅在 ml.p4de.24xlarge 实例上支持此模型。 通过提供以下内容,可以在 ml.p8d.4xlarge 实例上部署 24 位量化模型 env={"HF_MODEL_QUANTIZE": "bitsandbytes"}
的关键字参数 JumpStartModel
构造函数并指定 instance_type="ml.p4d.24xlarge"
到部署方法。 但是,请注意,对于此量化配置,每个令牌的延迟大约慢 5 倍。
下表列出了 SageMaker JumpStart 中可用的所有 Falcon 模型以及模型 ID、默认实例类型、支持的最大令牌总数(输入令牌数量与生成令牌数量的总和)以及每个令牌的典型响应延迟对于每个模型。
型号名称 | 型号ID | 默认实例类型 | 最大总代币数 | 每个令牌的延迟* |
猎鹰7B | huggingface-llm- falcon-7b-bf16 |
ml.g5.2xlarge | 2048 | 34毫秒 |
猎鹰7B指导 | huggingface-llm- falcon-7b-instruct-bf16 |
ml.g5.2xlarge | 2048 | 34毫秒 |
猎鹰40B | huggingface-llm- falcon-40b-bf16 |
ml.g5.12xlarge | 2048 | 57毫秒 |
猎鹰40B指导 | huggingface-llm- falcon-40b-instruct-bf16 |
ml.g5.12xlarge | 2048 | 57毫秒 |
猎鹰180B | huggingface-llm- falcon-180b-bf16 |
ml.p4de.24xlarge | 2048 | 45毫秒 |
猎鹰 180B 聊天 | huggingface-llm- falcon-180b-chat-bf16 |
ml.p4de.24xlarge | 2048 | 45毫秒 |
*每个令牌的延迟是针对本博客中提供的示例提示的中值响应时间提供的; 该值将根据输入和输出序列的长度而变化。
Falcon 180B 的推理和示例提示
Falcon 模型可用于任何文本片段的文本补全。 通过文本生成,您可以执行各种任务,例如回答问题、语言翻译、情感分析等等。 端点接受以下输入负载模式:
您可以探索这些的定义 客户端参数 以及它们在文本生成推理存储库中的默认值。
以下是一些示例提示和模型生成的文本。 这里的所有输出都是使用推理参数生成的 {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}
.
建立网站只需 10 个简单步骤即可完成:
您可能会注意到这个预训练模型生成的长文本序列不一定适合对话用例。 在我们展示经过微调的聊天模型如何针对大量基于对话的提示执行操作之前,接下来的两个示例说明了如何使用 Falcon 模型进行少量上下文学习,其中我们为模型提供了可用的训练样本。 请注意,“少样本学习”不会调整模型权重——在此过程中我们仅对已部署的模型进行推理,同时在输入上下文中提供一些示例以帮助 guild 模型输出。
Falcon 180B-Chat 的推理和示例提示
使用针对对话用例进行优化的 Falcon 180B-Chat 模型,聊天模型端点的输入可能包含聊天助理和用户之间的先前历史记录。 您可以提出与目前所发生的对话相关的问题。 您还可以提供系统配置,例如定义聊天助理行为的角色。 端点的输入有效负载与 Falcon 180B 型号相同,除了 inputs
字符串值应使用以下格式:
以下是一些示例提示和模型生成的文本。 所有输出均使用推理参数生成 {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.
在以下示例中,用户与助理就巴黎的旅游景点进行了对话。 接下来,用户询问聊天助手推荐的第一个选项。
清理
运行完笔记本后,请确保删除在此过程中创建的所有资源,以便停止计费。 使用以下代码:
结论
在这篇文章中,我们向您展示了如何在 SageMaker Studio 中开始使用 Falcon 180B 并部署模型进行推理。 由于基础模型是预先训练的,因此它们可以帮助降低培训和基础设施成本,并支持针对您的用例进行定制。 立即访问 SageMaker Studio 中的 SageMaker JumpStart 以开始使用。
资源
作者简介
凯尔乌尔里希博士 是 Amazon SageMaker JumpStart 团队的应用科学家。 他的研究兴趣包括可扩展的机器学习算法、计算机视觉、时间序列、贝叶斯非参数和高斯过程。 他拥有杜克大学博士学位,并在 NeurIPS、Cell 和 Neuron 上发表过论文。
Ashish Khetan 博士 是 Amazon SageMaker JumpStart 的高级应用科学家,帮助开发机器学习算法。 他在伊利诺伊大学厄巴纳-香槟分校获得博士学位。 他是机器学习和统计推断领域的活跃研究员,并在 NeurIPS、ICML、ICLR、JMLR、ACL 和 EMNLP 会议上发表了多篇论文。
奥利维尔·克鲁尚t 是 AWS 的首席机器学习专家解决方案架构师,总部位于法国。 Olivier 帮助 AWS 客户(从小型初创公司到大型企业)开发和部署生产级机器学习应用程序。 在业余时间,他喜欢阅读研究论文并与朋友和家人一起探索荒野。
卡尔艾伯森 领导 Amazon SageMaker 的基础模型中心、算法和合作伙伴团队。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- 图表Prime。 使用 ChartPrime 提升您的交易游戏。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 1
- 10
- 100
- 11
- 12
- 13
- 14
- 150
- 20
- 25
- 26%
- 3d
- 4k
- 7
- 8
- 9
- a
- 关于
- 接受
- ACCESS
- 无障碍
- 要积极。
- 加
- 另外
- 地址
- 后
- 驳
- 算法
- 所有类型
- 允许
- 沿
- 还
- 时刻
- am
- Amazon
- 亚马逊SageMaker
- 亚马逊SageMaker JumpStart
- 亚马逊网络服务
- an
- 分析
- 和
- 和基础设施
- 宣布
- 另一个
- 回答
- 任何
- 任何人
- 吸引人的
- 应用领域
- 应用的
- 适当
- 约
- 架构
- 保健
- 论点
- 艺术
- 刊文
- AS
- 问
- 助理
- At
- 关注我们
- 生
- 吸引力
- 自动化
- 可使用
- 大道
- AWS
- 基于
- 电池
- 贝叶斯
- BE
- 美丽
- 因为
- 很
- before
- 行为
- 更好
- 之间
- 计费
- 博客
- 拥有
- 浏览器
- 建设者
- 建设者
- 建筑物
- 商业
- 但是
- by
- 咖啡馆
- CAN
- 能力
- 卡
- 旋转木马
- 案件
- 例
- 更改
- 查
- 选择
- 选择
- 城市
- 分类
- 簇
- CMS
- 码
- 代码库
- 采集
- 列
- COM的
- 结合
- 相当常见
- 公司
- 完成
- 完成
- 一台
- 计算机视觉
- 会议
- 配置
- 组成
- CONTACT
- 包含
- 容器
- 包含
- 内容
- 上下文
- 上下文
- 一直
- 贡献
- 控制
- 控制
- 谈话
- 听起来像对话
- 成本
- 创建信息图
- 创建
- 创造
- 创意奖学金
- 杯
- 电流
- 目前
- 习俗
- 顾客
- 客户支持
- 合作伙伴
- 定制
- 定制
- data
- 数据安全
- 数据集
- 天
- 决定
- 专用
- 默认
- 定义
- 定义
- 演示
- 根据
- 部署
- 部署
- 部署
- 部署
- 部署
- 设计
- 目的地
- 详情
- 确定
- 开发
- 发达
- 研发支持
- 对话框
- 对话
- 不同
- 通过各种方式找到
- 分布
- 分布式培训
- do
- 不
- 域
- 域名
- 网站域名
- 完成
- 梦想
- 公爵
- 杜克大学
- ,我们将参加
- 每
- 缓解
- 容易
- 东部
- 易
- 邮箱地址
- enable
- 使
- 端至端
- 端点
- 能源
- 工程师
- 英语
- 确保
- 企业
- 环境
- 特别
- 甚至
- 例子
- 例子
- 除
- 兴奋
- 专门知识
- 探索
- 探索
- 表示
- 延期
- 扩展
- 广泛
- 家庭
- 著名
- 远
- 迷人
- 特征
- 少数
- 找到最适合您的地方
- 姓氏:
- 浮动
- 以下
- 如下
- 针对
- 格式
- 前
- 基金会
- 四
- FRAME
- 法国
- 法语
- 朋友
- 止
- 运作
- 进一步
- 绝美园林
- 宝石
- 生成
- 产生
- 产生
- 代
- 得到
- 玻璃
- Go
- 目标
- 理想中
- 去
- 非常好
- 得到了
- GPU
- 图形处理器
- 大
- 成长
- 指导
- 公会
- 民政事务总署
- 发生
- 恨
- 有
- 有
- he
- 胸襟
- 帮助
- 有帮助
- 帮助
- 帮助
- 相关信息
- 老旧房屋
- 沧海遗珠(不易发觉的美丽
- 高性能
- 更高
- 他的
- 历史
- 主页
- 主持人
- 托管
- 创新中心
- How To
- 但是
- HTML
- HTTPS
- 中心
- i
- 标志性的
- ID
- 理想
- IDS
- if
- 伊利诺伊州
- 图片
- 图片
- 进口
- 有声有色
- in
- 包括
- 包含
- 难以置信
- 信息
- 基础设施
- 創新
- 输入
- 输入
- 例
- 研究所
- 说明
- 集成
- 有兴趣
- 利益
- 接口
- 成
- 孤立
- IT
- 它的
- JPG
- 已知
- 凯尔
- 着陆
- 语言
- 大
- 大企业
- 大规模
- 大
- 最大
- 潜伏
- 最新
- 发射
- 法律
- 布局
- 信息
- 学习用品
- 学习
- 长度
- 执照
- 光
- 夹
- 友情链接
- 链接
- 清单
- 书单
- 装载
- 长
- 降低
- 卢森堡
- 机
- 机器学习
- 制成
- 使
- 制作
- 颠覆性技术
- 管理
- 许多
- 奇迹
- 质量
- 大规模
- 最大
- 最多
- 可能..
- 意
- 手段
- 媒体
- 中世纪
- 内存
- 的话
- 方法
- 可能
- 搅和
- 混合物
- ML
- 多播
- 模型
- 模型
- 更多
- 最先进的
- 运动
- 博物馆
- 音乐
- my
- 姓名
- 命名
- 名称
- 导航
- 旅游导航
- 一定
- 需求
- 负
- 净
- 网络
- 一般
- 全新
- 下页
- 夜
- 没有
- 笔记本
- 注意..
- 现在
- 数
- 观察家
- of
- 优惠精选
- 油
- 橄
- on
- 一旦
- 一
- 仅由
- 公然
- 操作
- 优化
- 附加选项
- 附加选项
- or
- 俄勒冈
- 其他名称
- 输出
- 概述
- 产量
- 超过
- 页
- 网页
- 宫
- 文件
- 参数
- 参数
- 巴黎
- 地形公园
- 尤其
- 合作伙伴关系
- 付款
- 付款方式
- 员工
- 为
- 演出
- 性能
- 施行
- 博士学位
- 电话
- 物理
- 片
- 计划
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 请
- 积极
- 可能
- 帖子
- 帖子
- 平台精度
- 预报器
- 准备
- 当下
- 以前
- 主要
- 校长
- 问题
- 过程
- 过程
- 产品
- 促进
- 正确
- 提供
- 提供
- 提供者
- 提供
- 优
- 出版
- 目的
- 放
- 蟒蛇
- 有疑问吗?
- 很快
- 随机性
- 原
- 阅读
- 食谱
- 建议
- 参考
- 指
- 而不管
- 地区
- 寄存器
- 注册
- 注册员
- 注册
- 相对的
- 相对论
- 发布
- 发布
- 相应
- 可靠性
- 可靠
- 纪念
- 知识库
- 代表
- 需要
- 必要条件
- 研究
- 研究员
- 资源
- 响应
- 成果
- 丰富
- 骑
- 版税
- 运行
- 运行
- s
- sagemaker
- 盐
- 同
- 可扩展性
- 可扩展性
- 鳞片
- 科学家
- SDK
- SEA
- 搜索
- 搜索
- 季节
- 其次
- 部分
- 安全
- 保安
- 看到
- 种子
- 选
- 选择
- 前辈
- 情绪
- 系列
- 服务
- 特色服务
- 集
- 设置
- 几个
- Share
- 商店
- 短
- 应该
- 显示
- 显示
- 作品
- 签署
- 简易
- 简单
- 只是
- 单
- 网站
- 尺寸
- 慢慢地
- 小
- So
- 至今
- 社会
- 社会化媒体
- 社交媒体帖子
- 解决方案
- 一些
- 东西
- 来源
- 太空
- 专家
- 指定
- 速度
- 开始
- 开始
- 初创企业
- 州
- 站
- 统计
- 步骤
- Stop 停止
- 停止
- 存储
- 商店
- 街头
- 串
- 工作室
- 令人惊叹
- 这样
- SUPPORT
- 支持
- 支持
- 肯定
- 符号
- 系统
- 表
- 采取
- 服用
- 任务
- 味道
- 团队
- 队
- 专业技术
- 技术创新
- 模板
- test
- 文本
- 这
- 世界
- 其
- 他们
- 主题
- 然后
- 理论
- 那里。
- 博曼
- 他们
- 第三
- Free Introduction
- 通过
- 次
- 时间序列
- 至
- 一起
- 象征
- 令牌
- 工具
- 工具
- 合计
- 塔
- 培训
- 熟练
- 产品培训
- 变压器
- 翻译
- 翻译
- 兆
- 旅
- 海卫一
- 尝试
- 鸣叫
- 二
- 类型
- 类型
- 普遍
- ui
- 下
- 统一
- 独特
- 大学
- 直到
- 上传
- us
- 使用
- 用例
- 用过的
- 用户
- 用户
- 使用
- 运用
- 真空
- 折扣值
- 价值观
- 各种
- 各个
- 版本
- 版本
- 通过
- VIBE
- 视频
- 视频
- 查看
- 意见
- 弗吉尼亚州
- 愿景
- 参观
- 访客
- 视觉
- 走
- 想
- 是
- 水印
- we
- 卷筒纸
- Web服务
- 基于网络的
- 您的网站
- 周
- 周
- 井
- 西部
- 什么是
- 什么是
- ,尤其是
- 这
- 而
- 将
- 窗户
- 中
- 也完全不需要
- Word
- 话
- 世界
- 写作
- 含
- 完全
- 您一站式解决方案
- 和风网
- 零