在2021推出, 亚马逊 SageMaker 画布 是一种可视化的点击式服务,用于构建和部署机器学习 (ML) 模型,无需编写任何代码。 SageMaker Canvas 中提供的即用型基础模型 (FM) 使客户能够使用生成式 AI 来执行内容生成和摘要等任务。
我们很高兴地宣布 Amazon SageMaker Canvas 的最新更新,为该平台带来了令人兴奋的新生成式 AI 功能。通过对 Meta Llama 2 和 Mistral.AI 模型的支持以及流响应的推出,SageMaker Canvas 继续为每个想要开始使用生成式 AI 的人提供支持,而无需编写任何代码。在这篇文章中,我们将讨论这些更新及其好处。
介绍 Meta Llama 2 和 Mistral 型号
Llama 2 是 Meta 的尖端基础模型,为各种生成式 AI 任务提供了改进的可扩展性和多功能性。用户报告说,Llama 2 能够进行有意义且连贯的对话,生成新内容,并从现有笔记中提取答案。 Llama 2 是当今最先进的大型语言模型 (LLM) 之一,可供开源社区构建自己的人工智能应用程序。
Mistral.AI 是一家领先的法国人工智能初创公司,它开发了 Mistral 7B,这是一种拥有 7.3 亿个参数的强大语言模型。由于使用分组查询注意力 (GQA) 来实现更快的推理,Mistral 模型受到了开源社区的广泛好评,使其高效且性能与参数数量是两倍或三倍的模型相当。
今天,我们很高兴地宣布 SageMaker Canvas 现在支持三个 Llama 2 模型变体和两个 Mistral 7B 变体:
要测试这些模型,请导航到 SageMaker Canvas 即用型 页,然后选择 生成、提取和总结内容。您可以在这里找到 SageMaker Canvas GenAI 聊天体验。在这里,您可以通过在模型下拉菜单中选择 Amazon Bedrock 或 SageMaker JumpStart 来使用它们。
在我们的例子中,我们选择 Llama 2 型号之一。现在您可以提供您的输入或查询。当您发送输入时,SageMaker Canvas 会将您的输入转发到模型。
选择 SageMaker Canvas 中最适合您的用例的模型需要您考虑模型本身的信息:Llama-2-70B-chat 模型是一个更大的模型(70 亿个参数,相比之下,13 亿个参数与 Llama-2-13B-chat ),这意味着它的性能通常高于较小的,但代价是延迟稍高,并且每个令牌的成本增加。 Mistral-7B 的性能与 Llama-2-7B 或 Llama-2-13B 相当,但它托管在 Amazon SageMaker 上。这意味着定价模型是不同的,从每代币一美元的定价模型转变为每小时一美元的模型。通过每小时处理大量请求和大规模一致使用,这可以更具成本效益。上述所有模型都可以在各种用例中表现良好,因此我们的建议是评估哪种模型最能解决您的问题,同时考虑输出、吞吐量和成本权衡。
如果您正在寻找一种简单的方法来比较模型的行为方式,SageMaker Canvas 本身就以模型比较的形式提供了此功能。您最多可以选择三个不同的模型,并一次向所有模型发送相同的查询。然后,SageMaker Canvas 将获取每个模型的响应,并在并排聊天 UI 中显示它们。为此,请选择 对比其他款式 并选择其他型号进行比较,如下图:
引入响应流:实时交互和增强的性能
此版本的关键改进之一是引入了流式响应。响应流为用户提供了更丰富的体验并更好地反映了聊天体验。通过流式响应,用户可以在聊天机器人应用程序中接收即时反馈和无缝集成。这可以提供更具交互性和响应性的体验,从而提高聊天机器人的整体性能和用户满意度。以类似聊天的方式接收即时响应的能力创建了更自然的对话流程并改善了用户体验。
借助此功能,您现在可以与 AI 模型实时交互,接收即时响应并实现与各种应用程序和工作流程的无缝集成。可以在 SageMaker Canvas 中从 Amazon Bedrock 和 SageMaker JumpStart 查询的所有模型都可以将响应流式传输给用户。
立即開始
无论您是构建聊天机器人、推荐系统还是虚拟助手,Llama 2 和 Mistral 模型与流式响应相结合都能为您的项目带来增强的性能和交互性。
要使用 SageMaker Canvas 的最新功能,请确保删除并重新创建该应用程序。为此,请选择从应用程序注销 退出,然后再次打开 SageMaker Canvas。您应该看到新型号并享受最新版本。注销 SageMaker Canvas 应用程序将释放工作区实例使用的所有资源,从而避免产生额外的意外费用。
结论
要开始在 SageMaker Canvas 中使用 Llama 2 和 Mistral 模型的新流式响应,请访问 SageMaker 控制台 并探索直观的界面。要详细了解 SageMaker Canvas 和生成式 AI 如何帮助您实现业务目标,请参阅 使您的业务用户能够使用 Amazon SageMaker Canvas 和 Generative AI 从公司文档中提取见解 和 利用生成式 AI 和 Amazon SageMaker Canvas 克服联络中心的常见挑战.
如果您想了解有关 SageMaker Canvas 功能的更多信息并深入了解其他 ML 用例,请查看 SageMaker 画布类别 AWS ML 博客的内容。我们迫不及待地想看到您将利用这些新功能创建令人惊叹的人工智能应用程序!
关于作者
戴维德·加利特利 是 AI/ML 的高级专家解决方案架构师。 他居住在布鲁塞尔,与全球寻求采用低代码/无代码机器学习技术和生成人工智能的客户密切合作。 他从很小的时候就开始做开发人员,7 岁就开始编码。他在大学开始学习 AI/ML,从那时起就爱上了它。
丹·辛瑞奇 是 AWS 的高级产品经理,帮助实现低代码/无代码机器学习的民主化。 在加入 AWS 之前,Dan 构建并商业化了企业 SaaS 平台和时间序列模型,供机构投资者用来管理风险和构建最佳投资组合。 工作之余,他会打曲棍球、水肺潜水和阅读科幻小说。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/
- :具有
- :是
- :在哪里
- $UP
- 100
- 13
- 2021
- 7
- 70
- a
- 对,能力--
- 关于
- 以上
- 账号管理
- 额外
- 采用
- 进步
- 再次
- 驳
- 年龄
- AI
- AI模型
- AI供电
- AI / ML
- 所有类型
- 允许
- 惊人
- Amazon
- 亚马逊SageMaker
- 亚马逊 SageMaker 画布
- 亚马逊网络服务
- 其中
- 量
- an
- 和
- 宣布
- 宣布
- 答案
- 任何
- 应用
- 应用领域
- 应用领域
- 保健
- 围绕
- AS
- 助理
- At
- 关注我们
- 可使用
- 避免
- AWS
- 基于
- BE
- 很
- 如下。
- 好处
- 最佳
- 更好
- 大
- 亿
- 博客
- 带来
- 布鲁塞尔
- 建立
- 建筑物
- 建
- 商业
- by
- CAN
- 帆布
- 能力
- 能力
- 能力
- 案件
- 例
- Center
- 挑战
- 收费
- 即时通话
- 聊天机器人
- 查
- 选择
- 密切
- 码
- 相干
- 结合
- 相当常见
- 社体的一部分
- 公司
- 可比
- 比较
- 相比
- 比较
- 考虑
- 一贯
- 建设
- CONTACT
- 联络中心
- 内容
- 内容生成
- 继续
- 谈话
- 对话
- 价格
- 创建信息图
- 创建
- 合作伙伴
- 前沿
- 深
- 深潜
- 民主化
- 部署
- 发达
- 开发商
- 不同
- 讨论
- 潜水
- 跳水
- do
- 文件
- 每
- 有效
- 高效
- 授权
- enable
- 使
- 从事
- 增强
- 加强
- 享受
- 企业
- 评估
- 每个人
- 兴奋
- 令人兴奋的
- 现有
- 体验
- 探索
- 提取
- 堕落
- 快
- 专栏
- 特征
- 反馈
- 小说
- 找到最适合您的地方
- 适合
- 流
- 针对
- 申请
- 发现
- 基金会
- 法语
- 止
- Genai
- 通常
- 发电
- 代
- 生成的
- 生成式人工智能
- 得到
- 地球
- 理想中
- 有
- he
- 帮助
- 帮助
- 相关信息
- 更高
- 高度
- 托管
- 小时
- 创新中心
- 但是
- HTTPS
- 即时
- 改善
- 提高
- in
- 增加
- 信息
- 输入
- 可行的洞见
- 例
- 即食类
- 机构
- 机构投资者
- 积分
- 相互作用
- 互动
- 互动
- 互动
- 接口
- 成
- 介绍
- 直观的
- 投资者
- IT
- 它的
- JPG
- 键
- 语言
- 大
- 潜伏
- 最新
- 最新更新
- 发射
- 领导
- 学习用品
- 学习
- Line
- 骆驼
- 日志
- 记录
- 寻找
- 爱
- 机
- 机器学习
- 使
- 制作
- 管理
- 经理
- 方式
- 有意义的
- 手段
- 菜单
- 元
- ML
- 模型
- 模型
- 更多
- 移动
- 本地
- 自然
- 导航
- 需求
- 全新
- 现在
- 数
- of
- 优惠精选
- on
- 一旦
- 一
- 打开
- 开放源码
- 最佳
- or
- 其他名称
- 我们的
- 输出
- 产量
- 学校以外
- 最划算
- 己
- 页
- 参数
- 为
- 演出
- 性能
- 表演
- 执行
- 图片
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 投资组合
- 帖子
- 帖子
- 强大
- 以前
- 价格
- 定价模型
- 市场问题
- 产品
- 产品经理
- 项目
- 提供
- 提供
- 询问
- 范围
- 阅读
- 真实
- 实时的
- 接收
- 收到
- 接收
- 推荐
- 参考
- 反映
- 释放
- 发布
- 报道
- 要求
- 需要
- 资源
- 响应
- 回复
- 响应
- 更富有
- 风险
- SaaS的
- sagemaker
- 同
- 满意
- 可扩展性
- 鳞片
- 科学
- 科幻小说
- 无缝的
- 看到
- 选择
- 选择
- 提交
- 前辈
- 服务
- 特色服务
- 应该
- 显示
- 如图
- 显著
- 自
- 单
- 小
- So
- 解决方案
- 解决
- 来源
- 专家
- 启动
- 开始
- 开始
- 国家的最先进的
- 简单的
- 流
- 流
- 流
- 这样
- 总结
- SUPPORT
- 支持
- 肯定
- 系统
- 采取
- 任务
- 技术
- test
- 谢谢
- 这
- 其
- 他们
- 他们自己
- 然后
- 因此
- 博曼
- Free Introduction
- 三
- 高兴
- 吞吐量
- 次
- 时
- 至
- 今晚
- 象征
- 两次
- 二
- ui
- 大学
- 最新动态
- 用法
- 使用
- 用例
- 用过的
- 用户
- 用户体验
- 用户
- 运用
- 各种
- 多功能性
- 非常
- 在线会议
- 虚拟助理
- 参观
- 视觉
- 等待
- 想
- 希望
- 是
- 方法..
- we
- 卷筒纸
- Web服务
- 井
- 这
- 宽
- 大范围
- 将
- 也完全不需要
- 工作
- 工作流程
- 合作
- 写
- 写作
- 完全
- 年轻
- 您一站式解决方案
- 和风网