别介意使用大型语言模型(LLM)来帮助编写代码,Nvidia首席执行官黄仁勋相信,未来的企业软件将只是一组聊天机器人串在一起来完成任务。
“你不太可能从头开始编写它,也不太可能编写一大堆 Python 代码或类似的东西,”他在 GTC 期间在台上说道。 基调 周一。 “很有可能你组建了一支人工智能团队。”
Jensen 解释说,这个人工智能团队可能包括一个旨在分解请求并将其委托给各种其他模型的模型。其中一些模型可能经过训练来理解 SAP 或 Service Now 等业务服务,而其他模型可能会对矢量数据库中存储的数据执行数值分析。然后可以将这些数据组合起来并通过另一个模型呈现给最终用户。
“我们每天都可以收到一份报告,或者你知道,最重要的是与构建计划、某些预测、某些客户警报、某些错误数据库或其他任何情况有关,”他解释道
为了将所有这些模型链接在一起,Nvidia 借鉴了 Docker 的经验,为 AI 创建了一个容器运行时。
这些被称为 Nvidia 推理微服务(简称 NIM)的本质上是容器映像,其中包含模型(无论是开源模型还是专有模型)以及运行该模型所需的所有依赖项。然后,这些容器化模型可以跨任意数量的运行时部署,包括 Nvidia 加速的 Kubernetes 节点。
“您可以将其部署在我们称为 DGX Cloud 的基础设施上,也可以将其部署在本地,或者您可以将其部署在您喜欢的任何地方。一旦你开发了它,你就可以把它带到任何地方,”Jensen 说。
当然,您首先需要订阅 Nvidia 的 AI Enterprise 套件,该套件并不便宜,每个 GPU 每年 4,500 美元,或者云中每个 GPU 每小时 1 美元。一般来说,这种定价策略似乎会激励更密集、更高性能的系统,因为无论您是在 L40 还是在 LXNUMX 上运行,其成本都是相同的。 B100s.
如果容器化 GPU 加速工作负载的想法听起来很熟悉,那么这对于 Nvidia 来说并不是一个新想法。 CUDA加速已 支持的 多年来,Nvidia 的容器运行时一直在各种容器运行时上运行,包括 Docker、Podman、Containerd 或 CRI-O,而且看起来 Nvidia 的容器运行时不会有任何发展。
NIM 背后的价值主张似乎是 Nvidia 将负责这些模型的打包和优化,以便它们拥有正确版本的 CUDA、Triton 推理服务器或 TensorRT LLM,这是获得最佳性能所必需的。
争论的焦点是,如果 Nvidia 发布了一个可以显着提高某些模型类型的推理性能的更新,那么利用该功能只需要下载最新的 NIM 映像即可。
除了特定于硬件的模型优化之外,Nvidia 还致力于实现容器之间的一致通信,以便它们可以通过 API 调用相互聊天。
据我们了解,当今市场上各种人工智能模型使用的 API 调用并不总是一致,导致某些模型更容易组合在一起,而另一些模型可能需要额外的工作。
将机构知识借给通用模型
任何使用过人工智能聊天机器人的人都会知道,虽然它们通常能够很好地解决一般知识问题,但对于晦涩或技术性的请求,它们并不总是最可靠的。
詹森在他的主题演讲中强调了这一事实。当被问及 Nvidia 内部使用的内部程序时,Meta 的 Llama 2 70B 大语言模型毫不奇怪地提供了一个不相关术语的定义。
Nvidia 没有试图让企业训练自己的模型(这会出售大量 GPU,但会极大地限制潜在市场),而是开发了工具来根据客户数据和流程微调其 NIM。
“我们有一项名为 NeMo Microservices 的服务,可以帮助您管理数据、准备数据,以便您可以……使用这个人工智能。你对其进行微调,然后对其进行防护;然后你可以评估……它与其他示例的性能,”黄解释道。
他还谈到了 Nvidia 的 NeMo Retriever 服务,该服务基于使用检索增强生成 (RAG) 来显示模型尚未经过专门训练的信息的概念。
这里的想法是文档、流程和其他数据可以加载到连接到模型的矢量数据库中。然后,模型可以根据查询搜索数据库、检索并总结相关信息。
用于集成 RAG 的 NIM 模型和 NeMo Retriever 现已推出,而 NeMo Microservices 则处于抢先体验阶段。 ®
- :具有
- :是
- $UP
- 7
- a
- 关于
- 加速
- 促进
- ACCESS
- 横过
- 增加
- 额外
- 寻址
- 优点
- 驳
- AI
- AI聊天机器人
- AI模型
- 警惕
- 所有类型
- 沿
- 还
- 时刻
- an
- 分析
- 和
- 另一个
- 任何
- 什么
- 分析数据
- API
- 出现
- 保健
- 论点
- 围绕
- AS
- At
- 增强
- 可使用
- 基于
- BE
- 很
- 背后
- 作为
- 相信
- 最佳
- 之间
- 书
- 提升
- 都
- 机器人
- 午休
- 虫子
- 建立
- 束
- 商业
- 但是
- by
- 被称为
- 呼叫
- CAN
- 可以得到
- CEO
- 一定
- 链
- 即时通话
- 聊天机器人
- 廉价
- 云端技术
- CO
- 码
- 采集
- 结合
- 通信
- 完成
- 概念
- 已联繫
- 一贯
- 容器
- 集装箱
- 成本
- 套餐
- 创建
- 治愈
- 顾客
- 客户数据
- data
- 数据库
- 天
- 定义
- 依赖
- 部署
- 部署
- 设计
- 开发
- 发达
- do
- 码头工人
- 文件
- 不会
- 向下
- 显着
- ,我们将参加
- 每
- 早
- 更容易
- 使
- 结束
- 企业
- 企业软件
- 企业
- 本质上
- 所有的
- 究竟
- 例子
- 解释
- 介绍
- 事实
- 熟悉
- 结束
- 姓氏:
- 针对
- 收益预测
- 止
- 功能
- 未来
- 其他咨询
- 代
- 得到
- 去
- 非常好
- GPU
- 图形处理器
- 处理
- 发生
- 硬件
- 有
- he
- 帮助
- 帮助
- 相关信息
- 更高
- 突出
- 他的
- 小时
- HTTPS
- 黄
- 主意
- if
- 图片
- 图片
- in
- 激励
- 包括
- 包含
- 信息
- 基础设施
- 机构
- 整合
- 内部
- 成
- ISN
- IT
- 它的
- 詹森黄
- JPG
- 只是
- 主题演讲
- 知道
- 知识
- 语言
- 大
- 最新
- 喜欢
- 容易
- 极限
- ll
- 骆驼
- LLM
- 看
- 看起来像
- 占地
- 市场
- 可能..
- 元
- 微服务
- 可能
- 模型
- 模型
- 周一
- 最先进的
- 必要
- 需求
- 全新
- 节点
- 现在
- 数
- Nvidia公司
- of
- on
- 板载
- 一旦
- 打开
- 开放源码
- 优化
- 优化
- or
- 其他名称
- 其它
- 我们的
- 输出
- 己
- 包装
- 页
- 为
- 演出
- 性能
- 计划
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 炳
- Prepare
- 呈现
- 漂亮
- 价格
- 过程
- 曲目
- 主张
- 所有权
- 提供
- 拉
- 目的
- 蟒蛇
- 询问
- 有疑问吗?
- 抹布
- RE
- 而不管
- 发布
- 相应
- 可靠
- 报告
- 请求
- 要求
- 要求
- 导致
- 恢复
- 右
- 运行
- 运行
- s
- 说
- 同
- 树液
- 划伤
- 搜索
- 似乎
- 出售
- 服务器
- 服务
- 特色服务
- 短
- 单
- So
- 软件
- 一些
- 东西
- 声音
- 来源
- 具体的
- 特别是
- 阶段
- 存储
- 策略
- 串
- 订阅
- 套房
- 总结
- 磁化面
- 产品
- 采取
- 服用
- 任务
- 团队
- 文案
- 术语
- 这
- 未来
- 其
- 他们
- 然后
- 博曼
- 他们
- Free Introduction
- 至
- 今晚
- 一起
- 工具
- 最佳
- 培训
- 熟练
- 海卫一
- 试图
- 调
- 类型
- 理解
- 不会
- 更新
- 用过的
- 用户
- 运用
- 平时
- 折扣值
- 各种
- 各个
- 版本
- 非常
- 通过
- we
- 任何
- 是否
- 这
- 而
- WHO
- 全
- 宽
- 将
- 中
- 工作
- 加工
- 将
- 写
- 写代码
- 年
- 但
- 完全
- 你的
- YouTube的
- 和风网