Nvidia：未来软件只是法学硕士的集合

由柏拉图重新发布

关注： 0

Nvidia：未来的软件只是法学硕士柏拉图区块链数据智能的集合。垂直搜索。人工智能。

别介意使用大型语言模型（LLM）来帮助编写代码，Nvidia首席执行官黄仁勋相信，未来的企业软件将只是一组聊天机器人串在一起来完成任务。

“你不太可能从头开始编写它，也不太可能编写一大堆 Python 代码或类似的东西，”他在 GTC 期间在台上说道。基调周一。 “很有可能你组建了一支人工智能团队。”

Jensen 解释说，这个人工智能团队可能包括一个旨在分解请求并将其委托给各种其他模型的模型。其中一些模型可能经过训练来理解 SAP 或 Service Now 等业务服务，而其他模型可能会对矢量数据库中存储的数据执行数值分析。然后可以将这些数据组合起来并通过另一个模型呈现给最终用户。

“我们每天都可以收到一份报告，或者你知道，最重要的是与构建计划、某些预测、某些客户警报、某些错误数据库或其他任何情况有关，”他解释道

为了将所有这些模型链接在一起，Nvidia 借鉴了 Docker 的经验，为 AI 创建了一个容器运行时。

这些被称为 Nvidia 推理微服务（简称 NIM）的本质上是容器映像，其中包含模型（无论是开源模型还是专有模型）以及运行该模型所需的所有依赖项。然后，这些容器化模型可以跨任意数量的运行时部署，包括 Nvidia 加速的 Kubernetes 节点。

“您可以将其部署在我们称为 DGX Cloud 的基础设施上，也可以将其部署在本地，或者您可以将其部署在您喜欢的任何地方。一旦你开发了它，你就可以把它带到任何地方，”Jensen 说。

当然，您首先需要订阅 Nvidia 的 AI Enterprise 套件，该套件并不便宜，每个 GPU 每年 4,500 美元，或者云中每个 GPU 每小时 1 美元。一般来说，这种定价策略似乎会激励更密集、更高性能的系统，因为无论您是在 L40 还是在 LXNUMX 上运行，其成本都是相同的。 B100s.

如果容器化 GPU 加速工作负载的想法听起来很熟悉，那么这对于 Nvidia 来说并不是一个新想法。 CUDA加速已支持的多年来，Nvidia 的容器运行时一直在各种容器运行时上运行，包括 Docker、Podman、Containerd 或 CRI-O，而且看起来 Nvidia 的容器运行时不会有任何发展。

NIM 背后的价值主张似乎是 Nvidia 将负责这些模型的打包和优化，以便它们拥有正确版本的 CUDA、Triton 推理服务器或 TensorRT LLM，这是获得最佳性能所必需的。

争论的焦点是，如果 Nvidia 发布了一个可以显着提高某些模型类型的推理性能的更新，那么利用该功能只需要下载最新的 NIM 映像即可。

除了特定于硬件的模型优化之外，Nvidia 还致力于实现容器之间的一致通信，以便它们可以通过 API 调用相互聊天。

据我们了解，当今市场上各种人工智能模型使用的 API 调用并不总是一致，导致某些模型更容易组合在一起，而另一些模型可能需要额外的工作。