为什么 OpenAI 可能会对冲量子人工智能的赌注

为什么 OpenAI 可能会对冲量子人工智能的赌注

时间戳记：13年2024月8日下午24:XNUMX
为什么 OpenAI 可能会在量子 AI PlatoBlockchain 数据智能上进行两面下注。垂直搜索。人工智能。

分析 距离量子计算的出现已经有十多年了，但根据行业专家的说法，它可能掌握着抑制人工智能贪得无厌的胃口的秘密。

随着时间的推移，更大、参数更密集的模型出现，人工智能部署的规模也随之扩大。仅今年一年，像 Meta 这样的超大规模企业就计划 部署 数十万个加速器。即使 OpenAI 创始人 Sam Altman 仍然 确信 如果我们要进一步发展人工智能，我们将需要指数级更多的计算。

因此，OpenAI 最新聘用的员工也就不足为奇了。 将 尽可能对冲量子计算的赌注。上周，这家人工智能巨头将 PsiQuantum 前量子系统架构师 Ben Bartlett 添加到了其队伍中。

我们联系了 Open AI，以了解有关 Bartlett 将在人工智能潮流引领者方面做什么的更多信息，但尚未收到回复。然而他的 生物 提供了一些提示，因为他的大部分研究都集中在量子物理学、机器学习和纳米光子学之间的交叉点，并且“基本上包括我为光子设计小赛道，诱骗它们进行有用的计算”

那么 OpenAI 到底想要量子物理学家做什么呢？嗯，有几种可能性，从使用量子优化来简化训练数据集，或使用量子处理单元（QPU）来卸载复杂的图形数据库，到使用光学来超越现代半导体封装的限制。

神经网络只是另一个优化问题

D-Wave 的 Murray Thom 表示，量子计算有潜力大幅提高训练大型人工智能模型的效率，使它们能够从参数较少的模型中得出更准确的答案 注册.

据传 GPT-4 的参数超过一万亿，因此不难看出为什么它具有吸引力。在不诉诸量化和其他压缩策略的情况下，AI 模型在以 FP1 或 Int8 精度以及更高的精度运行时，每十亿个参数需要大约 8GB 的内存，远高于此。

数万亿个参数模型已接近单个人工智能服务器能够有效容纳的极限。多个服务器可以串在一起以支持更大的模型，但离开盒子会带来性能损失。

这就是今天。如果奥特曼是对的，这些模型只会变得更大、更普遍。因此，任何能够让 OpenAI 提高其模型能力而又不显着增加参数数量的技术都可以为其提供优势。

“当你训练模型时，进入模型的参数数量确实会增加训练模型的成本和复杂性，”D-Wave 软件和算法副总裁 Trevor Lanting 说道 注册.

他解释说，为了解决这个问题，开发人员通常会细分他们认为对于训练特定模型最重要的功能，这反过来又减少了所需参数的数量。

但 D-Wave 并没有尝试使用传统系统来做到这一点，而是证明量子优化算法在确定保留或排除哪些特征方面可能更有效。

如果您不熟悉，优化问题（例如路径查找或物流中常见的优化问题）已被证明是迄今为止量子计算最有前途的应用之一。

“我们的量子计算机真正擅长的是优化正在发生或未发生的事情：就像有人被分配了特定的时间表或被分配了特定的交付，”汤姆说。 “如果这些决定是独立的，那很好，而且对于经典计算机来说很容易做到，但它们实际上会影响池中的其他资源，并且存在某种网络效应。”

换句话说，现实世界是混乱的。路上可能有多辆车、道路封闭、天气事件等等。与经典计算机相比，量子计算机固有的独特属性使它们能够同时探索这些因素以确定最佳路线。

Thom 解释道，“这完全类似于神经网络，其中的神经元要么放电，要么不放电，它们与其他神经元有突触连接，这些神经元要么兴奋，要么抑制其他神经元放电。”

兰亭声称，这意味着量子算法可用于针对特定要求优化人工智能训练数据集，训练后会产生更精简、更准确的模型。

量子采样和卸载

从长远来看，D-Wave 和其他公司正在寻找在训练过程中更深入地实施 QPU 的方法。

这些用例之一涉及将量子计算应用于采样。抽样是指人工智能模型（如法学硕士）如何根据概率分布确定下一个单词（或更具体地说是标记）应该是什么。这就是为什么人们经常开玩笑说法学硕士只是类固醇的自动完成。

“硬件非常擅长生成样本，并且您可以调整分布，因此您可以调整这些样本的权重。我们正在探索的是：这是否是一种真正将退火量子计算更直接地硬插入训练工作负载的好方法？”Lanting 解释道。

法国量子计算初创公司 Pasqal 也一直在尝试应用量子计算来卸载神经网络中常见的图结构化数据集。

“在机器学习中，没有真正简单的方法来经典地表示数据，因为图是一个复杂的对象，”Pasqal 联合首席执行官 Loïc Henriet 在接受采访时解释道。 注册。 “你可以相对自然地将图结构化数据嵌入到量子动力学中，这产生了一些处理这些数据的新方法。”

然而，亨利特解释说，在实现这一目标之前，量子系统必须变得更大、更快。

“大型数据集目前还不实用，”他说。 “这就是我们推动量子比特数量的原因；重复率。因为有了更多的量子位，你就可以嵌入更多的数据。”

很难说我们还需要等待多长时间才能使量子图神经网络变得可行。 Pasqal 已经拥有 10,000 个量子比特系统 在作品中。不幸的是，研究表明，即使一个系统拥有 10,000 个纠错量子位，或者大约一百万个物理量子位，也可能不足以 竞争 与现代 GPU。

硅光子学游戏？

除了奇异的量子人工智能用例之外，OpenAI 还可以追求其他技术，而 Bartlett 恰好是这些技术的专家。

最值得注意的是，巴特利特的前雇主 PsiQuantum 一直在开发基于硅光子学的系统。这表明他的聘用可能与 OpenAI 有关 报道 致力于定制人工智能加速器。

包括 Ayar Labs、Lightmatter 和 Celestial AI 在内的几家硅光子初创公司已将该技术作为克服带宽限制的一种手段，而带宽限制已成为扩展机器学习性能的限制因素。

这里的想法是，与纯电信号相比，您可以使用光将更多的数据推送到更长的距离。在许多这样的设计中，光实际上是由蚀刻在硅中的波导传输的，这听起来很像“为光子设计小赛道”。

轻物质 相信 这项技术将允许多个加速器作为一个整体运行，而不会因离开芯片的数据而导致带宽损失。与此同时，天界看到了 机会 通过消除直接与加速器芯片相邻的共同封装模块的需要，大幅增加 GPU 可用的高带宽内存量。这两种功能对于大规模使用人工智能系统的公司来说都具有吸引力。

OpenAI 最终是否会追求量子人工智能或硅光子学还有待观察，但对于一家创始人对长期投资并不陌生的公司来说，这并不是 Altman 所支持的最奇怪的事情。 ®

时间戳记：

更多来自 注册