新的“受物理启发”的生成人工智能超出预期 | 广达杂志

人工智能工具——尤其是神经网络——对物理学家来说是有好处的。 多年来，这项技术帮助研究人员在加速器实验中重建粒子轨迹，寻找新粒子的证据，并探测引力波和系外行星。 虽然人工智能工具显然可以为物理学家做很多事情，但根据麻省理工学院物理学家 Max Tegmark 的说法，现在的问题是：“我们能回馈任何东西吗？”

泰格马克相信他的物理学家同行可以为人工智能科学做出重大贡献，他已将此作为他的首要研究重点。 他说，物理学家可以帮助推进人工智能技术的一种方法是用易于理解的物理过程方程取代神经网络的“黑匣子”算法，其工作原理在很大程度上是难以理解的。

这个想法并不新鲜。 生成式人工智能模型 基于扩散 ——例如，使牛奶倒入一杯咖啡中均匀扩散的过程——首次出现于 2015 年，自那时起，他们生成的图像质量有了显着提高。 该技术为 DALL·E 2 和 Midjourney 等流行的图像制作软件提供支持。 现在，泰格马克和他的同事正在研究其他受物理启发的生成模型是否可以与基于扩散的模型一样工作，甚至更好。

去年年底，泰格马克的团队推出了一种很有前景的图像生成新方法，称为“ 泊松流生成模型 （PFGM）。 其中，数据由带电粒子表示，它们结合起来产生电场，其属性取决于任何给定时刻电荷的分布。 之所以称为泊松流模型，是因为电荷的运动受泊松方程控制，该方程源自两个电荷之间的静电力与它们之间的距离的平方成反比变化的原理（类似于牛顿引力的公式） 。

该物理过程是 PFGM 的核心。 “我们的模型几乎可以完全用空间中每个点的电场强度和方向来表征，”说 徐宜伦，麻省理工学院的研究生，也是该论文的合著者。 “神经网络在训练过程中学到的是如何估计电场。” 通过这样做，它可以学习创建图像，因为该模型中的图像可以通过电场来简洁地描述。

PFGM 可以创建与基于扩散的方法产生的图像质量相同的图像，并且速度快 10 到 20 倍。 “它以我们以前从未见过的方式利用物理结构，即电场，”说 哈纳内尔·哈赞塔夫茨大学计算机科学家。 “这为利用其他物理现象来改善我们的神经网络打开了大门。”

除了基于从物理学引入的方程之外，扩散模型和泊松流模型还有很多共同点。 在训练过程中，为图像生成而设计的扩散模型通常从一张图片（比如说一只狗）开始，然后添加视觉噪声，以随机方式改变每个像素，直到其特征被彻底掩盖（尽管没有完全消除）。 然后，该模型尝试反转该过程并生成一只接近原始狗的狗。 经过训练，该模型可以从看似空白的画布开始成功地创建狗和其他图像。

泊松流模型的运行方式大致相同。 在训练过程中，有一个正向过程，其中涉及逐步向曾经清晰的图像添加噪声，以及一个反向过程，其中模型尝试逐步消除噪声，直到初始版本大部分恢复。 与基于扩散的生成一样，系统最终学会制作在训练中从未见过的图像。

但泊松模型的物理原理完全不同。 扩散由热力学驱动，而泊松流由静电力驱动。 后者使用可以创建非常复杂的电场的电荷排列来表示详细图像。 然而，随着时间的推移，这个场会使电荷分布得更加均匀——就像牛奶自然地分散在一杯咖啡中一样。 结果是场本身变得更简单、更均匀。 但这个充满噪音的均匀场并不是一块完整的白板； 它仍然包含可以轻松组合图像的信息种子。

2023年初，团队升级了泊松模型， 扩展它 涵盖整个型号系列。 增强版本 PFGM++ 包含一个新参数， D，这使得研究人员能够调整系统的维度。 这可以产生很大的差异：在熟悉的三维空间中，电荷产生的电场强度与距该电荷的距离的平方成反比。 但在四个维度中，场强遵循立方反比定律。 对于空间的每一个维度，以及每一个值 D，这种关系有些不同。

这一单一创新为泊松流模型提供了更大的可变性，极端情况提供了不同的好处。 什么时候 D 例如，较低，该模型更加稳健，这意味着它更能容忍估计电场时产生的错误。 “该模型无法完美预测电场，”说 刘子明是麻省理工学院的另一位研究生，也是两篇论文的合著者。 “总有一些偏差。 但鲁棒性意味着即使你的估计误差很高，你仍然可以生成好的图像。” 所以你最终可能不会得到你梦想中的狗，但你仍然会得到像狗一样的东西。

在另一个极端，当 D 高，神经网络变得更容易训练，需要更少的数据来掌握其艺术技能。 确切的原因不容易解释，但这是因为当维度更多时，模型需要跟踪的电场更少，因此需要吸收的数据也更少。

增强型模型 PFGM++“让您能够灵活地在这两个极端之间进行插值”，说道 余蔷薇，加州大学圣地亚哥分校的计算机科学家。

在此范围内的某个位置存在一个理想值 D 徐说，这在鲁棒性和易于训练之间取得了适当的平衡。 “未来工作的一个目标是找出一种系统的方法来找到最佳点，这样我们就可以选择最好的可能 D 对于特定情况，无需进行反复试验。”

麻省理工学院研究人员的另一个目标是寻找更多的物理过程，为新的生成模型系列提供基础。 通过一个名为 基因物理，该团队已经确定了一个有希望的候选者：汤川势，它与弱核力有关。 “这与泊松流和扩散模型不同，后者的粒子数量始终守恒，”刘说。 “汤川势可以让你湮灭粒子或将粒子一分为二。 例如，这样的模型可以模拟细胞数量不必保持不变的生物系统。”

余说，这可能是一次富有成果的调查。 “它可能会带来新的算法和新的生成模型，其潜在应用范围将超出图像生成范围。”

仅 PFGM++ 就已经超出了其发明者最初的预期。 他们一开始并没有意识到，当 D 设置为无穷大时，其增强的泊松流模型与扩散模型无法区分。 刘在今年早些时候进行的计算中发现了这一点。

梅尔特·皮兰奇斯坦福大学计算机科学家认为这种“统一”是麻省理工学院小组工作的最重要成果。 他说：“PFGM++ 论文表明，这两种模型都是更广泛类别的一部分，这提出了一个有趣的问题：是否可能还有其他生成人工智能的物理模型等待发现，暗示着更宏伟的统一？ ”