稀疏神经网络为物理学家提供有用数据 | 广达杂志

假设你有一千页的书，但每一页只有一行文字。 你应该使用扫描仪提取书中包含的信息，只有这个特定的扫描仪系统地扫描每一页，一次扫描一平方英寸。 用那台扫描仪要花很长时间才能读完整本书，而且大部分时间会浪费在扫描空白处。 

这就是许多实验物理学家的生活。 在粒子实验中，探测器捕获并分析大量数据，即使其中只有一小部分包含有用信息。 “比如说，在一张鸟儿在天空中飞翔的照片中，每个像素都可能有意义，”解释说 寺尾一弘，SLAC国家加速器实验室的物理学家。 但在物理学家看到的图像中，通常只有一小部分真正重要。 在这种情况下，仔细研究每个细节会不必要地消耗时间和计算资源。

但这种情况开始改变。 借助称为稀疏卷积神经网络 (SCNN) 的机器学习工具，研究人员可以专注于数据的相关部分并筛选出其余部分。 研究人员使用这些网络极大地加快了他们进行实时数据分析的能力。 他们计划在至少三大洲的即将进行或现有的实验中使用 SCNN。 这一转变标志着物理学界的历史性变化。 

“在物理学中，我们习惯于开发自己的算法和计算方法，”说 卡洛斯·阿格列斯-德尔加多，哈佛大学物理学家。 “我们一直走在发展的最前沿，但现在，在事物的计算端，计算机科学往往处于领先地位。” 

稀疏字符

导致 SCNN 的工作始于 2012 年，当时 本杰明格雷厄姆当时在华威大学，想做一个可以识别中文手写的神经网络。 

当时用于此类图像相关任务的主要工具是卷积神经网络 (CNN)。 对于中文手写任务，书写者会在数字平板电脑上描写一个字符，生成一张例如 10,000 像素的图像。 然后，CNN 将在整个图像上移动一个称为内核的 3×3 网格，使内核分别以每个像素为中心。 对于内核的每个位置，网络都会执行复杂的数学计算，称为卷积，以寻找区别特征。

CNN 旨在用于信息密集的图像，例如照片。 但是包含汉字的图像大多是空的； 研究人员将具有此属性的数据称为稀疏数据。 这是自然界中任何事物的共同特征。 格雷厄姆说：“举个例子说明世界是多么稀疏”，如果埃菲尔铁塔被包裹在尽可能小的矩形中，那么该矩形将由“99.98% 的空气和仅 0.02% 的铁”组成。

Graham 尝试调整 CNN 方法，以便将内核仅放置在图像的 3×3 部分上，这些部分至少包含一个具有非零值（并且不仅仅是空白）的像素。 就这样，他成功地制作了一个能够高效识别手写中文的系统。 它以仅 2013% 的错误率识别单个字符赢得了 2.61 年的比赛。 （人类平均得分为 4.81%。）接下来他将注意力转向了一个更大的问题：三维物体识别。

到 2017 年，Graham 转到了 Facebook AI Research，并进一步完善了他的技术和 出版 此 详情 对于第一个 SCNN，它仅将内核集中在具有非零值的像素上（而不是将内核放在任何至少具有一个“非零”像素的 3×3 部分）。 Terao 为粒子物理世界带来的就是这个普遍的想法。

地下拍摄

Terao 在费米国家加速器实验室参与了探索中微子性质的实验，中微子是已知最难以捉摸的基本粒子之一。 它们也是宇宙中质量最丰富的粒子（尽管不多），但它们很少出现在探测器内。 因此，中微子实验的大部分数据都很少，Terao 一直在寻找更好的数据分析方法。 他在 SCNNs 中找到了一个。

2019 年，他将 SCNN 应用于模拟深层地下中微子实验 (DUNE) 的预期数据，该实验将于 2026 年上线，届时将成为世界上最大的中微子物理实验。该项目将从芝加哥郊外的费米实验室发射中微子，穿过 800 英里的地球到达南达科他州的一个地下实验室。 在此过程中，粒子将在三种已知类型的中微子之间“振荡”，这些振荡可能会揭示中微子的详细特性。

SCNN 比普通方法更快地分析模拟数据，并且这样做需要的计算能力要少得多。 有希望的结果意味着 SCNN 可能会在实际的实验运行中使用。

与此同时，在 2021 年，Terao 帮助将 SCNN 添加到费米实验室另一个名为 MicroBooNE 的中微子实验中。 在这里，科学家们研究了中微子与氩原子核之间碰撞的后果。 通过检查这些相互作用产生的轨迹，研究人员可以推断出有关原始中微子的细节。 为此，他们需要一种算法，该算法可以在探测器的三维表示中查看像素（或者从技术上讲，它们的三维对应物称为体素），然后确定哪些像素与哪些粒子轨迹相关联。

由于数据非常稀疏——大型检测器（大约 170 吨液态氩）中的几条细线——SCNN 几乎是这项任务的完美选择。 Terao 说，使用标准的 CNN，由于要完成所有计算，图像必须分成 50 块。 “使用稀疏的 CNN，我们可以一次分析整个图像——而且速度更快。”

及时触发

从事 MicroBooNE 工作的研究人员之一是一名名叫 Felix Yu 的本科生实习生。 对 SCNN 的强大功能和效率印象深刻，作为哈佛大学研究实验室的研究生，他带着这些工具来到了下一个工作场所，该实验室正式隶属于南极冰立方中微子天文台。

天文台的主要目标之一是拦截宇宙中最具活力的中微子并追踪它们的来源，其中大部分位于我们银河系之外。 该探测器由埋在南极冰层中的 5,160 个光学传感器组成，在任何给定时间只有一小部分会亮起。 阵列的其余部分仍然是黑暗的，并没有提供特别的信息。 更糟糕的是，探测器记录的许多“事件”都是误报，对中微子搜寻没有用。 只有所谓的触发级事件才能进行进一步分析，并且需要立即决定哪些事件值得指定，哪些事件将被永久忽略。

标准 CNN 对于这项任务来说太慢了， 因此，IceCube 的科学家长期以来一直依赖一种名为 LineFit 的算法来告诉他们潜在有用的检测结果。 但 Yu 说，该算法并不可靠，“这意味着我们可能会错过一些有趣的事件。” 同样，它是一个非常适合 SCNN 的稀疏数据环境。

Yu 与他的博士生导师 Argüelles-Delgado 以及威斯康星大学麦迪逊分校的研究生 Jeff Lazar 一起量化了这一优势，在 最近的一篇论文 这些网络将比典型的 CNN 快大约 20 倍。 Lazar 说：“这足以运行检测器发出的每个事件，”每秒大约 3,000 个。 “这使我们能够更好地决定丢弃什么和保留什么。”

作者还在使用官方 IceCube 数据的模拟中成功采用了 SCNN，下一步是在南极计算系统的副本上测试他们的系统。 如果一切顺利，Argüelles-Delgado 认为他们应该在明年将他们的系统安装在南极天文台。 但这项技术可能会得到更广泛的应用。 “我们认为 [SCNN 可以使] 所有中微子望远镜受益，而不仅仅是 IceCube，”Argüelles-Delgado 说。

超越中微子

麻省理工学院的物理学家 Philip Harris 希望 SCNN 能够帮助最大的粒子对撞机：CERN 的大型强子对撞机 (LHC)。 哈里斯从麻省理工学院的同事计算机科学家宋涵那里听说了这种神经网络。 “Song 是使算法快速高效的专家，”Harris 说——非常适合大型强子对撞机，那里每秒发生 40 万次碰撞。

几年前，当他们交谈时，宋告诉哈里斯他正在与实验室成员一起进行的一个自动驾驶汽车项目。 Song 的团队使用 SCNN 分析车辆前方空间的 3D 激光地图，其中大部分是空的，以查看前方是否有任何障碍物。

哈里斯和他的同事在大型强子对撞机上面临着类似的挑战。 当两个质子在机器内部碰撞时，碰撞会产生一个由粒子组成的膨胀球体。 当其中一个粒子撞击收集器时，会发生二次粒子雨。 “如果你能绘制出这场流星雨的全部范围，”哈里斯说，“你就能确定产生它的粒子的能量，”这可能是一个特别感兴趣的物体——类似于希格斯玻色子，物理学家2012 年发现的暗物质粒子，物理学家仍在寻找。

“我们试图解决的问题归结为连接点，”哈里斯说，就像自动驾驶汽车可能连接激光地图上的点以检测障碍物一样。

哈里斯说，SCNN 将使大型强子对撞机的数据分析速度至少提高 50 倍。 “我们的最终目标是让 [SCNN] 进入检测器”——这项任务至少需要一年的文书工作和社区的额外支持。 但他和他的同事们充满希望。

总而言之，SCNNs——一个最初在计算机科学领域构想的想法——很快将在中微子物理学 (DUNE)、中微子天文学 (IceCube) 和高能物理学 (LHC) 中进行的最大实验中发挥作用。 .

格雷厄姆说，当他得知 SCNN 已经进入粒子物理学领域时，他感到非常惊喜，尽管他并不完全感到震惊。 “从抽象意义上说，”他说，“在空间中移动的粒子有点像笔尖在纸上移动。”