研究人员发现了一种更灵活的机器学习方法

人工智能研究人员庆祝了一系列成功 神经网络，粗略模仿我们大脑组织方式的计算机程序。 但是，尽管进展迅速，神经网络仍然相对不灵活，几乎没有能力即时改变或适应不熟悉的环境。

2020 年，麻省理工学院的两名研究人员带领团队推出了 一种新型的神经网络 基于现实生活中的情报——但不是我们自己的。 相反，他们从微小的蛔虫中获得灵感， 秀丽隐杆线虫，以产生他们所谓的液体神经网络。 在去年取得突破后，新型网络现在可能具有足够的通用性，可以在某些应用中取代传统网络。

液体神经网络提供了“一种优雅而紧凑的替代方案，”说 肯·戈德堡，加州大学伯克利分校的机器人专家。 他补充说，实验已经表明，这些网络可以比其他所谓的连续时间神经网络运行得更快、更准确，后者模拟随时间变化的系统。

拉敏哈萨尼 和 马蒂亚斯莱希纳，新设计背后的驱动力，多年前就意识到 秀丽隐杆线虫 可能是一种理想的有机体，可用于弄清楚如何制作能够适应意外情况的弹性神经网络。 毫米长的底部进食器是为数不多的具有完全规划的神经系统的生物之一，它能够进行一系列高级行为：移动、寻找食物、睡觉、交配，甚至从经验中学习。 “它生活在现实世界中，变化总是在发生，它几乎可以在任何条件下表现良好，”Lechner 说。

对这种低等蠕虫的尊重促使他和哈萨尼建立了他们的新液体网络，其中每个神经元都受一个方程式控制，该方程式可以预测其随时间的行为。 正如神经元相互联系一样，这些方程式也相互依赖。 该网络基本上解决了整个连接方程组，使其能够表征系统在任何给定时刻的状态——这与传统神经网络不同，传统神经网络仅在特定时刻及时给出结果。

“[他们] 只能在一秒、两秒或三秒内告诉你发生了什么，”Lechner 说。 “但是像我们这样的连续时间模型可以描述在 0.53 秒或 2.14 秒或您选择的任何其他时间发生的事情。”

液体网络在处理突触（人工神经元之间的连接）的方式上也有所不同。 标准神经网络中这些连接的强度可以用一个数字表示，即它的权重。 在液体网络中，神经元之间的信号交换是一个由“非线性”函数控制的概率过程，这意味着对输入的响应并不总是成比例的。 例如，输入加倍可能导致输出发生更大或更小的变化。 这种内在的可变性是网络被称为“流动性”的原因。 神经元的反应方式取决于它接收到的输入。

虽然传统网络的核心算法是在训练期间设置的，但当这些系统被输入大量数据以校准其权重的最佳值时，液体神经网络更具适应性。 “他们能够根据他们观察到的输入改变他们的基本方程，”特别是改变神经元的反应速度，说 丹妮拉罗斯，麻省理工学院计算机科学与人工智能实验室主任。

一项展示这种能力的早期测试涉及尝试驾驶自动驾驶汽车。 传统的神经网络只能以固定的时间间隔分析来自汽车摄像头的视觉数据。 液体网络——由 19 个神经元和 253 个突触组成（以机器学习的标准来看微不足道）——可能是 反应灵敏得多. “我们的模型可以更频繁地采样，例如，当道路曲折时，”Rus 说，他是本文和其他几篇关于液体网络的论文的合著者。

该模型成功地使汽车保持在正轨，但它有一个缺陷，Lechner 说：“它真的很慢。” 这个问题源于代表突触和神经元的非线性方程——这些方程通常需要在计算机上重复计算才能求解，在最终收敛于一个解之前要经过多次迭代。 这项工作通常委托给称为求解器的专用软件包，这些软件包需要分别应用于每个突触和神经元。

在一个 去年的论文，该团队揭示了一种新的液体神经网络，它绕过了这个瓶颈。 这个网络依赖于相同类型的方程，但关键的进步是哈萨尼发现这些方程不需要通过艰苦的计算机计算来求解。 相反，网络可以使用几乎精确的或“封闭形式”的解决方案来运行，原则上可以用铅笔和纸来解决。 通常，这些非线性方程没有封闭形式的解，但 Hasani 想出了一个足够好用的近似解。

“拥有一个封闭形式的解决方案意味着你有一个方程式，你可以为其插入参数值并进行基本数学运算，然后你就会得到答案，”Rus 说。 “你一下子就能得到答案”，而不是让计算机磨磨蹭蹭直到确定它足够接近。 这减少了计算时间和精力，大大加快了这个过程。

“他们的方法在不牺牲准确性的情况下将竞争对手打败了几个数量级，”说 萨扬·米特拉（Sayan Mitra），伊利诺伊大学香槟分校的计算机科学家。

Hasani 说，除了速度更快之外，他们最新的网络也异常稳定，这意味着该系统可以处理大量输入而不会失控。 “这里的主要贡献是稳定性和其他良好的特性通过它们的纯粹结构融入这些系统，”说 斯里拉姆·桑卡拉纳拉亚南，科罗拉多大学博尔德分校的计算机科学家。 液态网络似乎在他所谓的“最佳点”运行：它们足够复杂，可以让有趣的事情发生，但又不会复杂到导致混乱行为。

目前，麻省理工学院的团队正在用一架自主空中无人机测试他们最新的网络。 尽管无人机经过训练可以在森林中航行，但他们已将其转移到剑桥的城市环境中，以了解它如何应对新情况。 Lechner 称初步结果令人鼓舞。

除了改进当前模型外，该团队还致力于改进其网络架构。 Lechner 说，下一步“是弄清楚我们实际需要多少神经元来执行给定任务。” 该小组还想设计出一种连接神经元的最佳方式。 目前，每个神经元都与其他所有神经元相连，但这并不是它的工作方式 秀丽隐杆线虫，其中突触连接更具选择性。 通过进一步研究蛔虫的接线系统，他们希望确定系统中的哪些神经元应该耦合在一起。

除了自动驾驶和飞行等应用外，液体网络似乎也非常适合分析电力网络、金融交易、天气和其他随时间波动的现象。 此外，哈萨尼说，最新版本的液体网络可用于“以以前无法实现的规模进行大脑活动模拟。”

Mitra 对这种可能性特别感兴趣。 “在某种程度上，这有点诗意，表明这项研究可能正在圆满结束，”他说。 “神经网络正在发展到这样的程度，即我们从自然中汲取的想法可能很快就会帮助我们更好地理解自然。”