十年来，许多最令人印象深刻的人工智能系统都是使用大量标记数据进行训练的。例如，图像可能被标记为“虎斑猫”或“虎猫”，以“训练”人工神经网络以正确区分虎斑猫和老虎。该战略既非常成功，又存在严重缺陷。
这种“监督”训练需要人类费力地标记数据，而神经网络经常走捷径，学习将标签与最少的、有时是肤浅的信息相关联。例如，神经网络可能会利用草的存在来识别牛的照片，因为牛通常是在田野里拍摄的。
“我们正在培养一代算法，就像本科生整个学期都没有来上课，然后在期末考试前一天晚上，他们就在临时抱佛脚，”说 阿列克谢·埃弗罗斯，加州大学伯克利分校的计算机科学家。 “他们并没有真正学习这些材料，但他们在考试中表现很好。”
此外，对于对动物智能和机器智能交叉感兴趣的研究人员来说，这种“监督学习”可能在揭示生物大脑方面受到限制。动物（包括人类）不使用标记数据集来学习。大多数情况下，他们自己探索环境，通过这样做，他们获得了对世界丰富而深入的了解。
现在，一些计算神经科学家已经开始探索使用很少或没有人类标记数据进行训练的神经网络。这些“自我监督学习”算法已被证明在以下方面取得了巨大成功 模拟人类语言 以及最近的图像识别。在最近的工作中，使用自我监督学习模型构建的哺乳动物视觉和听觉系统的计算模型显示出比监督学习模型更接近大脑功能的对应关系。对于一些神经科学家来说，人工网络似乎开始揭示我们大脑用来学习的一些实际方法。
监管缺陷
受人工神经网络启发的大脑模型大约在 10 年前成熟，大约在同一时间，一个名为 亚历克斯网 彻底改变了未知图像分类的任务。与所有神经网络一样，该网络由多层人工神经元和计算单元组成，这些计算单元相互之间形成连接，其强度或“权重”可能有所不同。如果神经网络无法正确分类图像，学习算法会更新神经元之间的连接权重，以减少下一轮训练中错误分类的可能性。该算法对所有训练图像多次重复此过程，调整权重，直到网络的错误率低到可接受的程度。
大约在同一时间，神经科学家开发了第一个计算模型 灵长类动物视觉系统，使用 AlexNet 及其后继者等神经网络。这种结合看起来很有希望：例如，当向猴子和人工神经网络展示相同的图像时，真实神经元和人工神经元的活动显示出有趣的对应关系。随后出现了听力和气味检测的人工模型。
但随着该领域的进展，研究人员意识到监督训练的局限性。例如，2017年，当时在德国图宾根大学的计算机科学家莱昂·盖蒂斯(Leon Gatys)和他的同事拍摄了一张福特T型车的照片，然后在照片上覆盖了豹皮图案，生成了一张奇怪但易于识别的图像。领先的人工神经网络正确地将原始图像分类为 T 型图像，但将修改后的图像视为豹子。它专注于纹理，不了解汽车（或豹子）的形状。
自我监督学习策略旨在避免此类问题。在这种方法中，人类不会标记数据。相反，“标签来自数据本身，” 弗里德曼·赞克，瑞士巴塞尔弗里德里希·米歇尔生物医学研究所的计算神经科学家。自监督算法本质上是在数据中创建空白，并要求神经网络填补空白。例如，在所谓的大型语言模型中，训练算法将向神经网络显示句子的前几个单词，并要求其预测下一个单词。当使用从互联网收集的大量文本语料库进行训练时，该模型 似乎在学习 语言的句法结构，展示了令人印象深刻的语言能力——所有这些都没有外部标签或监督。
计算机视觉领域也在进行类似的努力。 2021年底， 何凯明 和同事们透露了他们的“掩码自动编码器”，它建立在 技术 由 Efros 团队于 2016 年首创。自监督学习算法随机遮盖图像，模糊每张图像的近四分之三。屏蔽自动编码器将未屏蔽部分转换为潜在表示——包含有关对象的重要信息的压缩数学描述。 （就图像而言，潜在表示可能是一种数学描述，除其他外，它捕获图像中对象的形状。）然后解码器将这些表示转换回完整图像。
自监督学习算法训练编码器-解码器组合，将蒙版图像转换为完整版本。真实图像和重建图像之间的任何差异都会反馈到系统中以帮助其学习。对一组训练图像重复此过程，直到系统的错误率适当低。在一个示例中，当训练有素的蒙版自动编码器看到一张以前未见过的公共汽车图像（其中几乎 80% 被遮挡）时，系统成功地重建了公共汽车的结构。
“这是一个非常非常令人印象深刻的结果，”埃弗罗斯说。
在这样的系统中创建的潜在表示似乎包含比以前的策略更深入的信息。例如，系统可能会学习汽车或豹子的形状，而不仅仅是它们的图案。 “这确实是自我监督学习的基本理念——自下而上地积累知识，”埃弗罗斯说。无需在最后一刻临时抱佛脚来通过考试。
自我监督的大脑
在这样的系统中，一些神经科学家看到了我们学习方式的回声。 “我认为毫无疑问，大脑 90% 的行为都是自我监督学习，”说 布莱克·理查兹是麦吉尔大学和魁北克人工智能研究所 Mila 的计算神经科学家。人们认为生物大脑会不断预测物体移动时的未来位置，或者句子中的下一个单词，就像自我监督学习算法试图预测图像或文本片段中的间隙一样。大脑也会自己从错误中学习——我们大脑的反馈只有一小部分来自外部来源，本质上是“错误的答案”。
例如，考虑人类和其他灵长类动物的视觉系统。这些是所有动物感觉系统中研究得最好的，但神经科学家一直在努力解释为什么它们包括两条独立的通路：腹侧视觉流，负责识别物体和面孔，以及背侧视觉流，负责处理运动（“分别是“什么”和“哪里”路径）。
理查兹和他的团队创建了一个自我监督模型，暗示了答案。他们 熟练 结合了两种不同神经网络的人工智能：第一个称为 ResNet 架构，旨在处理图像；第二个称为循环网络，可以跟踪一系列先前的输入，以预测下一个预期输入。为了训练组合人工智能，该团队从视频中的一系列（例如 10 帧）开始，让 ResNet 逐一处理它们。然后，循环网络预测第 11 帧的潜在表示，而不是简单地匹配前 10 帧。自监督学习算法将预测与实际值进行比较，并指示神经网络更新其权重以使预测更好。
Richards 的团队发现，使用单个 ResNet 训练的人工智能擅长物体识别，但不擅长对运动进行分类。但是，当他们将单个 ResNet 一分为二，创建两条路径（不改变神经元总数）时，人工智能在一条路径中开发了对象表示，在另一条路径中开发了运动表示，从而实现了这些属性的下游分类——就像我们的大脑可能的那样做。
为了进一步测试人工智能，该团队向其展示了西雅图艾伦脑科学研究所的研究人员此前向老鼠展示过的一组视频。与灵长类动物一样，小鼠的大脑区域专门负责静态图像和运动。当动物观看视频时，艾伦研究人员记录了小鼠视觉皮层的神经活动。
在这里，理查兹的团队也发现人工智能和活人大脑对视频的反应方式有相似之处。在训练过程中，人工神经网络中的一条通路变得更加类似于小鼠大脑的腹侧、物体检测区域，而另一条通路则变得类似于以运动为中心的背部区域。
理查兹说，结果表明我们的视觉系统有两条专门的通路，因为它们有助于预测视觉的未来。单一途径还不够好。
人类听觉系统的模型讲述了类似的故事。 XNUMX月，由以下人员领导的团队 让·雷米·金，Meta AI 的研究科学家， 训练了一个名为 Wav2Vec 2.0 的 AI，它使用神经网络将音频转换为潜在表示。研究人员掩盖了其中一些表示，然后将其输入另一个称为变压器的神经网络组件。在训练期间，变压器预测屏蔽信息。在这个过程中，整个人工智能学会将声音转化为潜在的表征——同样，不需要标签。该团队使用了大约 600 小时的语音数据来训练网络，“这大约是一个孩子在头两年所获得的经验，”King 说。
系统训练完成后，研究人员就播放英语、法语和普通话有声读物的部分内容。然后，研究人员将人工智能的性能与 412 个人的数据进行了比较，这些人都是三种语言的母语人士，他们听了相同的音频片段，同时用功能磁共振成像扫描仪对他们的大脑进行了成像。 King 表示，尽管 fMRI 图像存在噪声和低分辨率，但他的神经网络和人类大脑“不仅相互关联，而且以一种系统的方式关联”：人工智能早期层的活动与活动一致初级听觉皮层的活动，而人工智能最深层的活动与大脑较高层（在本例中为前额叶皮层）的活动一致。 “这真是漂亮的数据，”理查兹说。 “这不是决定性的，但[这是]另一个令人信服的证据表明，事实上，我们学习语言的方式在很大程度上是通过试图预测接下来要说的事情来实现的。”
未治愈的病理
不是每个人都相信。 乔什·麦克德莫特（Josh McDermott）麻省理工学院的计算神经科学家，一直致力于使用监督学习和自监督学习来研究视觉和听觉感知模型。他的实验室设计了他所谓的“同位元”，即合成的音频和视觉信号，对于人类来说，这些信号只是 难以理解的噪音。然而，对于人工神经网络来说，同色异谱与真实信号无法区分。这表明，即使有自我监督学习，神经网络更深层中形成的表征也与我们大脑中的表征不匹配。麦克德莫特说，这些自我监督的学习方法“是进步，因为你能够学习可以支持大量识别行为的表示，而不需要所有这些标签”。 “但他们仍然存在许多监督模型的病态。”
算法本身还需要更多的工作。例如，在 Meta AI 的 Wav2Vec 2.0 中，人工智能仅预测几十毫秒声音的潜在表征——比发出感知上不同的噪音所需的时间还要短，更不用说一个词了。金说：“要完成类似于大脑所做的事情，还有很多事情要做。”
真正了解大脑功能需要的不仅仅是自我监督学习。一方面，大脑充满了反馈连接，而当前的模型几乎没有这样的连接（如果有的话）。显然，下一步是使用自我监督学习来训练高度循环的网络（这是一个困难的过程），并观察此类网络中的活动与真实的大脑活动相比如何。另一个关键步骤是将自我监督学习模型中的人工神经元的活动与单个生物神经元的活动相匹配。 “希望在未来，[我们的]结果也能通过单细胞记录得到证实，”金说。
如果观察到的大脑和自我监督学习模型之间的相似性也适用于其他感官任务，那么这将更加有力地表明，无论我们的大脑有什么魔力，都需要某种形式的自我监督学习。金说：“如果我们确实在截然不同的系统之间发现了系统相似性，那么这表明也许没有那么多方法可以以智能方式处理信息。” “至少，这是我们想要研究的美丽假设。”
