了解大脑如何组织和访问空间信息——我们在哪里，拐角处有什么，如何到达那里——仍然是一项艰巨的挑战。 该过程涉及从数百亿个神经元中调用整个记忆网络和存储的空间数据，每个神经元都连接到数千个其他神经元。 神经科学家已经确定了关键要素，例如 网格单元，映射位置的神经元。 但更深入将被证明是棘手的：似乎研究人员无法移除和研究人类灰质切片，以观察基于位置的图像、声音和气味记忆如何流动并相互连接。
人工智能提供了另一种方式。多年来，神经科学家利用多种类型的神经网络——为大多数深度学习应用程序提供动力的引擎——来模拟大脑中神经元的放电。 在最近的工作中，研究人员表明，海马体是一种对记忆至关重要的大脑结构，基本上是一种特殊的神经网络，被称为 变压器，变相。 他们的新模型以与大脑内部运作相似的方式跟踪空间信息。 他们已经看到了非凡的成功。
“我们知道这些大脑模型相当于变压器这一事实意味着我们的模型表现得更好并且更容易训练，”说 詹姆斯·惠廷顿，一位认知神经科学家，他在斯坦福大学和实验室之间分配时间 蒂姆·贝伦斯 在牛津大学。
Whittington 和其他人的研究表明，变压器可以极大地提高神经网络模型模拟网格细胞和大脑其他部分进行的各种计算的能力。 Whittington 说，这样的模型可以推动我们对人工神经网络如何工作的理解，甚至更有可能推动我们对大脑中如何进行计算的理解。
“我们不是要重建大脑，”说 大卫·哈，谷歌大脑的计算机科学家，也从事变压器模型的研究。 “但我们能否创造一种机制来完成大脑所做的事情？”
变形金刚于五年前首次出现，是人工智能处理语言的一种新方式。 它们是那些夺人眼球的补句节目的秘诀，比如 BERT 和 GPT-3，它可以生成令人信服的歌词、创作莎士比亚十四行诗和冒充客户服务代表。
Transformers 使用一种称为自我注意的机制工作，其中每个输入——一个单词、一个像素、一个序列中的数字——总是连接到每个其他输入。 （其他神经网络仅将输入连接到某些其他输入。）但是，虽然转换器是为语言任务而设计的，但它们后来在其他任务中表现出色，例如对图像进行分类——现在是对大脑进行建模。
2020年，一个由 塞普·霍克瑞特奥地利林茨约翰内斯开普勒大学的计算机科学家，使用变压器改造了一个强大的、长期存在的记忆检索模型，称为 Hopfield 网络。 40 年前由普林斯顿物理学家约翰霍普菲尔德首次提出，这些网络遵循一般规则：同时活跃的神经元彼此建立牢固的联系。
Hochreiter 和他的合作者指出，研究人员一直在寻找更好的记忆检索模型，他们看到了 Hopfield 网络如何检索记忆与转换器如何执行注意力之间的联系。 他们升级了 Hopfield 网络，基本上把它变成了一个变压器。 Whittington 说，由于更有效的连接，这种变化使模型能够存储和检索更多的记忆。 Hopfield 本人与 MIT-IBM Watson AI 实验室的 Dmitry Krotov 一起证明了基于变压器的 Hopfield 网络在生物学上是合理的。
然后， 今年早些时候, Whittington 和 Behrens 帮助进一步调整了 Hochreiter 的方法，修改了转换器，以便不再将记忆视为线性序列——就像句子中的一串单词——而是将它们编码为高维空间中的坐标。 正如研究人员所说，这种“扭曲”进一步提高了模型在神经科学任务上的表现。 他们还表明，该模型在数学上等同于神经科学家在 fMRI 扫描中看到的网格细胞放电模式模型。
伦敦大学学院的神经科学家 Caswell Barry 说：“网格细胞具有这种令人兴奋、美丽、规则的结构，并且具有不太可能随机出现的引人注目的图案。” 这项新工作展示了变压器如何准确复制在海马体中观察到的那些模式。 “他们认识到，变压器可以根据以前的状态以及它的移动方式来确定它的位置，并且以一种与传统网格单元模型相关的方式。”
最近的其他研究表明，变形金刚也可以促进我们对其他大脑功能的理解。 去年，麻省理工学院的计算神经科学家 Martin Schrimpf， 分析了 43 种不同的神经网络模型 看看他们如何预测功能磁共振成像和皮层电图所报告的人类神经活动的测量结果。 他发现，变形金刚是目前领先的、最先进的神经网络，几乎可以预测成像中发现的所有变化。
和哈，以及其他计算机科学家 玉锦堂最近设计了一个模型，该模型可以有意地通过变压器以随机、无序的方式发送大量数据，模仿人体如何将感官观察结果传输到大脑。 他们的变压器，就像我们的大脑一样，可以成功地处理无序的信息流。
“神经网络天生就接受特定的输入，”唐说。 但在现实生活中，数据集往往变化很快，大多数 AI 没有办法调整。 “我们想试验一种可以很快适应的架构。”
尽管有这些进步的迹象，贝伦斯认为变形金刚只是迈向准确的大脑模型的一步，而不是探索的终点。 “我在这里必须是一个怀疑的神经科学家，”他说。 “例如，我不认为变形金刚最终会成为我们在大脑中思考语言的方式，即使它们拥有当前最好的句子模型。”
“这是预测我在哪里以及接下来会看到什么的最有效的基础吗？ 老实说，现在下结论还为时过早，”巴里说。
Schrimpf 也指出，即使是表现最好的转换器也是有限的，例如，在单词和短语方面表现良好，但在讲故事等更大规模的语言任务中却不适用。
“我的感觉是，这种架构，这种变压器，让你进入正确的空间来理解大脑的结构，并且可以通过训练得到改善，”Schrimpf 说。 “这是一个很好的方向，但这个领域超级复杂。”
