量子视觉变形金刚

量子视觉变形金刚

埃尔·阿明·谢拉特1, 伊尔丹尼斯·克雷尼迪斯1,2, 纳坦什·马图尔1,2, 乔纳斯·兰德曼3,2, 马丁·斯特拉姆4、李云4

1IRIF、CNRS – 法国巴黎西岱大学
2QC Ware,美国帕洛阿尔托和法国巴黎
3英国苏格兰爱丁堡大学信息学院
4F.霍夫曼拉罗氏股份公司

觉得本文有趣或想讨论? 在SciRate上发表评论或发表评论.

抽象

在这项工作中,通过扩展在自然语言处理和图像分析中表现非常出色的最先进的经典变压器神经网络架构,对量子变压器进行了详细设计和分析。在之前使用参数化量子电路进行数据加载和正交神经层的工作的基础上,我们引入了三种类型的量子变压器用于训练和推理,其中包括基于复合矩阵的量子变压器,这保证了量子注意力机制的理论优势在渐近运行时间和模型参数数量方面与经典对应物相比。这些量子架构可以使用浅量子电路构建,并产生性质不同的分类模型。所提出的三个量子注意力层在紧密跟随经典变压器和表现出更多量子特性之间有所不同。作为量子变压器的构建块,我们提出了一种将矩阵加载为量子态的新颖方法,以及两个新的可训练量子正交层,适用于量子计算机的不同连接水平和质量。我们在标准医学图像数据集上对量子变压器进行了广泛的模拟,与经典基准(包括一流的经典视觉变压器)相比,这些模拟表现出了有竞争力的、有时甚至更好的性能。与标准经典基准相比,我们在这些小规模数据集上训练的量子变压器需要更少的参数。最后,我们在超导量子计算机上实现了量子变压器,并在多达六个量子位实验中获得了令人鼓舞的结果。

在这项研究中,我们探索了量子计算增强神经网络架构的潜力,重点关注变压器,它以其在语言处理和图像分析等任务中的有效性而闻名。我们引入了三种类型的量子变压器,利用参数化量子电路和正交神经层。在某些假设下(例如硬件连接性),这些量子变压器理论上可以在运行时间和模型参数方面提供优于经典对应物的优势。为了创建这些量子电路,我们提出了一种将矩阵加载为量子态的新颖方法,并引入了两个可适应不同量子计算机功能的可训练量子正交层。它们需要浅量子电路,并且可以帮助创建具有独特特征的分类模型。对医学图像数据集的广泛模拟表明,即使参数较少,与经典基准相比也具有竞争性的性能。此外,超导量子计算机的实验也取得了有希望的结果。

►BibTeX数据

►参考

[1] Jacob Biamonte、Peter Wittek、Nicola Pancotti、Patrick Rebentrost、Nathan Wiebe 和 Seth Lloyd。 “量子机器学习”。 自然 549, 195–202 (2017)。
https:/ / doi.org/10.1038/nature23474

[2] Iris Cong、Soonwon Choi 和 Mikhail D Lukin。 “量子卷积神经网络”。 自然物理学 15, 1273–1278 (2019)。
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Kishor Bharti、Alba Cervera-Lierta、Thi Ha Kyaw、Tobias Haug、Sumner Alperin-Lea、Abhinav Anand、Matthias Degroote、Hermanni Heimonen、Jakob S Kottmann、Tim Menke 等。 “嘈杂的中规模量子算法”。 现代物理学评论 94, 015004 (2022)。
https:/ / doi.org/ 10.1103 / RevModPhys.94.015004

[4] Marco Cerezo、Andrew Arrasmith、Ryan Babbush、Simon C Benjamin、Suguru Endo、Keisuke Fujii、Jarrod R McClean、Kosuke Mitarai、Xiao Yuan、Lukasz Cincio 等。 “变分量子算法”。 自然评论物理学 3, 625–644 (2021)。
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] 乔纳斯·兰德曼、纳坦什·马图尔、Yun Yvonna Li、马丁·斯特拉姆、斯坎德·卡兹达格利、阿努潘·普拉卡什和 Iordanis Kerenidis。 “神经网络的量子方法及其在医学图像分类中的应用”。量子 6, 881 (2022)。
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] 博巴克·基亚尼、兰德尔·巴莱斯特里罗、扬·勒昆和塞斯·劳埃德。 “projunn:使用酉矩阵训练深度网络的有效方法”。神经信息处理系统的进展 35, 14448–14463 (2022)。

[7] Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Łukasz Kaiser 和 Illia Polosukhin。 “注意力就是你所需要的”。 神经信息处理系统的进展 30 (2017)。

[8] 雅各布·德夫林、张明伟、肯顿·李和克里斯蒂娜·图塔诺娃。 “Bert:用于语言理解的深度双向变压器的预训练”(2018)。

[9] Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、翟晓华、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit 和 Neil Houlsby。 “一张图像相当于 16×16 个单词:用于大规模图像识别的 Transformer”。国际学习表征会议(2021)。网址:openreview.net/​forum?id=YicbFdNTTy。
https://openreview.net/forum?id=YicbFdNTTy

[10] Yi Tay、Mostafa Dehghani、Dara Bahri 和 Donald Metzler。 “高效变压器:一项调查”。 ACM 计算调查 (CSUR) (2020)。
https:/ / doi.org/10.1145/ 3530811

[11] 德兹米特里·巴达瑙、Kyunghyun Cho 和 Yoshua Bengio。 “通过联合学习对齐和翻译进行神经机器翻译”(2016)。 arXiv:1409.0473 [cs,统计]。
的arXiv:1409.0473

[12] J.施米德胡贝尔。 “降低完全循环网络中学习复杂性与时变变量数量之间的比率”。斯坦·吉伦 (Stan Gielen) 和伯特·卡彭 (Bert Kappen),ICANN '93 编辑。第 460-463 页。伦敦(1993)。施普林格。
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] 于尔根·施米德胡贝尔。 “学习控制快速权重记忆:动态循环网络的替代方案”。神经计算 4, 131–139 (1992)。
https:///doi.org/10.1162/neco.1992.4.1.131

[14] Peter Cha、Paul Ginsparg、Felix Wu、Juan Carrasquilla、Peter L McMahon 和 Eun-Ah Kim。 “基于注意力的量子断层扫描”。机器学习:科学与技术 3,01LT01 (2021)。
https://doi.org/10.1088/2632-2153/ac362b

[15] 里卡多·迪·西皮奥、黄家宏、塞缪尔·延吉·陈、斯特凡诺·曼吉尼和马塞尔·沃林。 “量子自然语言处理的黎明”。在 ICASSP 2022-2022 IEEE 声学、语音和信号处理国际会议 (ICASSP) 中。第 8612-8616 页。 IEEE(2022)。
https://doi.org/10.1109/ICASSP43922.2022.9747675

[16] 李广西,赵选强,王鑫。 “用于文本分类的量子自注意力神经网络”(2022)。

[17] 法比奥·桑切斯、肖恩·温伯格、井出刚典和神谷一光。 “车辆路径问题的强化学习策略中的短量子电路”。物理评论 A 105, 062403 (2022)。
https:/ / doi.org/ 10.1103 / PhysRevA.105.062403

[18] 杨元福、孙敏. “通过混合经典量子深度学习进行半导体缺陷检测”。 CVPR 第 2313–2322 页 (2022)。
https://doi.org/10.1109/CVPR52688.2022.00236

[19] 麦克斯韦·亨德森、Samriddhi Shakya、Shashindra Pradhan 和特里斯坦·库克。 “量子卷积神经网络:用量子电路驱动图像识别”。量子机器智能 2, 1–9 (2020)。
https:/ / doi.org/ 10.1007 / s42484-020-00012-y

[20] Edward Farhi 和 Hartmut Neven。 “近期处理器上的量子神经网络分类”(2018 年)。 网址:doi.org/10.48550/arXiv.1802.06002。
https://doi.org/10.48550/arXiv.1802.06002

[21] 御手洗康介、根吾郎真琴、北川雅博和藤井启介。 “量子电路学习”。 物理评论 A 98, 032309 (2018)。
https:/ / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Kui Jia、Shuai Li、Yuxin Wen、Tongliang Liu 和 Dacheng Tao。 “正交深度神经网络”。 IEEE 交易模式分析和机器智能 (2019)。
https:/ / doi.org/ 10.1109 / TPAMI.2019.2948352

[23] 罗杰·A·霍恩和查尔斯·R·约翰逊。 “矩阵分析”。剑桥大学出版社。 (2012)。
https:/ / doi.org/ 10.1017 / CBO9780511810817

[24] Iordanis Kerenidis 和 Anupam Prakash。 “具有子空间状态的量子机器学习”(2022)。

[25] Brooks Foxen、Charles Neill、Andrew Dunsworth、Pedram Roushan、Ben Chiaro、Anthony Megrant、Julian Kelly、Zijun Chen、Kevin Satzinger、Rami Barends 等。 “为近期量子算法演示一组连续的双量子位门”。物理评论快报 125, 120504 (2020)。
https:/ / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Sonika Johri、Shantanu Debnath、Avinash Mocherla、Alexandros Singk、Anupam Prakash、Jungsang Kim 和 Iordanis Kerenidis。 “俘获离子量子计算机上的最近质心分类”。 npj 量子信息 7, 122 (2021)。
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] 詹姆斯·W·库利和约翰·W·图基。 “复数傅里叶级数机器计算的算法”。计算数学 19, 297–301 (1965)。
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] 李静、沈一尘、Tena Dubcek、John Peurifoy、Scott A. Skirlo、Yann LeCun、Max Tegmark 和 Marin Soljacic。 “可调谐高效酉神经网络(eunn)及其在 rnn 中的应用”。在国际机器学习会议上。 (2016)。网址:api.semanticscholar.org/CorpusID:5287947。
https:// / api.semanticscholar.org/ CorpusID:5287947

[29] 莱奥·蒙布鲁苏、乔纳斯·兰德曼、亚历克斯·B·格里洛、罗曼·库克拉和埃尔哈姆·卡谢菲。 “用于机器学习的汉明权值保留量子电路的可训练性和表现力”(2023)。 arXiv:2309.15547。
的arXiv:2309.15547

[30] 恩里科·丰塔纳、迪伦·赫尔曼、Shouvanik Chakrabarti、尼拉吉·库马尔、罗米娜·亚洛维茨基、杰米·赫里奇、什里·哈里·苏雷什巴布和马可·皮斯托亚。 “伴随性就是你所需要的:在量子 ansätze 中表征贫瘠高原”(2023)。 arXiv:2309.07902。
的arXiv:2309.07902

[31] Michael Ragone、Bojko N. Bakalov、Frédéric Sauvage、Alexander F. Kemper、Carlos Ortiz Marrero、Martin Larocca 和 M. Cerezo。 “深度参数化量子电路的贫瘠高原统一理论”(2023)。 arXiv:2309.09342。
的arXiv:2309.09342

[32] 游旭辰和吴晓迪。 “量子神经网络中的局部极小值呈指数级增长”。在国际机器学习会议上。第 12144-12155 页。 PMLR(2021)。

[33] 埃里克·R·安舒茨 (Eric R. Anschuetz) 和博巴克·图西·基亚尼 (Bobak Toussi Kiani)。 “量子变分算法充满了陷阱”。自然通讯 13 (2022)。
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Ilya O. Tolstikhin、Neil Houlsby、Alexander Kolesnikov、Lucas Beyer、Zhai Hua、Thomas Unterthiner、Jessica Yung、Daniel Keysers、Jakob Uszkoreit、Mario Lucic 和 Alexey Dosovitskiy。 “Mlp-mixer:视觉的全 MLP 架构”。在 NeurIPS 中。 (2021)。

[35] 杨建成、施瑞和倪冰冰。 “Medmnist 分类十项全能:医学图像分析的轻量级 automl 基准”(2020 年)。
https://doi.org/10.1109/ISBI48211.2021.9434062

[36] 杨建成、石睿、魏东来、刘泽全、赵林、柯碧莲、汉斯彼得·菲斯特和倪冰冰。 “Medmnist v2 - 2d 和 3d 生物医学图像分类的大规模轻量级基准”。科学数据 10, 41 (2023)。
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] 安杰洛斯·卡塔罗普洛斯、阿普尔夫·维亚斯、尼古拉斯·帕帕斯和弗朗索瓦·弗勒雷。 “变压器是 rnns:具有线性注意力的快速自回归变压器”。在国际机器学习会议上。第 5156-5165 页。 PMLR(2020)。

[38] James Bradbury、Roy Frostig、Peter Hawkins、Matthew James Johnson、Chris Leary、Dougal Maclaurin、George Necula、Adam Paszke、Jake VanderPlas、Skye Wanderman-Milne 和张乔。 “JAX:Python+NumPy 程序的可组合转换”。 GitHub(2018)。网址:http://github.com/google/jax。
http:// https://github.com/google/jax

[39] 迪德里克·P·金马 (Diederik P. Kingma) 和吉米·巴 (Jimmy Ba)。 “Adam:一种随机优化方法”。 CoRR 绝对值/​1412.6980 (2015)。

[40] Hyeonwoo Noh、Tackgeun You、Jonghwan Mun 和 Bohyung Han。 “通过噪声规范深度神经网络:其解释和优化”。 神经网络 (2017)。

[41] 薛瑛。 “过度拟合及其解决方案概述”。在《物理学杂志:会议系列》中。第 1168 卷,第 022022 页。IOP 出版 (2019)。
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

被引用

[1] David Peral García、Juan Cruz-Benito 和 Francisco José García-Peñalvo,“系统文献综述:量子机器学习及其应用”, 的arXiv:2201.04093, (2022).

[2] El Amine Cherrat、Snehal Raj、Iordanis Kerenidis、Abhishek Shekhar、Ben Wood、Jon Dee、Shouvanik Chakrabarti、Richard Chen、Dylan Herman、Shaohan Hu、Pierre Minssen、Ruslan Shaydulin、Yue Sun、Romina Yalovetzky 和 ​​Marco Pistoia, “量子深度对冲”, 量子7,1191(2023).

[3] Léo Monbroussou、Jonas Landman、Alex B. Grilo、Romain Kukla 和 Elham Kashefi,“用于机器学习的汉明权保留量子电路的可训练性和表现力”, 的arXiv:2309.15547, (2023).

[4] Sohum Thakkar、Skander Kazdaghli、Natansh Mathur、Iordanis Kerenidis、André J. Ferreira-Martins 和 Samurai Brito,“通过量子机器学习改进财务预测”, 的arXiv:2306.12965, (2023).

[5] Jason Iaconis 和 Sonika Johri,“基于张量网络的图像高效量子数据加载”, 的arXiv:2310.05897, (2023).

[6] Nishant Jain、Jonas Landman、Natansh Mathur 和 Iordanis Kerenidis,“求解参数偏微分方程的量子傅立叶网络”, 的arXiv:2306.15415, (2023).

[7] Daniel Mastropietro、Georgios Korpas、Vyacheslav Kungurtsev 和 Jakub Marecek,“Fleming-Viot 有助于在贫瘠高原的情况下加速变分量子算法”, 的arXiv:2311.18090, (2023).

[8] Aliza U. Siddiqui、Kaitlin Gili 和 Chris Ballance,“强调现代量子硬件:性能评估和执行见解”, 的arXiv:2401.13793, (2024).

以上引用来自 SAO / NASA广告 (最近成功更新为2024-02-22 13:37:43)。 该列表可能不完整,因为并非所有发布者都提供合适且完整的引用数据。

无法获取 Crossref引用的数据 在上一次尝试2024-02-22 13:37:41期间:无法从Crossref获取10.22331 / q-2024-02-22-1265的引用数据。 如果DOI是最近注册的,这是正常的。

时间戳记:

更多来自 量子杂志