Quantum Vision Transformers

Quantum Vision Transformers

Tidsstempel: 22. februar 2024 kl. 8:34

El Amine Cherrat1, Iordanis Kerenidis1,2, Natansh Mathur1,2, Jonas Landman3,2, Martin Strahm4, og Yun Yvonna Li4

1IRIF, CNRS – Université Paris Cité, Frankrig
2QC Ware, Palo Alto, USA og Paris, Frankrig
3School of Informatics, University of Edinburgh, Skotland, Storbritannien
4F. Hoffmann La Roche AG

Finder du denne artikel interessant eller vil du diskutere? Scite eller efterlade en kommentar på SciRate.

Abstrakt

I dette arbejde er kvantetransformatorer designet og analyseret i detaljer ved at udvide de avancerede klassiske transformatorneurale netværksarkitekturer, der er kendt for at være meget effektive inden for naturlig sprogbehandling og billedanalyse. Med udgangspunkt i det tidligere arbejde, som bruger parametriserede kvantekredsløb til dataindlæsning og ortogonale neurale lag, introducerer vi tre typer kvantetransformatorer til træning og inferens, herunder en kvantetransformator baseret på sammensatte matricer, som garanterer en teoretisk fordel ved kvanteopmærksomhedsmekanismen sammenlignet med deres klassiske modstykke både med hensyn til asymptotisk køretid og antallet af modelparametre. Disse kvantearkitekturer kan bygges ved hjælp af lavvandede kvantekredsløb og producere kvalitativt forskellige klassifikationsmodeller. De tre foreslåede kvanteopmærksomhedslag varierer på spektret mellem tæt at følge de klassiske transformere og udvise flere kvantekarakteristika. Som byggesten i kvantetransformatoren foreslår vi en ny metode til at indlæse en matrix som kvantetilstande såvel som to nye oplærbare kvante-ortogonale lag, der kan tilpasses forskellige niveauer af tilslutning og kvalitet af kvantecomputere. Vi udførte omfattende simuleringer af kvantetransformatorerne på standard medicinske billeddatasæt, der viste konkurrencedygtig og til tider bedre ydeevne sammenlignet med de klassiske benchmarks, inklusive de bedste klassiske visiontransformatorer i klassen. De kvantetransformatorer, vi trænede på disse småskala-datasæt, kræver færre parametre sammenlignet med standard klassiske benchmarks. Endelig implementerede vi vores kvantetransformatorer på superledende kvantecomputere og opnåede opmuntrende resultater for op til seks qubit-eksperimenter.

Quantum Vision Transformers PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Udvalgt billede: Kvantekredsløb til at udføre ét opmærksomhedslag af Compound Transformer. En matrixdataindlæser efterfulgt af et ortogonalt kvantelag.

Populært resumé

I denne undersøgelse undersøger vi potentialet ved kvanteberegning til at forbedre neurale netværksarkitekturer, med fokus på transformatorer, kendt for deres effektivitet i opgaver som sprogbehandling og billedanalyse. Vi introducerer tre typer kvantetransformatorer, der udnytter parametriserede kvantekredsløb og ortogonale neurale lag. Disse kvantetransformatorer, under nogle antagelser (f.eks. hardwareforbindelse), kunne teoretisk give fordele i forhold til klassiske modparter med hensyn til både runtime og modelparametre. For at skabe disse kvantekredsløb præsenterer vi en ny metode til indlæsning af matricer som kvantetilstande og introducerer to oplærbare kvante-ortogonale lag, der kan tilpasses til forskellige kvantecomputeregenskaber. De kræver overfladiske kvantekredsløb og kan hjælpe med at skabe klassifikationsmodeller med unikke egenskaber. Omfattende simuleringer på medicinske billeddatasæt viser konkurrencedygtig ydeevne sammenlignet med klassiske benchmarks, selv med færre parametre. Derudover giver eksperimenter med superledende kvantecomputere lovende resultater.

► BibTeX-data

► Referencer

[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe og Seth Lloyd. "Kvantemaskinelæring". Nature 549, 195-202 (2017).
https://​/​doi.org/​10.1038/​nature23474

[2] Iris Cong, Soonwon Choi og Mikhail D Lukin. "Kvantekonvolutionelle neurale netværk". Nature Physics 15, 1273-1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, et al. "Støjende mellemskala kvantealgoritmer". Anmeldelser af Modern Physics 94, 015004 (2022).
https://​/​doi.org/​10.1103/​RevModPhys.94.015004

[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio, et al. "Variationelle kvantealgoritmer". Nature Reviews Physics 3, 625-644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash og Iordanis Kerenidis. "Kvantemetoder til neurale netværk og anvendelse til medicinsk billedklassificering". Quantum 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] Bobak Kiani, Randall Balestriero, Yann LeCun og Seth Lloyd. "projunn: Effektiv metode til træning af dybe netværk med enhedsmatricer". Advances in Neural Information Processing Systems 35, 14448–14463 (2022).

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser og Illia Polosukhin. "Opmærksomhed er alt hvad du behøver". Fremskridt inden for neurale informationsbehandlingssystemer 30 (2017).

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee og Kristina Toutanova. "Bert: Fortræning af dybe tovejstransformatorer til sprogforståelse" (2018).

[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit og Neil Houlsby. "Et billede er værd 16×16 ord: Transformere til billedgenkendelse i skala". International konference om læringsrepræsentationer (2021). url: openreview.net/​forum?id=YicbFdNTTy.
https://​/​openreview.net/​forum?id=YicbFdNTTy

[10] Yi Tay, Mostafa Dehghani, Dara Bahri og Donald Metzler. "Effektive transformatorer: En undersøgelse". ACM Computing Surveys (CSUR) (2020).
https://​/​doi.org/​10.1145/​3530811

[11] Dzmitry Bahdanau, Kyunghyun Cho og Yoshua Bengio. "Neural Machine Translation by Jointly Learning to Align and Translate" (2016). arXiv:1409.0473 [cs, stat].
arXiv: 1409.0473

[12] J. Schmidhuber. "Reduktion af forholdet mellem indlæringskompleksitet og antallet af tidsvariable variable i fuldt tilbagevendende net". I Stan Gielen og Bert Kappen, redaktører, ICANN '93. Side 460–463. London (1993). Springer.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] Jürgen Schmidhuber. "Lære at kontrollere hurtige minder: Et alternativ til dynamiske tilbagevendende netværk". Neural Computation 4, 131-139 (1992).
https://​/​doi.org/​10.1162/​neco.1992.4.1.131

[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon og Eun-Ah Kim. "Opmærksomhedsbaseret kvantetomografi". Machine Learning: Science and Technology 3, 01LT01 (2021).
https://​/​doi.org/​10.1088/​2632-2153/​ac362b

[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini og Marcel Worring. "Begyndelsen af ​​kvantebehandling af naturligt sprog". I ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Side 8612–8616. IEEE (2022).
https://​/​doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] Guangxi Li, Xuanqiang Zhao og Xin Wang. "Quante-selvopmærksomhed neurale netværk til tekstklassificering" (2022).

[17] Fabio Sanches, Sean Weinberg, Takanori Ide og Kazumitsu Kamiya. "Korte kvantekredsløb i forstærkningslæringspolitikker for køretøjets routingproblem". Physical Review A 105, 062403 (2022).
https://​/​doi.org/​10.1103/​PhysRevA.105.062403

[18] YuanFu Yang og Min Sun. "Halvlederdefektdetektion ved hybrid klassisk-kvante dyb læring". CVPRPages 2313–2322 (2022).
https:/​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan og Tristan Cook. "Kvanvolutionelle neurale netværk: driver billedgenkendelse med kvantekredsløb". Quantum Machine Intelligence 2, 1–9 (2020).
https://​/​doi.org/​10.1007/​s42484-020-00012-y

[20] Edward Farhi og Hartmut Neven. "Klassificering med kvanteneurale netværk på kortsigtede processorer" (2018). url: doi.org/​10.48550/​arXiv.1802.06002.
https://​/​doi.org/​10.48550/​arXiv.1802.06002

[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa og Keisuke Fujii. "Kvantekredsløbslæring". Fysisk anmeldelse A 98, 032309 (2018).
https://​/​doi.org/​10.1103/​PhysRevA.98.032309

[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu og Dacheng Tao. "Ortogonale dybe neurale netværk". IEEE-transaktioner om mønsteranalyse og maskinintelligens (2019).
https://​/​doi.org/​10.1109/​TPAMI.2019.2948352

[23] Roger A Horn og Charles R Johnson. "Matrixanalyse". Cambridge University Press. (2012).
https://​/​doi.org/​10.1017/​CBO9780511810817

[24] Iordanis Kerenidis og Anupam Prakash. "Kvantemaskinelæring med underrumstilstande" (2022).

[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends, et al. "Demonstrerer et kontinuerligt sæt af to-qubit-gates for kortsigtede kvantealgoritmer". Physical Review Letters 125, 120504 (2020).
https://​/​doi.org/​10.1103/​PhysRevLett.125.120504

[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim og Iordanis Kerenidis. "Nærmeste tyngdepunktsklassifikation på en fanget ion kvantecomputer". npj Quantum Information 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] James W Cooley og John W Tukey. "En algoritme til maskinberegning af komplekse fourierserier". Mathematics of computing 19, 297-301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark og Marin Soljacic. "Justerbare effektive enhedsneurale netværk (eunn) og deres anvendelse på rnns". I international konference om maskinlæring. (2016). url: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla og Elham Kashefi. "Trænbarhed og udtryksevne af hamming-vægtbevarende kvantekredsløb til maskinlæring" (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Heredge, Shree Hari Sureshbabu og Marco Pistoia. "Adjoint er alt hvad du behøver: Karakterisering af golde plateauer i quantum ansätze" (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] Michael Ragone, Bojko N. Bakalov, Frédéric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca og M. Cerezo. "En samlet teori om golde plateauer for dybe parametriserede kvantekredsløb" (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You og Xiaodi Wu. "Eksponentielt mange lokale minima i kvanteneurale netværk". I international konference om maskinlæring. Side 12144–12155. PMLR (2021).

[33] Eric R. Anschuetz og Bobak Toussi Kiani. "Kvantevariationsalgoritmer er oversvømmet med fælder". Naturkommunikation 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Ilya O. Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic og Alexey Dosovitskiy. "Mlp-mixer: En fuld-mlp-arkitektur til vision". I NeurIPS. (2021).

[35] Jiancheng Yang, Rui Shi og Bingbing Ni. "Medmnist classification decathlon: A lightweight automl benchmark for medicinsk billedanalyse" (2020).
https:/​/​doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister og Bingbing Ni. "Medmnist v2-et storstilet letvægts benchmark for 2d og 3d biomedicinsk billedklassificering". Scientific Data 10, 41 (2023).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas og François Fleuret. "Transformere er rnns: Hurtige autoregressive transformere med lineær opmærksomhed". I international konference om maskinlæring. Side 5156–5165. PMLR (2020).

[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne og Qiao Zhang. "JAX: komponerbare transformationer af Python+NumPy-programmer". Github (2018). url: http://​/​github.com/​google/​jax.
http://​github.com/​google/​jax

[39] Diederik P. Kingma og Jimmy Ba. "Adam: En metode til stokastisk optimering". CoRR abs/​1412.6980 (2015).

[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun og Bohyung Han. "Regulering af dybe neurale netværk ved støj: dens fortolkning og optimering". NeurIPS (2017).

[41] Xue Ying. "Et overblik over overfitting og dets løsninger". I Journal of Physics: Conference Series. Bind 1168, side 022022. IOP Publishing (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

Citeret af

[1] David Peral García, Juan Cruz-Benito og Francisco José García-Peñalvo, "Systematic Literature Review: Quantum Machine Learning and its applications", arXiv: 2201.04093, (2022).

[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky og Marco Pistoia, "Quantum Deep Hedging", Quantum 7 (1191).

[3] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla og Elham Kashefi, "Trainability and Expressivity of Hamming-Weight Preserving Quantum Circuits for Machine Learning", arXiv: 2309.15547, (2023).

[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins og Samurai Brito, "Improved Financial Forecasting via Quantum Machine Learning", arXiv: 2306.12965, (2023).

[5] Jason Iaconis og Sonika Johri, "Tensor Network Based Efficient Quantum Data Loading of Images", arXiv: 2310.05897, (2023).

[6] Nishant Jain, Jonas Landman, Natansh Mathur og Iordanis Kerenidis, "Quantum Fourier Networks for Solving Parametric PDEs", arXiv: 2306.15415, (2023).

[7] Daniel Mastropietro, Georgios Korpas, Vyacheslav Kungurtsev og Jakub Marecek, "Fleming-Viot hjælper med at fremskynde variationskvantealgoritmer i nærvær af golde plateauer", arXiv: 2311.18090, (2023).

[8] Aliza U. Siddiqui, Kaitlin Gili og Chris Ballance, "Stressing Out Modern Quantum Hardware: Performance Evaluation and Execution Insights", arXiv: 2401.13793, (2024).

Ovenstående citater er fra SAO/NASA ADS (sidst opdateret 2024-02-22 13:37:43). Listen kan være ufuldstændig, da ikke alle udgivere leverer passende og fuldstændige citatdata.

Kunne ikke hente Crossref citeret af data under sidste forsøg 2024-02-22 13:37:41: Kunne ikke hente citerede data for 10.22331/q-2024-02-22-1265 fra Crossref. Dette er normalt, hvis DOI blev registreret for nylig.

Dette papir er udgivet i Quantum under Creative Commons Attribution 4.0 International (CC BY 4.0) licens. Ophavsretten forbliver hos de originale copyright-indehavere, såsom forfatterne eller deres institutioner.

Tidsstempel:

Mere fra Quantum Journal