Kvantni transformatorji vida

Kvantni transformatorji vida

Časovni žig: 22. februar 2024 8

El Amine Cherrat1, Jordanis Kerenidis1,2, Natansh Mathur1,2, Jonas Landman3,2, Martin Strahm4in Yun Yvonna Li4

1IRIF, CNRS – Université Paris Cité, Francija
2QC Ware, Palo Alto, ZDA in Pariz, Francija
3Šola za informatiko, Univerza v Edinburghu, Škotska, Združeno kraljestvo
4F. Hoffmann La Roche AG

Se vam zdi ta članek zanimiv ali želite razpravljati? Zaslišite ali pustite komentar na SciRate.

Minimalizem

V tem delu so kvantni transformatorji zasnovani in podrobno analizirani z razširitvijo najsodobnejših arhitektur nevronske mreže klasičnih transformatorjev, za katere je znano, da so zelo zmogljive pri obdelavi naravnega jezika in analizi slik. Na podlagi prejšnjega dela, ki uporablja parametrizirana kvantna vezja za nalaganje podatkov in ortogonalne nevronske plasti, uvajamo tri vrste kvantnih transformatorjev za usposabljanje in sklepanje, vključno s kvantnim transformatorjem na osnovi sestavljenih matrik, ki zagotavlja teoretično prednost kvantnega mehanizma pozornosti v primerjavi s svojim klasičnim dvojnikom tako v smislu asimptotičnega časa delovanja kot števila parametrov modela. Te kvantne arhitekture je mogoče zgraditi z uporabo plitvih kvantnih vezij in ustvariti kvalitativno drugačne klasifikacijske modele. Trije predlagani sloji kvantne pozornosti se razlikujejo po spektru med tesnim sledenjem klasičnim transformatorjem in razstavljanjem bolj kvantnih značilnosti. Kot gradnike kvantnega transformatorja predlagamo novo metodo za nalaganje matrike kot kvantnih stanj, kot tudi dve novi učljivi kvantni ortogonalni plasti, ki sta prilagodljivi različnim nivojem povezljivosti in kakovosti kvantnih računalnikov. Izvedli smo obsežne simulacije kvantnih transformatorjev na standardnih zbirkah podatkov medicinskih slik, ki so pokazale konkurenčno in včasih boljšo zmogljivost v primerjavi s klasičnimi merili uspešnosti, vključno z najboljšimi transformatorji klasičnega vida v razredu. Kvantni transformatorji, ki smo jih učili na teh majhnih naborih podatkov, zahtevajo manj parametrov v primerjavi s standardnimi klasičnimi merili. Nazadnje smo implementirali naše kvantne transformatorje na superprevodne kvantne računalnike in pridobili spodbudne rezultate za do šest kubitnih poskusov.

Quantum Vision Transformers PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Predstavljena slika: kvantno vezje za izvedbo enega sloja pozornosti sestavljenega transformatorja. Matrični nalagalnik podatkov, ki mu sledi ortogonalna kvantna plast.

Priljubljen povzetek

V tej študiji raziskujemo potencial kvantnega računalništva za izboljšanje arhitektur nevronskih mrež, pri čemer se osredotočamo na transformatorje, ki so znani po svoji učinkovitosti pri nalogah, kot sta obdelava jezika in analiza slike. Predstavljamo tri vrste kvantnih transformatorjev, ki izkoriščajo parametrizirana kvantna vezja in ortogonalne nevronske plasti. Ti kvantni transformatorji bi pod nekaterimi predpostavkami (npr. povezljivost strojne opreme) lahko teoretično zagotovili prednosti pred klasičnimi primerki tako glede časa delovanja kot parametrov modela. Za ustvarjanje tega kvantnega vezja predstavljamo novo metodo za nalaganje matrik kot kvantnih stanj in uvajamo dve učljivi kvantni ortogonalni plasti, ki sta prilagodljivi različnim zmogljivostim kvantnega računalnika. Zahtevajo plitva kvantna vezja in lahko pomagajo ustvariti klasifikacijske modele z edinstvenimi lastnostmi. Obsežne simulacije podatkovnih nizov medicinskih slik dokazujejo konkurenčno zmogljivost v primerjavi s klasičnimi merili uspešnosti, tudi z manj parametri. Poleg tega eksperimenti na superprevodnih kvantnih računalnikih dajejo obetavne rezultate.

► BibTeX podatki

► Reference

[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe in Seth Lloyd. "Kvantno strojno učenje". Narava 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / nature23474

[2] Iris Cong, Soonwon Choi in Mikhail D Lukin. "Kvantne konvolucijske nevronske mreže". Fizika narave 15, 1273–1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, et al. "Hrupni kvantni algoritmi vmesne lestvice". Reviews of Modern Physics 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004

[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio, et al. "Variacijski kvantni algoritmi". Nature Reviews Physics 3, 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash in Iordanis Kerenidis. "Kvantne metode za nevronske mreže in uporaba pri klasifikaciji medicinskih slik". Quantum 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] Bobak Kiani, Randall Balestriero, Yann LeCun in Seth Lloyd. “projunn: Učinkovita metoda za usposabljanje globokih mrež z enotnimi matricami”. Napredek v sistemih za obdelavo nevronskih informacij 35, 14448–14463 (2022).

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser in Illia Polosukhin. "Pozornost je vse, kar potrebujete". Napredek v sistemih za obdelavo nevronskih informacij 30 (2017).

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee in Kristina Toutanova. »Bert: Predhodno usposabljanje globokih dvosmernih transformatorjev za razumevanje jezika« (2018).

[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit in Neil Houlsby. "Slika je vredna 16 × 16 besed: Transformerji za prepoznavanje slik v velikem obsegu". Mednarodna konferenca o predstavitvah učenja (2021). url: openreview.net/​forum?id=YicbFdNTTy.
https://​/​openreview.net/​forum?id=YicbFdNTTy

[10] Yi Tay, Mostafa Dehghani, Dara Bahri in Donald Metzler. "Učinkoviti transformatorji: raziskava". ACM Computing Surveys (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811

[11] Dzmitry Bahdanau, Kyunghyun Cho in Yoshua Bengio. »Nevronsko strojno prevajanje s skupnim učenjem poravnave in prevajanja« (2016). arXiv:1409.0473 [cs, statistika].
arXiv: 1409.0473

[12] J. Schmidhuber. »Zmanjšanje razmerja med učno kompleksnostjo in številom časovno spremenljivih spremenljivk v popolnoma ponavljajočih se mrežah«. Stan Gielen in Bert Kappen, urednika, ICANN '93. Strani 460–463. London (1993). Springer.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] Jürgen Schmidhuber. "Učenje nadzora hitrih spominov: alternativa dinamičnim ponavljajočim se omrežjem". Nevronsko računanje 4, 131–139 (1992).
https://​/​doi.org/​10.1162/​neco.1992.4.1.131

[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon in Eun-Ah Kim. "Kvantna tomografija, ki temelji na pozornosti". Strojno učenje: znanost in tehnologija 3, 01LT01 (2021).
https://​/​doi.org/​10.1088/​2632-2153/​ac362b

[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini in Marcel Worring. "Zora kvantne obdelave naravnega jezika". Na ICASSP 2022-2022 Mednarodna konferenca IEEE o akustiki, obdelavi govora in signalov (ICASSP). Strani 8612–8616. IEEE (2022).
https://​/​doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] Guangxi Li, Xuanqiang Zhao in Xin Wang. »Kvantne nevronske mreže za samopozornost za klasifikacijo besedil« (2022).

[17] Fabio Sanches, Sean Weinberg, Takanori Ide in Kazumitsu Kamiya. "Kratki kvantni krogi v politikah učenja okrepitve za problem usmerjanja vozil". Physical Review A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403

[18] YuanFu Yang in Min Sun. "Odkrivanje napak v polprevodnikih s hibridnim klasičnim kvantnim globokim učenjem". CVP Strani 2313–2322 (2022).
https://​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan in Tristan Cook. "Kvanvolucijska nevronska omrežja: spodbujanje prepoznavanja slik s kvantnimi vezji". Kvantna strojna inteligenca 2, 1–9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-y

[20] Edward Farhi in Hartmut Neven. »Razvrstitev s kvantnimi nevronskimi mrežami na bližnjih procesorjih« (2018). url: doi.org/​10.48550/​arXiv.1802.06002.
https://​/​doi.org/​10.48550/​arXiv.1802.06002

[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa in Keisuke Fujii. "Učenje kvantnega vezja". Physical Review A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu in Dacheng Tao. "Ortogonalne globoke nevronske mreže". Transakcije IEEE o analizi vzorcev in strojni inteligenci (2019).
https: / / doi.org/ 10.1109 / TPAMI.2019.2948352

[23] Roger A Horn in Charles R Johnson. "Matrična analiza". Cambridge University Press. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817

[24] Iordanis Kerenidis in Anupam Prakash. »Kvantno strojno učenje s podprostorskimi stanji« (2022).

[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends idr. "Demonstriranje neprekinjenega nabora vrat z dvema kubitoma za bližnjeročne kvantne algoritme". Physical Review Letters 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim in Iordanis Kerenidis. "Klasifikacija najbližjega centroida na kvantnem računalniku z ujetimi ioni". npj Kvantne informacije 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] James W Cooley in John W Tukey. “Algoritem za strojni izračun kompleksnih Fourierjevih nizov”. Matematika računanja 19, 297–301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark in Marin Soljacic. "Nastavljive učinkovite enotne nevronske mreže (eunn) in njihova uporaba v rnns". Na mednarodni konferenci o strojnem učenju. (2016). url: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla in Elham Kashefi. »Usposobljivost in izraznost kvantnih vezij za strojno učenje, ki ohranjajo Hammingovo težo« (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Heredge, Shree Hari Sureshbabu in Marco Pistoia. »Adjoint je vse, kar potrebujete: Karakterizacija neplodnih planot v kvantni ansätze« (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] Michael Ragone, Bojko N. Bakalov, Frédéric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca in M. Cerezo. »Enotna teorija neplodnih planot za globoko parametrizirana kvantna vezja« (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You in Xiaodi Wu. "Eksponentno veliko lokalnih minimumov v kvantnih nevronskih mrežah". Na mednarodni konferenci o strojnem učenju. Strani 12144–12155. PMLR (2021).

[33] Eric R. Anschuetz in Bobak Toussi Kiani. "Kvantni variacijski algoritmi so preplavljeni s pastmi". Nature Communications 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Ilya O. Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic in Alexey Dosovitskiy. "Mlp-mixer: arhitektura vse-mlp za vizijo". V NeurIPS. (2021).

[35] Jiancheng Yang, Rui Shi in Bingbing Ni. »Medmnist classification decathlon: lahka samodejna merila uspešnosti za analizo medicinskih slik« (2020).
https://​/​doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister in Bingbing Ni. »Medmnist v2 – obsežno in lahko merilo uspešnosti za 2d in 3d klasifikacijo biomedicinskih slik«. Znanstveni podatki 10, 41 (2023).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas in François Fleuret. "Transformatorji so rnns: hitri avtoregresivni transformatorji z linearno pozornostjo". Na mednarodni konferenci o strojnem učenju. Strani 5156–5165. PMLR (2020).

[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne in Qiao Zhang. “JAX: sestavljive transformacije programov Python+NumPy”. Github (2018). url: http://​/​github.com/​google/​jax.
http: / / github.com/ google / jax

[39] Diederik P. Kingma in Jimmy Ba. “Adam: Metoda za stohastično optimizacijo”. CoRR abs/​1412.6980 (2015).

[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun in Bohyung Han. "Regulacija globokih nevronskih mrež s šumom: njegova interpretacija in optimizacija". NeurIPS (2017).

[41] Xue Ying. “Pregled preopremljanja in njegovih rešitev”. V Journal of Physics: serija konferenc. Zvezek 1168, stran 022022. Založba IOP (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

Navedel

[1] David Peral García, Juan Cruz-Benito in Francisco José García-Peñalvo, "Systematic Literature Review: Quantum Machine Learning and its applications", arXiv: 2201.04093, (2022).

[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky in Marco Pistoia, "Quantum Deep Hedging", Kvant 7, 1191 (2023).

[3] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla in Elham Kashefi, »Usposobljivost in izraznost kvantnih vezij za strojno učenje, ki ohranjajo Hammingovo težo«, arXiv: 2309.15547, (2023).

[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins in Samurai Brito, »Improved Financial Forecasting via Quantum Machine Learning«, arXiv: 2306.12965, (2023).

[5] Jason Iaconis in Sonika Johri, »Učinkovito nalaganje slik s kvantnimi podatki na osnovi tenzorskega omrežja« arXiv: 2310.05897, (2023).

[6] Nishant Jain, Jonas Landman, Natansh Mathur in Iordanis Kerenidis, "Kvantna Fourierjeva omrežja za reševanje parametričnih PDE", arXiv: 2306.15415, (2023).

[7] Daniel Mastropietro, Georgios Korpas, Vjačeslav Kungurcev in Jakub Marecek, "Fleming-Viot pomaga pospešiti variacijske kvantne algoritme v prisotnosti neplodnih planot", arXiv: 2311.18090, (2023).

[8] Aliza U. Siddiqui, Kaitlin Gili in Chris Ballance, »Stressing Out Modern Quantum Hardware: Performance Evaluation and Execution Insights«, arXiv: 2401.13793, (2024).

Zgornji citati so iz SAO / NASA ADS (zadnjič posodobljeno 2024-02-22 13:37:43). Seznam je morda nepopoln, saj vsi založniki ne dajejo ustreznih in popolnih podatkov o citiranju.

Pridobitve ni bilo mogoče Crossref citirani podatki med zadnjim poskusom 2024-02-22 13:37:41: Citiranih podatkov za 10.22331 / q-2024-02-22-1265 od Crossrefa ni bilo mogoče pridobiti. To je normalno, če je bil DOI registriran pred kratkim.

Ta dokument je objavljen v Quantumu pod Priznanje avtorstva Creative Commons 4.0 International (CC BY 4.0) licenca. Avtorske pravice ostajajo pri izvirnih imetnikih avtorskih pravic, kot so avtorji ali njihove ustanove.

Časovni žig:

Več od Quantum Journal