Kvantnägemise transformaatorid

Kvantnägemise transformaatorid

Ajatempel: 22. veebruar 2024 kell 8:34

El Amine Cherrat1, Iordanis Kerenidis1,2, Natansh Mathur1,2, Jonas Landman3,2, Martin Strahm4ja Yun Yvonna Li4

1IRIF, CNRS – Université Paris Cité, Prantsusmaa
2QC Ware, Palo Alto, USA ja Pariis, Prantsusmaa
3Informaatikakool, Edinburghi Ülikool, Šotimaa, Ühendkuningriik
4F. Hoffmann La Roche AG

Kas see artikkel on huvitav või soovite arutada? Scite või jätke SciRate'i kommentaar.

Abstraktne

Selles töös kavandatakse ja analüüsitakse üksikasjalikult kvanttrafosid, laiendades nüüdisaegseid klassikalisi trafo närvivõrgu arhitektuure, mis on teadaolevalt väga tõhusad loomuliku keele töötlemisel ja pildianalüüsil. Tuginedes eelmisele tööle, mis kasutab andmete laadimiseks parameetrilisi kvantahelaid ja ortogonaalseid närvikihte, tutvustame treenimiseks ja järelduste tegemiseks kolme tüüpi kvanttrafosid, sealhulgas liitmaatriksitel põhinevat kvanttrafot, mis tagab kvanttähelepanu mehhanismi teoreetilise eelise. võrreldes nende klassikalise kolleegiga nii asümptootilise tööaja kui ka mudeli parameetrite arvu poolest. Neid kvantarhitektuure saab ehitada madalate kvantahelate abil ja toota kvalitatiivselt erinevaid klassifitseerimismudeleid. Kolm kavandatud kvant-tähelepanu kihti varieeruvad spektris klassikaliste trafode täpse järgimise ja rohkemate kvantomaduste näitamise vahel. Kvanttrafo ehitusplokkidena pakume välja uudse meetodi maatriksi laadimiseks kvantolekutena ning kahte uut treenitavat kvantortogonaalset kihti, mis on kohandatavad kvantarvutite erinevatele ühenduvustasemetele ja kvaliteedile. Teostasime kvanttrafode ulatuslikke simulatsioone standardsete meditsiiniliste kujutiste andmekogumitega, mis näitasid konkurentsivõimelist ja kohati paremat jõudlust võrreldes klassikaliste võrdlusnäitajatega, sealhulgas klassi parimate klassikaliste nägemistrafodega. Nendel väikesemahulistel andmekogumitel koolitatud kvanttrafod vajavad standardsete klassikaliste võrdlusnäitajatega võrreldes vähem parameetreid. Lõpuks rakendasime oma kvanttrafod ülijuhtivates kvantarvutites ja saime julgustavaid tulemusi kuni kuue kubitikatse jaoks.

Quantum Vision Transformers PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Esiletõstetud pilt: kvantlülitus liitmuunduri ühe tähelepanukihi täitmiseks. Maatriksandmete laadija, millele järgneb ortogonaalne kvantkiht.

Populaarne kokkuvõte

Selles uuringus uurime kvantandmetöötluse potentsiaali närvivõrgu arhitektuuri täiustamiseks, keskendudes trafodele, mis on tuntud oma tõhususe poolest sellistes ülesannetes nagu keeletöötlus ja pildianalüüs. Tutvustame kolme tüüpi kvanttrafosid, mis kasutavad parametriseeritud kvantahelaid ja ortogonaalseid närvikihte. Need kvanttrafod võivad teatud eeldustel (nt riistvaraühenduvus) anda teoreetiliselt eeliseid klassikaliste analoogidega võrreldes nii käitusaja kui ka mudeli parameetrite osas. Nende kvantlülituste loomiseks tutvustame uudset meetodit maatriksite laadimiseks kvantolekutena ja tutvustame kahte treenitavat kvantortogonaalset kihti, mis on kohandatavad erinevatele kvantarvuti võimalustele. Need nõuavad madalaid kvantahelaid ja võivad aidata luua ainulaadsete omadustega klassifitseerimismudeleid. Meditsiiniliste kujutiste andmekogumite ulatuslikud simulatsioonid näitavad klassikaliste võrdlusnäitajatega võrreldes konkurentsivõimelist jõudlust isegi vähemate parameetritega. Lisaks annavad ülijuhtivate kvantarvutite katsed paljulubavaid tulemusi.

► BibTeX-i andmed

► Viited

[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe ja Seth Lloyd. "Kvantmasinaõpe". Nature 549, 195–202 (2017).
https://​/​doi.org/​10.1038/​nature23474

[2] Iris Cong, Soonwon Choi ja Mihhail D Lukin. "Kvantkonvolutsioonilised närvivõrgud". Nature Physics 15, 1273–1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke jt. "Mürarikkad keskmise skaala kvantalgoritmid". Reviews of Modern Physics 94, 015004 (2022).
https://​/​doi.org/​10.1103/​RevModPhys.94.015004

[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio jt. "Variatsioonilised kvantalgoritmid". Nature Reviews Physics 3, 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash ja Iordanis Kerenidis. "Närvivõrkude kvantmeetodid ja rakendamine meditsiinilise kujutise klassifitseerimisel". Quantum 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] Bobak Kiani, Randall Balestriero, Yann LeCun ja Seth Lloyd. "projunn: tõhus meetod ühtsete maatriksitega sügavate võrkude treenimiseks". Advances in Neural Information Processing Systems 35, 14448–14463 (2022).

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser ja Illia Polosukhin. "Tähelepanu on kõik, mida vajate." Edusammud närviinfotöötlussüsteemides 30 (2017).

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee ja Kristina Toutanova. “Bert: Pre-training of deep bidirectional transformers for language mõiste” (2018).

[9] Aleksei Dosovitski, Lucas Beyer, Aleksander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit ja Neil Houlsby. "Pilt on väärt 16 × 16 sõna: Transformers pildituvastuseks mastaabis". Rahvusvaheline õpperepresentatsioonide konverents (2021). url: openreview.net/​forum?id=YicbFdNTTy.
https://​/​openreview.net/​forum?id=YicbFdNTTy

[10] Yi Tay, Mostafa Dehghani, Dara Bahri ja Donald Metzler. "Tõhusad trafod: uuring". ACM Computing Surveys (CSUR) (2020).
https://​/​doi.org/​10.1145/​3530811

[11] Dzmitry Bahdanau, Kyunghyun Cho ja Yoshua Bengio. "Närvi masintõlge ühiselt joondamist ja tõlkimist õppides" (2016). arXiv: 1409.0473 [cs, stat].
arXiv: 1409.0473

[12] J. Schmidhuber. "Õppimise keerukuse ja ajaliselt muutuvate muutujate arvu suhte vähendamine täielikult korduvates võrkudes". Stan Gielen ja Bert Kappen, toimetajad, ICANN '93. Lk 460–463. London (1993). Springer.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] Jürgen Schmidhuber. "Kiire kaalumälu kontrollimise õppimine: alternatiiv dünaamilistele korduvatele võrkudele". Neural Computation 4, 131–139 (1992).
https://​/​doi.org/​10.1162/​neco.1992.4.1.131

[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon ja Eun-Ah Kim. "Tähelepanupõhine kvanttomograafia". Masinõpe: Science and Technology 3, 01LT01 (2021).
https://​/​doi.org/​10.1088/​2632-2153/​ac362b

[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini ja Marcel Worring. "Loomuliku kvantkeele töötlemise koidik". ICASSP 2022–2022 IEEE rahvusvahelisel akustika, kõne ja signaalitöötluse konverentsil (ICASSP). Lk 8612–8616. IEEE (2022).
https://​/​doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] Guangxi Li, Xuanqiang Zhao ja Xin Wang. "Kvantsed enesetähelepanu närvivõrgud teksti klassifitseerimiseks" (2022).

[17] Fabio Sanches, Sean Weinberg, Takanori Ide ja Kazumitsu Kamiya. "Lühikesed kvantahelad sõidukite marsruutimise probleemi tugevdamise õppepoliitikas". Physical Review A 105, 062403 (2022).
https://​/​doi.org/​10.1103/​PhysRevA.105.062403

[18] YuanFu Yang ja Min Sun. "Pooljuhtide defektide tuvastamine hübriidse klassikalise-kvant-süvaõppe abil". CVPRPages 2313–2322 (2022).
https://​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan ja Tristan Cook. "Kvanvolutsioonilised närvivõrgud: pildituvastuse toide kvantahelatega". Quantum Machine Intelligence 2, 1–9 (2020).
https://​/​doi.org/​10.1007/​s42484-020-00012-y

[20] Edward Farhi ja Hartmut Neven. "Kvantnärvivõrkudega klassifikatsioon lähiaja protsessoritel" (2018). url: doi.org/​10.48550/​arXiv.1802.06002.
https://​/​doi.org/​10.48550/​arXiv.1802.06002

[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa ja Keisuke Fujii. "Kvantahela õppimine". Füüsiline ülevaade A 98, 032309 (2018).
https://​/​doi.org/​10.1103/​PhysRevA.98.032309

[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu ja Dacheng Tao. "Ortogonaalsed sügavad närvivõrgud". IEEE tehingud mustrianalüüsi ja masinluure kohta (2019).
https://​/​doi.org/​10.1109/​TPAMI.2019.2948352

[23] Roger A Horn ja Charles R Johnson. "Maatriksanalüüs". Cambridge'i ülikooli ajakirjandus. (2012).
https://​/​doi.org/​10.1017/​CBO9780511810817

[24] Iordanis Kerenidis ja Anupam Prakash. "Kvantmasinaõpe alamruumi olekutega" (2022).

[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends jt. "Kahe qubit väravate pideva komplekti demonstreerimine lähiaja kvantalgoritmide jaoks". Physical Review Letters 125, 120504 (2020).
https://​/​doi.org/​10.1103/​PhysRevLett.125.120504

[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim ja Iordanis Kerenidis. "Lähim tsentroidi klassifikatsioon kinni jäänud ioonide kvantarvutis". npj Quantum Information 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] James W Cooley ja John W Tukey. "Algoritm keerukate Fourier-seeriate masinarvutamiseks". Arvutamise matemaatika 19, 297–301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark ja Marin Soljacic. "Tuunitavad tõhusad ühtsed närvivõrgud (eunn) ja nende rakendamine rnns-i jaoks". Rahvusvahelisel masinõppe konverentsil. (2016). url: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla ja Elham Kashefi. "Masinõppe jaoks mõeldud haamriraskust säilitavate kvantahelate treenitavus ja väljendusvõime" (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Heredge, Shree Hari Sureshbabu ja Marco Pistoia. „Kindlane on kõik, mida vajate: viljatute platoode iseloomustamine quantum ansätze” (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] Michael Ragone, Bojko N. Bakalov, Frédéric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca ja M. Cerezo. "Ühtne teooria viljatute platoode kohta sügavate parameetritega kvantahelate jaoks" (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You ja Xiaodi Wu. "Plahvatuslikult palju kohalikke miinimume kvantnärvivõrkudes". Rahvusvahelisel masinõppe konverentsil. Lk 12144–12155. PMLR (2021).

[33] Eric R. Anschuetz ja Bobak Toussi Kiani. "Kvantvariatsioonialgoritmid on lõksudega üle ujutatud." Nature Communications 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Ilja O. Tolstikhin, Neil Houlsby, Aleksander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic ja Aleksei Dosovitski. "Mlp-mikser: kõik-mlp-arhitektuur nägemise jaoks". NeurIPSis. (2021).

[35] Jiancheng Yang, Rui Shi ja Bingbing Ni. „Medmnisti klassifikatsiooni kümnevõistlus: kerge automl etalon meditsiinilise pildianalüüsi jaoks” (2020).
https://​/​doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister ja Bingbing Ni. "Medmnist v2 - suuremahuline kerge etalon 2D ja 3D biomeditsiiniliste kujutiste klassifitseerimiseks". Scientific Data 10, 41 (2023).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas ja François Fleuret. "Trafod on rnns: lineaarse tähelepanuga kiired autoregressiivsed trafod". Rahvusvahelisel masinõppe konverentsil. Lk 5156–5165. PMLR (2020).

[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne ja Qiao Zhang. "JAX: Python + NumPy programmide komponeeritavad teisendused". Github (2018). url: http://​/​github.com/​google/​jax.
http://​/​github.com/​google/​jax

[39] Diederik P. Kingma ja Jimmy Ba. "Adam: stohhastilise optimeerimise meetod". CORR abs/​1412.6980 (2015).

[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun ja Bohyung Han. "Sügavate närvivõrkude reguleerimine müra abil: selle tõlgendamine ja optimeerimine". NeurIPS (2017).

[41] Xue Ying. “Ülevaade ülemonteerimisest ja selle lahendustest”. Ajakirjas Journal of Physics: konverentsisari. 1168. köide, lk 022022. IOP Publishing (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

Viidatud

[1] David Peral García, Juan Cruz-Benito ja Francisco José García-Peñalvo, „Systematic Literature Review: Quantum Machine Learning and its applications” arXiv: 2201.04093, (2022).

[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky ja Marco Pistoia, "Kvanti sügav maandamine", Quantum 7 1191 (2023).

[3] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla ja Elham Kashefi, „Hamming-Weight Preserving Quantum Circuits for Machine Learning treenitavus ja väljendusvõime”, arXiv: 2309.15547, (2023).

[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins ja Samurai Brito, „Parem finantsprognoosimine kvantmasinõppe kaudu”, arXiv: 2306.12965, (2023).

[5] Jason Iaconis ja Sonika Johri, "Tensor Network Based Efficient Quantum Data Loading of Images", arXiv: 2310.05897, (2023).

[6] Nishant Jain, Jonas Landman, Natansh Mathur ja Iordanis Kerenidis, "Quantum Fourier Networks for Solving Parametric PDE" arXiv: 2306.15415, (2023).

[7] Daniel Mastropietro, Georgios Korpas, Vjatšeslav Kungurtsev ja Jakub Marecek, "Fleming-Viot aitab kiirendada variatiivseid kvantalgoritme viljatute platoode juuresolekul", arXiv: 2311.18090, (2023).

[8] Aliza U. Siddiqui, Kaitlin Gili ja Chris Ballance, "Stressing Out Modern Quantum Hardware: Performance Evaluation and Execution Insights", arXiv: 2401.13793, (2024).

Ülaltoodud tsitaadid on pärit SAO/NASA KUULUTUSED (viimati edukalt värskendatud 2024-02-22 13:37:43). Loend võib olla puudulik, kuna mitte kõik väljaandjad ei esita sobivaid ja täielikke viiteandmeid.

Ei saanud tuua Ristviide viidatud andmete alusel viimase katse ajal 2024-02-22 13:37:41: 10.22331/q-2024-02-22-1265 viidatud andmeid ei saanud Crossrefist tuua. See on normaalne, kui DOI registreeriti hiljuti.

See raamat on avaldatud Quantum all Creative Commons Attribution 4.0 International (CC BY 4.0) litsents. Autoriõigus jääb algsetele autoriõiguste valdajatele, näiteks autoritele või nende institutsioonidele.

Ajatempel:

Veel alates Quantum Journal