Transformator Visi Kuantum

Transformator Visi Kuantum

Stempel Waktu: 22 Februari 2024 8:34

El Amine Cherrat1, Iordanis Kerenidis1,2, Natansh Mathur1,2, Jonas Landman3,2, Martin Strahm4, dan Yun Yvonna Li4

1IRIF, CNRS โ€“ Universitรฉ Paris Citรฉ, Prancis
2QC Ware, Palo Alto, AS dan Paris, Prancis
3Sekolah Informatika, Universitas Edinburgh, Skotlandia, Inggris
4F.Hoffmann La Roche AG

Apakah makalah ini menarik atau ingin dibahas? Scite atau tinggalkan komentar di SciRate.

Abstrak

Dalam karya ini, transformator kuantum dirancang dan dianalisis secara mendetail dengan memperluas arsitektur jaringan saraf transformator klasik canggih yang dikenal sangat berkinerja dalam pemrosesan bahasa alami dan analisis gambar. Berdasarkan penelitian sebelumnya, yang menggunakan sirkuit kuantum berparametri untuk pemuatan data dan lapisan saraf ortogonal, kami memperkenalkan tiga jenis transformator kuantum untuk pelatihan dan inferensi, termasuk transformator kuantum berdasarkan matriks gabungan, yang menjamin keuntungan teoritis dari mekanisme perhatian kuantum dibandingkan dengan model klasiknya baik dalam hal waktu berjalan asimtotik dan jumlah parameter model. Arsitektur kuantum ini dapat dibangun menggunakan sirkuit kuantum dangkal dan menghasilkan model klasifikasi yang berbeda secara kualitatif. Tiga lapisan perhatian kuantum yang diusulkan memiliki spektrum yang bervariasi antara mengikuti transformator klasik dan menunjukkan lebih banyak karakteristik kuantum. Sebagai bahan penyusun transformator kuantum, kami mengusulkan metode baru untuk memuat matriks sebagai status kuantum serta dua lapisan ortogonal kuantum baru yang dapat dilatih dan dapat disesuaikan dengan berbagai tingkat konektivitas dan kualitas komputer kuantum. Kami melakukan simulasi ekstensif transformator kuantum pada kumpulan data gambar medis standar yang menunjukkan kinerja kompetitif dan terkadang lebih baik dibandingkan dengan tolok ukur klasik, termasuk transformator penglihatan klasik terbaik di kelasnya. Transformator kuantum yang kami latih pada kumpulan data skala kecil ini memerlukan lebih sedikit parameter dibandingkan dengan tolok ukur klasik standar. Terakhir, kami menerapkan transformator kuantum pada komputer kuantum superkonduktor dan memperoleh hasil yang menggembirakan hingga enam eksperimen qubit.

Quantum Vision Transformers Kecerdasan Data PlatoBlockchain. Pencarian Vertikal. Ai.

Gambar unggulan: Sirkuit kuantum untuk mengeksekusi satu lapisan perhatian dari Compound Transformer. Pemuat data matriks diikuti oleh lapisan kuantum ortogonal.

Ringkasan populer

Dalam studi ini, kami mengeksplorasi potensi komputasi kuantum untuk meningkatkan arsitektur jaringan saraf, dengan fokus pada transformator, yang dikenal karena efektivitasnya dalam tugas-tugas seperti pemrosesan bahasa dan analisis gambar. Kami memperkenalkan tiga jenis transformator kuantum, memanfaatkan sirkuit kuantum berparametri dan lapisan saraf ortogonal. Transformator kuantum ini, berdasarkan beberapa asumsi (misalnya konektivitas perangkat keras), secara teoritis dapat memberikan keunggulan dibandingkan transformator klasik dalam hal waktu proses dan parameter model. Untuk membuat sirkuit kuantum ini, kami menyajikan metode baru untuk memuat matriks sebagai keadaan kuantum dan memperkenalkan dua lapisan ortogonal kuantum yang dapat dilatih dan disesuaikan dengan kemampuan komputer kuantum yang berbeda. Mereka memerlukan sirkuit kuantum yang dangkal, dan dapat membantu menciptakan model klasifikasi dengan karakteristik unik. Simulasi ekstensif pada kumpulan data citra medis menunjukkan kinerja yang kompetitif dibandingkan dengan tolok ukur klasik, bahkan dengan parameter yang lebih sedikit. Selain itu, eksperimen pada komputer kuantum superkonduktor membuahkan hasil yang menjanjikan.

โ–บ data BibTeX

โ–บ Referensi

[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe, and Seth Lloyd. "Pembelajaran mesin kuantum". Alam 549, 195โ€“202 (2017).
https: / / doi.org/ 10.1038 / nature23474

[2] Iris Cong, Soonwon Choi, and Mikhail D Lukin. "Jaringan saraf konvolusional kuantum". Fisika Alam 15, 1273โ€“1278 (2019).
https:/โ€‹/โ€‹doi.org/โ€‹10.1038/โ€‹s41567-019-0648-8

[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, dkk. "Algoritme kuantum skala menengah yang berisik". Ulasan Fisika Modern 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004

[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio, dkk. "Algoritma kuantum variasional". Ulasan Alam Fisika 3, 625โ€“644 (2021).
https:/โ€‹/โ€‹doi.org/โ€‹10.1038/โ€‹s42254-021-00348-9

[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash, dan Iordanis Kerenidis. โ€œMetode kuantum untuk jaringan saraf dan penerapan klasifikasi citra medisโ€. Kuantum 6, 881 (2022).
https:/โ€‹/โ€‹doi.org/โ€‹10.22331/โ€‹q-2022-12-22-881

[6] Bobak Kiani, Randall Balestriero, Yann LeCun, dan Seth Lloyd. โ€œprojunn: Metode efisien untuk melatih jaringan dalam dengan matriks kesatuanโ€. Kemajuan dalam Sistem Pemrosesan Informasi Neural 35, 14448โ€“14463 (2022).

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, ลukasz Kaiser, and Illia Polosukhin. "Perhatian adalah semua yang Anda butuhkan". Kemajuan dalam sistem pemrosesan informasi saraf 30 (2017).

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, dan Kristina Toutanova. โ€œBert: Pra-pelatihan transformator dua arah yang mendalam untuk pemahaman bahasaโ€ (2018).

[9] Alexei Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, dan Neil Houlsby. โ€œSebuah gambar bernilai 16ร—16 kata: Transformer untuk pengenalan gambar dalam skala besarโ€. Konferensi Internasional tentang Representasi Pembelajaran (2021). url: openreview.net/โ€‹forum?id=YicbFdNTTy.
https://โ€‹/โ€‹openreview.net/โ€‹forum?id=YicbFdNTTy

[10] Yi Tay, Mostafa Dehghani, Dara Bahri, dan Donald Metzler. โ€œTransformator yang efisien: Sebuah surveiโ€. Survei Komputasi ACM (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811

[11] Dzmitry Bahdanau, Kyunghyun Cho, dan Yoshua Bengio. โ€œTerjemahan Mesin Neural dengan Belajar Bersama Menyelaraskan dan Menerjemahkanโ€ (2016). arXiv:1409.0473 [cs, status].
arXiv: 1409.0473

[12] J.Schmidhuber. โ€œMengurangi Rasio Antara Kompleksitas Pembelajaran dan Jumlah Variabel Waktu yang Bervariasi dalam Jaringan Berulang Sepenuhnyaโ€. Dalam Stan Gielen dan Bert Kappen, editor, ICANN '93. Halaman 460โ€“463. London (1993). Peloncat.
https:/โ€‹/โ€‹doi.org/โ€‹10.1007/โ€‹978-1-4471-2063-6_110

[13] Jรผrgen Schmidhuber. โ€œBelajar Mengontrol Memori Berbobot Cepat: Sebuah Alternatif untuk Jaringan Berulang Dinamisโ€. Komputasi Neural 4, 131โ€“139 (1992).
https: / / doi.org/ 10.1162 / neco.1992.4.1.131

[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon, dan Eun-Ah Kim. โ€œTomografi kuantum berbasis perhatianโ€. Pembelajaran Mesin: Sains dan Teknologi 3, 01LT01 (2021).
https://โ€‹/โ€‹doi.org/โ€‹10.1088/โ€‹2632-2153/โ€‹ac362b

[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini, dan Marcel Worring. โ€œAwal pemrosesan bahasa alami kuantumโ€. Dalam ICASSP 2022-2022 Konferensi Internasional IEEE tentang Akustik, Pidato dan Pemrosesan Sinyal (ICASSP). Halaman 8612โ€“8616. IEEE (2022).
https://โ€‹/โ€‹doi.org/โ€‹10.1109/โ€‹ICASSP43922.2022.9747675

[16] Guangxi Li, Xuanqiang Zhao, dan Xin Wang. โ€œJaringan saraf perhatian diri kuantum untuk klasifikasi teksโ€ (2022).

[17] Fabio Sanches, Sean Weinberg, Takanori Ide, dan Kazumitsu Kamiya. โ€œSirkuit kuantum pendek dalam kebijakan pembelajaran penguatan untuk masalah perutean kendaraanโ€. Tinjauan Fisik A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403

[18] YuanFu Yang dan Min Sun. โ€œDeteksi cacat semikonduktor dengan pembelajaran mendalam hybrid klasik-kuantumโ€. CVRPHalaman 2313โ€“2322 (2022).
https://โ€‹/โ€‹doi.org/โ€‹10.1109/โ€‹CVPR52688.2022.00236

[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan, dan Tristan Cook. โ€œJaringan saraf kuantum: mendukung pengenalan gambar dengan sirkuit kuantumโ€. Kecerdasan Mesin Kuantum 2, 1โ€“9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-y

[20] Edward Farhi dan Hartmut Neven. โ€œKlasifikasi dengan jaringan saraf kuantum pada prosesor jangka pendekโ€ (2018). url: doi.org/โ€‹10.48550/โ€‹arXiv.1802.06002.
https://โ€‹/โ€‹doi.org/โ€‹10.48550/โ€‹arXiv.1802.06002

[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa, and Keisuke Fujii. "Pembelajaran sirkuit kuantum". Tinjauan Fisik A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu, and Dacheng Tao. "Jaringan saraf dalam ortogonal". Transaksi IEEE pada analisis pola dan kecerdasan mesin (2019).
https: / / doi.org/ 10.1109 / TPAMI.2019.2948352

[23] Roger A Horn dan Charles R Johnson. โ€œAnalisis matriksโ€. Pers universitas Cambridge. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817

[24] Iordanis Kerenidis dan Anupam Prakash. โ€œPembelajaran mesin kuantum dengan status subruangโ€ (2022).

[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends, dkk. โ€œMendemonstrasikan serangkaian gerbang dua qubit yang berkelanjutan untuk algoritma kuantum jangka pendekโ€. Surat Tinjauan Fisik 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim, dan Iordanis Kerenidis. โ€œKlasifikasi pusat massa terdekat pada komputer kuantum ion yang terperangkapโ€. npj Informasi Kuantum 7, 122 (2021).
https:/โ€‹/โ€‹doi.org/โ€‹10.1038/โ€‹s41534-021-00456-5

[27] James W Cooley dan John W Tukey. โ€œAlgoritma untuk perhitungan mesin deret fourier kompleksโ€. Matematika komputasi 19, 297โ€“301 (1965).
https:/โ€‹/โ€‹doi.org/โ€‹10.1090/โ€‹S0025-5718-1965-0178586-1

[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark, dan Marin Soljacic. โ€œJaringan saraf kesatuan (eunn) yang efisien dan dapat diterapkan pada rnnsโ€. Dalam Konferensi Internasional tentang Pembelajaran Mesin. (2016). url: api.semanticscholar.org/โ€‹CorpusID:5287947.
https://โ€‹/โ€‹api.semanticscholar.org/โ€‹CorpusID:5287947

[29] Lรฉo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla, dan Elham Kashefi. โ€œKemampuan pelatihan dan ekspresivitas sirkuit kuantum pemelihara beban hamming untuk pembelajaran mesinโ€ (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Heredge, Shree Hari Sureshbabu, dan Marco Pistoia. โ€œHanya yang Anda butuhkan hanyalah tambahan: Mengkarakterisasi dataran tinggi tandus dalam kuantum ansรคtzeโ€ (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] Michael Ragone, Bojko N. Bakalov, Frรฉdรฉric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca, dan M. Cerezo. โ€œTeori terpadu tentang dataran tinggi tandus untuk sirkuit kuantum berparametri mendalamโ€ (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You dan Xiaodi Wu. โ€œBanyak minimum lokal secara eksponensial dalam jaringan saraf kuantumโ€. Dalam Konferensi Internasional tentang Pembelajaran Mesin. Halaman 12144โ€“12155. PMLR (2021).

[33] Eric R. Anschuetz dan Bobak Toussi Kiani. โ€œAlgoritme variasi kuantum dibanjiri dengan jebakanโ€. Komunikasi Alam 13 (2022).
https:/โ€‹/โ€‹doi.org/โ€‹10.1038/โ€‹s41467-022-35364-5

[34] Ilya O. Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, dan Alexei Dosovitskiy. โ€œMlp-mixer: Arsitektur serba mlp untuk visiโ€. Di NeuroIPS. (2021).

[35] Jiancheng Yang, Rui Shi, dan Bingbing Ni. โ€œDecathlon klasifikasi medis: Tolok ukur automl ringan untuk analisis citra medisโ€ (2020).
https://โ€‹/โ€‹doi.org/โ€‹10.1109/โ€‹ISBI48211.2021.9434062

[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister, dan Bingbing Ni. โ€œMedmnist v2-patokan ringan berskala besar untuk klasifikasi gambar biomedis 2d dan 3dโ€. Data Ilmiah 10, 41 (2023).
https:/โ€‹/โ€‹doi.org/โ€‹10.1038/โ€‹s41597-022-01721-8

[37] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas, dan Franรงois Fleuret. โ€œTransformator adalah rnns: Transformator autoregresif cepat dengan perhatian linierโ€. Dalam Konferensi Internasional tentang Pembelajaran Mesin. Halaman 5156โ€“5165. PMLR (2020).

[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne, dan Qiao Zhang. โ€œJAX: transformasi program Python+NumPy yang dapat disusunโ€. Github (2018). url: http://โ€‹/โ€‹github.com/โ€‹google/โ€‹jax.
http: / / github.com/ google / jax

[39] Diederik P. Kingma dan Jimmy Ba. โ€œAdam: Sebuah metode untuk optimasi stokastikโ€. CoRR abs/โ€‹1412.6980 (2015).

[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun, dan Bohyung Han. "Meregulasi jaringan saraf dalam dengan noise: Interpretasi dan pengoptimalannya". NeuroIPS (2017).

[41] Xue Ying. โ€œIkhtisar overfitting dan solusinyaโ€. Dalam Jurnal Fisika: Seri Konferensi. Volume 1168, halaman 022022. Penerbitan IOP (2019).
https:/โ€‹/โ€‹doi.org/โ€‹10.1088/โ€‹1742-6596/โ€‹1168/โ€‹2/โ€‹022022

Dikutip oleh

[1] David Peral Garcรญa, Juan Cruz-Benito, dan Francisco Josรฉ Garcรญa-Peรฑalvo, โ€œTinjauan Literatur Sistematis: Pembelajaran Mesin Kuantum dan penerapannyaโ€, arXiv: 2201.04093, (2022).

[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky, dan Marco Pistoia, โ€œLindung Nilai Dalam Quantumโ€, Kuantum 7, 1191 (2023).

[3] Lรฉo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla, dan Elham Kashefi, โ€œKemampuan Pelatihan dan Ekspresivitas Sirkuit Kuantum Pelestarian Berat Hamming untuk Pembelajaran Mesinโ€, arXiv: 2309.15547, (2023).

[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, Andrรฉ J. Ferreira-Martins, dan Samurai Brito, โ€œPeningkatan Peramalan Keuangan melalui Quantum Machine Learningโ€, arXiv: 2306.12965, (2023).

[5] Jason Iaconis dan Sonika Johri, โ€œPemuatan Gambar Data Kuantum Efisien Berbasis Jaringan Tensorโ€, arXiv: 2310.05897, (2023).

[6] Nishant Jain, Jonas Landman, Natansh Mathur, dan Iordanis Kerenidis, โ€œJaringan Quantum Fourier untuk Memecahkan PDE Parametrikโ€, arXiv: 2306.15415, (2023).

[7] Daniel Mastropietro, Georgios Korpas, Vyacheslav Kungurtsev, dan Jakub Marecek, โ€œFleming-Viot membantu mempercepat algoritma kuantum variasional di hadapan dataran tinggi tandusโ€, arXiv: 2311.18090, (2023).

[8] Aliza U. Siddiqui, Kaitlin Gili, dan Chris Ballance, โ€œMenekankan Perangkat Keras Kuantum Modern: Evaluasi Kinerja dan Wawasan Eksekusiโ€, arXiv: 2401.13793, (2024).

Kutipan di atas berasal dari SAO / NASA ADS (terakhir berhasil diperbarui, 2024-02-22 13:37:43). Daftar ini mungkin tidak lengkap karena tidak semua penerbit menyediakan data kutipan yang cocok dan lengkap.

Tidak dapat mengambil Crossref dikutip oleh data selama upaya terakhir 2024-02-22 13:37:41: Tidak dapat mengambil data yang dikutip oleh untuk 10.22331 / q-2024-02-22-1265 dari Crossref. Ini normal jika DOI terdaftar baru-baru ini.

Makalah ini diterbitkan dalam Quantum di bawah Creative Commons Attribution 4.0 Internasional (CC BY 4.0) lisensi. Hak cipta tetap berada pada pemegang hak cipta asli seperti penulis atau lembaganya.

Stempel Waktu:

Lebih dari Jurnal Kuantum