量子ビジョントランスフォーマー

量子ビジョントランスフォーマー

タイムスタンプ: 22 年 2024 月 8 日 34:XNUMX AM

エル アミン チェラット1、ヨルダニス・ケレニディス1,2、ナタンシュ・マトゥール1,2, ジョナス・ランドマン3,2、マーティン・ストラム4、ユン・イヴォナ・リー4

1IRIF、CNRS – パリ・シテ大学、フランス
2QC Ware、パロアルト、米国およびパリ、フランス
3エジンバラ大学情報学部、スコットランド、英国
4F. ホフマン ラ ロッシュ AG

この論文を興味深いと思うか、議論したいですか？ SciRateを引用するかコメントを残す.

抽象

この研究では、自然言語処理と画像分析で非常に高性能であることが知られている最先端の古典的な変換ニューラル ネットワーク アーキテクチャを拡張することにより、量子変換が詳細に設計および分析されます。データの読み込みと直交ニューラル層にパラメータ化された量子回路を使用する以前の研究を基礎として、量子注意メカニズムの理論的利点を保証する複合行列に基づく量子変換器を含む、トレーニングと推論用の 3 種類の量子変換器を導入します。漸近的な実行時間とモデルパラメータの数の両方の点で、従来の対応物と比較しました。これらの量子アーキテクチャは、浅い量子回路を使用して構築でき、質的に異なる分類モデルを生成できます。提案されている 3 つの量子アテンション層は、古典的な変換器に厳密に従うものから、より多くの量子特性を示すものまで、スペクトルが異なります。量子変換器の構成要素として、行列を量子状態としてロードするための新しい方法と、量子コンピューターのさまざまなレベルの接続性と品質に適応できる 2 つの新しいトレーニング可能な量子直交層を提案します。私たちは、標準的な医用画像データセットに対して量子変換器の広範なシミュレーションを実行しました。その結果、クラス最高の古典的ビジョン変換器を含む従来のベンチマークと比較して、競争力があり、場合によってはより優れたパフォーマンスが示されました。これらの小規模データセットでトレーニングした量子変換器は、標準的な古典的なベンチマークと比較して、必要なパラメーターが少なくなります。最後に、私たちは量子変換器を超伝導量子コンピューターに実装し、最大 6 量子ビットの実験で有望な結果を得ました。

Quantum Vision Transformers PlatoBlockchain データ インテリジェンス。垂直検索。あい。

注目の画像: Compound Transformer の 1 つの注目層を実行する量子回路。行列データ ローダーとそれに続く直交量子層。

人気の要約

この研究では、言語処理や画像分析などのタスクでの有効性で知られるトランスフォーマーに焦点を当て、ニューラル ネットワーク アーキテクチャを強化する量子コンピューティングの可能性を探ります。パラメータ化された量子回路と直交ニューラル層を活用した 3 種類の量子変換器を紹介します。これらの量子変換器は、いくつかの仮定 (ハードウェア接続など) の下では、理論的には、実行時パラメータとモデルパラメータの両方の点で従来の量子変換器に比べて利点を提供する可能性があります。これらの量子回路を作成するために、行列を量子状態としてロードする新しい方法を提示し、さまざまな量子コンピューター機能に適応できる 2 つのトレーニング可能な量子直交層を導入します。これらには浅い量子回路が必要であり、独自の特性を持つ分類モデルの作成に役立つ可能性があります。医療画像データセットに関する広範なシミュレーションにより、パラメーターが少ない場合でも、従来のベンチマークと比較して競争力のあるパフォーマンスが実証されています。さらに、超伝導量子コンピューターの実験では有望な結果が得られています。

►BibTeXデータ

►参照

【1] ジェイコブ・ビアモンテ、ピーター・ウィッテック、ニコラ・パンコッティ、パトリック・レベントロスト、ネイサン・ウィーブ、セス・ロイド。 「量子機械学習」。 ネイチャー 549, 195–202 (2017).
https：/ / doi.org/ 10.1038 / nature23474

【2] アイリス・コン、チェ・スンウォン、ミハイル・D・ルーキン。 「量子畳み込みニューラル ネットワーク」。 自然物理学 15、1273–1278 (2019)。
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

【3] キショール・バーティ、アルバ・セルベラ=リエルタ、ティ・ハ・チョー、トビアス・ハウグ、サムナー・アルペリン=リー、アビナフ・アナンド、マティアス・デグルート、ヘルマンニ・ヘイモネン、ヤコブ・S・コットマン、ティム・メンケ、他。 「ノイズの多い中規模量子アルゴリズム」。 Modern Physics 94、015004 (2022) のレビュー。
https：/ / doi.org/ 10.1103 / RevModPhys.94.015004

【4] マルコ・セレッソ、アンドリュー・アラスミス、ライアン・バブシュ、サイモン・C・ベンジャミン、遠藤傑、藤井圭介、ジャロッド・R・マクリーン、御手洗康介、シャオ・ユアン、ルカシュ・シンシオ 他「変分量子アルゴリズム」。 Nature Reviews Physics 3、625–644 (2021)。
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

【5] ジョナス・ランドマン、ナタンシュ・マトゥール、ユン・イヴォナ・リー、マーティン・ストラム、スカンデル・カズダグリ、アヌパム・プラカシュ、ヨルダニス・ケレニディス。 「ニューラルネットワークの量子手法と医用画像分類への応用」。クォンタム 6、881 (2022)。
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

【6] ボバク・キアニ、ランダル・バレストリエロ、ヤン・ルカン、セス・ロイド。 「projunn: ユニタリ行列を使用して深いネットワークをトレーニングするための効率的な方法」。神経情報処理システムの進歩 35、14448–14463 (2022)。

【7] アシシュ・バスワニ、ノーム・シェイザー、ニキ・パルマー、ヤコブ・ウスコレイト、リオン・ジョーンズ、エイダン・N・ゴメス、ウカシュ・カイザー、イリア・ポロスキン。 「必要なのは注意力だけです」。 神経情報処理システムの進歩 30 (2017)。

【8] ジェイコブ・デブリン、ミンウェイ・チャン、ケントン・リー、クリスティーナ・トウタノヴァ。 「バート: 言語理解のための深い双方向トランスフォーマーの事前トレーニング」 (2018)。

【9] アレクセイ・ドソヴィツキー、ルーカス・バイエル、アレクサンダー・コレスニコフ、ダーク・ワイセンボルン、シャオファ・ザイ、トーマス・ウンターティナー、モスタファ・デガニ、マティアス・ミンデラー、ゲオルク・ハイゴールド、シルヴァン・ゲリー、ヤコブ・ウシュコレイト、ニール・ホールズビー。 「画像は 16×16 ワードの価値があります: 大規模な画像認識のためのトランスフォーマー」。学習表現に関する国際会議 (2021)。 URL: openreview.net/forum?id=YicbFdNTTy。
https://openreview.net/forum?id=YicbFdNTTy

【10] イー・テイ、モスタファ・デガニ、ダラ・バーリ、ドナルド・メッツラー。 「効率的な変圧器: 調査」。 ACM コンピューティング調査 (CSUR) (2020)。
https：/ / doi.org/ 10.1145 / 3530811

【11] ドズミトリー・バダナウ、チョ・キョンヒョン、ヨシュア・ベンジオ。 「整列と翻訳を共同学習することによるニューラル機械翻訳」 (2016)。 arXiv:1409.0473 [cs、統計]。
arXiv：1409.0473

【12] J.シュミットフーバー。 「完全再帰ネットにおける学習の複雑さと時変変数の数との比率の削減」。 Stan Gielen と Bert Kappen、編集者、ICANN '93 より。 460～463ページ。ロンドン（1993年）。スプリンガー。
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

【13] ユルゲン・シュミットフーバー。 「高速重み付けメモリの制御方法の学習: 動的リカレント ネットワークの代替案」。ニューラル コンピューティング 4、131–139 (1992)。
https：/ / doi.org/ 10.1162 / neco.1992.4.1.131

【14] ピーター・チャ、ポール・ギンスパーグ、フェリックス・ウー、フアン・カラスキーラ、ピーター・L・マクマホン、キム・ウナ。 「注意ベースの量子トモグラフィー」。機械学習: 科学とテクノロジー 3、01LT01 (2021)。
https:/ / doi.org/ 10.1088/ 2632-2153/ ac362b

【15] リッカルド・ディ・シピオ、ホアン・ジアホン、サミュエル・イェンチー・チェン、ステファノ・マンジーニ、マルセル・ウォーリング。 「量子自然言語処理の夜明け」。 ICASSP 2022-2022 IEEE 音響、音声および信号処理に関する国際会議 (ICASSP) において。 8612 ～ 8616 ページ。 IEEE (2022)。
https:/ / doi.org/ 10.1109/ ICASP43922.2022.9747675

【16] 李広西、趙玄強、王新。 「テキスト分類のための量子自己注意ニューラル ネットワーク」(2022)。

【17] ファビオ・サンチェス、ショーン・ワインバーグ、井手孝則、神谷一光。 「配車ルート問題に対する強化学習ポリシーにおける短い量子回路」。フィジカルレビュー A 105、062403 (2022)。
https：/ / doi.org/ 10.1103 / PhysRevA.105.062403

【18] ヤン・ユアンフーとミン・スン。 「ハイブリッド古典量子深層学習による半導体欠陥検出」。 CVPRP ページ 2313 ～ 2322 (2022)。
https:/ / doi.org/ 10.1109/ CVPR52688.2022.00236

【19] マクスウェル・ヘンダーソン、サムリディ・シャキャ、シャシンドラ・プラダン、トリスタン・クック。 「量子進化ニューラル ネットワーク: 量子回路による画像認識の強化」。量子マシンインテリジェンス 2、1–9 (2020)。
https：/ / doi.org/ 10.1007 / s42484-020-00012-y

【20] エドワード・ファリとハルトムート・ネヴェン。 「短期プロセッサ上の量子ニューラル ネットワークによる分類」(2018)。 URL: doi.org/ 10.48550/ arXiv.1802.06002.
https：/ / doi.org/ 10.48550 / arXiv.1802.06002

【21] 御手洗浩介、根来誠、北川雅弘、藤井啓介。 「量子回路学習」。 フィジカル レビュー A 98、032309 (2018)。
https：/ / doi.org/ 10.1103 / PhysRevA.98.032309

【22] Kui Jia、Shuai Li、Yuxin Wen、Tongliang Liu、Dacheng Tao。 「直交ディープ ニューラル ネットワーク」。 パターン分析と機械知能に関する IEEE トランザクション (2019)。
https：/ / doi.org/ 10.1109 / TPAMI.2019.2948352

【23] ロジャー・A・ホーンとチャールズ・R・ジョンソン。 「マトリックス分析」。ケンブリッジ大学出版局。 （2012年）。
https：/ / doi.org/ 10.1017 / CBO9780511810817

【24] ヨルダニス・ケレニディスとアヌパム・プラカシュ。 「部分空間状態を使用した量子機械学習」(2022)。

【25] ブルックス・フォックスン、チャールズ・ニール、アンドリュー・ダンズワース、ペドラム・ローシャン、ベン・キアーロ、アンソニー・メグラント、ジュリアン・ケリー、ジジュン・チェン、ケビン・サッツィンガー、ラミ・バレンズ 他「短期量子アルゴリズム用の 125 量子ビット ゲートの連続セットの実証」。 Physical Review Letters 120504、2020 (XNUMX)。
https：/ / doi.org/ 10.1103 / PhysRevLett.125.120504

【26] ソニカ・ジョーリ、シャンタヌ・デブナス、アヴィナシュ・モチェラ、アレクサンドロス・シンク、アヌパム・プラカシュ、ジュンサン・キム、ヨルダニス・ケレニディス。 「トラップされたイオン量子コンピュータ上の最近傍重心分類」。 npj 量子情報 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

【27] ジェームズ・W・クーリーとジョン・W・テューキー。 「複素フーリエ級数の機械計算アルゴリズム」。計算の数学 19、297–301 (1965)。
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

【28] リー・ジン、イーチェン・シェン、テナ・ドゥブチェク、ジョン・ピューリフォイ、スコット・A・スキルロ、ヤン・ルカン、マックス・テグマーク、マリン・ソルヤチッチ。 「調整可能な効率的なユニタリ ニューラル ネットワーク (eunn) とその rnns への応用」。機械学習に関する国際会議にて。 （2016年）。 URL: api.semanticscholar.org/CorpusID:5287947。
https:/ / api.semanticscholar.org/ CorpusID:5287947

【29] レオ・モンブルスー、ジョナス・ランドマン、アレックス・B・グリロ、ロマン・ククラ、エルハム・カシェフィ。 「機械学習のためのハミング重み保存量子回路の訓練可能性と表現力」(2023)。 arXiv:2309.15547。
arXiv：2309.15547

【30] エンリコ・フォンタナ、ディラン・ハーマン、シューヴァニク・チャクラバルティ、ニラージ・クマール、ロミナ・ヤロベツキー、ジェイミー・ヘレッジ、シュリー・ハリ・スレシュバブ、マルコ・ピストイア。 「必要なのは随伴性だけです: 量子分析における不毛の高原の特徴付け」 (2023)。 arXiv:2309.07902。
arXiv：2309.07902

【31] マイケル・ラゴーネ、ボイコ・N・バカロフ、フレデリック・ソバージュ、アレクサンダー・F・ケンパー、カルロス・オルティス・マレーロ、マーティン・ラロッカ、M・セレッソ。 「深いパラメータ化された量子回路のための不毛なプラトーの統一理論」(2023)。 arXiv:2309.09342。
arXiv：2309.09342

【32] Xuchen YouとXiaodi Wu。 「量子ニューラルネットワークには指数関数的に多くの極小値が存在する」。機械学習に関する国際会議にて。 12144 ～ 12155 ページ。 PMLR (2021)。

【33] エリック・R・アンシュエッツとボバク・トゥッシ・キアニ。 「量子変分アルゴリズムは罠に満ちている」。 Nature Communications 13 (2022)。
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

【34] イリヤ・O・トルスティヒン、ニール・ホールズビー、アレクサンダー・コレスニコフ、ルーカス・バイエル、シャオファ・ザイ、トーマス・ウンターティナー、ジェシカ・ヨン、ダニエル・カイザーズ、ヤコブ・ウシュコレイト、マリオ・ルチッチ、アレクセイ・ドソヴィツキー。 「MLP ミキサー: ビジョンのためのオール MLP アーキテクチャ」。 NeurIPS で。 （2021年）。

【35] Jiancheng Yang、Rui Shi、Bingbing Ni。 「Medmnist 分類 2020 種競技: 医療画像分析のための軽量の automl ベンチマーク」(XNUMX 年)。
https:/ / doi.org/ 10.1109/ ISBI48211.2021.9434062

【36] Jiancheng Yang、Rui Shi、Donglai Wei、Zequan Liu、Lin Zhao、Bilian Ke、Hanspeter Pfister、Bingbing Ni。 「Medmnist v2 - 2D および 3D 生物医学画像分類のための大規模軽量ベンチマーク」。科学的データ 10、41 (2023)。
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

【37] アンゲロス・カタロプロス、アプール・ヴィアス、ニコラオス・パパス、フランソワ・フルーレ。 「トランスフォーマーは rnns です。線形注意を備えた高速自己回帰トランスフォーマーです。」機械学習に関する国際会議にて。 5156 ～ 5165 ページ。 PMLR (2020)。

【38] ジェームズ・ブラッドベリ、ロイ・フロスティグ、ピーター・ホーキンス、マシュー・ジェームズ・ジョンソン、クリス・リアリー、ドゥーガル・マクローリン、ジョージ・ネキュラ、アダム・パスケ、ジェイク・ヴァンダープラス、スカイ・ワンダーマン＝ミルン、チャオ・チャン。 「JAX: Python+NumPy プログラムのコンポーザブル変換」。 Github (2018)。 URL: http://github.com/google/jax。
http：/ / github.com/ google / jax

【39] ディーデリク・P・キングマとジミー・バー。 「アダム: 確率的最適化の手法」。 CoRR abs/ 1412.6980 (2015)。

【40] ノ・ヒョヌ、ユ・タクグン、ムン・ジョンファン、ハン・ボヒョン。 「ノイズによるディープ ニューラル ネットワークの正則化: その解釈と最適化」. NeurIPS (2017)。

【41] シュエ・イン。 「過学習とその解決策の概要」。 Journal of Physs: カンファレンスシリーズにて。ボリューム 1168、022022 ページ。IOP Publishing (2019)。
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

によって引用

[1] David Peral García、Juan Cruz-Benito、Francisco José García-Peñalvo、「体系的文献レビュー: 量子機械学習とそのアプリケーション」、 arXiv：2201.04093, (2022).

[2] エル・アミン・チェラット、スネハル・ラージ、ヨルダニス・ケレニディス、アビシェク・シェカール、ベン・ウッド、ジョン・ディー、シューヴァニク・チャクラバルティ、リチャード・チェン、ディラン・ハーマン、シャオハン・フー、ピエール・ミンセン、ルスラン・シェドゥリン、ユエ・サン、ロミナ・ヤロベツキー、マルコ・ピストイア、 「量子ディープヘッジ」、 量子7、1191（2023）.

[3] Léo Monbroussou、Jonas Landman、Alex B. Grilo、Romain Kukla、Elham Kashefi、「機械学習のためのハミング重み保存量子回路の訓練可能性と表現力」、 arXiv：2309.15547, (2023).

[4] Sohum Thakkar、Skander Kazdaghli、Natansh Mathur、Iordanis Kerenidis、André J. Ferreira-Martins、および Samurai Brito、「量子機械学習による財務予測の改善」、 arXiv：2306.12965, (2023).

[5] Jason Iaconis および Sonika Johri、「Tensor Network Ba​​sed Efficient Quantum Data Loading of Images」、 arXiv：2310.05897, (2023).

[6] Nishant Jain、Jonas Landman、Natansh Mathur、および Iordanis Kerenidis、「パラメトリック偏微分方程式を解くための量子フーリエ ネットワーク」、 arXiv：2306.15415, (2023).

[7] Daniel Mastropietro、Georgios Korpas、Vyacheslav Kungurtsev、および Jakub Marecek、「Fleming-Viot は不毛の平原の存在下での変分量子アルゴリズムの高速化に役立ちます」、 arXiv：2311.18090, (2023).

[8] Aliza U. Siddiqui、Kaitlin Gili、Chris Ballance、「最新の量子ハードウェアへのストレス: パフォーマンス評価と実行に関する洞察」、 arXiv：2401.13793, (2024).

上記の引用は SAO / NASA ADS （最後に正常に更新された2024-02-22 13:37:43）。 すべての出版社が適切で完全な引用データを提供するわけではないため、リストは不完全な場合があります。

取得できませんでした クロスリファレンス被引用データ 最終試行2024-02-22 13:37:41：10.22331 / q-2024-02-22-1265の被引用データをCrossrefから取得できませんでした。 DOIが最近登録された場合、これは正常です。

この論文は、 Creative Commons Attribution 4.0 International（CC BY 4.0） ライセンス。 著作権は、著者やその機関などの元の著作権者にあります。

タイムスタンプ：

より多くの 量子ジャーナル