Трансформаторы квантового зрения

Трансформаторы квантового зрения

Отметка времени: 22 февраля 2024 г., 8:34 AM

Эль-Амин Черрат1, Иорданис Керенидис1,2, Натанш Матур1,2, Йонас Ландман3,2, Мартин Страм4и Юн Ивонна Ли4

1IRIF, CNRS – Университет Париж-Сите, Франция
2QC Ware, Пало-Альто, США и Париж, Франция
3Школа информатики, Эдинбургский университет, Шотландия, Великобритания
4Ф. Хоффманн Ла Рош АГ

Находите эту статью интересной или хотите обсудить? Scite или оставить комментарий на SciRate.

Абстрактные

В этой работе квантовые преобразователи разрабатываются и подробно анализируются путем расширения современных классических архитектур нейронных сетей преобразователей, которые, как известно, очень эффективны при обработке естественного языка и анализе изображений. Основываясь на предыдущей работе, в которой используются параметризованные квантовые схемы для загрузки данных и ортогональные нейронные слои, мы представляем три типа квантовых преобразователей для обучения и вывода, включая квантовый преобразователь на основе составных матриц, который гарантирует теоретическое преимущество механизма квантового внимания. по сравнению со своим классическим аналогом как с точки зрения асимптотического времени выполнения, так и с точки зрения количества параметров модели. Эти квантовые архитектуры могут быть построены с использованием мелких квантовых схем и создавать качественно разные модели классификации. Три предлагаемых слоя квантового внимания различаются по спектру: от близкого следования классическим преобразователям до проявления большего количества квантовых характеристик. В качестве строительных блоков квантового преобразователя мы предлагаем новый метод загрузки матрицы в виде квантовых состояний, а также два новых обучаемых квантовых ортогональных слоя, адаптируемых к различным уровням связности и качеству квантовых компьютеров. Мы провели обширное моделирование квантовых преобразователей на стандартных наборах данных медицинских изображений, которые показали конкурентоспособную, а иногда и лучшую производительность по сравнению с классическими тестами, включая лучшие в своем классе классические преобразователи зрения. Квантовые преобразователи, которые мы обучили на этих небольших наборах данных, требуют меньше параметров по сравнению со стандартными классическими тестами. Наконец, мы внедрили наши квантовые преобразователи в сверхпроводящие квантовые компьютеры и получили обнадеживающие результаты для шести экспериментов с кубитами.

Трансформаторы квантового зрения PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Рекомендованное изображение: квантовая схема для выполнения одного уровня внимания составного преобразователя. Загрузчик матричных данных, за которым следует ортогональный квантовый слой.

Популярное резюме

В этом исследовании мы изучаем потенциал квантовых вычислений для улучшения архитектуры нейронных сетей, уделяя особое внимание преобразователям, известным своей эффективностью в таких задачах, как обработка языка и анализ изображений. Мы представляем три типа квантовых преобразователей, использующих параметризованные квантовые схемы и ортогональные нейронные слои. Эти квантовые преобразователи при некоторых предположениях (например, возможность подключения к оборудованию) теоретически могут обеспечить преимущества перед классическими аналогами как с точки зрения времени выполнения, так и с точки зрения параметров модели. Для создания таких квантовых схем мы представляем новый метод загрузки матриц в виде квантовых состояний и вводим два обучаемых квантовых ортогональных слоя, адаптируемых к различным возможностям квантового компьютера. Они требуют неглубоких квантовых схем и могут помочь в создании классификационных моделей с уникальными характеристиками. Обширное моделирование наборов данных медицинских изображений демонстрирует конкурентоспособную производительность по сравнению с классическими тестами даже при меньшем количестве параметров. Кроме того, эксперименты на сверхпроводящих квантовых компьютерах дают многообещающие результаты.

► Данные BibTeX

► Рекомендации

[1] Джейкоб Биамонте, Питер Виттек, Никола Панкотти, Патрик Ребентрост, Натан Виб и Сет Ллойд. «Квантовое машинное обучение». Природа 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / nature23474

[2] Ирис Конг, Сунвон Чой и Михаил Д. Лукин. «Квантовые сверточные нейронные сети». Nature Physics 15, 1273–1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Кишор Бхарти, Альба Сервера-Лиерта, Тхи Ха Кьяу, Тобиас Хауг, Самнер Альперин-Ли, Абхинав Ананд, Матиас Дегроот, Германни Хеймонен, Якоб С. Коттманн, Тим Менке и др. «Шумные квантовые алгоритмы среднего масштаба». Обзоры современной физики 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004

[4] Марко Сересо, Эндрю Аррасмит, Райан Бэббуш, Саймон С. Бенджамин, Сугуру Эндо, Кейсуке Фуджи, Джаррод Р. МакКлин, Косуке Митараи, Сяо Юань, Лукаш Чинчио и др. «Вариационные квантовые алгоритмы». Nature Reviews Physics 3, 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] Йонас Ландман, Натанш Матур, Юн Ивонна Ли, Мартин Страм, Скандер Каздагли, Анупам Пракаш и Иорданис Керенидис. «Квантовые методы нейронных сетей и их применение в классификации медицинских изображений». Квант 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] Бобак Киани, Рэндалл Балестриеро, Ян ЛеКун и Сет Ллойд. «projunn: эффективный метод обучения глубоких сетей с унитарными матрицами». Достижения в области нейронных систем обработки информации 35, 14448–14463 (2022).

[7] Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Ллион Джонс, Айдан Н Гомес, Лукаш Кайзер и Илья Полосухин. «Внимание — это все, что вам нужно». Достижения в области нейронных систем обработки информации 30 (2017).

[8] Джейкоб Девлин, Минг-Вэй Чанг, Кентон Ли и Кристина Тутанова. «Берт: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка» (2018).

[9] Алексей Досовицкий, Лукас Байер, Александр Колесников, Дирк Вайсенборн, Сяохуа Чжай, Томас Унтертинер, Мостафа Дегани, Матиас Миндерер, Георг Хейгольд, Сильвен Гелли, Якоб Ушкорейт и Нил Хоулсби. «Изображение стоит 16×16 слов: Трансформаторы для распознавания изображений в масштабе». Международная конференция по обучению представлений (2021). URL: openreview.net/forum?id=YicbFdNTTy.
https://openreview.net/forum?id=YicbFdNTTy

[10] Йи Тай, Мостафа Дегани, Дара Бахри и Дональд Мецлер. «Эффективные трансформаторы: обзор». Обзоры вычислительных систем ACM (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811

[11] Дмитрий Богданов, Кёнхён Чо и Йошуа Бенжио. «Нейронный машинный перевод: совместное обучение выравниванию и переводу» (2016). arXiv:1409.0473 [cs, статистика].
Arxiv: 1409.0473

[12] Й. Шмидхубер. «Уменьшение соотношения между сложностью обучения и количеством переменных, изменяющихся во времени, в полностью рекуррентных сетях». Стэн Гилен и Берт Каппен, редакторы ICANN '93. Страницы 460–463. Лондон (1993). Спрингер.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] Юрген Шмидхубер. «Обучение управлению памятью с быстрым весом: альтернатива динамическим рекуррентным сетям». Нейронные вычисления 4, 131–139 (1992).
https://​/​doi.org/​10.1162/​neco.1992.4.1.131

[14] Питер Ча, Пол Гинспарг, Феликс Ву, Хуан Карраскилья, Питер Л. МакМахон и Ын-А Ким. «Квантовая томография, основанная на внимании». Машинное обучение: Наука и технологии 3, 01LT01 (2021).
https://​/​doi.org/​10.1088/​2632-2153/​ac362b

[15] Риккардо Ди Сипио, Цзя-Хонг Хуан, Сэмюэл Йен-Чи Чен, Стефано Манджини и Марсель Уорринг. «Рассвет квантовой обработки естественного языка». ICASSP 2022-2022 Международная конференция IEEE по акустике, речи и обработке сигналов (ICASSP). Страницы 8612–8616. IEEE (2022 г.).
https://doi.org/10.1109/ICASSP43922.2022.9747675

[16] Гуанси Ли, Сюаньцян Чжао и Синь Ван. «Квантовые нейронные сети самообслуживания для классификации текста» (2022).

[17] Фабио Санчес, Шон Вайнберг, Таканори Иде и Кадзумицу Камия. «Короткие квантовые цепи в политике обучения с подкреплением для задачи маршрутизации транспортных средств». Физическое обозрение А 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403

[18] Юань Фу Ян и Мин Сун. «Обнаружение дефектов полупроводников с помощью гибридного классико-квантового глубокого обучения». CVPRP, страницы 2313–2322 (2022 г.).
https://​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] Максвелл Хендерсон, Самриддхи Шакья, Шашиндра Прадхан и Тристан Кук. «Кванволюционные нейронные сети: обеспечение распознавания изображений с помощью квантовых схем». Квантово-машинный интеллект 2, 1–9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-й

[20] Эдвард Фархи и Хартмут Невен. «Классификация с помощью квантовых нейронных сетей на процессорах ближайшего времени» (2018). URL: doi.org/​10.48550/​arXiv.1802.06002.
https://​/​doi.org/​10.48550/​arXiv.1802.06002

[21] Косуке Митараи, Макото Негоро, Масахиро Китагава и Кейсуке Фуджи. «Квантовое схемное обучение». Физический обзор A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Куй Цзя, Шуай Ли, Юйсинь Вэнь, Тунлян Лю и Дачэн Тао. «Ортогональные глубокие нейронные сети». Транзакции IEEE по анализу шаблонов и машинному интеллекту (2019 г.).
https: / / doi.org/ 10.1109 / TPAMI.2019.2948352

[23] Роджер Хорн и Чарльз Р. Джонсон. «Матричный анализ». Издательство Кембриджского университета. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817

[24] Иорданис Керенидис и Анупам Пракаш. «Квантовое машинное обучение с подпространственными состояниями» (2022).

[25] Брукс Фоксен, Чарльз Нил, Эндрю Дансуорт, Педрам Рушан, Бен Кьяро, Энтони Мегрант, Джулиан Келли, Цзыджун Чен, Кевин Сатцингер, Рами Барендс и др. «Демонстрация непрерывного набора двухкубитных вентилей для краткосрочных квантовых алгоритмов». Письма о физическом обзоре 125, 120504 (2020 г.).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Соника Джохри, Шантану Дебнат, Авинаш Мочерла, Александрос Сингк, Анупам Пракаш, Юнгсанг Ким и Иорданис Керенидис. «Классификация ближайших центроидов на квантовом компьютере с захваченными ионами». npj Quantum Information 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] Джеймс В. Кули и Джон В. Тьюки. «Алгоритм машинного вычисления комплексных рядов Фурье». Математика вычислений 19, 297–301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] Ли Цзин, Ичен Шен, Тена Дубчек, Джон Перифой, Скотт А. Скирло, Ян Лекун, Макс Тегмарк и Марин Солячич. «Настраиваемые эффективные унитарные нейронные сети (eunn) и их применение в rnn». На Международной конференции по машинному обучению. (2016). URL: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] Лео Монбруссу, Йонас Ландман, Алекс Б. Грило, Ромен Кукла и Эльхам Кашефи. «Обучаемость и выразительность квантовых схем, сохраняющих вес Хэмминга, для машинного обучения» (2023). arXiv: 2309.15547.
Arxiv: 2309.15547

[30] Энрико Фонтана, Дилан Херман, Шуваник Чакрабарти, Нирадж Кумар, Ромина Яловецки, Джейми Хередж, Шри Хари Сурешбабу и Марко Пистойя. «Адъюнкт — это все, что вам нужно: характеристика бесплодных плато в квантовом анзаце» (2023). arXiv: 2309.07902.
Arxiv: 2309.07902

[31] Майкл Рагон, Бойко Н. Бакалов, Фредерик Соваж, Александр Ф. Кемпер, Карлос Ортис Марреро, Мартин Ларокка и М. Сересо. «Единая теория бесплодных плато для глубоких параметризованных квантовых схем» (2023). arXiv: 2309.09342.
Arxiv: 2309.09342

[32] Сюйчен Ю и Сяоди Ву. «Экспоненциально много локальных минимумов в квантовых нейронных сетях». На Международной конференции по машинному обучению. Страницы 12144–12155. ПМЛР (2021).

[33] Эрик Р. Аншуец и Бобак Тусси Киани. «Квантовые вариационные алгоритмы переполнены ловушками». Природные коммуникации 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Илья О. Толстихин, Нил Хоулсби, Александр Колесников, Лукас Бейер, Сяохуа Чжай, Томас Унтертинер, Джессика Юнг, Дэниел Кейзерс, Якоб Ушкорейт, Марио Лючич и Алексей Досовицкий. «MLP-микшер: полностью MLP-архитектура для видения». В НейриПС. (2021).

[35] Цзяньчэн Ян, Руи Ши и Бинбин Ни. «Медицинская классификация десятиборья: легкий автоматический тест для анализа медицинских изображений» (2020).
https://​/​doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Цзяньчэн Ян, Руй Ши, Дунлай Вэй, Цзэцюань Лю, Линь Чжао, Билиан Кэ, Ханспетер Пфистер и Бинбин Ни. «Medmnist v2 — крупномасштабный легкий тест для классификации 2D и 3D биомедицинских изображений». Научные данные 10, 41 (2023).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] Ангелос Катаропулос, Апурв Вьяс, Николаос Паппас и Франсуа Флере. «Трансформеры — это рнс: быстрые авторегрессионные преобразователи с линейным вниманием». На Международной конференции по машинному обучению. Страницы 5156–5165. ПМЛР (2020).

[38] Джеймс Брэдбери, Рой Фростиг, Питер Хокинс, Мэттью Джеймс Джонсон, Крис Лири, Дугал Маклорен, Джордж Некула, Адам Пашке, Джейк ВандерПлас, Скай Вандерман-Милн и Цяо Чжан. «JAX: составные преобразования программ Python+NumPy». Гитхаб (2018). URL: http://github.com/google/jax.
http://​/​github.com/​google/​jax

[39] Дидерик П. Кингма и Джимми Ба. «Адам: метод стохастической оптимизации». CoRR абс/​1412.6980 (2015).

[40] Хёну Но, Такгын Ю, Чонхван Мун и Бохён Хан. «Регуляризация глубоких нейронных сетей шумом: его интерпретация и оптимизация». Нейрипс (2017).

[41] Сюэ Ин. «Обзор переобучения и его решений». В журнале физики: серия конференций. Том 1168, стр. 022022. Издательство IOP (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

Цитируется

[1] Дэвид Пераль Гарсиа, Хуан Крус-Бенито и Франсиско Хосе Гарсиа-Пеньальво, «Систематический обзор литературы: квантовое машинное обучение и его приложения», Arxiv: 2201.04093, (2022).

[2] Эль Амин Черрат, Снехал Радж, Иорданис Керенидис, Абхишек Шекхар, Бен Вуд, Джон Ди, Шуваник Чакрабарти, Ричард Чен, Дилан Херман, Шаохан Ху, Пьер Минссен, Руслан Шайдулин, Юэ Сун, Ромина Яловецки и Марко Пистойя, «Квантовое глубокое хеджирование», Квант 7, 1191 (2023).

[3] Лео Монбруссу, Йонас Ландман, Алекс Б. Грило, Ромен Кукла и Эльхам Кашефи, «Обучаемость и выразительность квантовых схем, сохраняющих вес Хэмминга, для машинного обучения», Arxiv: 2309.15547, (2023).

[4] Сохум Таккар, Скандер Каздагли, Натанш Матур, Иорданис Керенидис, Андре Дж. Феррейра-Мартинс и Самурай Брито, «Улучшенное финансовое прогнозирование с помощью квантового машинного обучения», Arxiv: 2306.12965, (2023).

[5] Джейсон Яконис и Соника Джохри, «Эффективная загрузка квантовых данных изображений на основе тензорной сети», Arxiv: 2310.05897, (2023).

[6] Нишант Джайн, Йонас Ландман, Натанш Матур и Иорданис Керенидис, «Квантовые сети Фурье для решения параметрических уравнений в частных уравнениях», Arxiv: 2306.15415, (2023).

[7] Даниэль Мастропьетро, ​​Георгиос Корпас, Вячеслав Кунгурцев и Якуб Маречек, «Флеминг-Вио помогает ускорить вариационные квантовые алгоритмы при наличии бесплодных плато», Arxiv: 2311.18090, (2023).

[8] Ализа У. Сиддики, Кейтлин Гили и Крис Балланс, «Подчеркивание современного квантового оборудования: оценка производительности и понимание выполнения», Arxiv: 2401.13793, (2024).

Приведенные цитаты из САО / НАСА ADS (последнее обновление успешно 2024-02-22 13:37:43). Список может быть неполным, поскольку не все издатели предоставляют подходящие и полные данные о цитировании.

Не удалось получить Перекрестная ссылка на данные во время последней попытки 2024-02-22 13:37:41: Не удалось получить цитируемые данные для 10.22331 / q-2024-02-22-1265 от Crossref. Это нормально, если DOI был зарегистрирован недавно.

Эта статья опубликована в Quantum под Creative Commons Attribution 4.0 International (CC BY 4.0) лицензия. Авторское право остается за первоначальными правообладателями, такими как авторы или их учреждения.

Отметка времени:

Больше от Квантовый журнал