Квантові трансформатори зору

Квантові трансформатори зору

Мітка часу: 22 лютого 2024 8:34

Ель Амін Черрат1, Іорданіс Керенідіс1,2, Натанш Матур1,2, Джонас Лендман3,2, Мартін Страм4і Юн Івонна Лі4

1IRIF, CNRS – Université Paris Cité, Франція
2QC Ware, Пало-Альто, США та Париж, Франція
3Школа інформатики Единбурзького університету, Шотландія, Великобританія
4F. Hoffmann La Roche AG

Вам цей документ цікавий чи ви хочете обговорити? Скайте або залиште коментар на SciRate.

абстрактний

У цій роботі квантові трансформатори розроблені та детально проаналізовані шляхом розширення найсучасніших архітектур класичних трансформаторних нейронних мереж, які, як відомо, є дуже продуктивними в обробці природної мови та аналізі зображень. Спираючись на попередню роботу, яка використовує параметризовані квантові схеми для завантаження даних і ортогональні нейронні шари, ми представляємо три типи квантових перетворювачів для навчання та логічного висновку, включаючи квантовий перетворювач на основі складених матриць, який гарантує теоретичну перевагу квантового механізму уваги у порівнянні з класичним аналогом як щодо асимптотичного часу виконання, так і за кількістю параметрів моделі. Ці квантові архітектури можна побудувати з використанням неглибоких квантових схем і створити якісно інші моделі класифікації. Три запропонованих рівня квантової уваги варіюються за спектром між близькими до класичних трансформаторів і демонстрацією більш квантових характеристик. В якості будівельних блоків квантового трансформатора ми пропонуємо новий метод для завантаження матриці як квантових станів, а також два нових квантових ортогональних шари, які можна навчити, які адаптуються до різних рівнів підключення та якості квантових комп’ютерів. Ми провели широке моделювання квантових трансформаторів на стандартних наборах даних медичних зображень, які продемонстрували конкурентоспроможність, а часом і кращу продуктивність порівняно з класичними тестами, включаючи найкращі в своєму класі класичні трансформатори зору. Квантові трансформатори, які ми навчили на цих невеликих наборах даних, вимагають менше параметрів порівняно зі стандартними класичними тестами. Нарешті, ми реалізували наші квантові трансформатори на надпровідних квантових комп’ютерах і отримали обнадійливі результати для шести кубітних експериментів.

Quantum Vision Transformers PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.

Рекомендоване зображення: Квантова схема для виконання одного рівня уваги складного трансформатора. Матричний завантажувач даних, за яким слідує ортогональний квантовий рівень.

Популярне резюме

У цьому дослідженні ми досліджуємо потенціал квантових обчислень для покращення архітектури нейронних мереж, зосереджуючись на трансформаторах, відомих своєю ефективністю в таких завданнях, як обробка мови та аналіз зображень. Ми представляємо три типи квантових трансформаторів, використовуючи параметризовані квантові схеми та ортогональні нейронні шари. Ці квантові трансформатори, за деяких припущень (наприклад, підключення до апаратного забезпечення), теоретично могли б забезпечити переваги над класичними аналогами як щодо часу виконання, так і параметрів моделі. Щоб створити цю квантову схему, ми представляємо новий метод для завантаження матриць як квантових станів і вводимо два навчальні квантові ортогональні шари, адаптовані до різних можливостей квантового комп’ютера. Вони вимагають неглибоких квантових схем і можуть допомогти створити моделі класифікації з унікальними характеристиками. Масштабне моделювання на наборах даних медичних зображень демонструє конкурентоспроможність порівняно з класичними тестами, навіть із меншою кількістю параметрів. Крім того, експерименти з надпровідними квантовими комп’ютерами дають багатообіцяючі результати.

► Дані BibTeX

► Список літератури

[1] Якоб Біамонте, Пітер Віттек, Нікола Панкотті, Патрік Ребентрост, Натан Вібе та Сет Ллойд. «Квантове машинне навчання». Nature 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / nature23474

[2] Айріс Конг, Сунвон Чой та Михайло Лукін. «Квантові згорточні нейронні мережі». Nature Physics 15, 1273–1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Кішор Бхарті, Альба Сервера-Ліерта, Ті Ха Кьяу, Тобіас Хауг, Самнер Альперін-Леа, Абхінав Ананд, Маттіас Дегрооте, Германні Хеймонен, Якоб С. Коттманн, Тім Менке та ін. «Шумні квантові алгоритми середнього масштабу». Огляди сучасної фізики 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004

[4] Марко Серезо, Ендрю Аррасміт, Раян Беббуш, Саймон С. Бенджамін, Сугуру Ендо, Кейсуке Фуджі, Джаррод Р. Макклін, Косуке Мітараі, Сяо Юань, Лукаш Сінчіо та ін. “Варіаційні квантові алгоритми”. Nature Reviews Physics 3, 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] Йонас Ландман, Натанш Матур, Юн Івонна Лі, Мартін Страм, Скандер Каздаглі, Анупам Пракаш та Іорданіс Керенідіс. «Квантові методи для нейронних мереж і застосування до класифікації медичних зображень». Квант 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] Бобак Кіані, Рендалл Балестрієро, Ян ЛеКун і Сет Ллойд. “projunn: Ефективний метод для навчання глибоких мереж з унітарними матрицями”. Досягнення в нейронних системах обробки інформації 35, 14448–14463 (2022).

[7] Ашіш Васвані, Ноам Шазір, Нікі Пармар, Якоб Ушкорейт, Лліон Джонс, Ейдан Н. Гомес, Лукаш Кайзер та Ілля Полосухін. «Увага – це все, що вам потрібно». Досягнення в нейронних системах обробки інформації 30 (2017).

[8] Джейкоб Девлін, Мін-Вей Чанг, Кентон Лі та Крістіна Тутанова. «Берт: Попереднє навчання глибоких двонаправлених трансформаторів для розуміння мови» (2018).

[9] Олексій Досовицький, Лукас Бейєр, Олександр Колесніков, Дірк Вайссенборн, Сяохуа Чжай, Томас Унтертінер, Мостафа Дегані, Матіас Міндерер, Георг Гейгольд, Сільвен Геллі, Якоб Ушкорейт і Ніл Хоулсбі. «Зображення вартує 16×16 слів: Трансформери для розпізнавання зображень у масштабі». Міжнародна конференція з репрезентацій навчання (2021). url: openreview.net/​forum?id=YicbFdNTTy.
https://​/​openreview.net/​forum?id=YicbFdNTTy

[10] Ї Тай, Мостафа Дегані, Дара Бахрі та Дональд Мецлер. «Ефективні трансформатори: опитування». Опитування ACM Computing Surveys (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811

[11] Дмитро Багданов, Кюнгхюн Чо та Йошуа Бенгіо. «Нейронний машинний переклад шляхом спільного навчання вирівнюванню та перекладу» (2016). arXiv:1409.0473 [cs, stat].
arXiv: 1409.0473

[12] Й. Шмідхубер. «Зменшення співвідношення між складністю навчання та кількістю змінних у часі змінних у повністю рекурентних мережах». У Стен Гілен і Берт Каппен, редактори, ICANN '93. Сторінки 460–463. Лондон (1993). Спрингер.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] Юрген Шмідхубер. «Навчимося контролювати швидку пам’ять: альтернатива динамічним рекурентним мережам». Нейронні обчислення 4, 131–139 (1992).
https://​/​doi.org/​10.1162/​neco.1992.4.1.131

[14] Пітер Ча, Пол Гінспарг, Фелікс Ву, Хуан Карраскілья, Пітер Л. Макмехон та Юн-А Кім. «Квантова томографія на основі уваги». Машинне навчання: Наука та технології 3, 01LT01 (2021).
https://​/​doi.org/​10.1088/​2632-2153/​ac362b

[15] Ріккардо Ді Сіпіо, Цзя-Хонг Хуанг, Семюел Єн-Чі Чен, Стефано Мангіні та Марсель Воррінг. «Світанок квантової обробки природної мови». На ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Сторінки 8612–8616. IEEE (2022).
https://​/​doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] Гуансі Лі, Сюаньцян Чжао та Сінь Ван. «Квантові нейронні мережі самоконтролю для класифікації тексту» (2022).

[17] Фабіо Санчес, Шон Вайнберг, Таканорі Іде та Казуміцу Камія. «Короткі квантові замикання в політиках навчання підкріплення для проблеми маршрутизації транспортного засобу». Physical Review A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403

[18] ЮаньФу Ян і Мін Сунь. «Виявлення дефектів напівпровідників за допомогою гібридного класично-квантового глибокого навчання». CVP Сторінки 2313–2322 (2022).
https://​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] Максвелл Хендерсон, Самріддхі Шак'я, Шашіндра Прадхан і Трістан Кук. «Кванволюційні нейронні мережі: підтримка розпізнавання зображень за допомогою квантових схем». Квантовий машинний інтелект 2, 1–9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-y

[20] Едвард Фархі та Хартмут Невен. «Класифікація з квантовими нейронними мережами на процесорах з ближчими термінами» (2018). url: doi.org/​10.48550/​arXiv.1802.06002.
https://​/​doi.org/​10.48550/​arXiv.1802.06002

[21] Косуке Мітараї, Макото Негоро, Масахіро Кітаґава та Кейсуке Фуджі. «Навчання квантових схем». Physical Review A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Куй Цзя, Шуай Лі, Юйсін Вень, Тунлян Лю та Дачен Тао. “Ортогональні глибокі нейронні мережі”. Транзакції IEEE щодо аналізу шаблонів і машинного інтелекту (2019).
https://​/​doi.org/​10.1109/​TPAMI.2019.2948352

[23] Роджер Хорн і Чарльз Джонсон. «Матричний аналіз». Видавництво Кембриджського університету. (2012).
https://​/​doi.org/​10.1017/​CBO9780511810817

[24] Іорданіс Керенідіс і Анупам Пракаш. «Квантове машинне навчання з підпросторовими станами» (2022).

[25] Брукс Фоксен, Чарльз Ніл, Ендрю Дансуорт, Педрам Роушан, Бен Чіаро, Ентоні Мегрант, Джуліан Келлі, Зіджун Чен, Кевін Сацінгер, Рамі Барендс та ін. «Демонстрація безперервного набору двокубітових вентилів для короткочасних квантових алгоритмів». Physical Review Letters 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Соніка Джохрі, Шантану Дебнат, Авінаш Мочерла, Александрос Сінгк, Анупам Пракаш, Юнгсанг Кім та Іорданіс Керенідіс. «Класифікація найближчого центроїда на квантовому комп’ютері захоплених іонів». npj Квантова інформація 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] Джеймс В. Кулі та Джон В. Тьюкі. “Алгоритм машинного обчислення комплексних рядів Фур’є”. Математика обчислень 19, 297–301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] Лі Цзін, Їчен Шен, Тена Дубчек, Джон Періфой, Скотт А. Скірло, Янн ЛеКун, Макс Тегмарк і Марін Солячич. «Настроювані ефективні унітарні нейронні мережі (eunn) та їх застосування до rnns». На міжнародній конференції з машинного навчання. (2016). url: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] Лео Монбруссу, Йонас Ландман, Алекс Б. Гріло, Ромен Кукла та Елхам Кашефі. «Можливість навчання та експресивність квантових схем із збереженням ваги Хеммінга для машинного навчання» (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] Енріко Фонтана, Ділан Герман, Шуванік Чакрабарті, Нірадж Кумар, Роміна Яловецький, Джеймі Херед, Шрі Харі Сурешбабу та Марко Пістоя. «Приєднання — це все, що вам потрібно: характеристика безплідних плато в квантовій анзаце» (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] Майкл Рагоне, Бойко Н. Бакалов, Фредерік Соваж, Олександр Ф. Кемпер, Карлос Ортіс Марреро, Мартін Ларокка та М. Серезо. «Єдина теорія безплідних плато для глибоких параметризованих квантових кіл» (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You і Xiaodi Wu. «Експоненціально багато локальних мінімумів у квантових нейронних мережах». На міжнародній конференції з машинного навчання. Сторінки 12144–12155. PMLR (2021).

[33] Ерік Р. Аншютц і Бобак Туссі Кіані. «Квантові варіаційні алгоритми завалені пастками». Nature Communications 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] Ілля О. Толстіхін, Ніл Хоулсбі, Олександр Колесніков, Лукас Бейєр, Сяохуа Чжай, Томас Унтертінер, Джессіка Юнг, Деніел Кейзерс, Якоб Ушкорейт, Маріо Лучич та Олексій Досовицький. «Mlp-мікшер: архітектура, що складається з усіх форматів mlp для бачення». У NeurIPS. (2021).

[35] Цзяньчен Ян, Руй Ши та Бінбін Ні. «Medmnist classification decathlon: Легкий автоматичний тест для аналізу медичних зображень» (2020).
https://​/​doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Цзяньчен Ян, Руй Ши, Дунлай Вей, Зецюань Лю, Лінь Чжао, Білян Ке, Ганспетер Пфістер і Бінбін Ні. «Medmnist v2 — великомасштабний легкий тест для класифікації 2D і 3D біомедичних зображень». Наукові дані 10, 41 (2023).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] Ангелос Катаропулос, Апурв Віас, Ніколаос Паппас і Франсуа Флере. «Трансформатори — це rnns: швидкі авторегресійні трансформатори з лінійним фокусуванням». На міжнародній конференції з машинного навчання. Сторінки 5156–5165. PMLR (2020).

[38] Джеймс Бредбері, Рой Фростіг, Пітер Гокінс, Метью Джеймс Джонсон, Кріс Лірі, Дугал Маклорен, Джордж Некула, Адам Паске, Джейк ВандерПлас, Скай Вандерман-Мілн і Цяо Чжан. “JAX: компоновані перетворення програм Python+NumPy”. Github (2018). url: http://​/​github.com/​google/​jax.
http://​/​github.com/​google/​jax

[39] Дідерік П. Кінгма та Джиммі Ба. «Адам: метод стохастичної оптимізації». CoRR abs/​1412.6980 (2015).

[40] Хьонву Но, Таккеун Ю, Джонхван Мун і Бохен Хан. «Регулярізація глибоких нейронних мереж шумом: його інтерпретація та оптимізація». NeurIPS (2017).

[41] Сюе Ін. «Огляд оверфітингу та його рішень». У журналі фізики: Серія конференцій. Том 1168, сторінка 022022. IOP Publishing (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

Цитується

[1] Девід Перал Гарсія, Хуан Крус-Беніто та Франсіско Хосе Гарсія-Пеньялво, «Системний огляд літератури: квантове машинне навчання та його застосування», arXiv: 2201.04093, (2022).

[2] Ель Амін Черрат, Снегал Радж, Йорданіс Керенідіс, Абхішек Шекхар, Бен Вуд, Джон Ді, Шуванік Чакрабарті, Річард Чен, Ділан Герман, Шаохан Ху, П’єр Мінссен, Руслан Шайдулін, Юе Сун, Роміна Яловецький та Марко Пістоя, «Квантове глибоке хеджування», Квант 7, 1191 (2023).

[3] Лео Монбруссу, Йонас Ландман, Алекс Б. Гріло, Ромен Кукла та Елхам Кашефі, «Можливість навчання та експресивність квантових схем із збереженням ваги Хеммінга для машинного навчання», arXiv: 2309.15547, (2023).

[4] Сохум Таккар, Скандер Каздаглі, Натанш Матур, Іорданіс Керенідіс, Андре Дж. Феррейра-Мартінс і Самурай Бріто, «Покращене фінансове прогнозування за допомогою квантового машинного навчання», arXiv: 2306.12965, (2023).

[5] Джейсон Яконіс і Соніка Джорі, «Ефективне завантаження зображень із квантових даних на основі тензорної мережі», arXiv: 2310.05897, (2023).

[6] Нішант Джайн, Джонас Ландман, Натанш Матур та Іорданіс Керенідіс, «Квантові мережі Фур’є для розв’язання параметричних PDE», arXiv: 2306.15415, (2023).

[7] Даніель Мастроп’єтро, Георгіос Корпас, В’ячеслав Кунгурцев і Якуб Маречек, «Флемінг-Віот допомагає прискорити варіаційні квантові алгоритми за наявності безплідних плато», arXiv: 2311.18090, (2023).

[8] Аліза У. Сіддікі, Кейтлін Гілі та Кріс Балланс, «Наголос на сучасному квантовому апаратному забезпеченні: оцінка продуктивності та уявлення про виконання», arXiv: 2401.13793, (2024).

Вищезазначені цитати від SAO / NASA ADS (останнє оновлення успішно 2024-02-22 13:37:43). Список може бути неповним, оскільки не всі видавці надають відповідні та повні дані про цитування.

Не вдалося отримати Перехресне посилання, наведене за даними під час останньої спроби 2024-02-22 13:37:41: Не вдалося отримати цитовані дані для 10.22331/q-2024-02-22-1265 з Crossref. Це нормально, якщо DOI був зареєстрований нещодавно.

Ця стаття опублікована в Quantum під Creative Commons Attribution 4.0 International (CC на 4.0) ліцензія. Авторське право залишається за оригінальними власниками авторських прав, такими як автори або їх установи.

Часова мітка:

Більше від Квантовий журнал