Квантовая ленивая тренировка

Квантовая ленивая тренировка

Отметка времени: 27 апреля 2023 г., 8:23
Квантовое ленивое обучение PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Эрфан Абеди, Салман Бейги и Лейла Тагави

Лаборатория QuOne, Центр исследований и инноваций Phanous, Тегеран, Иран

Находите эту статью интересной или хотите обсудить? Scite или оставить комментарий на SciRate.

Абстрактные

При обучении перепараметризованных модельных функций методом градиентного спуска иногда параметры существенно не меняются и остаются близкими к своим начальным значениям. Это явление называется $textit{ленивое обучение}$ и мотивирует рассмотрение линейной аппроксимации функции модели вокруг начальных параметров. В ленивом режиме это линейное приближение имитирует поведение параметризованной функции, ассоциированное ядро ​​которой, называемое $textit{касательным ядром}$, определяет эффективность обучения модели. Известно, что ленивое обучение происходит в случае (классических) нейронных сетей с большой шириной. В этой статье мы показываем, что обучение $textit{геометрически локально}$ параметризованных квантовых схем переходит в ленивый режим для большого числа кубитов. Точнее, мы доказываем ограничения на скорость изменения параметров такой геометрически локальной параметризованной квантовой схемы в процессе обучения и на точность линейной аппроксимации связанной с ней квантовой модельной функции; обе эти границы стремятся к нулю по мере роста числа кубитов. Мы подкрепляем наши аналитические результаты численным моделированием.

► Данные BibTeX

► Рекомендации

[1] Джон Прескилл. Квантовые вычисления в эпоху NISQ и за ее пределами. Quantum, 2:79, 2018. doi: 10.22331 / q-2018-08-06-79.
https:/​/​doi.org/​10.22331/​q-2018-08-06-79

[2] Марко Сересо, Эндрю Аррасмит, Райан Бэббуш, Саймон С. Бенджамин, Сугуру Эндо, Кейсуке Фуджи, Джаррод Р. МакКлин, Косуке Митараи, Сяо Юань, Лукаш Чинчио и др. Вариационные квантовые алгоритмы. Nature Reviews Physics, 3(9):625–644, 2021. doi:10.1038/​s42254-021-00348-9.
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[3] Джаррод Р. МакКлин, Серхио Бойшо, Вадим Н. Смелянский, Райан Баббуш и Хартмут Невен. Бесплодные плато в ландшафтах для обучения квантовых нейронных сетей. Связь с природой, 9(1):1–6, 2018. doi:10.1038/​s41467-018-07090-4.
https:/​/​doi.org/​10.1038/​s41467-018-07090-4

[4] Самсон Ван, Энрико Фонтана, Марко Сересо, Кунал Шарма, Акира Соне, Лукаш Чинчио и Патрик Джей Коулз. Бесплодные плато, индуцированные шумом, в вариационных квантовых алгоритмах. Nature Communications, 12(1):1–11, 2021. doi:10.1038/​s41467-021-27045-6.
https:/​/​doi.org/​10.1038/​s41467-021-27045-6

[5] Фрэнсис Бах. Легкая оптимизация с помощью градиентных потоков. https://​/​francisbach.com/​градиентные потоки.
https://​/​francisbach.com/​градиентные потоки

[6] Артур Жако, Франк Габриэль и Клеман Хонглер. Нейронное касательное ядро: сходимость и обобщение в нейронных сетях. Достижения в системах обработки нейронной информации (NeurIPS 2018), 31:8571–8580, 2018. doi:10.1145/​3406325.3465355.
https: / / doi.org/ 10.1145 / 3406325.3465355

[7] Ленаик Шиза, Эдуард Ояллон и Фрэнсис Бах. О ленивом обучении дифференцируемому программированию. Достижения в области систем обработки нейронной информации, 32, 2019.

[8] Кохей Накадзи, Хироюки Тэдзука и Наоки Ямамото. Нейронные сети с квантовым усилением в структуре нейронного касательного ядра. 2021. Архив: 2109.03786.
Arxiv: 2109.03786

[9] Норихито Шираи, Кенджи Кубо, Косукэ Митараи и Кейсуке Фуджи. Квантовое касательное ядро. 2021. Архив: 2111.02951.
Arxiv: 2111.02951

[10] Мария Шульд и Натан Киллоран. Квантовое машинное обучение в гильбертовых пространствах признаков. физ. Rev. Lett., 122:040504, февраль 2019 г. doi:10.1103/​PhysRevLett.122.040504.
https: / / doi.org/ 10.1103 / PhysRevLett.122.040504

[11] Войтех Гавличек, Антонио Д. Корколес, Кристан Темме, Арам В. Харроу, Абхинав Кандала, Джерри М. Чоу и Джей М. Гамбетта. Контролируемое обучение с квантово-расширенными функциональными пространствами. Nature, 567(7747):209–212, март 2019 г. doi:10.1038/​s41586-019-0980-2.
https:/​/​doi.org/​10.1038/​s41586-019-0980-2

[12] Джуню Лю, Франческо Таккино, Дженнифер Р. Глик, Лян Цзян и Антонио Меццакапо. Обучение представлению с помощью квантовых нейронных касательных ядер. PRX Quantum, 3:030323, 2022. doi:10.1103/​PRXQuantum.3.030323.
https: / / doi.org/ 10.1103 / PRXQuantum.3.030323

[13] Ди Луо и Джеймс Халверсон. Бесконечные квантовые состояния нейронной сети. 2021. Архив: 2112.00723.
Arxiv: 2112.00723

[14] Джунью Лю, Хадидже Наджафи, Кунал Шарма, Франческо Таккино, Лян Цзян и Антонио Меццакапо. Аналитическая теория динамики широких квантовых нейронных сетей. физ. Rev. Lett., 130(15):150601, 2023. doi:10.1103/​PhysRevLett.130.150601.
https: / / doi.org/ 10.1103 / PhysRevLett.130.150601

[15] Цзюнюй Лю, Цзэси Линь и Лян Цзян. Лень, бесплодное плато и шум в машинном обучении, 2022 г. doi:10.48550/​arXiv.2206.09313.
https://​/​doi.org/​10.48550/​arXiv.2206.09313

[16] Эдвард Фархи и Хартмут Невен. Классификация с квантовыми нейронными сетями на ближайших процессорах. 2018. Архив: 1802.06002.
Arxiv: 1802.06002

[17] М. Сересо, Акира Соне, Тайлер Волкофф, Лукаш Синчио и Патрик Дж. Коулз. Бесплодные плато, зависящие от функции стоимости, в неглубоких параметризованных квантовых схемах. Nature Communications, 12(1):1791, 2021. doi:10.1038/​s41467-021-21728-w.
HTTPS: / / doi.org/ 10.1038 / s41467-021-21728-ш

[18] Адриан Перес-Салинас, Альба Сервера-Лиерта, Элиес Хиль-Фустер и Хосе И. Латорре. Перезагрузка данных для универсального квантового классификатора. Quantum, 4:226, 2020. doi:10.22331/​q-2020-02-06-226.
https:/​/​doi.org/​10.22331/​q-2020-02-06-226

[19] Мария Шульд, Райан Свеке и Йоханнес Якоб Мейер. Влияние кодирования данных на выразительную силу вариационных моделей квантового машинного обучения. физ. Rev. A, 103:032430, март 2021 г. doi:10.1103/​PhysRevA.103.032430.
https: / / doi.org/ 10.1103 / PhysRevA.103.032430

[20] Колин Макдермид. О методе ограниченных разностей. В обзорах по комбинаторике, 1989 г. (Норвич, 1989 г.), том 141 London Math. соц. Lecture Note Ser., стр. 148–188. Кембриджский университет Press, Cambridge, 1989. doi:10.1017/​cbo9781107359949.008.
https: / / doi.org/ 10.1017 / cbo9781107359949.008

[21] Вилле Бергхольм, Джош Исаак, Мария Шульд, Кристиан Гоголин, М. Сохаиб Алам, Шахнаваз Ахмед, Хуан Мигель Аррасола, Карстен Бланк, Ален Дельгадо, Соран Джахангири и др. Пеннилейн: Автоматическое дифференцирование гибридных квантово-классических вычислений. 2018. АрХив: 1811.04968.
Arxiv: 1811.04968

[22] Керстин Бир, Дмитрий Бондаренко, Терри Фаррелли, Тобиас Дж. Осборн, Роберт Зальцманн, Дэниел Шайерманн и Рамона Вольф. Обучение глубоких квантовых нейронных сетей. Nature Communications, 11(1):1–6, 2020. doi:10.1038/​s41467-020-14454-2.
https:/​/​doi.org/​10.1038/​s41467-020-14454-2

Цитируется

[1] Junyu Liu, Zexi Lin и Liang Jiang, «Лень, бесплодное плато и шум в машинном обучении», Arxiv: 2206.09313, (2022).

[2] Yuxuan Du, Min-Hsiu Hsieh, Tongliang Liu, Shan You и Dacheng Tao, «Ошибка: обучаемость квантовых нейронных сетей [PRX QUANTUM 2, 040337 (2021)]», PRX Quantum 3 3, 030901 (2022).

Приведенные цитаты из САО / НАСА ADS (последнее обновление успешно 2023-04-27 12:25:17). Список может быть неполным, поскольку не все издатели предоставляют подходящие и полные данные о цитировании.

Не удалось получить Перекрестная ссылка на данные во время последней попытки 2023-04-27 12:25:15: Не удалось получить цитируемые данные для 10.22331 / q-2023-04-27-989 от Crossref. Это нормально, если DOI был зарегистрирован недавно.

Эта статья опубликована в Quantum под Creative Commons Attribution 4.0 International (CC BY 4.0) лицензия. Авторское право остается за первоначальными правообладателями, такими как авторы или их учреждения.

Отметка времени:

Больше от Квантовый журнал