1Институт науки о свете Макса Планка, Эрланген, Германия
2Факультет физики, Университет Фридриха-Александра, Эрланген-Нюрнберг, Германия
3Univ Lyon, ENS de Lyon, CNRS, Laboratoire de Physique, F-69342 Лион, Франция
Находите эту статью интересной или хотите обсудить? Scite или оставить комментарий на SciRate.
Абстрактные
Квантовый контроль в последние годы вызывает все больший интерес, например, для таких задач, как инициализация состояния и стабилизация. Стратегии, основанные на обратной связи, особенно эффективны, но их трудно найти из-за экспоненциально увеличивающегося пространства поиска. Глубокое обучение с подкреплением имеет большие перспективы в этом отношении. Это может дать новые ответы на сложные вопросы, например, могут ли нелинейные измерения компенсировать линейное управление с ограничениями. Здесь мы показываем, что обучение с подкреплением может успешно обнаруживать такие стратегии обратной связи без предварительных знаний. Мы проиллюстрируем это для подготовки состояния в резонаторе, подлежащем квантово-неразрушающему обнаружению числа фотонов, с простым линейным приводом в качестве управления. Состояния Фока могут создаваться и стабилизироваться с очень высокой точностью. Можно даже достичь состояний суперпозиции, при условии, что скорость измерения для различных состояний Фока также может контролироваться.
Рекомендуемое изображение: Схема алгоритма RL. Агент RL может применять только простое линейное управление, в нашем случае смещение, к квантовому состоянию в полости. Нелинейное слабое измерение позволяет агенту вести систему к сложным суперпозициям. Здесь показана функция Вигнера $frac{|1rangle+|3rangle}{sqrt{2}}$. Агент RL моделируется нейронной сетью с прямой связью.
Популярное резюме
► Данные BibTeX
► Рекомендации
[1] Навин Ханеджа, Тимо Рейсс, Синди Келет, Томас Шульте-Хербрюгген и Штеффен Дж. Глейзер. «Оптимальное управление динамикой связанных спинов: проектирование последовательностей импульсов ЯМР с помощью алгоритмов градиентного подъема». Журнал магнитного резонанса 172, 296–305 (2005).
https: / / doi.org/ 10.1016 / j.jmr.2004.11.004
[2] П. де Фукьер, С.Г. Ширмер, С.Дж. Глейзер и Илья Купров. «Импульсная техника градиентного подъема второго порядка». Журнал магнитного резонанса 212, 412–417 (2011).
https: / / doi.org/ 10.1016 / j.jmr.2011.07.023
[3] AC Доэрти и К. Джейкобс. «Управление квантовыми системами с обратной связью с использованием непрерывной оценки состояния». физ. Ред. А 60, 2700–2711 (1999).
https: / / doi.org/ 10.1103 / PhysRevA.60.2700
[4] Павел Бушев, Даниэль Роттер, Алекс Уилсон, Франсуа Дюбин, Кристоф Бехер, Юрген Эшнер, Райнер Блатт, Виктор Стейкснер, Петер Рабл и Петер Золлер. «Охлаждение с обратной связью одиночного захваченного иона». физ. Преподобный Летт. 96, 043003 (2006).
https: / / doi.org/ 10.1103 / physrevlett.96.043003
[5] Ховард М. Уайзман и Джерард Дж. Милберн. «Квантовое измерение и управление». Издательство Кембриджского университета. Кембридж (2009).
https: / / doi.org/ 10.1017 / CBO9780511813948
[6] Г. Г. Джиллетт, Р. Б. Далтон, Б. П. Ланьон, М. П. Алмейда, М. Барбьери, Г. Дж. Прайд, Дж. Л. О'Брайен, К. Дж. Реш, С. Д. Бартлетт и А. Г. Уайт. «Экспериментальное управление квантовыми системами с обратной связью с использованием слабых измерений». физ. Преподобный Летт. 104, 080503 (2010).
https: / / doi.org/ 10.1103 / physrevlett.104.080503
[7] Клеман Сайрин, Игорь Доценко, Синсин Чжоу, Брюно Подесерф, Тео Рыбарчик, Себастьен Глейз, Пьер Рушон, Мазьяр Миррахими, Хадис Амини, Мишель Брюн, Жан-Мишель Раймон и Серж Арош. «Квантовая обратная связь в реальном времени подготавливает и стабилизирует числовые состояния фотонов». Природа 477, 73–77 (2011).
https: / / doi.org/ 10.1038 / nature10376
[8] П. Кампань-Ибарк, Э. Флурин, Н. Рох, Д. Дарсон, П. Морфин, М. Миррахими, М. Х. Деворет, Ф. Малле и Б. Юар. «Постоянное управление сверхпроводящим кубитом с помощью обратной связи стробоскопических измерений». физ. Ред. X 3, 021008 (2013).
https: / / doi.org/ 10.1103 / physrevx.3.021008
[9] Ниссим Офек, Андрей Петренко, Рейньер Хирес, Филип Рейнхольд, Заки Легхтас, Брайан Влатакис, Йехан Лю, Луиджи Фрунцио, С. М. Гирвин, Л. Цзян, Мазьяр Миррахими, М. Х. Деворет и Р. Дж. Шолкопф. «Продление срока службы квантового бита с исправлением ошибок в сверхпроводящих цепях». Природа 536, 441–445 (2016).
https: / / doi.org/ 10.1038 / nature18949
[10] Массимилиано Росси, Дэвид Мейсон, Цзюньсин Чен, Егише Цатурян и Альберт Шлиссер. «Квантовый контроль механического движения на основе измерений». Природа 563, 53–58 (2018).
https://doi.org/10.1038/s41586-018-0643-8
[11] Шей Хакоэн-Гурги и Ли С. Мартин. «Непрерывные измерения для управления сверхпроводящими квантовыми цепями». Успехи физики: X 5, 1813626 (2020). архив: 2009.07297.
https: / / doi.org/ 10.1080 / 23746149.2020.1813626
Arxiv: 2009.07297
[12] Алессио Фаллани, Маттео А. С. Росси, Дарио Тамачелли и Марко Г. Дженони. «Изучение стратегий управления с обратной связью для квантовой метрологии». PRX Quantum 3, 020310 (2022).
https: / / doi.org/ 10.1103 / PRXQuantum.3.020310
[13] Ричард С. Саттон и Эндрю Г. Барто. «Обучение с подкреплением, второе издание: введение». Массачусетский технологический институт Пресс. (2018). URL: http:///incompleteideas.net/book/the-book.html.
http:///incompleteideas.net/book/the-book.html
[14] Владимир Мних, Корай Кавукчуоглу, Дэвид Сильвер, Андрей А. Русу, Джоэл Венесс, Марк Г. Беллемаре, Алекс Грейвс, Мартин Ридмиллер, Андреас К. Фиджеланд, Георг Островски, Стиг Петерсен, Чарльз Битти, Амир Садик, Иоаннис Антоноглу, Хелен Кинг , Дхаршан Кумаран, Даан Вирстра, Шейн Легг и Демис Хассабис. «Контроль на уровне человека посредством глубокого обучения с подкреплением». Природа 518, 529–533 (2015).
https: / / doi.org/ 10.1038 / nature14236
[15] Туомас Хаарноя, Сехун Ха, Аурик Чжоу, Джи Тан, Джордж Такер и Сергей Левин. «Учимся ходить с помощью глубокого обучения с подкреплением» (2019). архив: 1812.11103.
Arxiv: 1812.11103
[16] Томас Фёзель, Петру Тигиняну, Талита Вайс и Флориан Марквардт. «Обучение с подкреплением с помощью нейронных сетей для квантовой обратной связи». физ. Ред. X 8, 031084 (2018).
https: / / doi.org/ 10.1103 / physrevx.8.031084
[17] Чуньлинь Чен, Даойи Донг, Хань-Сюн Ли, Цзянь Чу и Цзы-Джонг Тарн. «Вероятностное Q-обучение на основе точности для управления квантовыми системами». Транзакции IEEE в нейронных сетях и системах обучения 25, 920–933 (2014).
https:///doi.org/10.1109/tnnls.2013.2283574
[18] Мориц Аугуст и Хосе Мигель Эрнандес-Лобато. «Использование градиентов с помощью экспериментов: LSTM и оптимизация проксимальной политики памяти для квантового управления черным ящиком». В Рио Йокота, Мишель Вейланд, Джон Шалф и Садаф Алам, редакторы High Performance Computing. Страницы 591–613. Конспект лекций в Computer ScienceCham (2018). Издательство Springer International.
https://doi.org/10.1007/978-3-030-02465-9_43
[19] Марин Буков, Александр Г.Р. Дэй, Дрис Селс, Филипп Вайнберг, Анатолий Полковников и Панкай Мехта. «Обучение с подкреплением на разных этапах квантового управления». физ. Ред. X 8, 031086 (2018). архив: 1705.00565.
https: / / doi.org/ 10.1103 / physrevx.8.031086
Arxiv: 1705.00565
[20] Риккардо Поротти, Дарио Тамачелли, Марчелло Рестелли и Энрико Прати. «Когерентный перенос квантовых состояний с помощью глубокого обучения с подкреплением». Коммунальная физ. 2, 1–9 (2019).
HTTPS: / / doi.org/ 10.1038 / s42005-019-0169-х
[21] Мерфи Юэжен Ню, Серджио Бойшо, Вадим Н. Смелянский и Хартмут Невен. «Универсальный квантовый контроль посредством глубокого обучения с подкреплением». npj Квантовая информация 5, 1–8 (2019).
https://doi.org/10.1038/s41534-019-0141-3
[22] Чжэн Ань и Д.Л. Чжоу. «Глубокое обучение с подкреплением для управления квантовыми воротами». EPL 126, 60002 (2019).
https://doi.org/10.1209/0295-5075/126/60002
[23] Хань Сюй, Цзюньнин Ли, Лицян Лю, Юй Ван, Хайдун Юань и Синь Ван. «Обобщаемый контроль для оценки квантовых параметров посредством обучения с подкреплением». npj Quantum Inf 5, 1–8 (2019).
HTTPS: / / doi.org/ 10.1038 / s41534-019-0198-г
[24] Хуан Мигель Аррасола, Томас Р. Бромли, Джош Исаак, Кейси Р. Майерс, Камил Брадлер и Натан Киллоран. «Метод машинного обучения для подготовки состояний и синтеза вентилей на фотонных квантовых компьютерах». Квантовая наука. Технол. 4, 024004 (2019).
https: / / doi.org/ 10.1088 / 2058-9565 / aaf59e
[25] Л. О'Дрисколл, Р. Николс и П.А. Нотт. «Алгоритм гибридного машинного обучения для разработки квантовых экспериментов». Квантовая мах. Интел. 1, 5–15 (2019).
https://doi.org/10.1007/s42484-019-00003-8
[26] Томас Фёзель, Стефан Красстанов, Флориан Марквардт и Лян Цзян. «Эффективный контроль полостей с помощью затворов SNAP» (2020 г.). архив: 2004.14256.
Arxiv: 2004.14256
[27] Могенс Далгаард, Феликс Моцой, Йенс Якоб Соренсен и Джейкоб Шерсон. «Глобальная оптимизация квантовой динамики с помощью глубокого исследования AlphaZero». npj Quantum Inf 6, 6 (2020).
https://doi.org/10.1038/s41534-019-0241-0
[28] Хайлан Ма, Даойи Донг, Стивен X. Дин и Чуньлинь Чен. «Глубокое обучение с подкреплением для квантового управления на основе учебной программы» (2021). архив: 2012.15427.
Arxiv: 2012.15427
[29] Чжэн Ань, Хай-Цзин Сун, Ци-Кай Хэ и Д.Л. Чжоу. «Квантовое оптимальное управление многоуровневыми диссипативными квантовыми системами с обучением с подкреплением». физ. Ред. А 103, 012404 (2021 г.).
https: / / doi.org/ 10.1103 / physreva.103.012404
[30] Юваль Баум, Мирко Амико, Шон Хауэлл, Майкл Хаш, Мэгги Льюцци, Пранав Мундада, Томас Мерк, Андре Р. Р. Карвалью и Майкл Дж. Биркук. «Экспериментальное глубокое обучение с подкреплением для проектирования устойчивых к ошибкам вентилей на сверхпроводящем квантовом компьютере». PRX Quantum 2, 040324 (2021).
https: / / doi.org/ 10.1103 / PRXQuantum.2.040324
[31] Томас Фёзель, Мерфи Юежен Ню, Флориан Марквардт и Ли Ли. «Квантовая оптимизация схемы с глубоким обучением с подкреплением» (2021). архив: 2103.07585.
Arxiv: 2103.07585
[32] Э. Флурин, Л. С. Мартин, С. Хакоэн-Гуржи и И. Сиддики. «Использование рекуррентной нейронной сети для реконструкции квантовой динамики сверхпроводящего кубита на основе физических наблюдений». Физический обзор X 10 (2020).
https: / / doi.org/ 10.1103 / physrevx.10.011006
[33] Д. Т. Леннон, Х. Мун, Л. С. Камензинд, Люци Ю, Д. М. Зумбюль, Г. а. Д. Бриггс, М.А. Осборн, Э.А. Лэрд и Н. Арес. «Эффективное измерение квантового устройства с помощью машинного обучения». npj Квантовая информация 5, 1–8 (2019).
https://doi.org/10.1038/s41534-019-0193-4
[34] Kyunghoon Jung, MH Abobeih, Jiwon Yun, Gyeonghun Kim, Hyunseok Oh, Ang Henry, TH Taminiau и Dohun Kim. «Глубокое обучение улучшило обнаружение отдельных ядерных вращений». npj Quantum Inf 7, 1–9 (2021).
https://doi.org/10.1038/s41534-021-00377-3
[35] В Нгуен. «Глубокое обучение с подкреплением для эффективного измерения квантовых устройств». npj Quantum InformationPage 9 (2021).
HTTPS: / / doi.org/ 10.1038 / s41534-021-00434-х
[36] Александр Хентшель и Барри С. Сандерс. «Машинное обучение для точного квантового измерения». физ. Преподобный Летт. 104, 063603 (2010).
https: / / doi.org/ 10.1103 / physrevlett.104.063603
[37] М. Тирш, Э. Дж. Ганаль и Х. Дж. Бригель. «Адаптивные квантовые вычисления в изменяющихся условиях с использованием проективного моделирования». Научный отчет 5, 12874 (2015).
https: / / doi.org/ 10.1038 / srep12874
[38] Пантита Палиттапонгарнпим, Питер Виттек, Эхсан Захединежад, Шакиб Ведайе и Барри С. Сандерс. «Обучение квантовому управлению: многомерная глобальная оптимизация для зашумленной квантовой динамики». Нейрокомпьютинг 268, 116–126 (2017).
https: / / doi.org/ 10.1016 / j.neucom.2016.12.087
[39] Елена Макепранг, Дурга Б. Рао Дасари и Йорг Врахтруп. «Подход к обучению с подкреплением для инженерии квантового состояния». Квантовая мах. Интел. 2, 5 (2020).
https://doi.org/10.1007/s42484-020-00016-8
[40] Кристиан Соммер, Мухаммад Асджад и Клаудиу Джинес. «Перспективы обучения с подкреплением для одновременного демпфирования многих механических режимов». Научный представитель 10, 2623 (2020).
HTTPS: / / doi.org/ 10.1038 / s41598-020-59435-г
[41] Чжикан Т. Ван, Юто Ашида и Масахито Уэда. «Глубокое обучение с подкреплением. Управление квантовыми тележками». физ. Преподобный Летт. 125, 100401 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.100401
[42] Сангха Бора, Биджита Сарма, Майкл Кьюминг, Джерард Дж. Милберн и Джейсон Твэмли. «Квантовое управление с обратной связью на основе измерений с глубоким обучением с подкреплением для нелинейного потенциала с двойной ячейкой». физ. Преподобный Летт. 127, 190403 (2021).
https: / / doi.org/ 10.1103 / PhysRevLett.127.190403
[43] Сивак В.В., Эйкбуш А., Лю Х., Ройер Б., Циуциос И., Деворет М.Х. «Бесмодельное квантовое управление с обучением с подкреплением». физ. Ред. X 12, 011059 (2022).
https: / / doi.org/ 10.1103 / PhysRevX.12.011059
[44] Антуан Эссиг, Квентин Фишо, Тео Пероннен, Натанаэль Котте, Рафаэль Лесканн, Ален Сарлетт, Пьер Рушон, Заки Легтас и Бенджамин Юар. «Мультиплексное измерение числа фотонов». физ. Ред. X 11, 031045 (2021).
https: / / doi.org/ 10.1103 / PhysRevX.11.031045
[45] Б. Подесерф, К. Сайрин, Х. Чжоу, Т. Рыбарчик, С. Глейзес, И. Доценко, Дж. М. Раймонд, М. Брюн и С. Гарош. «Эксперименты с квантовой обратной связью, стабилизирующие фоковские состояния света в полости». физ. Ред. А 87, 042320 (2013).
https: / / doi.org/ 10.1103 / physreva.87.042320
[46] X. Чжоу, И. Доценко, Б. Подесерф, Т. Рыбарчик, К. Сайрин, С. Глейзес, Дж. М. Раймонд, М. Брюн и С. Гарош. «Поле, привязанное к фоковскому состоянию с помощью квантовой обратной связи с однофотонными коррекциями». физ. Преподобный Летт. 108, 243602 (2012).
https: / / doi.org/ 10.1103 / physrevlett.108.243602
[47] Джейкоб К. Кертис, Коннор Т. Ханн, Сальваторе С. Элдер, Кристофер С. Ван, Луиджи Фрунцио, Лян Цзян и Роберт Дж. Шолкопф. «Однократное обнаружение микроволновых фотонов с числовым разрешением с уменьшением ошибок». физ. Ред. А 103, 023705 (2021 г.).
https: / / doi.org/ 10.1103 / physreva.103.023705
[48] Кристин Герлен, Жюльен Берню, Самюэль Делеглиз, Клеман Сейрин, Себастьен Глейз, Стефан Кур, Мишель Брюн, Жан-Мишель Раймон и Серж Арош. «Прогрессивный коллапс полевого состояния и квантовый подсчет фотонов без разрушения». Природа 448, 889–893 (2007).
https: / / doi.org/ 10.1038 / nature06057
[49] Б. Р. Джонсон, М. Д. Рид, А. А. Хоук, Д. И. Шустер, Лев С. Бишоп, Э. Гиноссар, Дж. М. Гамбетта, Л. ДиКарло, Л. Фрунцио, С. М. Гирвин и Р. Дж. Шолкопф. «Квантовое обнаружение одиночных микроволновых фотонов в цепи без разрушения». Nature Phys 6, 663–667 (2010).
https: / / doi.org/ 10.1038 / nphys1710
[50] Б. Подесерф, Т. Рыбарчик, С. Герлих, С. Глейзес, Дж. М. Раймонд, С. Арош, И. Доценко и М. Брюн. «Адаптивное квантовое неразрушающее измерение числа фотонов». физ. Преподобный Летт. 112, 080401 (2014).
https: / / doi.org/ 10.1103 / physrevlett.112.080401
[51] Криспин Гардинер и Питер Золлер. «Квантовый шум: Справочник по марковским и немарковским квантово-стохастическим методам с приложениями к квантовой оптике». Серия Спрингера по синергетике. Спрингер-Верлаг. Берлин Гейдельберг (2004). Третье издание. URL: ссылка.springer.com/book/9783540223016.
https: / / link.springer.com/book / 9783540223016
[52] Джон Шульман, Филип Вольский, Прафулла Дхаривал, Алек Рэдфорд и Олег Климов. «Алгоритмы проксимальной оптимизации политики» (2017). архив: 1707.06347.
Arxiv: 1707.06347
[53] Джон Шульман, Сергей Левин, Филипп Мориц, Майкл И. Джордан и Питер Аббил. «Оптимизация политики доверительного региона» (2017 г.). архив: 1502.05477.
Arxiv: 1502.05477
[54] Эшли Хилл, Антонин Раффин, Максимилиан Эрнест, Адам Глив, Ансси Канервисто, Рене Траоре, Прафулла Дхаривал, Кристофер Хессе, Олег Климов, Алекс Николь, Матиас Плапперт, Алек Рэдфорд, Джон Шульман, Шимон Сидор и Юхуай Ву. «Стабильные исходные данные». URL: github.com/hill-a/stable-baselines.
https:///github.com/hill-a/stable-baselines
[55] Вэйчжоу Цай, Ювэй Ма, Вейтин Ван, Чанг-Лин Цзоу и Луян Сунь. «Бозонные квантовые коды коррекции ошибок в сверхпроводящих квантовых схемах». Фундаментальные исследования 1, 50–67 (2021).
https:///doi.org/10.1016/j.fmre.2020.12.006
[56] Ф.А.М. де Оливейра, М.С. Ким, П.Л. Найт и В. Буек. «Свойства смещенных числовых состояний». Physical Review A 41, 2645–2652 (1990).
https: / / doi.org/ 10.1103 / physreva.41.2645
[57] Майкл Мартин Ньето. «Смещенные и сжатые числовые состояния». Письма по физике A 229, 135–143 (1997). arXiv: квант-тел/9612050.
https://doi.org/10.1016/s0375-9601(97)00183-7
Arxiv: колич-фот / 9612050
Цитируется
[1] Анна Давид, Джулиан Арнольд, Борха Рекена, Александр Греш, Марцин Плодзень, Каелан Донателла, Ким А. Николи, Паоло Сторнати, Рувен Кох, Мириам Бюттнер, Роберт Окула, Горка Муньос-Хил, Родриго А. Варгас-Эрнандес, Альба Сервера-Лиерта, Хуан Карраскилья, Ведран Дунько, Марилу Габрие, Патрик Уэмбели, Эверт ван Ньювенбург, Филиппо Висентини, Лей Ван, Себастьян Дж. Ветцель, Джузеппе Карлео, Элишка Греплова, Роман Кремс, Флориан Марквардт, Михал Томза, Мацей Левенштейн, и Александр Дофин, «Современные приложения машинного обучения в квантовых науках», Arxiv: 2204.04198.
[2] Риккардо Поротти, Витторио Пеано и Флориан Марквардт, «Инженерия импульсов градиентного подъема с обратной связью», Arxiv: 2203.04271.
[3] Луиджи Джаннелли, Пьерпаоло Сгрой, Джонатон Браун, Георге Сорин Параоану, Мауро Патерностро, Элизабетта Паладино и Джузеппе Фальчи, «Учебное пособие по методам оптимального управления и обучения с подкреплением для квантовых технологий», Письма о физике A 434, 128054 (2022).
[4] Бьорн Аннби-Андерссон, Фарадж Бахшинежад, Дебанкур Бхаттачарья, Гильерме Де Соуза, Кристофер Ярзински, Питер Самуэльссон и Патрик П. Поттс, «Квантовое основное уравнение Фоккера-Планка для непрерывного управления с обратной связью», Arxiv: 2110.09159.
[5] Алессио Фаллани, Маттео А. С. Росси, Дарио Тамачелли и Марко Дж. Дженони, «Изучение стратегий управления с обратной связью для квантовой метрологии», PRX Quantum 3 2, 020310 (2022).
[6] Паоло Андреа Эрдман и Франк Ноэ, «Управление квантовыми тепловыми машинами черного ящика с оптимальным соотношением мощности и эффективности с использованием обучения с подкреплением», Arxiv: 2204.04785.
[7] Дэвид А. Эррера-Марти, «Политический градиентный подход к составлению вариационных квантовых схем», Arxiv: 2111.10227.
Приведенные цитаты из САО / НАСА ADS (последнее обновление успешно 2022-07-22 01:21:35). Список может быть неполным, поскольку не все издатели предоставляют подходящие и полные данные о цитировании.
On Цитируемый сервис Crossref Данные о цитировании работ не найдены (последняя попытка 2022-07-22 01:21:34).
Эта статья опубликована в Quantum под Creative Commons Attribution 4.0 International (CC BY 4.0) лицензия. Авторское право остается за первоначальными правообладателями, такими как авторы или их учреждения.
