1马克斯普朗克光科学研究所，埃尔兰根，德国
2物理系，弗里德里希-亚历山大大学 Erlangen-Nürnberg，德国
3里昂大学，里昂高等师范学院，法国国家科学研究中心，物理实验室，F-69342 里昂，法国
觉得本文有趣或想讨论？ 在SciRate上发表评论或发表评论.
抽象
近年来，量子控制受到越来越多的关注，例如用于状态初始化和稳定等任务。 基于反馈的策略特别强大，但也很难找到，因为搜索空间呈指数增长。 深度强化学习在这方面有很大的前景。 它可能会为难题提供新的答案，例如非线性测量是否可以补偿线性约束控制。 在这里，我们表明强化学习可以成功地发现这种反馈策略，而无需先验知识。 我们说明了这一点，用于在腔中进行状态准备，该腔受到光子数的量子非破坏检测，使用简单的线性驱动作为控制。 可以以非常高的保真度产生和稳定 Fock 状态。 如果可以控制不同 Fock 状态的测量速率，甚至可以达到叠加状态。
特色图片：RL 算法的示意图。 RL 代理只能将简单的线性控制（在我们的例子中为位移）应用于腔中的量子态。 非线性弱测量使代理能够将系统推向复杂的叠加。 这里显示了 $frac{|1rangle+|3rangle}{sqrt{2}}$ 的 Wigner 函数。 RL 代理使用前馈神经网络建模。
热门摘要
►BibTeX数据
►参考
[1] Navin Khaneja、Timo Reiss、Cindie Kehlet、Thomas Schulte-Herbrüggen 和 Steffen J. Glaser。 “耦合自旋动力学的优化控制：通过梯度上升算法设计核磁共振脉冲序列”。 磁共振杂志 172, 296–305 (2005)。
https：///doi.org/10.1016/j.jmr.2004.11.004
[2] P. de Fouquieres、SG Schirmer、SJ Glaser 和 Ilya Kuprov。 “二阶梯度上升脉冲工程”。 磁共振杂志 212, 412–417 (2011)。
https：///doi.org/10.1016/j.jmr.2011.07.023
[3] AC Doherty 和 K. Jacobs。 “使用连续状态估计的量子系统的反馈控制”。 物理。 Rev. A 60, 2700–2711 (1999)。
https：/ / doi.org/ 10.1103 / PhysRevA.60.2700
[4] Pavel Bushev、Daniel Rotter、Alex Wilson、François Dubin、Christoph Becher、Jürgen Eschner、Rainer Blatt、Viktor Steixner、Peter Rabl 和 Peter Zoller。 “单个捕获离子的反馈冷却”。 物理。 牧师莱特。 96, 043003 (2006)。
https：///doi.org/10.1103/physrevlett.96.043003
[5] Howard M. Wiseman 和 Gerard J. Milburn。 《量子测量与控制》。 剑桥大学出版社。 剑桥（2009 年）。
https：/ / doi.org/ 10.1017 / CBO9780511813948
[6] GG Gillett、RB Dalton、BP Lanyon、MP Almeida、M. Barbieri、GJ Pryde、JL O'Brien、KJ Resch、SD Bartlett 和 AG White。 “使用弱测量的量子系统的实验反馈控制”。 物理。 牧师莱特。 104, 080503 (2010)。
https：///doi.org/10.1103/physrevlett.104.080503
[7] Clément Sayrin、Igor Dotsenko、Xingxing Zhou、Bruno Peaudecerf、Théo Rybarczyk、Sébastien Gleyzes、Pierre Rouchon、Mazyar Mirrahimi、Hadis Amini、Michel Brune、Jean-Michel Raimond 和 Serge Haroche。 “实时量子反馈准备和稳定光子数状态”。 自然 477, 73–77 (2011)。
https：/ / doi.org/10.1038/nature10376
[8] P. Campagne-Ibarcq、E. Flurin、N. Roch、D. Darson、P. Morfin、M. Mirrahimi、MH Devoret、F. Mallet 和 B. Huard。 “通过频闪测量反馈对超导量子比特的持续控制”。 物理。 修订版 X 3, 021008 (2013)。
https：/ / doi.org/ 10.1103 / physrevx.3.021008
[9] Nissim Ofek、Andrei Petrenko、Reinier Heeres、Philip Reinhold、Zaki Leghtas、Brian Vlastakis、Yehan Liu、Luigi Frunzio、SM Girvin、L. Jiang、Mazyar Mirrahimi、MH Devoret 和 RJ Schoelkopf。 “在超导电路中通过纠错来延长量子比特的寿命”。 自然 536, 441–445 (2016)。
https：/ / doi.org/10.1038/nature18949
[10] Massimiliano Rossi、David Mason、Junxin Chen、Yeghishe Tsaturyan 和 Albert Schliesser。 “基于测量的机械运动量子控制”。 自然 563, 53–58 (2018)。
https://doi.org/10.1038/s41586-018-0643-8
[11] Shay Hacohen-Gourgy 和 Leigh S. Martin。 “用于控制超导量子电路的连续测量”。 物理学进展：X 5, 1813626 (2020)。 arXiv:2009.07297。
https：/ / doi.org/10.1080/ 23746149.2020.1813626
的arXiv：2009.07297
[12] Alessio Fallani、Matteo AC Rossi、Dario Tamascelli 和 Marco G. Genoni。 “学习量子计量的反馈控制策略”。 PRX 量子 3, 020310 (2022)。
https：/ / doi.org/ 10.1103 / PRXQuantum.3.020310
[13] 理查德 S. 萨顿和安德鲁 G. 巴托。 “强化学习，第二版：简介”。 麻省理工学院出版社。 （2018 年）。 网址：http:///incompleteideas.net/book/the-book.html。
http:///incompleteideas.net/book/the-book.html
[14] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King , Dharshan Kumaran, Daan Wierstra, Shane Legg 和 Demis Hassabis。 “通过深度强化学习进行人类水平控制”。 自然 518, 529–533 (2015)。
https：/ / doi.org/10.1038/nature14236
[15] Tuomas Haarnoja、Sehoon Ha、Aurick Zhou、Jie Tan、George Tucker 和 Sergey Levine。 “通过深度强化学习学习走路”（2019 年）。 arXiv：1812.11103。
的arXiv：1812.11103
[16] Thomas Fösel、Petru Tighineanu、Talitha Weiss 和 Florian Marquardt。 “用于量子反馈的神经网络强化学习”。 物理。 修订版 X 8, 031084 (2018)。
https：/ / doi.org/ 10.1103 / physrevx.8.031084
[17] Chunlin Chen、Daoyi Dong、Han-Xiong Li、Jian Chu 和 Tzyh-Jong Tarn。 “用于控制量子系统的基于保真度的概率 Q 学习”。 IEEE Transactions on Neural Networks and Learning Systems 25, 920–933 (2014)。
https://doi.org/10.1109/tnnls.2013.2283574
[18] 莫里茨·奥古斯特和何塞·米格尔·埃尔南德斯-洛巴托。 “通过实验获取梯度：用于黑盒量子控制的 LSTM 和内存近端策略优化”。 在 Rio Yokota，Michèle Weiland、John Shalf 和 Sadaf Alam，编辑，高性能计算。 第 591-613 页。 计算机科学讲座笔记（2018 年）。 施普林格国际出版社。
https://doi.org/10.1007/978-3-030-02465-9_43
[19] Marin Bukov、Alexandre GR Day、Dries Sels、Phillip Weinberg、Anatoli Polkovnikov 和 Pankaj Mehta。 “量子控制不同阶段的强化学习”。 物理。 修订版 X 8, 031086 (2018)。 arXiv:1705.00565。
https：/ / doi.org/ 10.1103 / physrevx.8.031086
的arXiv：1705.00565
[20] Riccardo Porotti、Dario Tamascelli、Marcello Restelli 和 Enrico Prati。 “通过深度强化学习实现量子态的相干传输”。 Commun Phys 2, 1-9 (2019)。
https：///doi.org/10.1038/s42005-019-0169-x
[21] Murphy Yuezhen Niu、Sergio Boixo、Vadim N. Smelyanskiy 和 Hartmut Neven。 “通过深度强化学习实现通用量子控制”。 npj 量子信息 5, 1-8 (2019)。
https://doi.org/10.1038/s41534-019-0141-3
[22] 郑安和DL周。 “量子门控制的深度强化学习”。 EPL 126, 60002 (2019)。
https://doi.org/10.1209/0295-5075/126/60002
[23] 韩旭、李俊宁、刘立强、王宇、袁海东、王欣。 “通过强化学习进行量子参数估计的可泛化控制”。 npj Quantum Inf 5, 1-8 (2019)。
https：/ / doi.org/ 10.1038 / s41534-019-0198-z
[24] Juan Miguel Arrazola、Thomas R. Bromley、Josh Izaac、Casey R. Myers、Kamil Bradler 和 Nathan Killoran。 “光子量子计算机上状态准备和门合成的机器学习方法”。 量子科学。 技术。 4, 024004 (2019)。
https：/ / doi.org/ 10.1088 / 2058-9565 / aaf59e
[25] L. O'Driscoll、R. Nichols 和 PA Knott。 “用于设计量子实验的混合机器学习算法”。 量子马赫英特尔。 1, 5–15 (2019)。
https://doi.org/10.1007/s42484-019-00003-8
[26] Thomas Fösel、Stefan Krastanov、Florian Marquardt 和梁江。 “使用 SNAP 浇口实现高效型腔控制”（2020 年）。 arXiv:2004.14256。
的arXiv：2004.14256
[27] Mogens Dalgaard、Felix Motzoi、Jens Jakob Sørensen 和 Jacob Sheerson。 “使用 AlphaZero 深度探索对量子动力学进行全局优化”。 npj 量子信息 6, 6 (2020)。
https://doi.org/10.1038/s41534-019-0241-0
[28] Hailan Ma、Daoyi Dong、Steven X. Ding 和 Chunlin Chen。 “基于课程的量子控制深度强化学习”（2021 年）。 arXiv：2012.15427。
的arXiv：2012.15427
[29] 郑安、宋海静、何启凯、周德龙。 “具有强化学习的多级耗散量子系统的量子优化控制”。 物理。 修订版 A 103, 012404 (2021)。
https：///doi.org/10.1103/physreva.103.012404
[30] Yuval Baum、Mirko Amico、Sean Howell、Michael Hush、Maggie Liuzzi、Pranav Mundada、Thomas Merkh、Andre RR Carvalho 和 Michael J. Biercuk。 “超导量子计算机上误差鲁棒门集设计的实验性深度强化学习”。 PRX 量子 2，040324 (2021)。
https：/ / doi.org/ 10.1103 / PRXQuantum.2.040324
[31] Thomas Fösel、Murphy Yuzhen Niu、Florian Marquardt 和 Li Li。 “使用深度强化学习进行量子电路优化”（2021 年）。 arXiv:2103.07585。
的arXiv：2103.07585
[32] E. Flurin、LS Martin、S. Hacohen-Gourgy 和 I. Siddiqi。 “使用循环神经网络从物理观测中重建超导量子比特的量子动力学”。 物理评论 X 10 (2020)。
https：/ / doi.org/ 10.1103 / physrevx.10.011006
[33] DT Lennon, H. Moon, LC Camenzind, Liuqi Yu, DM Zumbühl, G. a. D. Briggs、MA Osborne、EA Laird 和 N. Ares。 “使用机器学习有效测量量子设备”。 npj 量子信息 5, 1-8 (2019)。
https://doi.org/10.1038/s41534-019-0193-4
[34] Kyunghoon Jung、MH Abobeh、Jiwon Yun、Gyeonghun Kim、Hyunseok Oh、Ang Henry、TH Taminiau 和 Dohun Kim。 “深度学习增强了个体核自旋检测”。 npj Quantum Inf 7, 1-9 (2021)。
https://doi.org/10.1038/s41534-021-00377-3
[35] V阮。 “用于有效测量量子设备的深度强化学习”。 npj 量子信息第 9 页（2021 年）。
https：///doi.org/10.1038/s41534-021-00434-x
[36] Alexander Hentschel 和 Barry C. Sanders。 “用于精确量子测量的机器学习”。 物理。 牧师莱特。 104, 063603 (2010)。
https：///doi.org/10.1103/physrevlett.104.063603
[37] M. Tiersch、EJ Ganahl 和 HJ Briegel。 “使用投影模拟在不断变化的环境中进行自适应量子计算”。 科学代表 5, 12874 (2015)。
https：/ / doi.org/ 10.1038 / srep12874
[38] Pantita Palittapongarnpim、Peter Wittek、Ehsan Zahedinejad、Shakib Vedaie 和 Barry C. Sanders。 “学习量子控制：噪声量子动力学的高维全局优化”。 神经计算 268, 116–126 (2017)。
https：///doi.org/10.1016/j.neucom.2016.12.087
[39] Jelena Mackeprang、Durga B. Rao Dasari 和 Jörg Wrachtrup。 “量子态工程的强化学习方法”。 量子马赫英特尔。 2、5（2020 年）。
https://doi.org/10.1007/s42484-020-00016-8
[40] Christian Sommer、Muhammad Asjad 和 Claudiu Genes。 “同时阻尼多种机械模式的强化学习前景”。 科学代表 10, 2623 (2020)。
https：/ / doi.org/ 10.1038 / s41598-020-59435-z
[41] Zhikang T. Wang、Yuto Ashida 和 Masahito Ueda。 “Quantum Cartpoles 的深度强化学习控制”。 物理。 牧师莱特。 125, 100401 (2020)。
https：/ / doi.org/ 10.1103 / PhysRevLett.125.100401
[42] Sangkha Borah、Bijita Sarma、Michael Kewming、Gerard J. Milburn 和 Jason Twamley。 “基于测量的反馈量子控制与双井非线性势的深度强化学习”。 物理。 牧师莱特。 127, 190403 (2021)。
https：/ / doi.org/ 10.1103 / PhysRevLett.127.190403
[43] VV Sivak、A. Eickbusch、H. Liu、B. Royer、I. Tsioutsios 和 MH Devoret。 “带有强化学习的无模型量子控制”。 物理。 修订版 X 12, 011059 (2022)。
https：/ / doi.org/ 10.1103 / PhysRevX.12.011059
[44] Antoine Essig、Quentin Ficheux、Théau Peronnin、Nathanaël Cottet、Raphaël Lescanne、Alain Sarlette、Pierre Rouchon、Zaki Leghtas 和 Benjamin Huard。 “复用光子数测量”。 物理。 修订版 X 11, 031045 (2021)。
https：/ / doi.org/ 10.1103 / PhysRevX.11.031045
[45] B. Peaudecerf、C. Sayrin、X. Zhou、T. Rybarczyk、S. Gleyzes、I. Dotsenko、JM Raimond、M. Brune 和 S. Haroche。 “稳定腔内光的福克状态的量子反馈实验”。 物理。 修订版 A 87, 042320 (2013)。
https：///doi.org/10.1103/physreva.87.042320
[46] X. Zhou、I. Dotsenko、B. Peaudecerf、T. Rybarczyk、C. Sayrin、S. Gleyzes、JM Raimond、M. Brune 和 S. Haroche。 “通过单光子校正的量子反馈将场锁定到 Fock 状态”。 物理。 牧师莱特。 108, 243602 (2012)。
https：///doi.org/10.1103/physrevlett.108.243602
[47] Jacob C. Curtis、Connor T. Hann、Salvatore S. Elder、Christopher S. Wang、Luigi Frunzio、Liang Jiang 和 Robert J. Schoelkopf。 “具有误差缓解的微波光子的单次数分辨检测”。 物理。 修订版 A 103, 023705 (2021)。
https：///doi.org/10.1103/physreva.103.023705
[48] Christine Guerlin、Julien Bernu、Samuel Deléglise、Clément Sayrin、Sébastien Gleyzes、Stefan Kuhr、Michel Brune、Jean-Michel Raimond 和 Serge Haroche。 “渐进场态坍缩和量子非破坏光子计数”。 自然 448, 889–893 (2007)。
https：/ / doi.org/10.1038/nature06057
[49] BR Johnson、MD Reed、AA Houck、DI Schuster、Lev S. Bishop、E. Ginossar、JM Gambetta、L. DiCarlo、L. Frunzio、SM Girvin 和 RJ Schoelkopf。 “电路中单个微波光子的量子非破坏检测”。 自然物理 6, 663–667 (2010)。
https：/ / doi.org/ 10.1038 / nphys1710
[50] B. Peaudecerf、T. Rybarczyk、S. Gerlich、S. Gleyzes、JM Raimond、S. Haroche、I. Dotsenko 和 M. Brune。 “光子数的自适应量子无损测量”。 物理。 牧师莱特。 112, 080401 (2014)。
https：///doi.org/10.1103/physrevlett.112.080401
[51] 克里斯平加德纳和彼得佐勒。 “量子噪声：Markovian and Non-Markovian Quantum Stochastic Methods with Applications to Quantum Optics 手册”。 协同学中的施普林格系列。 施普林格出版社。 柏林海德堡（2004 年）。 第三版。 网址：link.springer.com/book/9783540223016。
https:/ / link.springer.com/ book/ 9783540223016
[52] John Schulman、Filip Wolski、Prafulla Dhariwal、Alec Radford 和 Oleg Klimov。 “近端策略优化算法”（2017 年）。 arXiv:1707.06347。
的arXiv：1707.06347
[53] John Schulman、Sergey Levine、Philipp Moritz、Michael I. Jordan 和 Pieter Abbeel。 “信任区域政策优化”（2017 年）。 arXiv:1502.05477。
的arXiv：1502.05477
[54] Ashley Hill、Antonin Raffin、Maximilian Ernestus、Adam Gleave、Anssi Kanervisto、Rene Traore、Prafulla Dhariwal、Christopher Hesse、Oleg Klimov、Alex Nichol、Matthias Plappert、Alec Radford、John Schulman、Szymon Sidor 和 Yuhuai Wu。 “稳定的基线”。 网址：github.com/hill-a/stable-baselines。
https:///github.com/hill-a/stable-baselines
[55] Weizhou Cai, Yuwei Ma, Weiting Wang, Chang-Ling Zou, and Luyan Sun. “超导量子电路中的玻色子量子纠错码”。 基础研究 1, 50–67 (2021)。
https:///doi.org/10.1016/j.fmre.2020.12.006
[56] FAM de Oliveira、MS Kim、PL Knight 和 V. Buek。 “流离失所数字国家的性质”。 物理评论 A 41, 2645–2652 (1990)。
https：///doi.org/10.1103/physreva.41.2645
[57] 迈克尔·马丁·涅托。 “位移和压缩数字状态”。 物理快报 A 229, 135–143 (1997)。 arXiv:quant-ph/9612050。
https://doi.org/10.1016/s0375-9601(97)00183-7
arXiv：quant-ph / 9612050
被引用
[1] Anna Dawid, Julian Arnold, Borja Requena, Alexander Gresch, Marcin Płodzień, Kaelan Donatella, Kim A. Nicoli, Paolo Stornati, Rouven Koch, Miriam Büttner, Robert Okuła, Gorka Muñoz-Gil, Rodrigo A. Vargas-Hernández, Alba Cervera-Lierta, Juan Carrasquilla, Vedran Dunjko, Marylou Gabrié, Patrick Huembeli, Evert van Nieuwenburg, Filippo Vicentini, Lei Wang, Sebastian J. Wetzel, Giuseppe Carleo, Eliška Greplová, Roman Krems, Florian Marquardt, Michał Tomza, Maciej Lewenstein,和 Alexandre Dauphin，“机器学习在量子科学中的现代应用”， 的arXiv：2204.04198.
[2] Riccardo Porotti、Vittorio Peano 和 Florian Marquardt，“带反馈的梯度上升脉冲工程”， 的arXiv：2203.04271.
[3] Luigi Giannelli、Pierpaolo Sgroi、Jonathon Brown、Gheorghe Sorin Paraoanu、Mauro Paternostro、Elisabetta Paladino 和 Giuseppe Falci，“量子技术的最优控制和强化学习方法教程”， 物理学快报A 434，128054（2022）.
[4] Björn Annby-Andersson、Faraj Bakhshinezhad、Debankur Bhattacharyya、Guilherme De Sousa、Christopher Jarzynski、Peter Samuelsson 和 Patrick P. Potts，“用于连续反馈控制的量子 Fokker-Planck 主方程”， 的arXiv：2110.09159.
[5] Alessio Fallani、Matteo AC Rossi、Dario Tamascelli 和 Marco G. Genoni，“学习量子计量的反馈控制策略”， PRX 量子 3 2, 020310 (2022).
[6] Paolo Andrea Erdman 和 Frank Noé，“使用强化学习驱动具有最佳功率/效率权衡的黑盒量子热机”， 的arXiv：2204.04785.
[7] David A. Herrera-Martí，“变分量子电路编译的策略梯度方法”， 的arXiv：2111.10227.
以上引用来自 SAO / NASA广告 （最近成功更新为2022-07-22 01:21:35）。 该列表可能不完整，因为并非所有发布者都提供合适且完整的引用数据。
On Crossref的引用服务 找不到有关引用作品的数据（上一次尝试2022-07-22 01:21:34）。
该论文发表在《量子》杂志上 国际知识共享署名署名4.0（CC BY 4.0） 执照。 版权归原始版权持有者所有，例如作者或其所在机构。
