Aprendizado de reforço profundo para preparação de estado quântico com medições não lineares fracas PlatoBlockchain Data Intelligence. Pesquisa vertical. Ai.

Aprendizado de reforço profundo para preparação de estado quântico com medições não lineares fracas

Carimbo de data / hora: 28 de junho de 2022 7h43

Ricardo Porotti1,2, Antoine Essig3, Benjamim Huard3 e Florian Marquardt1,2

1Instituto Max Planck para a Ciência da Luz, Erlangen, Alemanha
2Departamento de Física, Friedrich-Alexander Universität Erlangen-Nürnberg, Alemanha
3Univ Lyon, ENS de Lyon, CNRS, Laboratoire de Physique, F-69342 Lyon, França

Acha este artigo interessante ou deseja discutir? Scite ou deixe um comentário no SciRate.

Sumário

O controle quântico tem sido de crescente interesse nos últimos anos, por exemplo, para tarefas como inicialização e estabilização de estado. As estratégias baseadas em feedback são particularmente poderosas, mas também difíceis de encontrar, devido ao espaço de pesquisa exponencialmente aumentado. O aprendizado por reforço profundo é uma grande promessa a esse respeito. Ele pode fornecer novas respostas para perguntas difíceis, como se as medições não lineares podem compensar o controle linear e restrito. Aqui mostramos que o aprendizado por reforço pode descobrir com sucesso essas estratégias de feedback, sem conhecimento prévio. Ilustramos isso para a preparação do estado em uma cavidade sujeita à detecção quântica não demolidora do número de fótons, com um acionamento linear simples como controle. Os estados Fock podem ser produzidos e estabilizados com alta fidelidade. É até possível alcançar estados de superposição, desde que as taxas de medição para diferentes estados Fock também possam ser controladas.

Imagem em destaque: Esquema do algoritmo RL. O agente RL só pode aplicar controle linear simples, no nosso caso deslocamento, a um estado quântico em uma cavidade. A medição fraca não linear permite que o agente conduza o sistema para superposições complexas. Aqui, a função Wigner de $frac{|1rangle+|3rangle}{sqrt{2}}$ é mostrada. O agente RL é modelado com uma rede neural feed-forward.

Resumo popular

O controle quântico tem sido de grande relevância nos últimos anos, principalmente devido à disseminação dos computadores quânticos. Lidar com feedback no controle quântico (ou seja, usar medições para orientar a dinâmica) é especialmente difícil, pois as opções de controle ficam exponencialmente grandes. O sistema aqui estudado pode ser modelado como uma cavidade, que pode ser medida fracamente para obter informações parciais sobre cada nível de energia. Para preparar e estabilizar estados quânticos em tal cavidade, usamos aprendizado por reforço (RL). RL é um ramo do aprendizado de máquina que lida com problemas de controle. Em uma estrutura RL, o algoritmo tenta maximizar uma função objetivo (neste caso, a fidelidade) interagindo com o sistema por meio de um processo de tentativa e erro. Neste trabalho, RL consegue preparar superposições complexas do estado Fock na cavidade, com controle linear muito limitado. O agente RL também aprende a estabilizar estados quânticos contra diferentes formas de decaimento.

► dados BibTeX

► Referências

[1] Navin Khaneja, Timo Reiss, Cindie Kehlet, Thomas Schulte-Herbrüggen e Steffen J. Glaser. “Controle ótimo da dinâmica de spin acoplado: Projeto de sequências de pulso de NMR por algoritmos de subida de gradiente”. Journal of Magnetic Resonance 172, 296–305 (2005).
https: / / doi.org/ 10.1016 / j.jmr.2004.11.004

[2] P. de Fouquieres, SG Schirmer, SJ Glaser e Ilya Kuprov. “Engenharia de pulso de subida de gradiente de segunda ordem”. Journal of Magnetic Resonance 212, 412–417 (2011).
https: / / doi.org/ 10.1016 / j.jmr.2011.07.023

[3] AC Doherty e K. Jacobs. “Controle de feedback de sistemas quânticos usando estimativa de estado contínuo”. Física Rev. A 60, 2700-2711 (1999).
https: / / doi.org/ 10.1103 / PhysRevA.60.2700

[4] Pavel Bushev, Daniel Rotter, Alex Wilson, François Dubin, Christoph Becher, Jürgen Eschner, Rainer Blatt, Viktor Steixner, Peter Rabl e Peter Zoller. “Resfriamento de feedback de um único íon aprisionado”. Física Rev. Lett. 96, 043003 (2006).
https: / / doi.org/ 10.1103 / physrevlett.96.043003

[5] Howard M. Wiseman e Gerard J. Milburn. “Medição e controle quânticos”. Cambridge University Press. Cambridge (2009).
https: / / doi.org/ 10.1017 / CBO9780511813948

[6] GG Gillett, RB Dalton, BP Lanyon, MP Almeida, M. Barbieri, GJ Pryde, JL O'Brien, KJ Resch, SD Bartlett e AG White. “Controle Experimental de Feedback de Sistemas Quânticos Usando Medidas Fracas”. Física Rev. Lett. 104, 080503 (2010).
https: / / doi.org/ 10.1103 / physrevlett.104.080503

[7] Clément Sayrin, Igor Dotsenko, Xingxing Zhou, Bruno Peaudecerf, Théo Rybarczyk, Sébastien Gleyzes, Pierre Rouchon, Mazyar Mirrahimi, Hadis Amini, Michel Brune, Jean-Michel Raimond e Serge Haroche. “Realimentação quântica em tempo real prepara e estabiliza os estados do número de fótons”. Natureza 477, 73-77 (2011).
https: / / doi.org/ 10.1038 / nature10376

[8] P. Campagne-Ibarcq, E. Flurin, N. Roch, D. Darson, P. Morfin, M. Mirrahimi, MH Devoret, F. Mallet e B. Huard. “Controle persistente de um qubit supercondutor por feedback de medição estroboscópica”. Física Rev. X 3, 021008 (2013).
https: / / doi.org/ 10.1103 / physrevx.3.021008

[9] Nissim Ofek, Andrei Petrenko, Reinier Heeres, Philip Reinhold, Zaki Leghtas, Brian Vlastakis, Yehan Liu, Luigi Frunzio, SM Girvin, L. Jiang, Mazyar Mirrahimi, MH Devoret e RJ Schoelkopf. “Estendendo o tempo de vida de um bit quântico com correção de erros em circuitos supercondutores”. Natureza 536, 441-445 (2016).
https: / / doi.org/ 10.1038 / nature18949

[10] Massimiliano Rossi, David Mason, Junxin Chen, Yeghishe Tsaturyan e Albert Schliesser. “Controle quântico baseado em medição do movimento mecânico”. Natureza 563, 53-58 (2018).
https:/​/​doi.org/​10.1038/​s41586-018-0643-8

[11] Shay Hacohen-Gourgy e Leigh S. Martin. “Medições contínuas para controle de circuitos quânticos supercondutores”. Avanços em Física: X 5, 1813626 (2020). arXiv:2009.07297.
https: / / doi.org/ 10.1080 / 23746149.2020.1813626
arXiv: 2009.07297

[12] Alessio Fallani, Matteo AC Rossi, Dario Tamascelli, and Marco G. Genoni. “Aprendendo estratégias de controle de feedback para metrologia quântica”. PRX Quantum 3, 020310 (2022).
https: / / doi.org/ 10.1103 / PRXQuantum.3.020310

[13] Richard S. Sutton e Andrew G. Barto. “Aprendizagem por reforço, segunda edição: uma introdução”. Imprensa do MIT. (2018). url: http:/​/​incompleteideas.net/​book/​the-book.html.
http://​/​incompleteideas.net/​book/​the-book.html

[14] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King , Dharshan Kumaran, Daan Wierstra, Shane Legg e Demis Hassabis. “Controle em nível humano por meio de aprendizado de reforço profundo”. Natureza 518, 529-533 (2015).
https: / / doi.org/ 10.1038 / nature14236

[15] Tuomas Haarnoja, Sehoon Ha, Aurick Zhou, Jie Tan, George Tucker e Sergey Levine. “Aprendendo a Andar via Aprendizagem por Reforço Profundo” (2019). arXiv:1812.11103.
arXiv: 1812.11103

[16] Thomas Fösel, Petru Tighineanu, Talitha Weiss e Florian Marquardt. “Aprendizagem por reforço com redes neurais para feedback quântico”. Física Rev. X 8, 031084 (2018).
https: / / doi.org/ 10.1103 / physrevx.8.031084

[17] Chunlin Chen, Daoyi Dong, Han-Xiong Li, Jian Chu e Tzyh-Jong Tarn. “Q-Learning Probabilístico Baseado em Fidelidade para Controle de Sistemas Quânticos”. Transações IEEE em Redes Neurais e Sistemas de Aprendizagem 25, 920–933 (2014).
https://​/​doi.org/​10.1109/​tnnls.2013.2283574

[18] Moritz August e José Miguel Hernández-Lobato. “Tomando gradientes através de experimentos: LSTMs e otimização de políticas proximais de memória para controle quântico de caixa preta”. No Rio Yokota, Michèle Weiland, John Shalf e Sadaf Alam, editores, High Performance Computing. Páginas 591-613. Notas de aula em Ciência da ComputaçãoCham (2018). Editora Internacional Springer.
https:/​/​doi.org/​10.1007/​978-3-030-02465-9_43

[19] Marin Bukov, Alexandre GR Day, Dries Sels, Phillip Weinberg, Anatoli Polkovnikov e Pankaj Mehta. “Aprendizagem por Reforço em Diferentes Fases de Controle Quântico”. Física Rev. X 8, 031086 (2018). arXiv:1705.00565.
https: / / doi.org/ 10.1103 / physrevx.8.031086
arXiv: 1705.00565

[20] Riccardo Porotti, Dario Tamascelli, Marcello Restelli, and Enrico Prati. “Transporte coerente de estados quânticos por aprendizado de reforço profundo”. Comun Phys 2, 1–9 (2019).
https: / / doi.org/ 10.1038 / s42005-019-0169-x

[21] Murphy Yuezhen Niu, Sergio Boixo, Vadim N. Smelyanskiy e Hartmut Neven. “Controle quântico universal através de aprendizado de reforço profundo”. npj Informações Quânticas 5, 1–8 (2019).
https:/​/​doi.org/​10.1038/​s41534-019-0141-3

[22] Zheng An e DL Zhou. “Aprendizagem de reforço profundo para controle de portão quântico”. EPL 126, 60002 (2019).
https:/​/​doi.org/​10.1209/​0295-5075/​126/​60002

[23] Han Xu, Junning Li, Liqiang Liu, Yu Wang, Haidong Yuan e Xin Wang. “Controle generalizável para estimação de parâmetros quânticos por meio de aprendizado por reforço”. npj Quantum Inf 5, 1–8 (2019).
https: / / doi.org/ 10.1038 / s41534-019-0198-z

[24] Juan Miguel Arrazola, Thomas R. Bromley, Josh Izaac, Casey R. Myers, Kamil Brádler e Nathan Killoran. “Método de aprendizado de máquina para preparação de estado e síntese de portas em computadores quânticos fotônicos”. Ciência Quântica. Tecnol. 4, 024004 (2019).
https: / / doi.org/ 10.1088 / 2058-9565 / aaf59e

[25] L. O'Driscoll, R. Nichols e PA Knott. “Um algoritmo híbrido de aprendizado de máquina para projetar experimentos quânticos”. Mach Quântico. Intel. 1, 5-15 (2019).
https:/​/​doi.org/​10.1007/​s42484-019-00003-8

[26] Thomas Fösel, Stefan Krastanov, Florian Marquardt e Liang Jiang. “Controle de cavidade eficiente com portas SNAP” (2020). arXiv:2004.14256.
arXiv: 2004.14256

[27] Mogens Dalgaard, Felix Motzoi, Jens Jakob Sørensen e Jacob Sherson. “Otimização global da dinâmica quântica com exploração profunda AlphaZero”. npj Quantum Inf 6, 6 (2020).
https:/​/​doi.org/​10.1038/​s41534-019-0241-0

[28] Hailan Ma, Daoyi Dong, Steven X. Ding e Chunlin Chen. “Aprendizagem por reforço profundo baseada em currículo para controle quântico” (2021). arXiv:2012.15427.
arXiv: 2012.15427

[29] Zheng An, Hai-Jing Song, Qi-Kai He e DL Zhou. “Controle ótimo quântico de sistemas quânticos dissipativos multiníveis com aprendizado por reforço”. Física Rev. A 103, 012404 (2021).
https: / / doi.org/ 10.1103 / physreva.103.012404

[30] Yuval Baum, Mirko Amico, Sean Howell, Michael Hush, Maggie Liuzzi, Pranav Mundada, Thomas Merkh, Andre RR Carvalho, and Michael J. Biercuk. “Aprendizagem Experimental por Reforço Profundo para Projeto de Conjunto de Portas Robusto em Erros em um Computador Quântico Supercondutor”. PRX Quantum 2, 040324 (2021).
https: / / doi.org/ 10.1103 / PRXQuantum.2.040324

[31] Thomas Fösel, Murphy Yuezhen Niu, Florian Marquardt e Li Li. “Otimização de circuitos quânticos com aprendizado de reforço profundo” (2021). arXiv:2103.07585.
arXiv: 2103.07585

[32] E. Flurin, LS Martin, S. Hacohen-Gourgy e I. Siddiqi. “Usando uma rede neural recorrente para reconstruir a dinâmica quântica de um qubit supercondutor a partir de observações físicas”. Revisão Física X 10 (2020).
https: / / doi.org/ 10.1103 / physrevx.10.011006

[33] DT Lennon, H. Moon, LC Camenzind, Liuqi Yu, DM Zumbühl, G. a. D. Briggs, MA Osborne, EA Laird e N. Ares. “Medindo eficientemente um dispositivo quântico usando aprendizado de máquina”. npj Informações Quânticas 5, 1–8 (2019).
https:/​/​doi.org/​10.1038/​s41534-019-0193-4

[34] Kyunghoon Jung, MH Abeih, Jiwon Yun, Gyeonghun Kim, Hyunseok Oh, Ang Henry, TH Taminiau e Dohun Kim. “Aprendizagem profunda melhorou a detecção individual de spin nuclear”. npj Quantum Inf 7, 1–9 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00377-3

[35] V Nguyen. “Aprendizagem por reforço profundo para medição eficiente de dispositivos quânticos”. npj Quantum InformationPágina 9 (2021).
https: / / doi.org/ 10.1038 / s41534-021-00434-x

[36] Alexander Hentschel e Barry C. Sanders. “Aprendizado de Máquina para Medição Quântica Precisa”. Física Rev. Lett. 104, 063603 (2010).
https: / / doi.org/ 10.1103 / physrevlett.104.063603

[37] M. Tiersch, EJ Ganahl e HJ Briegel. “Computação quântica adaptativa em ambientes em mudança usando simulação projetiva”. Sci Rep 5, 12874 (2015).
https: / / doi.org/ 10.1038 / srep12874

[38] Pantita Palittapongarnpim, Peter Wittek, Ehsan Zahedinejad, Shakib Vedaie e Barry C. Sanders. “Aprendizagem em controle quântico: otimização global de alta dimensão para dinâmica quântica ruidosa”. Neurocomputação 268, 116-126 (2017).
https://​/​doi.org/​10.1016/​j.neucom.2016.12.087

[39] Jelena Mackeprang, Durga B. Rao Dasari e Jörg Wrachtrup. “Uma abordagem de aprendizado por reforço para engenharia de estado quântico”. Mach Quântico. Intel. 2, 5 (2020).
https:/​/​doi.org/​10.1007/​s42484-020-00016-8

[40] Christian Sommer, Muhammad Asjad e Claudiu Genes. “Perspectivas de aprendizado por reforço para o amortecimento simultâneo de muitos modos mecânicos”. Representante Científico 10, 2623 (2020).
https: / / doi.org/ 10.1038 / s41598-020-59435-z

[41] Zhikang T. Wang, Yuto Ashida e Masahito Ueda. “Deep Reinforcement Learning Control of Quantum Cartpoles”. Física Rev. Lett. 125, 100401 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.100401

[42] Sangkha Borah, Bijita Sarma, Michael Kewming, Gerard J. Milburn e Jason Twamley. “Controle quântico de feedback baseado em medição com aprendizado de reforço profundo para um potencial não linear de poço duplo”. Física Rev. Lett. 127, 190403 (2021).
https: / / doi.org/ 10.1103 / PhysRevLett.127.190403

[43] VV Sivak, A. Eickbusch, H. Liu, B. Royer, I. Tsioutsios e MH Devoret. “Controle Quântico Livre de Modelos com Aprendizado por Reforço”. Física Rev. X 12, 011059 (2022).
https: / / doi.org/ 10.1103 / PhysRevX.12.011059

[44] Antoine Essig, Quentin Ficheux, Théau Peronnin, Nathanaël Cottet, Raphaël Lescanne, Alain Sarlette, Pierre Rouchon, Zaki Leghtas e Benjamin Huard. “Medição do número de fótons multiplexados”. Física Rev. X 11, 031045 (2021).
https: / / doi.org/ 10.1103 / PhysRevX.11.031045

[45] B. Peaudecerf, C. Sayrin, X. Zhou, T. Rybarczyk, S. Gleyzes, I. Dotsenko, JM Raimond, M. Brune e S. Haroche. “Experiências de feedback quântico estabilizando estados Fock de luz em uma cavidade”. Física Rev. A 87, 042320 (2013).
https: / / doi.org/ 10.1103 / physreva.87.042320

[46] X. Zhou, I. Dotsenko, B. Peaudecerf, T. Rybarczyk, C. Sayrin, S. Gleyzes, JM Raimond, M. Brune e S. Haroche. “Campo bloqueado para um estado Fock por feedback quântico com correções de fóton único”. Física Rev. Lett. 108, 243602 (2012).
https: / / doi.org/ 10.1103 / physrevlett.108.243602

[47] Jacob C. Curtis, Connor T. Hann, Salvatore S. Elder, Christopher S. Wang, Luigi Frunzio, Liang Jiang e Robert J. Schoelkopf. “Detecção de fótons de micro-ondas com resolução de número de disparo único com mitigação de erros”. Física Rev. A 103, 023705 (2021).
https: / / doi.org/ 10.1103 / physreva.103.023705

[48] Christine Guerlin, Julien Bernu, Samuel Deléglise, Clément Sayrin, Sébastien Gleyzes, Stefan Kuhr, Michel Brune, Jean-Michel Raimond e Serge Haroche. “Colapso progressivo do estado de campo e contagem quântica de fótons sem demolição”. Natureza 448, 889-893 (2007).
https: / / doi.org/ 10.1038 / nature06057

[49] BR Johnson, MD Reed, AA Houck, DI Schuster, Lev S. Bishop, E. Ginossar, JM Gambetta, L. DiCarlo, L. Frunzio, SM Girvin e RJ Schoelkopf. “Detecção quântica de não demolição de fótons de micro-ondas únicos em um circuito”. Nature Phys 6, 663-667 (2010).
https: / / doi.org/ 10.1038 / nphys1710

[50] B. Peaudecerf, T. Rybarczyk, S. Gerlich, S. Gleyzes, JM Raimond, S. Haroche, I. Dotsenko e M. Brune. "Medição Quantum Não-Demolição Adaptativa de um Número de Fótons". Física Rev. Lett. 112, 080401 (2014).
https: / / doi.org/ 10.1103 / physrevlett.112.080401

[51] Crispin Gardiner e Peter Zoller. “Ruído Quântico: Um Manual de Métodos Estocásticos Quânticos Markovianos e Não Markovianos com Aplicações à Óptica Quântica”. Série Springer em Sinergética. Springer-Verlag. Berlim Heidelberg (2004). Terceira edição. url: link.springer.com/​book/​9783540223016.
https: // link.springer.com/ book / 9783540223016

[52] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford e Oleg Klimov. “Algoritmos de Otimização de Política Proximal” (2017). arXiv:1707.06347.
arXiv: 1707.06347

[53] John Schulman, Sergey Levine, Philipp Moritz, Michael I. Jordan e Pieter Abbeel. “Otimização da Política da Região de Confiança” (2017). arXiv:1502.05477.
arXiv: 1502.05477

[54] Ashley Hill, Antonin Raffin, Maximilian Ernestus, Adam Gleave, Anssi Kanervisto, Rene Traore, Prafulla Dhariwal, Christopher Hesse, Oleg Klimov, Alex Nichol, Matthias Plappert, Alec Radford, John Schulman, Szymon Sidor e Yuhuai Wu. “Linhas de base estáveis”. url: github.com/​hill-a/​stable-baselines.
https://github.com/hill-a/stable-baselines

[55] Weizhou Cai, Yuwei Ma, Weiting Wang, Chang-Ling Zou e Luyan Sun. “Códigos de correção de erros quânticos bosônicos em circuitos quânticos supercondutores”. Pesquisa Fundamental 1, 50-67 (2021).
https://​/​doi.org/​10.1016/​j.fmre.2020.12.006

[56] FAM de Oliveira, MS Kim, PL Knight e V. Buek. “Propriedades de estados de números deslocados”. Physical Review A 41, 2645-2652 (1990).
https: / / doi.org/ 10.1103 / physreva.41.2645

[57] Michael Martin Nieto. “Estados numéricos deslocados e comprimidos”. Física Letters A 229, 135-143 (1997). arXiv:quant-ph/​9612050.
https:/​/​doi.org/​10.1016/​s0375-9601(97)00183-7
arXiv: quant-ph / 9612050

Citado por

[1] Anna Dawid, Julian Arnold, Borja Requena, Alexander Gresch, Marcin Płodzień, Kaelan Donatella, Kim A. Nicoli, Paolo Stornati, Rouven Koch, Miriam Büttner, Robert Okuła, Gorka Muñoz-Gil, Rodrigo A. Vargas-Hernández, Alba Cervera-Lierta, Juan Carrasquilla, Vedran Dunjko, Marylou Gabrié, Patrick Huembeli, Evert van Nieuwenburg, Filippo Vicentini, Lei Wang, Sebastian J. Wetzel, Giuseppe Carleo, Eliška Greplová, Roman Krems, Florian Marquardt, Michał Tomza, Maciej Lewenstein, e Alexandre Dauphin, “Aplicações modernas de aprendizado de máquina em ciências quânticas”, arXiv: 2204.04198.

[2] Riccardo Porotti, Vittorio Peano e Florian Marquardt, “Gradient Ascent Pulse Engineering with Feedback”, arXiv: 2203.04271.

[3] Luigi Giannelli, Pierpaolo Sgroi, Jonathon Brown, Gheorghe Sorin Paraoanu, Mauro Paternostro, Elisabetta Paladino e Giuseppe Falci, “Um tutorial sobre métodos ótimos de controle e aprendizado de reforço para tecnologias quânticas”, Letras Físicas A 434, 128054 (2022).

[4] Björn Annby-Andersson, Faraj Bakhshinezhad, Debankur Bhattacharyya, Guilherme De Sousa, Christopher Jarzynski, Peter Samuelsson e Patrick P. Potts, “Quantum Fokker-Planck masterequation for continuous feedback control”, arXiv: 2110.09159.

[5] Alessio Fallani, Matteo AC Rossi, Dario Tamascelli e Marco G. Genoni, “Estratégias de Controle de Feedback de Aprendizagem para Metrologia Quântica”, PRX Quantum 3 2, 020310 (2022).

[6] Paolo Andrea Erdman e Frank Noé, “Conduzindo máquinas térmicas quânticas de caixa preta com trocas ótimas de energia/eficiência usando aprendizado de reforço”, arXiv: 2204.04785.

[7] David A. Herrera-Martí, “Abordagem de Gradiente de Política para Compilação de Circuitos Quânticos Variacionais”, arXiv: 2111.10227.

As citações acima são de SAO / NASA ADS (última atualização com êxito 2022-07-22 01:21:35). A lista pode estar incompleta, pois nem todos os editores fornecem dados de citação adequados e completos.

On Serviço citado por Crossref nenhum dado sobre a citação de trabalhos foi encontrado (última tentativa 2022-07-22 01:21:34).

Este artigo é publicado na Quantum sob o Atribuição 4.0 do Creative Commons Internacional (CC BY 4.0) licença. Os direitos autorais permanecem com os detentores originais, como os autores ou suas instituições.

Carimbo de hora:

Mais de Diário Quântico