1Max Plancki valgusteaduse instituut, Erlangen, Saksamaa
2Füüsika osakond, Friedrich-Alexander Universität Erlangen-Nürnberg, Saksamaa
3Univ Lyon, ENS de Lyon, CNRS, Laboratoire de Physique, F-69342 Lyon, Prantsusmaa
Kas see artikkel on huvitav või soovite arutada? Scite või jätke SciRate'i kommentaar.
Abstraktne
Kvantjuhtimine on viimastel aastatel pakkunud üha suuremat huvi, näiteks selliste ülesannete puhul nagu oleku initsialiseerimine ja stabiliseerimine. Tagasisidepõhised strateegiad on eriti võimsad, kuid ka raskesti leitavad, kuna otsinguruum on hüppeliselt suurenenud. Sügav tugevdusõpe on selles osas paljutõotav. See võib anda uusi vastuseid keerulistele küsimustele, näiteks sellele, kas mittelineaarsed mõõtmised suudavad kompenseerida lineaarset, piiratud juhtimist. Siin näitame, et tugevdusõpe võib selliseid tagasisidestrateegiaid edukalt avastada ilma eelnevate teadmisteta. Illustreerime seda oleku ettevalmistamiseks õõnsuses, mille suhtes kohaldatakse footonite arvu kvant-mitte-lammutamise tuvastamist ja mille juhtimiseks on lihtne lineaarne ajam. Fock olekuid saab luua ja stabiliseerida väga suure täpsusega. Võimalik on isegi jõuda superpositsiooni olekuteni, eeldusel, et saab juhtida ka erinevate Focki olekute mõõtmiskiirusi.
Esiletõstetud pilt: RL-i algoritmi skeemid. RL-agent saab õõnsuse kvantolekule rakendada ainult lihtsat lineaarset juhtimist, meie puhul nihet. Mittelineaarne nõrk mõõtmine võimaldab agendil juhtida süsteemi keeruliste superpositsioonide suunas. Siin on näidatud $frac{|1rangle+|3rangle}{sqrt{2}}$ Wigneri funktsioon. RL agenti modelleeritakse edasisuunalise närvivõrguga.
Populaarne kokkuvõte
► BibTeX-i andmed
► Viited
[1] Navin Khaneja, Timo Reiss, Cindie Kehlet, Thomas Schulte-Herbrüggen ja Steffen J. Glaser. "Seotud spindünaamika optimaalne juhtimine: NMR-impulssjärjestuste kujundamine gradiendi tõusualgoritmide abil". Journal of Magnetic Resonance 172, 296–305 (2005).
https:///doi.org/10.1016/j.jmr.2004.11.004
[2] P. de Fouquieres, SG Schirmer, SJ Glaser ja Ilja Kuprov. "Teise järgu gradiendi tõusuimpulsside projekteerimine". Journal of Magnetic Resonance 212, 412–417 (2011).
https:///doi.org/10.1016/j.jmr.2011.07.023
[3] AC Doherty ja K. Jacobs. "Kvantsüsteemide tagasiside juhtimine pideva olekuhinnangu abil". Phys. Rev. A 60, 2700–2711 (1999).
https:///doi.org/10.1103/PhysRevA.60.2700
[4] Pavel Bushev, Daniel Rotter, Alex Wilson, François Dubin, Christoph Becher, Jürgen Eschner, Rainer Blatt, Viktor Steixner, Peter Rabl ja Peter Zoller. "Ühe lõksus oleva iooni tagasiside jahutamine". Phys. Rev. Lett. 96, 043003 (2006).
https:///doi.org/10.1103/physrevlett.96.043003
[5] Howard M. Wiseman ja Gerard J. Milburn. "Kvantmõõtmine ja juhtimine". Cambridge University Press. Cambridge (2009).
https:///doi.org/10.1017/CBO9780511813948
[6] GG Gillett, RB Dalton, BP Lanyon, MP Almeida, M. Barbieri, GJ Pryde, JL O'Brien, KJ Resch, SD Bartlett ja AG White. "Nõrkade mõõtmiste abil kvantsüsteemide eksperimentaalne tagasiside juhtimine". Phys. Rev. Lett. 104, 080503 (2010).
https:///doi.org/10.1103/physrevlett.104.080503
[7] Clément Sayrin, Igor Dotsenko, Xingxing Zhou, Bruno Peaudecerf, Théo Rybarczyk, Sébastien Gleyzes, Pierre Rouchon, Mazyar Mirrahimi, Hadis Amini, Michel Brune, Jean-Michel Raimond ja Serge Haroche. "Reaalajas kvanttagasiside valmistab ette ja stabiliseerib footonite arvu olekuid." Nature 477, 73–77 (2011).
https:///doi.org/10.1038/nature10376
[8] P. Campagne-Ibarcq, E. Flurin, N. Roch, D. Darson, P. Morfin, M. Mirrahimi, MH Devoret, F. Mallet ja B. Huard. "Ülijuhtiva kubiidi püsiv juhtimine stroboskoopilise mõõtmise tagasiside abil". Phys. Rev. X 3, 021008 (2013).
https:///doi.org/10.1103/physrevx.3.021008
[9] Nissim Ofek, Andrei Petrenko, Reinier Heeres, Philip Reinhold, Zaki Leghtas, Brian Vlastakis, Yehan Liu, Luigi Frunzio, SM Girvin, L. Jiang, Mazyar Mirrahimi, MH Devoret ja RJ Schoelkopf. "Kvantbiti eluea pikendamine ülijuhtivate ahelate veaparandusega". Nature 536, 441–445 (2016).
https:///doi.org/10.1038/nature18949
[10] Massimiliano Rossi, David Mason, Junxin Chen, Yeghishe Tsaturyan ja Albert Schliesser. "Mehaanilise liikumise mõõtmispõhine kvantjuhtimine". Nature 563, 53–58 (2018).
https://doi.org/10.1038/s41586-018-0643-8
[11] Shay Hacohen-Gourgy ja Leigh S. Martin. "Pidevad mõõtmised ülijuhtivate kvantahelate juhtimiseks". Edusammud füüsikas: X 5, 1813626 (2020). arXiv:2009.07297.
https:///doi.org/10.1080/23746149.2020.1813626
arXiv: 2009.07297
[12] Alessio Fallani, Matteo AC Rossi, Dario Tamascelli ja Marco G. Genoni. "Kvantmetroloogia tagasiside kontrollistrateegiate õppimine". PRX Quantum 3, 020310 (2022).
https:///doi.org/10.1103/PRXQuantum.3.020310
[13] Richard S. Sutton ja Andrew G. Barto. „Tugevõpe, teine trükk: sissejuhatus”. MIT Press. (2018). url: http:///incompleteideas.net/book/the-book.html.
http:///incompleteideas.net/book/the-book.html
[14] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King , Dharshan Kumaran, Daan Wierstra, Shane Legg ja Demis Hassabis. "Inimtasandi kontroll läbi sügava tugevdamise õppimise". Nature 518, 529–533 (2015).
https:///doi.org/10.1038/nature14236
[15] Tuomas Haarnoja, Sehoon Ha, Aurick Zhou, Jie Tan, George Tucker ja Sergey Levine. "Kõndima õppimine sügava tugevdava õppe kaudu" (2019). arXiv:1812.11103.
arXiv: 1812.11103
[16] Thomas Fösel, Petru Tighineanu, Talitha Weiss ja Florian Marquardt. "Närvivõrkudega õppimise tugevdamine kvanttagasiside jaoks". Phys. Rev. X 8, 031084 (2018).
https:///doi.org/10.1103/physrevx.8.031084
[17] Chunlin Chen, Daoyi Dong, Han-Xiong Li, Jian Chu ja Tzyh-Jong Tarn. "Truudusepõhine tõenäosuslik Q-õpe kvantsüsteemide juhtimiseks". IEEE Transactions on Neural Networks and Learning Systems 25, 920–933 (2014).
https:///doi.org/10.1109/tnnls.2013.2283574
[18] Moritz August ja José Miguel Hernández-Lobato. "Gradientide võtmine katsete kaudu: LSTM-id ja mälu proksimaalse poliitika optimeerimine musta kasti kvantkontrolli jaoks". Rio Yokotas, High Performance Computingi toimetajad Michèle Weiland, John Shalf ja Sadaf Alam. Lk 591–613. Loengukonspektid in Computer ScienceCham (2018). Springer International Publishing.
https://doi.org/10.1007/978-3-030-02465-9_43
[19] Marin Bukov, Alexandre GR Day, Dries Sels, Phillip Weinberg, Anatoli Polkovnikov ja Pankaj Mehta. "Tugevdamine õppimise kvantkontrolli erinevates faasides". Phys. Rev. X 8, 031086 (2018). arXiv:1705.00565.
https:///doi.org/10.1103/physrevx.8.031086
arXiv: 1705.00565
[20] Riccardo Porotti, Dario Tamascelli, Marcello Restelli ja Enrico Prati. "Kvantolekute sidus transport sügava tugevdamise õppimise abil". Commun Phys 2, 1–9 (2019).
https:///doi.org/10.1038/s42005-019-0169-x
[21] Murphy Yuezhen Niu, Sergio Boixo, Vadim N. Smelyanskiy ja Hartmut Neven. "Universaalne kvantkontroll sügava tugevdamise õppimise kaudu". npj Quantum Information 5, 1–8 (2019).
https://doi.org/10.1038/s41534-019-0141-3
[22] Zheng An ja DL Zhou. "Kvantvärava juhtimise sügav tugevdusõpe". EPL 126, 60002 (2019).
https://doi.org/10.1209/0295-5075/126/60002
[23] Han Xu, Junning Li, Liqiang Liu, Yu Wang, Haidong Yuan ja Xin Wang. "Generaliseeritav juhtimine kvantparameetrite hindamiseks tugevdusõppe kaudu". npj Quantum Inf 5, 1–8 (2019).
https:///doi.org/10.1038/s41534-019-0198-z
[24] Juan Miguel Arrazola, Thomas R. Bromley, Josh Izaac, Casey R. Myers, Kamil Brádler ja Nathan Killoran. "Masinõppe meetod oleku ettevalmistamiseks ja värava sünteesiks fotoonilistes kvantarvutites". Quantum Sci. Technol. 4, 024004 (2019).
https:///doi.org/10.1088/2058-9565/aaf59e
[25] L. O'Driscoll, R. Nichols ja PA Knott. "Hübriidne masinõppe algoritm kvantkatsete kavandamiseks". Quantum Mach. Intell. 1, 5–15 (2019).
https://doi.org/10.1007/s42484-019-00003-8
[26] Thomas Fösel, Stefan Krastanov, Florian Marquardt ja Liang Jiang. "Tõhus õõnsuse juhtimine SNAP-väravatega" (2020). arXiv:2004.14256.
arXiv: 2004.14256
[27] Mogens Dalgaard, Felix Motzoi, Jens Jakob Sørensen ja Jacob Sherson. "Kvantdünaamika globaalne optimeerimine AlphaZero süvauuringuga". npj Quantum Inf 6, 6 (2020).
https://doi.org/10.1038/s41534-019-0241-0
[28] Hailan Ma, Daoyi Dong, Steven X. Ding ja Chunlin Chen. “Õppekavapõhine sügavtugevdamine kvantkontrolliks” (2021). arXiv:2012.15427.
arXiv: 2012.15427
[29] Zheng An, Hai-Jing Song, Qi-Kai He ja DL Zhou. "Mitmetasandiliste hajutavate kvantsüsteemide kvantoptimaalne juhtimine koos tugevdusõppega". Phys. Rev. A 103, 012404 (2021).
https:///doi.org/10.1103/physreva.103.012404
[30] Yuval Baum, Mirko Amico, Sean Howell, Michael Hush, Maggie Liuzzi, Pranav Mundada, Thomas Merkh, Andre RR Carvalho ja Michael J. Biercuk. "Eksperimentaalne sügavtugevdusõpe ülijuhtivas kvantarvutis veakindla väravakomplekti kujundamiseks". PRX Quantum 2, 040324 (2021).
https:///doi.org/10.1103/PRXQuantum.2.040324
[31] Thomas Fösel, Murphy Yuezhen Niu, Florian Marquardt ja Li Li. "Kvantahela optimeerimine sügava tugevdamise õppimisega" (2021). arXiv:2103.07585.
arXiv: 2103.07585
[32] E. Flurin, LS Martin, S. Hacohen-Gourgy ja I. Siddiqi. "Korduva närvivõrgu kasutamine ülijuhtiva kubiidi kvantdünaamika rekonstrueerimiseks füüsilistest vaatlustest". Physical Review X 10 (2020).
https:///doi.org/10.1103/physrevx.10.011006
[33] DT Lennon, H. Moon, LC Camenzind, Liuqi Yu, DM Zumbühl, G. a. D. Briggs, MA Osborne, EA Laird ja N. Ares. "Kvantseadme tõhus mõõtmine masinõppe abil". npj Quantum Information 5, 1–8 (2019).
https://doi.org/10.1038/s41534-019-0193-4
[34] Kyunghoon Jung, MH Abobeih, Jiwon Yun, Gyeonghun Kim, Hyunseok Oh, Ang Henry, TH Taminiau ja Dohun Kim. "Sügav õppimine täiustas individuaalset tuumapöörete tuvastamist". npj Quantum Inf 7, 1–9 (2021).
https://doi.org/10.1038/s41534-021-00377-3
[35] V Nguyen. "Sügav tugevdusõpe kvantseadmete tõhusaks mõõtmiseks". npj Quantum InformationPage 9 (2021).
https:///doi.org/10.1038/s41534-021-00434-x
[36] Alexander Hentschel ja Barry C. Sanders. "Masinõpe täpseks kvantmõõtmiseks". Phys. Rev. Lett. 104, 063603 (2010).
https:///doi.org/10.1103/physrevlett.104.063603
[37] M. Tiersch, EJ Ganahl ja HJ Briegel. "Adaptiivne kvantarvutus muutuvates keskkondades projektiivse simulatsiooni abil". Sci Rep 5, 12874 (2015).
https:///doi.org/10.1038/srep12874
[38] Pantita Palittapongarnpim, Peter Wittek, Ehsan Zahedinejad, Shakib Vedaie ja Barry C. Sanders. "Kvantjuhtimise õppimine: kõrgmõõtmeline globaalne optimeerimine mürarikka kvantdünaamika jaoks". Neurocomputing 268, 116–126 (2017).
https:///doi.org/10.1016/j.neucom.2016.12.087
[39] Jelena Mackeprang, Durga B. Rao Dasari ja Jörg Wrachtrup. "Tugevdusõppe lähenemisviis kvantolekutehnoloogia jaoks". Quantum Mach. Intell. 2, 5 (2020).
https://doi.org/10.1007/s42484-020-00016-8
[40] Christian Sommer, Muhammad Asjad ja Claudiu Genes. "Tugevdusõppe väljavaated paljude mehaaniliste režiimide samaaegseks summutamiseks". Sci Rep 10, 2623 (2020).
https:///doi.org/10.1038/s41598-020-59435-z
[41] Zhikang T. Wang, Yuto Ashida ja Masahito Ueda. "Kvantkartulite sügava tugevdamise õppimise juhtimine". Phys. Rev. Lett. 125, 100401 (2020).
https:///doi.org/10.1103/PhysRevLett.125.100401
[42] Sangkha Borah, Bijita Sarma, Michael Kewming, Gerard J. Milburn ja Jason Twamley. "Mõõtmispõhine tagasiside kvantkontroll koos sügava tugevdamise õppimisega topeltkaevu mittelineaarse potentsiaali jaoks". Phys. Rev. Lett. 127, 190403 (2021).
https:///doi.org/10.1103/PhysRevLett.127.190403
[43] VV Sivak, A. Eickbusch, H. Liu, B. Royer, I. Tsioutsios ja MH Devoret. "Mudelivaba kvantkontroll koos tugevdava õppega". Phys. Rev. X 12, 011059 (2022).
https:///doi.org/10.1103/PhysRevX.12.011059
[44] Antoine Essig, Quentin Ficheux, Théau Peronnin, Nathanaël Cottet, Raphaël Lescanne, Alain Sarlette, Pierre Rouchon, Zaki Leghtas ja Benjamin Huard. "Multipleksitud footonite arvu mõõtmine". Phys. Rev. X 11, 031045 (2021).
https:///doi.org/10.1103/PhysRevX.11.031045
[45] B. Peaudecerf, C. Sayrin, X. Zhou, T. Rybarczyk, S. Gleyzes, I. Dotsenko, JM Raimond, M. Brune ja S. Haroche. "Kvanttagasiside katsed, mis stabiliseerivad valguse Focki olekuid õõnsuses". Phys. Rev. A 87, 042320 (2013).
https:///doi.org/10.1103/physreva.87.042320
[46] X. Zhou, I. Dotsenko, B. Peaudecerf, T. Rybarczyk, C. Sayrin, S. Gleyzes, JM Raimond, M. Brune ja S. Haroche. "Kvanttagasiside ühe footoni parandusega välja lukustatud fookusolekusse". Phys. Rev. Lett. 108, 243602 (2012).
https:///doi.org/10.1103/physrevlett.108.243602
[47] Jacob C. Curtis, Connor T. Hann, Salvatore S. Elder, Christopher S. Wang, Luigi Frunzio, Liang Jiang ja Robert J. Schoelkopf. "Mikrolaine footonite ühe võttega tuvastamine koos vea vähendamisega". Phys. Rev. A 103, 023705 (2021).
https:///doi.org/10.1103/physreva.103.023705
[48] Christine Guerlin, Julien Bernu, Samuel Deléglise, Clément Sayrin, Sébastien Gleyzes, Stefan Kuhr, Michel Brune, Jean-Michel Raimond ja Serge Haroche. "Progressiivne välja-oleku kokkuvarisemine ja kvant-mitte-lammutamise footonite loendamine". Nature 448, 889–893 (2007).
https:///doi.org/10.1038/nature06057
[49] BR Johnson, MD Reed, AA Houck, DI Schuster, Lev S. Bishop, E. Ginossar, JM Gambetta, L. DiCarlo, L. Frunzio, SM Girvin ja RJ Schoelkopf. "Ühe mikrolaine footonite kvant-mittelammutamine vooluringis". Nature Phys 6, 663–667 (2010).
https:///doi.org/10.1038/nphys1710
[50] B. Peaudecerf, T. Rybarczyk, S. Gerlich, S. Gleyzes, JM Raimond, S. Haroche, I. Dotsenko ja M. Brune. Footonite arvu adaptiivne kvant-mittelammutamine. Phys. Rev. Lett. 112, 080401 (2014).
https:///doi.org/10.1103/physrevlett.112.080401
[51] Crispin Gardiner ja Peter Zoller. "Kvantmüra: Markovi ja mitte-Markovi kvantstohhastiliste meetodite käsiraamat kvantoptika rakendustega". Springeri seeria Synergetics. Springer-Verlag. Berliin Heidelberg (2004). Kolmas väljaanne. url: link.springer.com/book/9783540223016.
https:///link.springer.com/book/9783540223016
[52] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford ja Oleg Klimov. "Proksimaalsed poliitika optimeerimise algoritmid" (2017). arXiv:1707.06347.
arXiv: 1707.06347
[53] John Schulman, Sergey Levine, Philipp Moritz, Michael I. Jordan ja Pieter Abbeel. “Usalda piirkonnapoliitika optimeerimist” (2017). arXiv:1502.05477.
arXiv: 1502.05477
[54] Ashley Hill, Antonin Raffin, Maximilian Ernestus, Adam Gleave, Anssi Kanervisto, Rene Traore, Prafulla Dhariwal, Christopher Hesse, Oleg Klimov, Alex Nichol, Matthias Plappert, Alec Radford, John Schulman, Szymon Sidor ja Yuhuai Wu. "Stabiilsed lähtejooned". url: github.com/hill-a/stable-baselines.
https:///github.com/hill-a/stable-baselines
[55] Weizhou Cai, Yuwei Ma, Weiting Wang, Chang-Ling Zou ja Luyan Sun. "Bosoonilised kvantveaparanduskoodid ülijuhtivates kvantahelates". Fundamental Research 1, 50–67 (2021).
https:///doi.org/10.1016/j.fmre.2020.12.006
[56] FAM de Oliveira, MS Kim, PL Knight ja V. Buek. "Niirutatud numbriolekute omadused". Physical Review A 41, 2645–2652 (1990).
https:///doi.org/10.1103/physreva.41.2645
[57] Michael Martin Nieto. "Ümberasustatud ja pigistatud numbririigid". Physics Letters A 229, 135–143 (1997). arXiv:quant-ph/9612050.
https://doi.org/10.1016/s0375-9601(97)00183-7
arXiv:quant-ph/9612050
Viidatud
[1] Anna Dawid, Julian Arnold, Borja Requena, Alexander Gresch, Marcin Płodzień, Kaelan Donatella, Kim A. Nicoli, Paolo Stornati, Rouven Koch, Miriam Büttner, Robert Okuła, Gorka Muñoz-Gil, Rodrigo A. Vargas-Hernández, Alba Cervera-Lierta, Juan Carrasquilla, Vedran Dunjko, Marylou Gabrié, Patrick Huembeli, Evert van Nieuwenburg, Filippo Vicentini, Lei Wang, Sebastian J. Wetzel, Giuseppe Carleo, Eliška Greplová, Roman Krems, Florian Marquardt, Michał Tomza, Maciej Lewenstein ja Alexandre Dauphin, "Masinõppe kaasaegsed rakendused kvantteadustes", arXiv: 2204.04198.
[2] Riccardo Porotti, Vittorio Peano ja Florian Marquardt, "Gradient Ascent Impulse Engineering with Feedback", arXiv: 2203.04271.
[3] Luigi Giannelli, Pierpaolo Sgroi, Jonathon Brown, Gheorghe Sorin Paraoanu, Mauro Paternostro, Elisabetta Paladino ja Giuseppe Falci, „Õpetus kvanttehnoloogiate optimaalsete juhtimis- ja tugevdamisõppemeetodite kohta”, Physics Letters A 434, 128054 (2022).
[4] Björn Annby-Andersson, Faraj Bakhshinezhad, Debankur Bhattacharyya, Guilherme De Sousa, Christopher Jarzynski, Peter Samuelsson ja Patrick P. Potts, "Quantum Fokker-Plancki põhivõrrand pideva tagasiside juhtimiseks". arXiv: 2110.09159.
[5] Alessio Fallani, Matteo AC Rossi, Dario Tamascelli ja Marco G. Genoni, „Learning Feedback Control Strategies for Quantum Metrology”, „Learning Feedback Control Strategies for Quantum Metrology”, PRX Quantum 3 2, 020310 (2022).
[6] Paolo Andrea Erdman ja Frank Noé, "Musta kasti kvantsoojusmasinate juhtimine optimaalsete võimsuse/tõhususe kompromissidega, kasutades tugevdusõpet", arXiv: 2204.04785.
[7] David A. Herrera-Martí, „Poliitilise gradiendi lähenemine variatiivsete kvantahelate koostamisele”, arXiv: 2111.10227.
Ülaltoodud tsitaadid on pärit SAO/NASA KUULUTUSED (viimati edukalt värskendatud 2022-07-22 01:21:35). Loend võib olla puudulik, kuna mitte kõik väljaandjad ei esita sobivaid ja täielikke viiteandmeid.
On Crossrefi viidatud teenus teoste viitamise andmeid ei leitud (viimane katse 2022-07-22 01:21:34).
See raamat on avaldatud Quantum all Creative Commons Attribution 4.0 International (CC BY 4.0) litsents. Autoriõigus jääb algsetele autoriõiguste valdajatele, näiteks autoritele või nende institutsioonidele.
