ترانسفورماتورهای بینایی کوانتومی

ترانسفورماتورهای بینایی کوانتومی

تمبر زمان: 22 فوریه 2024، 8:34 صبح

الامین شرات1، یوردانیس کرنیدیس1,2، ناتانش ماتور1,2, جوناس لندمن3,2، مارتین استرام4، و یون یوونا لی4

1IRIF، CNRS - Université Paris Cité، فرانسه
2QC Ware، پالو آلتو، ایالات متحده آمریکا و پاریس، فرانسه
3دانشکده انفورماتیک، دانشگاه ادینبورگ، اسکاتلند، انگلستان
4F. Hoffmann La Roche AG

این مقاله را جالب می دانید یا می خواهید بحث کنید؟ SciRate را ذکر کنید یا در SciRate نظر بدهید.

چکیده

در این کار، ترانسفورماتورهای کوانتومی با گسترش پیشرفته‌ترین معماری‌های شبکه عصبی ترانسفورماتور کلاسیک طراحی و تحلیل می‌شوند که در پردازش زبان طبیعی و تحلیل تصویر بسیار کارآمد هستند. با تکیه بر کار قبلی، که از مدارهای کوانتومی پارامتری برای بارگذاری داده ها و لایه های عصبی متعامد استفاده می کند، ما سه نوع ترانسفورماتور کوانتومی را برای آموزش و استنتاج معرفی می کنیم، از جمله یک ترانسفورماتور کوانتومی مبتنی بر ماتریس های ترکیبی، که مزیت نظری مکانیسم توجه کوانتومی را تضمین می کند. در مقایسه با همتای کلاسیک خود هم از نظر زمان اجرا مجانبی و هم از نظر تعداد پارامترهای مدل. این معماری‌های کوانتومی را می‌توان با استفاده از مدارهای کوانتومی کم عمق ساخته و مدل‌های طبقه‌بندی کیفی متفاوتی را تولید کرد. سه لایه توجه کوانتومی پیشنهادی در طیفی که از ترانسفورماتورهای کلاسیک پیروی می‌کنند و ویژگی‌های کوانتومی بیشتری را نشان می‌دهند، متفاوت هستند. به عنوان بلوک‌های سازنده ترانسفورماتور کوانتومی، ما یک روش جدید برای بارگذاری یک ماتریس به‌عنوان حالت‌های کوانتومی و همچنین دو لایه متعامد کوانتومی قابل آموزش جدید که با سطوح مختلف اتصال و کیفیت رایانه‌های کوانتومی سازگار هستند، پیشنهاد می‌کنیم. ما شبیه‌سازی‌های گسترده‌ای از ترانسفورماتورهای کوانتومی بر روی مجموعه داده‌های استاندارد تصویر پزشکی انجام دادیم که عملکرد رقابتی و گاهی بهتر را در مقایسه با معیارهای کلاسیک، از جمله بهترین ترانسفورماتورهای بینایی کلاسیک در کلاس، نشان دادند. ترانسفورماتورهای کوانتومی که ما روی این مجموعه داده های مقیاس کوچک آموزش دادیم، در مقایسه با معیارهای استاندارد کلاسیک، به پارامترهای کمتری نیاز دارند. در نهایت، ما ترانسفورماتورهای کوانتومی خود را بر روی رایانه‌های کوانتومی ابررسانا پیاده‌سازی کردیم و نتایج دلگرم‌کننده‌ای برای حداکثر شش آزمایش کیوبیت به دست آوردیم.

ترانسفورماتورهای بینایی کوانتومی هوش داده پلاتو بلاک چین. جستجوی عمودی Ai.

تصویر ویژه: مدار کوانتومی برای اجرای یک لایه توجه از ترانسفورماتور مرکب. یک بارگذار داده ماتریسی و به دنبال آن یک لایه کوانتومی متعامد.

خلاصه محبوب

در این مطالعه، ما پتانسیل محاسبات کوانتومی را برای بهبود معماری شبکه‌های عصبی، با تمرکز بر ترانسفورماتورها، که به دلیل اثربخشی آنها در کارهایی مانند پردازش زبان و تجزیه و تحلیل تصویر شناخته می‌شوند، بررسی می‌کنیم. ما سه نوع ترانسفورماتور کوانتومی را معرفی می کنیم که از مدارهای کوانتومی پارامتریزه شده و لایه های عصبی متعامد استفاده می کنند. این ترانسفورماتورهای کوانتومی، تحت برخی مفروضات (مثلاً اتصال سخت افزاری)، از نظر تئوری می توانند مزایایی نسبت به همتایان کلاسیک از نظر زمان اجرا و پارامترهای مدل ارائه دهند. برای ایجاد این مدار کوانتومی، ما یک روش جدید برای بارگذاری ماتریس ها به عنوان حالت های کوانتومی ارائه می کنیم و دو لایه متعامد کوانتومی قابل آموزش را معرفی می کنیم که با قابلیت های مختلف کامپیوتر کوانتومی سازگار هستند. آنها به مدارهای کوانتومی کم عمق نیاز دارند و می توانند به ایجاد مدل های طبقه بندی با ویژگی های منحصر به فرد کمک کنند. شبیه‌سازی‌های گسترده در مجموعه داده‌های تصویر پزشکی، عملکرد رقابتی را در مقایسه با معیارهای کلاسیک، حتی با پارامترهای کمتر، نشان می‌دهد. علاوه بر این، آزمایش‌ها بر روی رایانه‌های کوانتومی ابررسانا نتایج امیدوارکننده‌ای به دست می‌دهد.

► داده های BibTeX

◄ مراجع

[1] جیکوب بیامونته، پیتر ویتک، نیکولا پانکوتی، پاتریک ربنتروست، ناتان ویبه و ست لوید. "یادگیری ماشین کوانتومی". Nature 549, 195–202 (2017).
https://doi.org/​10.1038/​nature23474

[2] آیریس کونگ، سون وون چوی و میخائیل دی لوکین. "شبکه های عصبی کانولوشن کوانتومی". Nature Physics 15، 1273-1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] کیشور بهارتی، آلبا سرورا-لیرتا، تی ها کیاو، توبیاس هاگ، سامنر آلپرین لیا، آبیناو آناند، ماتیاس دگروت، هرمانی هیمونن، یاکوب اس کوتمن، تیم منکه، و همکاران. "الگوریتم های کوانتومی در مقیاس متوسط ​​نویز". بررسی های فیزیک مدرن 94, 015004 (2022).
https://doi.org/​10.1103/​RevModPhys.94.015004

[4] مارکو سرزو، اندرو آراسمیت، رایان بابوش، سایمون سی بنجامین، سوگورو اندو، کیسوکه فوجی، جارود آر مک‌کلین، کوسوکه میتارای، شیائو یوان، لوکاس سینسیو، و همکاران. الگوریتم های کوانتومی متغیر Nature Reviews Physics 3، 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] جوناس لندمن، ناتانش ماتور، یون یوونا لی، مارتین استرام، اسکندر کازداغلی، آنوپام پراکاش و یوردانیس کرنیدیس. "روش های کوانتومی برای شبکه های عصبی و کاربرد در طبقه بندی تصاویر پزشکی". Quantum 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] بابک کیانی، رندال بالستریرو، یان لیکان و ست لوید. "projunn: روش کارآمد برای آموزش شبکه های عمیق با ماتریس های واحد". پیشرفت‌ها در سیستم‌های پردازش اطلاعات عصبی 35، 14448-14463 (2022).

[7] آشیش واسوانی، نوام شزیر، نیکی پارمار، یاکوب اوسکوریت، لیون جونز، آیدان ان گومز، لوکاس قیزر و ایلیا پولوسوکین. "توجه تنها چیزی است که نیاز دارید". پیشرفت در سیستم های پردازش اطلاعات عصبی 30 (2017).

[8] جیکوب دولین، مینگ وی چانگ، کنتون لی و کریستینا توتانووا. «برت: پیش‌آموزش ترانسفورماتورهای دوطرفه عمیق برای درک زبان» (2018).

[9] الکسی دوسوویتسکی، لوکاس بیر، الکساندر کولسنیکوف، دیرک وایسنبورن، شیائوهوا ژای، توماس آنترتینر، مصطفی دهقانی، ماتیاس میندرر، گئورگ هیگلد، سیلوین گلی، یاکوب اوسکوریت و نیل هولزبی. "یک تصویر ارزش 16×16 کلمه دارد: ترانسفورماتور برای تشخیص تصویر در مقیاس". کنفرانس بین المللی بازنمایی های یادگیری (2021). آدرس اینترنتی: openreview.net/​forum?id=YicbFdNTTy.
https://openreview.net/​forum?id=YicbFdNTTy

[10] یی تای، مصطفی دهقانی، دارا بحری و دونالد متزلر. ترانسفورماتورهای کارآمد: بررسی ACM Computing Surveys (CSUR) (2020).
https://doi.org/​10.1145/​3530811

[11] زمیتری بهداناو، کیونگهیون چو و یوشوا بنجیو. "ترجمه ماشین عصبی با یادگیری مشترک تراز و ترجمه" (2016). arXiv:1409.0473 [cs, stat].
arXiv: 1409.0473

[12] J. Schmidhuber. "کاهش نسبت بین پیچیدگی یادگیری و تعداد متغیرهای متغیر زمانی در شبکه های کاملا مکرر". در Stan Gielen و Bert Kappen، ویراستاران، ICANN '93. صفحات 460-463. لندن (1993). اسپرینگر.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] یورگن اشمیدهابر. "یادگیری کنترل حافظه های با وزن سریع: جایگزینی برای شبکه های تکرارشونده پویا". محاسبات عصبی 4، 131-139 (1992).
https://doi.org/​10.1162/​neco.1992.4.1.131

[14] پیتر چا، پل گینسپارگ، فلیکس وو، خوان کاراسکیلا، پیتر ال مک ماهون و یون آه کیم. "توموگرافی کوانتومی مبتنی بر توجه". یادگیری ماشین: علم و فناوری 3، 01LT01 (2021).
https://doi.org/​10.1088/​2632-2153/​ac362b

[15] ریکاردو دی سیپیو، جیا هونگ هوانگ، ساموئل ین چی چن، استفانو مانگینی و مارسل ورینگ. طلوع پردازش زبان طبیعی کوانتومی. در ICASSP 2022-2022 کنفرانس بین المللی IEEE در مورد آکوستیک، گفتار و پردازش سیگنال (ICASSP). صفحات 8612–8616. IEEE (2022).
https://doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] گوانگشی لی، ژوانچیانگ ژائو و شین وانگ. "شبکه های عصبی خودتوجه کوانتومی برای طبقه بندی متن" (2022).

[17] فابیو سانچس، شان واینبرگ، تاکانوری آیده و کازومیتسو کامیا. مدارهای کوانتومی کوتاه در سیاست های یادگیری تقویتی برای مشکل مسیریابی خودرو بررسی فیزیکی A 105, 062403 (2022).
https://doi.org/​10.1103/​PhysRevA.105.062403

[18] یوان فو یانگ و مین سان. "تشخیص نقص نیمه هادی با یادگیری عمیق ترکیبی کلاسیک-کوانتومی". CVPRPages 2313–2322 (2022).
https://doi.org/​10.1109/​CVPR52688.2022.00236

[19] ماکسول هندرسون، سامریدی شاکیا، شاشیندرا پرادان و تریستان کوک. "شبکه های عصبی Quanvolutional: قدرت تشخیص تصویر با مدارهای کوانتومی". هوش ماشین کوانتومی 2، 1 تا 9 (2020).
https://doi.org/​10.1007/​s42484-020-00012-y

[20] ادوارد فرهی و هارتموت نون. "طبقه بندی با شبکه های عصبی کوانتومی در پردازنده های کوتاه مدت" (2018). آدرس اینترنتی: doi.org/​10.48550/​arXiv.1802.06002.
https://doi.org/​10.48550/​arXiv.1802.06002

[21] کوسوکه میتارای، ماکوتو نگورو، ماساهیرو کیتاگاوا و کیسوکه فوجی. "یادگیری مدار کوانتومی". بررسی فیزیکی A 98, 032309 (2018).
https://doi.org/​10.1103/​PhysRevA.98.032309

[22] کوی جیا، شوآی لی، یوکسین ون، تونگلیانگ لیو و داچنگ تائو. "شبکه های عصبی عمیق متعامد". تراکنش های IEEE بر روی تحلیل الگو و هوش ماشینی (2019).
https://doi.org/​10.1109/​TPAMI.2019.2948352

[23] راجر هورن و چارلز آر جانسون. "تحلیل ماتریسی". انتشارات دانشگاه کمبریج. (2012).
https://doi.org/​10.1017/​CBO9780511810817

[24] یوردانیس کرنیدیس و آنوپام پراکاش. "یادگیری ماشین کوانتومی با حالات زیرفضایی" (2022).

[25] بروکس فاکسن، چارلز نیل، اندرو دانسورث، پدرام روشن، بن کیارو، آنتونی مگرنت، جولیان کلی، زیجون چن، کوین ساتزینگر، رامی بارندز و دیگران. "نمایش مجموعه ای پیوسته از دروازه های دو کیوبیتی برای الگوریتم های کوانتومی کوتاه مدت". Physical Review Letters 125, 120504 (2020).
https://doi.org/​10.1103/​PhysRevLett.125.120504

[26] سونیکا جوهری، شانتانو دبنات، آویناش موچرلا، الکساندروس سینگ، آنوپام پراکاش، یونگ سانگ کیم و یوردانیس کرنیدیس. "نزدیک ترین طبقه بندی مرکز در یک کامپیوتر کوانتومی یونی به دام افتاده". npj Quantum Information 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] جیمز دبلیو کولی و جان دبلیو توکی. "الگوریتمی برای محاسبه ماشین سری فویر پیچیده". ریاضیات محاسبات 19، 297-301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] لی جینگ، یچن شن، تنا دوبچک، جان پیوریفوی، اسکات آ. اسکیرلو، یان لکون، مکس تگمارک و مارین سولیاسیچ. "شبکه های عصبی واحد کارآمد قابل تنظیم (eunn) و کاربرد آنها برای rnns". در کنفرانس بین المللی یادگیری ماشین. (2016). آدرس اینترنتی: api.semanticscholar.org/​CorpusID:5287947.
https://api.semanticscholar.org/​CorpusID:5287947

[29] لئو مونبروسو، یوناس لندمن، الکس بی گریلو، رومن کوکلا و الهام کاشفی. "آموزش پذیری و بیان مدارهای کوانتومی حفظ وزن hamming-weight برای یادگیری ماشین" (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] انریکو فونتانا، دیلان هرمان، شووانیک چاکرابارتی، نیراج کومار، رومینا یالووتزکی، جیمی هرج، شری هاری سورشبابو و مارکو پیستویا. "ضمیمه تمام چیزی است که شما نیاز دارید: مشخص کردن فلات های بایر در کوانتوم آنتسه" (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] مایکل راگون، بوژکو ن. باکالوف، فردریک سوواژ، الکساندر اف. کمپر، ​​کارلوس اورتیز ماررو، مارتین لاروکا و ام. سرزو. "نظریه یکپارچه فلات های بی حاصل برای مدارهای کوانتومی پارامتری عمیق" (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] شوچن تو و شیائودی وو. «مینیمم های محلی بسیار زیاد در شبکه های عصبی کوانتومی». در کنفرانس بین المللی یادگیری ماشین. صفحات 12144-12155. PMLR (2021).

[33] اریک آر. آنشوتز و بابک توسی کیانی. "الگوریتم های تغییرات کوانتومی با تله ها غرق شده اند". Nature Communications 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] ایلیا او. "Mlp-Mixer: معماری تمام mlp برای دید". در NeurIPS. (2021).

[35] جیانچنگ یانگ، روی شی و بینگ بینگ نی. "دهگانه طبقه بندی Medmnist: یک معیار سبک وزن برای تجزیه و تحلیل تصویر پزشکی" (2020).
https://doi.org/​10.1109/​ISBI48211.2021.9434062

[36] جیانچنگ یانگ، روئی شی، دونگلای وی، زکوان لیو، لین ژائو، بیلیان که، هانسپیتر فیستر و بینگ بینگ نی. "Medmnist v2 - یک معیار سبک وزن در مقیاس بزرگ برای طبقه بندی تصاویر زیست پزشکی دو بعدی و سه بعدی". داده های علمی 2، 3 (10).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] آنجلوس کاتاروپولوس، آپورو ویاس، نیکولاس پاپاس و فرانسوا فلوره. ترانسفورماتورها rnns هستند: ترانسفورماتورهای اتورگرسیو سریع با توجه خطی. در کنفرانس بین المللی یادگیری ماشین. صفحات 5156–5165. PMLR (2020).

[38] جیمز بردبری، روی فراستیگ، پیتر هاوکینز، متیو جیمز جانسون، کریس لیری، دوگال ماکلورین، جورج نکولا، آدام پاسکه، جیک واندرپلاس، اسکای واندرمن-میلن، و کیائو ژانگ. "JAX: تبدیل‌های قابل ترکیب برنامه‌های Python+NumPy". Github (2018). آدرس اینترنتی: http://github.com/​google/jax.
http://github.com/​google/​jax

[39] دیدریک پی کینگما و جیمی با. "آدام: روشی برای بهینه سازی تصادفی". CoRR abs/1412.6980 (2015).

[40] هیون وو نو، تاکگن یو، جونگوان مون و بوهیونگ هان. تنظیم شبکه های عصبی عمیق با نویز: تفسیر و بهینه سازی آن NeurIPS (2017).

[41] شو یینگ. مروری بر بیش از حد برازش و راه حل های آن در مجله فیزیک: مجموعه کنفرانس. جلد 1168 صفحه 022022. IOP Publishing (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

ذکر شده توسط

[1] دیوید پرال گارسیا، خوان کروز-بنیتو، و فرانسیسکو خوزه گارسیا-پنالوو، "بررسی ادبیات سیستماتیک: یادگیری ماشین کوانتومی و کاربردهای آن"، arXiv: 2201.04093, (2022).

[2] ال امین چرات، اسنهال راج، یوردانیس کرنیدیس، آبیشک شکار، بن وود، جان دی، شووانیک چاکرابارتی، ریچارد چن، دیلان هرمان، شائوهان هو، پیر مینسن، روسلان شایدولین، یوه سان، رومینا یالووتزکی و مارکو پیستویا، "پرچین عمیق کوانتومی" Quantum 7, 1191 (2023).

[3] لئو مونبروسو، جوناس لندمن، الکس بی. گریلو، رومن کوکلا و الهام کاشفی، "آموزش پذیری و بیان مدارهای کوانتومی حفظ وزن همینگ برای یادگیری ماشین"، arXiv: 2309.15547, (2023).

[4] Sohum Thakkar، Skander Kazdaghli، Natansh Mathur، Iordanis Kerenidis، André J. Ferreira-Martins و Samurai Brito، "پیش بینی مالی بهبود یافته از طریق یادگیری ماشین کوانتومی"، arXiv: 2306.12965, (2023).

[5] جیسون ایاکونیس و سونیک جوهری، «بارگذاری داده‌های کوانتومی کارآمد تصاویر مبتنی بر شبکه تانسور»، arXiv: 2310.05897, (2023).

[6] Nishant Jain، Jonas Landman، Natansh Mathur و Iordanis Kerenidis، "شبکه های فوریه کوانتومی برای حل PDE های پارامتریک" arXiv: 2306.15415, (2023).

[7] دانیل ماستروپیترو، جورجیوس کورپاس، ویاچسلاو کونگورتسف، و یاکوب مارسک، "Fleming-Viot به سرعت بخشیدن به الگوریتم‌های کوانتومی متغیر در حضور فلات‌های بی‌ثمر کمک می‌کند". arXiv: 2311.18090, (2023).

[8] Aliza U. Siddiqui، Kaitlin Gili و Chris Ballance، "تأکید بر سخت افزار کوانتومی مدرن: ارزیابی عملکرد و بینش اجرا"، arXiv: 2401.13793, (2024).

نقل قول های بالا از SAO/NASA Ads (آخرین به روز رسانی با موفقیت 2024-02-22 13:37:43). فهرست ممکن است ناقص باشد زیرا همه ناشران داده های استنادی مناسب و کاملی را ارائه نمی دهند.

واکشی نشد داده های استناد شده متقاطع در آخرین تلاش 2024-02-22 13:37:41: داده های استناد شده برای 10.22331/q-2024-02-22-1265 از Crossref دریافت نشد. اگر DOI اخیراً ثبت شده باشد، طبیعی است.

این مقاله در Quantum تحت عنوان منتشر شده است Creative Commons Attribution 4.0 International (CC BY 4.0) مجوز. حق چاپ نزد دارندگان حق چاپ اصلی مانند نویسندگان یا مؤسسات آنها باقی می ماند.

تمبر زمان:

بیشتر از مجله کوانتومی