קוונטים ראיית רובוטריקים

קוונטים ראיית רובוטריקים

חותמת זמן: 22 בפברואר 2024 8:34

אל אמין צ'רט1, Iordanis Kerenidis1,2, נתנש מאתור1,2, יונאס לנדמן3,2, מרטין שטרהם4, ויון איבונה לי4

1IRIF, CNRS – Université Paris Cité, צרפת
2QC Ware, פאלו אלטו, ארה"ב ופריז, צרפת
3בית הספר לאינפורמטיקה, אוניברסיטת אדינבורו, סקוטלנד, בריטניה
4F. Hoffmann La Roche AG

מצא את העיתון הזה מעניין או רוצה לדון? סקייט או השאירו תגובה ב- SciRate.

תַקצִיר

בעבודה זו, שנאים קוונטיים מתוכננים ומנתחים בפירוט על ידי הרחבת ארכיטקטורות רשתות עצביות של השנאים הקלאסיים המתקדמים הידועים כבעלי ביצועים גבוהים בעיבוד שפה טבעית וניתוח תמונה. בהתבסס על העבודה הקודמת, שמשתמשת במעגלים קוונטיים פרמטריים להעמסת נתונים ושכבות עצביות אורתוגונליות, אנו מציגים שלושה סוגים של שנאים קוונטיים לאימון והסקה, כולל שנאי קוונטי המבוסס על מטריצות מורכבות, המבטיח יתרון תיאורטי של מנגנון הקשב הקוונטי. בהשוואה למקבילם הקלאסי הן מבחינת זמן ריצה אסימפטוטי והן מבחינת מספר פרמטרי המודל. ניתן לבנות ארכיטקטורות קוונטיות אלו באמצעות מעגלים קוונטיים רדודים ולייצר מודלים סיווג איכותיים שונים. שלוש שכבות הקשב הקוונטיות המוצעות משתנות על הספקטרום בין מעקב מקרוב אחר השנאים הקלאסיים לבין הצגת מאפיינים קוונטיים יותר. כאבני בניין של השנאי הקוונטי, אנו מציעים שיטה חדשה לטעינת מטריצה ​​כמצבים קוונטיים וכן שתי שכבות אורתוגונליות קוונטיות חדשות הניתנות לאימון המתאימות לרמות שונות של קישוריות ואיכות של מחשבים קוונטיים. ביצענו סימולציות נרחבות של השנאים הקוונטיים על מערכי נתונים רפואיים סטנדרטיים של תמונות שהראו ביצועים תחרותיים ולעיתים טובים יותר בהשוואה לאמות המידה הקלאסיות, כולל שנאי הראייה הקלאסיים הטובים מסוגו. השנאים הקוונטיים שאימנו על מערכי נתונים בקנה מידה קטן אלה דורשים פחות פרמטרים בהשוואה לאמות מידה קלאסיות סטנדרטיות. לבסוף, יישמנו את השנאים הקוונטיים שלנו במחשבים קוונטיים מוליכים-על והשגנו תוצאות מעודדות של עד שישה ניסויי קיוביט.

Quantum Vision Transformers PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.

תמונה מוצגת: מעגל קוונטי לביצוע שכבת קשב אחת של ה-Comound Transformer. מטעין נתונים מטריצה ​​ואחריו שכבה קוונטית אורתוגונלית.

סיכום פופולרי

במחקר זה, אנו חוקרים את הפוטנציאל של מחשוב קוונטי לשיפור ארכיטקטורות רשתות עצביות, תוך התמקדות בשנאים, הידועים ביעילותם במשימות כמו עיבוד שפה וניתוח תמונה. אנו מציגים שלושה סוגים של שנאים קוונטיים, הממנפים מעגלים קוונטיים פרמטרים ושכבות עצביות אורתוגונליות. שנאים קוונטיים אלה, תחת כמה הנחות (למשל קישוריות חומרה), יכולים לספק תיאורטית יתרונות על פני עמיתים קלאסיים במונחים של זמן ריצה ופרמטרים של דגם. כדי ליצור מעגלים קוונטיים אלה, אנו מציגים שיטה חדשה לטעינת מטריצות כמצבים קוונטיים ומציגים שתי שכבות אורתוגונליות קוונטיות הניתנות לאימון המתאימות ליכולות מחשב קוונטיות שונות. הם דורשים מעגלים קוונטיים רדודים, ויכולים לעזור ליצור מודלים של סיווג עם מאפיינים ייחודיים. סימולציות נרחבות על מערכי נתונים רפואיים של תמונות מדגימות ביצועים תחרותיים בהשוואה לאמות מידה קלאסיות, אפילו עם פחות פרמטרים. בנוסף, ניסויים על מחשבים קוונטיים מוליכים מעלים תוצאות מבטיחות.

► נתוני BibTeX

► הפניות

[1] ג'ייקוב ביאמונטה, פיטר וויטק, ניקולה פנקוטי, פטריק רבנטרוסט, נתן ווייב וסת' לויד. "למידת מכונה קוונטית". טבע 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / nature23474

[2] איריס קונג, סוונוון צ'וי ומיכאיל די לוקין. "רשתות עצביות קוונטיות קוונטיות". טבע פיזיקה 15, 1273–1278 (2019).
https:/​/​doi.org/​10.1038/​s41567-019-0648-8

[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, et al. "אלגוריתמים קוונטיים רועשים בקנה מידה בינוני". ביקורות על פיזיקה מודרנית 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004

[4] מרקו סרזו, אנדרו אראסמית', ריאן באבוש, סיימון סי בנג'מין, סוגורו אנדו, קייסוקה פוג'י, ג'רוד אר מקלין, קוסוקה מיטראי, שיאו יואן, לוקאש צ'ינסיו ועוד. "אלגוריתמים קוונטיים וריאציוניים". Nature Reviews Physics 3, 625–644 (2021).
https:/​/​doi.org/​10.1038/​s42254-021-00348-9

[5] ג'ונאס לנדמן, נתנש מאתור, יון איבונה לי, מרטין סטראהם, סקנדר קזדג'לי, אנופאם פראקש ויורדניס קרנידיס. "שיטות קוונטיות לרשתות עצביות ויישום לסיווג תמונה רפואית". Quantum 6, 881 (2022).
https:/​/​doi.org/​10.22331/​q-2022-12-22-881

[6] בובאק קיאני, רנדל באלסטרירו, יאן לקון וסת' לויד. "projunn: שיטה יעילה לאימון רשתות עמוקות עם מטריצות אחידות". התקדמות במערכות עיבוד מידע עצבי 35, 14448–14463 (2022).

[7] אשיש ואסואני, נועם שזיר, ניקי פארמר, יאקוב אוסקורייט, ליון ג'ונס, איידן נ' גומז, לוקאש קייזר ואיליה פולוסוחין. "תשומת לב היא כל מה שאתה צריך". התקדמות במערכות עיבוד מידע עצבי 30 (2017).

[8] ג'ייקוב דוולין, מינג-וויי צ'אנג, קנטון לי וקריסטינה טוטנובה. "ברט: אימון מקדים של שנאים דו-כיווניים עמוקים להבנת שפה" (2018).

[9] אלכסיי דוסוביצקי, לוקאס בייר, אלכסנדר קולסניקוב, דירק וייסנבורן, שיאוהואה ז'אי, תומאס אונטרתינר, מוסטפה דהגני, מתיאס מינדרר, גאורג הייגולד, סילבן ג'לי, יעקב אוסקורייט וניל הולסבי. "תמונה שווה 16×16 מילים: רובוטריקים לזיהוי תמונה בקנה מידה". כנס בינלאומי על ייצוגי למידה (2021). כתובת אתר: openreview.net/​forum?id=YicbFdNTTy.
https://​/​openreview.net/​forum?id=YicbFdNTTy

[10] יי טיי, מוסטפא דהגני, דארה בהרי ודונלד מצלר. "שנאים יעילים: סקר". ACM Computing Surveys (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811

[11] דזמיטרי בהדנאו, קיונגהיון צ'ו ויושוע בנג'יו. "תרגום מכונה עצבית על ידי למידה משותפת ליישר ולתרגם" (2016). arXiv:1409.0473 [cs, stat].
arXiv: 1409.0473

[12] ג'יי שמידהובר. "הפחתת היחס בין מורכבות למידה ומספר משתנים משתנים בזמן ברשתות חוזרות לחלוטין". בסטן ג'ילן וברט קאפן, עורכים, ICANN '93. עמודים 460–463. לונדון (1993). ספרינגר.
https:/​/​doi.org/​10.1007/​978-1-4471-2063-6_110

[13] יורגן שמידהובר. "ללמוד לשלוט בזיכרונות בעלי משקל מהיר: אלטרנטיבה לרשתות חוזרות דינמיות". חישוב עצבי 4, 131–139 (1992).
https: / / doi.org/ 10.1162 / neco.1992.4.1.131

[14] פיטר צ'ה, פול גינספארג, פליקס וו, חואן קרסקילה, פיטר ל' מקמהון, ו-און-אה קים. "טומוגרפיה קוונטית מבוססת תשומת לב". למידת מכונה: מדע וטכנולוגיה 3, 01LT01 (2021).
https://doi.org/​10.1088/​2632-2153/​ac362b

[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini, ומרסל וורינג. "השחר של עיבוד השפה הטבעית הקוונטי". ב-ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). עמודים 8612–8616. IEEE (2022).
https:/​/​doi.org/​10.1109/​ICASSP43922.2022.9747675

[16] Guangxi Li, Xuanqiang Zhao, ו-Xin Wang. "רשתות עצביות קוונטיות של תשומת לב עצמית לסיווג טקסט" (2022).

[17] פאביו סאנצ'ס, שון ויינברג, Takanori Ide וקאזומיצו קמיה. "מעגלים קוונטיים קצרים במדיניות למידת חיזוק לבעיית ניתוב הרכב". סקירה פיזית A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403

[18] YuanFu Yang ו-Min Sun. "זיהוי פגמים במוליך למחצה על ידי למידה עמוקה קלאסית-קוונטית היברידית". CVPRPages 2313–2322 (2022).
https:/​/​doi.org/​10.1109/​CVPR52688.2022.00236

[19] מקסוול הנדרסון, סמרידהי שאקיה, ששינדרה פראדהאן וטריסטן קוק. "רשתות עצביות קוונטוליות: הפעלת זיהוי תמונה באמצעות מעגלים קוונטיים". Quantum Machine Intelligence 2, 1–9 (2020).
https: / doi.org/â € ‹10.1007 / s42484-020-00012-y

[20] אדוארד פרחי והרטמוט נבן. "סיווג עם רשתות עצביות קוונטיות על מעבדים לטווח הקרוב" (2018). כתובת אתר: doi.org/​10.48550/​arXiv.1802.06002.
https://​/​doi.org/​10.48550/​arXiv.1802.06002

[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa, ו-Keisuke Fujii. "למידת מעגלים קוונטיים". סקירה פיזית A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309

[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu ודאצ'נג טאו. "רשתות עצביות עמוקות אורתוגונליות". עסקאות IEEE בנושא ניתוח דפוסים ובינת מכונה (2019).
https: / / doi.org/ 10.1109 / TPAMI.2019.2948352

[23] רוג'ר א הורן וצ'רלס אר ג'ונסון. "ניתוח מטריקס". עיתונות אוניברסיטת קיימברידג'. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817

[24] Iordanis Kerenidis ו- Anupam Prakash. "למידת מכונה קוונטית עם מצבי תת-מרחב" (2022).

[25] ברוקס פוקסן, צ'ארלס ניל, אנדרו דונסוורת', פדרם רושאן, בן צ'יארו, אנתוני מגאנט, ג'וליאן קלי, ז'יון צ'ן, קווין סאצינגר, רמי בארנדס ועוד. "הדגמת קבוצה רציפה של שערים של שני קיוביט עבור אלגוריתמים קוונטיים לטווח הקרוב". Physical Review Letters 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504

[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim, Iordanis Kerenidis. "סיווג המרכז הקרוב ביותר במחשב קוונטי של יונים לכודים". npj Quantum Information 7, 122 (2021).
https:/​/​doi.org/​10.1038/​s41534-021-00456-5

[27] ג'יימס וו קולי וג'ון וו טוקי. "אלגוריתם לחישוב מכונה של סדרות פורייה מורכבות". מתמטיקה של חישוב 19, 297–301 (1965).
https:/​/​doi.org/​10.1090/​S0025-5718-1965-0178586-1

[28] לי ג'ינג, יצ'ן שן, טנה דובצ'ק, ג'ון פיוריפוי, סקוט א' סקירלו, יאן לקון, מקס טגמרק ומרין סוליאצ'יץ'. "ניתן לכוונן רשתות עצביות יחידתיות (eunn) ויישומה על rnns". בכנס בינלאומי על למידת מכונה. (2016). כתובת אתר: api.semanticscholar.org/​CorpusID:5287947.
https://​/​api.semanticscholar.org/​CorpusID:5287947

[29] לאו מונברוסו, יונאס לנדמן, אלכס ב.גרילו, רומיין קוקלה, ואלחם כשפי. "יכולת אימון וביטוי של מעגלים קוונטיים לשימור משקל המשמש ללמידת מכונה" (2023). arXiv:2309.15547.
arXiv: 2309.15547

[30] אנריקו פונטנה, דילן הרמן, שובניק צ'קרבארטי, ניראג' קומאר, רומינה יאלובצקי, ג'יימי הרדג', שרי הארי סורשבאבו ומרקו פיסטויה. "הצמוד הוא כל מה שאתה צריך: אפיון רמות עקרים ב-quantum ansätze" (2023). arXiv:2309.07902.
arXiv: 2309.07902

[31] מייקל רגונה, בויקו נ' בקאלוב, פרדריק סאווג', אלכסנדר פ. קמפר, קרלוס אורטיז מאררו, מרטין לארוקה ומ. סרזו. "תיאוריה מאוחדת של רמות עקרה עבור מעגלים קוונטיים בעלי פרמטרים עמוקים" (2023). arXiv:2309.09342.
arXiv: 2309.09342

[32] Xuchen You ושיאודי וו. "מינימום מקומיים רבים באופן אקספוננציאלי ברשתות עצביות קוונטיות". בכנס בינלאומי על למידת מכונה. עמודים 12144–12155. PMLR (2021).

[33] אריק ר' אנשווץ ובובאק טוסי קיאני. "אלגוריתמים וריאציות קוונטיים מוצפים במלכודות". תקשורת טבע 13 (2022).
https:/​/​doi.org/​10.1038/​s41467-022-35364-5

[34] איליה או. טולסטיקין, ניל הולסבי, אלכסנדר קולסניקוב, לוקאס בייר, שיאוהואה ז'אי, תומאס אונטרתינר, ג'סיקה יונג, דניאל קייסר, יאקוב אוסקורייט, מריו לוצ'יץ' ואלכסיי דוסוביצקי. "Mlp-mixer: ארכיטקטורת כל-mlp לחזון". ב-NeurIPS. (2021).

[35] Jiancheng Yang, Rui Shi, ובינגבינג Ni. "מדמניסט סיווג דקטלון: אמת מידה אוטומל קל משקל לניתוח תמונה רפואית" (2020).
https://doi.org/​10.1109/​ISBI48211.2021.9434062

[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister, ו-Bingbing Ni. "Medmnist v2 - אמת מידה קלת משקל בקנה מידה גדול לסיווג תמונות ביו-רפואיות דו-ממדיות ותלת-ממדיות". נתונים מדעיים 2, 3 (10).
https:/​/​doi.org/​10.1038/​s41597-022-01721-8

[37] אנג'לוס קתרופולוס, אפורב וויאס, ניקולאוס פאפאס ופרנסואה פלורה. "רובוטריקים הם rnns: שנאים אוטורגרסיביים מהירים עם תשומת לב ליניארית". בכנס בינלאומי על למידת מכונה. עמודים 5156–5165. PMLR (2020).

[38] ג'יימס ברדבורי, רוי פרוסטיג, פיטר הוקינס, מת'יו ג'יימס ג'ונסון, כריס לירי, דוגאל מקלאורין, ג'ורג' נקולה, אדם פאשקה, ג'ייק ונדרפלאס, סקאי וונדרמן-מיל וקיאו ג'אנג. "JAX: טרנספורמציות ניתנות לחיבור של תוכניות Python+NumPy". Github (2018). כתובת אתר: http://github.com/​google/​jax.
http: / / github.com/ google / jax

[39] Diederik P. Kingma וג'ימי בה. "אדם: שיטה לאופטימיזציה סטוכסטית". CoRR abs/​1412.6980 (2015).

[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun ובוהיונג האן. "הסדרת רשתות עצביות עמוקות על ידי רעש: הפרשנות והאופטימיזציה שלה". NeurIPS (2017).

[41] שו יינג. "סקירה של התאמת יתר ופתרונותיה". בכתב העת לפיזיקה: סדרת כנסים. כרך 1168, עמ' 022022. הוצאת IOP (2019).
https:/​/​doi.org/​10.1088/​1742-6596/​1168/​2/​022022

מצוטט על ידי

[1] דיוויד פרל גרסיה, חואן קרוז-בניטו ופרנסיסקו חוסה גרסיה-פניאלבו, "סקירת ספרות שיטתית: למידת מכונות קוונטיות ויישומיה", arXiv: 2201.04093, (2022).

[2] אל אמין צ'ראט, סנהאל ראג', אירורדניס קרנידיס, אבשישק שחר, בן ווד, ג'ון די, שובניק צ'קרבארטי, ריצ'רד צ'ן, דילן הרמן, שאוהן הו, פייר מינסן, רוסלן שידולין, יואה סאן, רומינה יאלובצקי ומרקו פיסטויה, "גידור קוונטי עמוק", קוונטום 7, 1191 (2023).

[3] לאו מונברוסו, ג'ונאס לנדמן, אלכס ב. גרילו, רומיין קוקלה, ואלחם קשפי, "יכולת אימון וביטוי של מעגלים קוונטיים לשימור משקל ללמידת מכונה", arXiv: 2309.15547, (2023).

[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins, ו- Samurai Brito, "שיפור חיזוי פיננסי באמצעות למידת מכונה קוונטית", arXiv: 2306.12965, (2023).

[5] ג'ייסון איאקוניס וסוניקה ג'והרי, "טעינת תמונות קוונטית יעילה מבוססת רשת טנזור", arXiv: 2310.05897, (2023).

[6] Nishant Jain, Jonas Landman, Natansh Mathur, Iordanis Kerenidis, "Quantum Fourier Networks for Solving Parametric PDEs", arXiv: 2306.15415, (2023).

[7] דניאל מסטרופיטרו, גאורגיוס קורפס, ויאצ'סלב קונגורסב ויעקוב מרצ'ק, "פלמינג-ויוט עוזר להאיץ אלגוריתמים קוונטיים וריאציות בנוכחות מישורים עקרים", arXiv: 2311.18090, (2023).

[8] עליזה או. סידיקי, קייטלין גילי וכריס באלנס, "להדגיש את החומרה הקוונטית המודרנית: הערכת ביצועים ותובנות ביצוע", arXiv: 2401.13793, (2024).

הציטוטים לעיל הם מ- מודעות SAO / NASA (עודכן לאחרונה בהצלחה 2024-02-22 13:37:43). הרשימה עשויה להיות שלמה מכיוון שלא כל בעלי האתרים מספקים נתוני ציטוט ראויים ומלאים.

לא ניתן היה להביא נתונים מצוטטים על ידי קרוסרף במהלך ניסיון אחרון 2024-02-22 13:37:41: לא ניתן היה להביא נתונים שהובאו עבור 10.22331 / q-2024-02-22-1265 מקרוסרף. זה נורמלי אם ה- DOI נרשם לאחרונה.

מאמר זה מתפרסם בקוונטים תחת התקציב ייחוס Creative Commons 4.0 הבינלאומי (CC BY 4.0) רישיון. זכויות יוצרים נשארות עם בעלי זכויות היוצרים המקוריים כמו המחברים או מוסדותיהם.

בול זמן:

עוד מ יומן קוונטים