Rețelele neuronale rare indică fizicienii către date utile | Revista Quanta

Să presupunem că aveți o carte de o mie de pagini, dar fiecare pagină are doar o singură linie de text. Ar trebui să extrageți informațiile conținute în carte folosind un scaner, doar acest scaner particular trece sistematic prin fiecare pagină, scanând câte un centimetru pătrat la un moment dat. Ți-ar lua mult timp să parcurgi toată cartea cu acel scaner, iar cea mai mare parte a timpului s-ar pierde scanând spațiul gol. 

Aceasta este viața multor fizicieni experimentali. În experimentele cu particule, detectoarele captează și analizează cantități mari de date, chiar dacă doar o mică parte din acestea conține informații utile. „Într-o fotografie a, să zicem, o pasăre care zboară pe cer, fiecare pixel poate avea sens”, a explicat Kazuhiro Terao, fizician la Laboratorul Național de Accelerator SLAC. Dar în imaginile la care se uită un fizician, adesea doar o mică parte din ele contează de fapt. În astfel de circumstanțe, examinarea atentă a fiecărui detaliu consumă inutil timp și resurse de calcul.

Dar asta începe să se schimbe. Cu un instrument de învățare automată cunoscut sub numele de rețea neuronală convoluțională rară (SCNN), cercetătorii se pot concentra asupra părților relevante ale datelor lor și pot elimina restul. Cercetătorii au folosit aceste rețele pentru a-și accelera considerabil capacitatea de a face analize de date în timp real. Și intenționează să folosească SCNN-uri în experimentele viitoare sau existente pe cel puțin trei continente. Comutatorul marchează o schimbare istorică pentru comunitatea fizicii. 

„În fizică, suntem obișnuiți să ne dezvoltăm proprii algoritmi și abordări computaționale”, a spus Carlos Argüelles-Delgado, fizician la Universitatea Harvard. „Am fost întotdeauna în fruntea dezvoltării, dar acum, în ceea ce privește calculul, informatica este adesea în frunte.” 

Caractere rare

Lucrarea care avea să ducă la SCNN-uri a început în 2012, când Benjamin Graham, pe atunci de la Universitatea din Warwick, a vrut să creeze o rețea neuronală care să recunoască scrisul de mână chinezesc. 

Instrumentele principale la acea vreme pentru sarcini legate de imagini precum aceasta erau rețelele neuronale convoluționale (CNN). Pentru sarcina de scriere de mână chineză, un scriitor ar urmări un caracter pe o tabletă digitală, producând o imagine de, să zicem, 10,000 de pixeli. CNN ar muta apoi o grilă de 3 pe 3 numită nucleu pe întreaga imagine, centrând nucleul pe fiecare pixel individual. Pentru fiecare plasare a nucleului, rețeaua ar efectua un calcul matematic complicat numit convoluție care a căutat caracteristici distinctive.

CNN-urile au fost concepute pentru a fi utilizate cu imagini dense de informații, cum ar fi fotografii. Dar o imagine care conține un caracter chinezesc este în mare parte goală; cercetătorii se referă la datele cu această proprietate ca fiind rare. Este o caracteristică comună a oricărui lucru din lumea naturală. „Pentru a da un exemplu despre cât de rară poate fi lumea”, a spus Graham, dacă Turnul Eiffel ar fi încadrat în cel mai mic dreptunghi posibil, acel dreptunghi ar fi format din „99.98% aer și doar 0.02% fier”.

Graham a încercat să modifice abordarea CNN, astfel încât nucleul să fie plasat doar pe secțiuni de 3 pe 3 ale imaginii care conțin cel puțin un pixel care are o valoare diferită de zero (și nu este doar gol). În acest fel, el a reușit să producă un sistem care ar putea identifica eficient chineza scrisă de mână. A câștigat o competiție în 2013 prin identificarea personajelor individuale cu o rată de eroare de doar 2.61%. (Oamenii au obținut 4.81% în medie.) Apoi și-a îndreptat atenția către o problemă și mai mare: recunoașterea obiectelor tridimensionale.

Până în 2017, Graham a trecut la Facebook AI Research și și-a perfecționat și mai mult tehnica și publicat il detalii pentru primul SCNN, care a centrat nucleul numai pe pixeli care aveau o valoare diferită de zero (în loc să plaseze nucleul pe orice secțiune de 3 pe 3 care avea cel puțin un pixel „diferit de zero”). Această idee generală a fost pe care Terao a adus-o în lumea fizicii particulelor.

Fotografii subterane

Terao este implicat în experimente la Laboratorul Național de Accelerator Fermi care sondează natura neutrinilor, printre cele mai evazive particule elementare cunoscute. Sunt, de asemenea, cele mai abundente particule din univers cu masă (deși nu mult), dar rar apar în interiorul unui detector. Ca urmare, majoritatea datelor pentru experimentele cu neutrini sunt rare, iar Terao a căutat constant abordări mai bune pentru analiza datelor. A găsit unul în SCNN-uri.

În 2019, el a aplicat SCNN-urile la simulările datelor așteptate de la Deep Underground Neutrino Experiment, sau DUNE, care va fi cel mai mare experiment de fizică a neutrinilor din lume când va fi online în 2026. Proiectul va trage neutrini din Fermilab, chiar în afara Chicago, prin 800 de mile de pământ până la un laborator subteran din Dakota de Sud. Pe parcurs, particulele vor „oscila” între cele trei tipuri cunoscute de neutrini, iar aceste oscilații pot dezvălui proprietăți detaliate ale neutrinilor.

SCNN-urile au analizat datele simulate mai repede decât metodele obișnuite și au necesitat mult mai puțină putere de calcul pentru a face acest lucru. Rezultatele promițătoare înseamnă că SCNN-urile vor fi probabil utilizate în timpul realizării experimentale.

Între timp, în 2021, Terao a contribuit la adăugarea SCNN-urilor la un alt experiment cu neutrini la Fermilab cunoscut sub numele de MicroBooNE. Aici, oamenii de știință se uită la consecințele coliziunilor dintre neutrini și nucleele atomilor de argon. Examinând urmele create de aceste interacțiuni, cercetătorii pot deduce detalii despre neutrinii originali. Pentru a face acest lucru, au nevoie de un algoritm care să poată privi pixelii (sau, din punct de vedere tehnic, omologii lor tridimensionali numiți voxeli) într-o reprezentare tridimensională a detectorului și apoi să determine ce pixeli sunt asociați cu ce traiectorii de particule.

Deoarece datele sunt atât de rare - un pumn de linii minuscule într-un detector mare (aproximativ 170 de tone de argon lichid) - SCNN-urile sunt aproape perfecte pentru această sarcină. Cu un CNN standard, imaginea ar trebui să fie împărțită în 50 de bucăți, din cauza tuturor calculelor care trebuie făcute, a spus Terao. „Cu un CNN rar, analizăm întreaga imagine simultan – și o facem mult mai rapid.”

Declanșatoare în timp util

Unul dintre cercetătorii care a lucrat la MicroBooNE a fost un stagiar pe nume Felix Yu. Impresionat de puterea și eficiența SCNN-urilor, el a adus instrumentele cu el la următorul său loc de muncă ca student absolvent la un laborator de cercetare Harvard afiliat oficial cu Observatorul de neutrini IceCube de la Polul Sud.

Unul dintre obiectivele cheie ale observatorului este acela de a intercepta cei mai energici neutrini ai universului și de a le urmări până la sursele lor, dintre care majoritatea se află în afara galaxiei noastre. Detectorul este compus din 5,160 de senzori optici îngropați în gheața antarctică, dintre care doar o mică parte se aprinde la un moment dat. Restul matricei rămâne întunecat și nu este deosebit de informativ. Mai rău, multe dintre „evenimentele” pe care detectoarele le înregistrează sunt fals pozitive și nu sunt utile pentru vânătoarea de neutrini. Doar așa-numitele evenimente la nivel de declanșare fac limita pentru analize ulterioare și trebuie luate decizii instantanee cu privire la care sunt demne de această desemnare și care vor fi ignorate permanent.

CNN-urile standard sunt prea lente pentru această sarcină, așa că oamenii de știință IceCube s-au bazat de mult timp pe un algoritm numit LineFit pentru a le spune despre detectările potențial utile. Dar acel algoritm nu este de încredere, a spus Yu, „ceea ce înseamnă că am putea rata evenimente interesante”. Din nou, este un mediu de date rar, potrivit ideal pentru un SCNN.

Yu — împreună cu Argüelles-Delgado, consilierul său de doctorat, și Jeff Lazar, un student absolvent la Universitatea din Wisconsin, Madison — au cuantificat acest avantaj, arătând în o lucrare recentă că aceste rețele ar fi de aproximativ 20 de ori mai rapide decât CNN-urile obișnuite. „Este suficient de rapid pentru a rula la fiecare eveniment care iese din detector”, aproximativ 3,000 în fiecare secundă, a spus Lazar. „Aceasta ne permite să luăm decizii mai bune despre ce să aruncăm și ce să păstrăm.”

Autorii au folosit cu succes un SCNN într-o simulare folosind date oficiale IceCube, iar următorul pas este să-și testeze sistemul pe o replică a sistemului de calcul de la Polul Sud. Dacă totul merge bine, Argüelles-Delgado consideră că ar trebui să-și instaleze sistemul la observatorul Antarctic anul viitor. Dar tehnologia ar putea avea o utilizare și mai largă. „Credem că [SCNN-urile ar putea beneficia] toate telescoapele cu neutrini, nu doar IceCube”, a spus Argüelles-Delgado.

Dincolo de neutrini

Philip Harris, fizician la Institutul de Tehnologie din Massachusetts, speră că SCNN-urile pot ajuta la cel mai mare ciocnitor de particule dintre ele: Large Hadron Collider (LHC) de la CERN. Harris a auzit despre acest tip de rețea neuronală de la un coleg de la MIT, informaticianul Song Han. „Song este un expert în realizarea algoritmilor rapidi și eficienți”, a spus Harris – perfect pentru LHC, unde au loc 40 de milioane de coliziuni în fiecare secundă.

Când au vorbit acum câțiva ani, Song i-a spus lui Harris despre un proiect de vehicul autonom pe care îl urmărea împreună cu membrii laboratorului său. Echipa lui Song folosea SCNN-uri pentru a analiza hărți laser 3D ale spațiului din fața vehiculului, dintre care o mare parte este gol, pentru a vedea dacă există obstacole în față.

Harris și colegii săi se confruntă cu provocări similare la LHC. Când doi protoni se ciocnesc în interiorul mașinii, accidentul creează o sferă în expansiune formată din particule. Când una dintre aceste particule lovește colectorul, are loc o ploaie secundară de particule. „Dacă puteți reprezenta întreaga amploare a acestui ploaie”, a spus Harris, „puteți determina energia particulei care i-a dat naștere”, care ar putea fi un obiect de interes special - ceva de genul bosonului Higgs, care fizicienii descoperită în 2012, sau o particulă de materie întunecată, pe care fizicienii încă o caută.

„Problema pe care încercăm să o rezolvăm se rezumă la conectarea punctelor”, a spus Harris, la fel cum o mașină care se conduce singur ar putea conecta punctele unei hărți laser pentru a detecta o obstrucție.

SCNN-urile ar accelera analiza datelor la LHC cu cel puțin un factor de 50, a spus Harris. „Obiectivul nostru final este să introducem [SCNN-urile] în detector” – o sarcină care va necesita cel puțin un an de documente și acceptare suplimentară din partea comunității. Dar el și colegii lui sunt plini de speranță.

În total, este din ce în ce mai probabil ca SCNN-urile – o idee concepută inițial în lumea informatică – să joace în curând un rol în cele mai mari experimente efectuate vreodată în fizica neutrinilor (DUNE), astronomia neutrinilor (IceCube) și fizica energiilor înalte (LHC) .

Graham a spus că a fost plăcut surprins să afle că SCNN-urile și-au făcut drum spre fizica particulelor, deși nu a fost total șocat. „Într-un sens abstract”, a spus el, „o particulă care se mișcă în spațiu este un pic ca vârful unui stilou care se mișcă pe o bucată de hârtie.”