Redke nevronske mreže kažejo fizike na koristne podatke | Revija Quanta

Recimo, da imate tisoč strani dolgo knjigo, vendar ima vsaka stran samo eno vrstico besedila. Podatke iz knjige bi morali izluščiti s pomočjo optičnega bralnika, le da ta optični bralnik sistematično pregleduje vsako stran in skenira en kvadratni palec naenkrat. S tem optičnim bralnikom bi vzeli veliko časa, da bi pregledali celotno knjigo, in večino tega časa bi porabili za skeniranje praznega prostora. 

Takšno je življenje marsikaterega eksperimentalnega fizika. Pri poskusih z delci detektorji zajamejo in analizirajo ogromne količine podatkov, čeprav le majhen del teh vsebuje koristne informacije. "Na fotografiji, na primer ptice, ki leti v nebo, je lahko vsaka slikovna pika pomembna," je pojasnil Kazuhiro Terao, fizik v SLAC National Accelerator Laboratory. Toda na slikah, ki jih fizik gleda, je pogosto pomemben le majhen del. V takšnih okoliščinah preučevanje vsake podrobnosti po nepotrebnem porablja čas in računalniške vire.

Toda to se začenja spreminjati. Z orodjem za strojno učenje, znanim kot redka konvolucijska nevronska mreža (SCNN), se lahko raziskovalci osredotočijo na ustrezne dele svojih podatkov in izločijo preostale. Raziskovalci so ta omrežja uporabili za močno pospešitev njihove zmožnosti analize podatkov v realnem času. In nameravajo uporabiti SCNN v prihajajočih ali obstoječih poskusih na vsaj treh celinah. Zamenjava pomeni zgodovinsko spremembo za skupnost fizikov. 

"V fiziki smo navajeni razvijati lastne algoritme in računalniške pristope," je dejal Carlos Argüelles-Delgado, fizik na univerzi Harvard. "Vedno smo bili v ospredju razvoja, toda zdaj, na računalniškem koncu stvari, je računalništvo pogosto vodilno." 

Redki znaki

Delo, ki bi vodilo do SCNN, se je začelo leta 2012, ko Benjamin Graham, takrat na Univerzi v Warwicku, je želel izdelati nevronsko mrežo, ki bi prepoznala kitajsko pisavo. 

Glavna orodja v tistem času za naloge, povezane s slikami, kot je ta, so bile konvolucijske nevronske mreže (CNN). Za nalogo kitajskega rokopisa bi pisatelj izrisal črko na digitalni tablici in ustvaril sliko, recimo 10,000 slikovnih pik. CNN bi nato premaknil mrežo 3 krat 3, imenovano jedro, po celotni sliki in središče jedra na vsako slikovno piko posebej. Za vsako postavitev jedra bi omrežje izvedlo zapleten matematični izračun, imenovan konvolucija, ki išče razlikovalne značilnosti.

CNN so bili zasnovani za uporabo s slikami, ki so bogate z informacijami, kot so fotografije. Toda slika, ki vsebuje kitajski znak, je večinoma prazna; raziskovalci podatke s to lastnostjo imenujejo redki. To je običajna značilnost vsega v naravnem svetu. "Za primer, kako redek je lahko svet," je dejal Graham, če bi Eifflov stolp zaprli v najmanjši možni pravokotnik, bi ta pravokotnik sestavljal "99.98 % zraka in samo 0.02 % železa."

Graham je poskušal prilagoditi pristop CNN, tako da bi bilo jedro postavljeno samo na 3x3 odseke slike, ki vsebujejo vsaj eno slikovno piko z vrednostjo, ki ni nič (in ni samo prazna). Na ta način mu je uspelo izdelati sistem, ki bi lahko učinkovito identificiral ročno napisano kitajščino. Zmagal je na tekmovanju leta 2013 z identifikacijo posameznih znakov s stopnjo napake le 2.61 %. (Ljudje so v povprečju dosegli 4.81 %.) Nato se je osredotočil na še večji problem: prepoznavanje tridimenzionalnih predmetov.

Do leta 2017 se je Graham preselil v Facebook AI Research in še bolj izpopolnil svojo tehniko in objavljeno o Podrobnosti za prvi SCNN, ki je jedro osredotočil samo na slikovne pike, ki so imele različno vrednost (namesto da bi postavilo jedro na kateri koli odsek 3 krat 3, ki je imel vsaj eno "neničelno" slikovno piko). To splošno idejo je Terao prinesel v svet fizike delcev.

Underground Shots

Terao je vključen v eksperimente v Fermi National Accelerator Laboratory, ki preiskujejo naravo nevtrinov, med najbolj nedosegljivimi znanimi osnovnimi delci. So tudi najpogostejši delci v vesolju z maso (čeprav ne veliko), vendar se le redko pojavijo v detektorju. Posledično je večina podatkov za eksperimente z nevtrini redkih in Terao je nenehno iskal boljše pristope k analizi podatkov. Enega je našel v SCNN.

Leta 2019 je uporabil SCNN za simulacije podatkov, pričakovanih iz eksperimenta Deep Underground Neutrino Experiment ali DUNE, ki bo največji fizikalni eksperiment nevtrinov na svetu, ko bo na spletu leta 2026. Projekt bo izstrelil nevtrine iz Fermilaba, tik pred Chicagom, skozi 800 milj zemlje do podzemnega laboratorija v Južni Dakoti. Med potjo bodo delci "nihali" med tremi znanimi vrstami nevtrinov in ta nihanja lahko razkrijejo podrobne lastnosti nevtrinov.

SCNN-ji so analizirali simulirane podatke hitreje kot običajne metode in so pri tem zahtevali bistveno manj računske moči. Obetavni rezultati pomenijo, da bodo SCNN verjetno uporabljeni med dejanskim poskusom.

Leta 2021 je medtem Terao pomagal dodati SCNN k drugemu eksperimentu z nevtrini v Fermilabu, znanem kot MicroBooNE. Tukaj si znanstveniki ogledajo posledice trkov med nevtrini in jedri atomov argona. S preučevanjem sledi, ki jih ustvarijo te interakcije, lahko raziskovalci sklepajo na podrobnosti o prvotnih nevtrinih. Da bi to naredili, potrebujejo algoritem, ki lahko pogleda slikovne pike (ali, tehnično, njihove tridimenzionalne dvojnike, imenovane vokseli) v tridimenzionalni predstavitvi detektorja in nato določi, katere slikovne pike so povezane s trajektorijami delcev.

Ker so podatki tako redki - drobcene črte v velikem detektorju (približno 170 ton tekočega argona) - so SCNN skoraj popolni za to nalogo. S standardnim CNN bi bilo treba sliko razdeliti na 50 kosov zaradi vseh izračunov, ki jih je treba narediti, je dejal Terao. "Z redkim CNN-om analiziramo celotno sliko naenkrat - in to veliko hitreje."

Pravočasni sprožilci

Eden od raziskovalcev, ki je delal na MicroBooNE, je bil dodiplomski pripravnik po imenu Felix Yu. Navdušen nad močjo in učinkovitostjo SCNN, je orodje prinesel s seboj na svoje naslednje delovno mesto kot podiplomski študent v Harvardskem raziskovalnem laboratoriju, ki je uradno povezan z observatorijem za nevtrine IceCube na južnem polu.

Eden od ključnih ciljev observatorija je prestreči najbolj energične nevtrine v vesolju in jih izslediti nazaj do njihovih virov, od katerih večina leži zunaj naše galaksije. Detektor je sestavljen iz 5,160 optičnih senzorjev, zakopanih v antarktičnem ledu, od katerih le majhen del zasveti v danem trenutku. Preostali del niza ostane temen in ni posebej informativen. Še huje, veliko "dogodkov", ki jih zabeležijo detektorji, je lažno pozitivnih in neuporabnih za lov na nevtrine. Le tako imenovani dogodki na ravni sprožilcev so primerni za nadaljnjo analizo in sprejeti je treba takojšnje odločitve o tem, kateri so vredni te oznake in kateri bodo trajno prezrti.

Standardni CNN-i so prepočasni za to nalogo, zato so se znanstveniki IceCube dolgo zanašali na algoritem, imenovan LineFit, ki jim je povedal o potencialno uporabnih zaznavah. Toda ta algoritem je nezanesljiv, je dejal Yu, "kar pomeni, da bi lahko zamudili zanimive dogodke." Spet je to okolje z redkimi podatki, ki je idealno za SCNN.

Yu – skupaj z Argüelles-Delgado, njegovim doktorskim svetovalcem, in Jeffom Lazarjem, podiplomskim študentom na Univerzi Wisconsin v Madisonu – je kvantificiral to prednost, ki se je pokazala v nedavni članek da bi bila ta omrežja približno 20-krat hitrejša od običajnih CNN. "To je dovolj hitro, da teče ob vsakem dogodku, ki pride iz detektorja," približno 3,000 vsako sekundo, je dejal Lazar. "To nam omogoča sprejemanje boljših odločitev o tem, kaj zavreči in kaj obdržati."

Avtorji so prav tako uspešno uporabili SCNN v simulaciji z uporabo uradnih podatkov IceCube, naslednji korak pa je testiranje njihovega sistema na replici računalniškega sistema South Pole. Če bo šlo vse po sreči, Argüelles-Delgado verjame, da bi morali naslednje leto svoj sistem namestiti na antarktični observatorij. Toda tehnologija bi lahko imela še širšo uporabo. "Menimo, da bi [SCNN lahko koristili] vsem nevtrinskim teleskopom, ne samo IceCube," je dejal Argüelles-Delgado.

Onkraj nevtrinov

Philip Harris, fizik na tehnološkem inštitutu v Massachusettsu, upa, da bodo SCNN lahko pomagali pri največjem trkalniku delcev od vseh: velikem hadronskem trkalniku (LHC) v CERN-u. Harris je za tovrstno nevronsko mrežo slišal od kolega z MIT, računalničarja Song Hana. "Song je strokovnjak za hitre in učinkovite algoritme," je dejal Harris - kot nalašč za LHC, kjer se vsako sekundo zgodi 40 milijonov trkov.

Ko sta govorila pred nekaj leti, je Song Harrisu povedal o projektu avtonomnega vozila, ki ga izvaja s člani svojega laboratorija. Songova ekipa je uporabljala SCNN za analizo 3D laserskih zemljevidov prostora pred vozilom, ki je večinoma praznega, da bi ugotovila, ali so pred njim kakšne ovire.

Harris in njegovi kolegi se soočajo s podobnimi izzivi na LHC. Ko dva protona trčita znotraj stroja, trk ustvari kroglo, ki se širi iz delcev. Ko eden od teh delcev zadene zbiralnik, pride do sekundarne prhe delcev. "Če lahko načrtujete celoten obseg tega tuša," je dejal Harris, "lahko določite energijo delca, ki ga je povzročil," kar bi lahko bil predmet posebnega zanimanja - nekaj podobnega kot Higgsov bozon, ki ga fiziki odkrit leta 2012, ali delec temne snovi, ki ga fiziki še vedno iščejo.

"Problem, ki ga poskušamo rešiti, je povezan s povezovanjem pik," je dejal Harris, tako kot lahko samovozeči avtomobil poveže pike laserskega zemljevida, da zazna oviro.

SCNN bi pospešil analizo podatkov na LHC za vsaj faktor 50, je dejal Harris. »Naš končni cilj je spraviti [SCNN] v detektor« — naloga, ki bo zahtevala vsaj eno leto papirologije in dodatno sodelovanje skupnosti. Toda on in njegovi kolegi upajo.

Na splošno je vse bolj verjetno, da bodo SCNN – ideja, ki je bila prvotno zasnovana v svetu računalništva – kmalu igrala vlogo v največjih eksperimentih, ki so jih kdaj izvedli v fiziki nevtrinov (DUNE), astronomiji nevtrinov (IceCube) in fiziki visokih energij (LHC). .

Graham je dejal, da je bil prijetno presenečen, ko je izvedel, da so se SCNN prebili v fiziko delcev, čeprav ni bil popolnoma šokiran. "V abstraktnem smislu," je dejal, "je delec, ki se giblje v vesolju, podoben konici peresa, ki se premika po listu papirja."