Sparsomme nevrale nettverk peker fysikere på nyttige data | Quanta Magazine

Anta at du har en bok på tusen sider, men hver side har bare en enkelt tekstlinje. Det er meningen at du skal trekke ut informasjonen i boken ved hjelp av en skanner, bare denne skanneren går systematisk gjennom hver side og skanner én kvadrattomme om gangen. Det ville ta deg lang tid å komme gjennom hele boken med den skanneren, og mesteparten av den tiden ville være bortkastet med å skanne tom plass. 

Slik er livet til mang en eksperimentell fysiker. I partikkeleksperimenter fanger og analyserer detektorer enorme mengder data, selv om bare en liten brøkdel av den inneholder nyttig informasjon. "I et fotografi av for eksempel en fugl som flyr på himmelen, kan hver piksel være meningsfull," forklarte Kazuhiro Terao, en fysiker ved SLAC National Accelerator Laboratory. Men i bildene en fysiker ser på, er det ofte bare en liten del av det som betyr noe. Under slike omstendigheter krever det unødvendig tid og beregningsressurser å granske hver eneste detalj.

Men det begynner å endre seg. Med et maskinlæringsverktøy kjent som et sparsomt konvolusjonelt nevralt nettverk (SCNN), kan forskere fokusere på de relevante delene av dataene deres og sile ut resten. Forskere har brukt disse nettverkene til å akselerere deres evne til å utføre dataanalyse i sanntid. Og de planlegger å bruke SCNN-er i kommende eller eksisterende eksperimenter på minst tre kontinenter. Bryteren markerer en historisk endring for fysikksamfunnet. 

"I fysikk er vi vant til å utvikle våre egne algoritmer og beregningsmetoder," sa Carlos Argüelles-Delgado, fysiker ved Harvard University. "Vi har alltid vært i forkant av utviklingen, men nå, på beregningssiden av ting, er informatikk ofte ledende." 

Sparsomme karakterer

Arbeidet som skulle føre til SCNN-er begynte i 2012, da Benjamin Graham, da ved University of Warwick, ønsket å lage et nevralt nettverk som kunne gjenkjenne kinesisk håndskrift. 

De fremste verktøyene på den tiden for bilderelaterte oppgaver som dette var konvolusjonelle nevrale nettverk (CNN). For den kinesiske håndskriftoppgaven ville en forfatter spore en karakter på et digitalt nettbrett, og produsere et bilde på for eksempel 10,000 3 piksler. CNN ville deretter flytte et 3-til-XNUMX-rutenett kalt en kjerne over hele bildet, og sentrere kjernen på hver piksel individuelt. For hver plassering av kjernen ville nettverket utføre en komplisert matematisk beregning kalt en konvolusjon som så etter kjennetegn.

CNN-er ble designet for å brukes med informasjonsrike bilder som fotografier. Men et bilde som inneholder et kinesisk tegn er stort sett tomt; forskere refererer til data med denne egenskapen som sparsommelig. Det er et vanlig trekk ved alt i den naturlige verden. "For å gi et eksempel på hvor sparsom verden kan være," sa Graham, hvis Eiffeltårnet var innkapslet i et minste mulig rektangel, ville det rektangelet bestå av "99.98% luft og bare 0.02% jern."

Graham prøvde å finjustere CNN-tilnærmingen slik at kjernen bare ble plassert på 3 x 3 deler av bildet som inneholder minst én piksel som har en verdi som ikke er null (og ikke bare er tom). På denne måten lyktes han i å produsere et system som effektivt kunne identifisere håndskrevne kinesere. Den vant en konkurranse i 2013 ved å identifisere individuelle tegn med en feilrate på bare 2.61 %. (Mennesker scoret 4.81 % i gjennomsnitt.) Deretter vendte han oppmerksomheten mot et enda større problem: gjenkjennelse av tredimensjonale objekter.

I 2017 hadde Graham flyttet til Facebook AI Research og hadde videreutviklet teknikken sin og publisert de detaljer for den første SCNN, som sentrerte kjernen bare på piksler som ikke hadde en verdi som ikke var null (i stedet for å plassere kjernen på en hvilken som helst 3 x 3 seksjon som hadde minst én "ikke null" piksel). Det var denne generelle ideen Terao brakte til partikkelfysikkens verden.

Underjordiske skudd

Terao er involvert i eksperimenter ved Fermi National Accelerator Laboratory som undersøker naturen til nøytrinoer, blant de mest unnvikende kjente elementærpartiklene. De er også de mest tallrike partiklene i universet med masse (om enn ikke mye), men de dukker sjelden opp inne i en detektor. Som et resultat er de fleste dataene for nøytrinoeksperimenter sparsomme, og Terao var konstant på utkikk etter bedre tilnærminger til dataanalyse. Han fant en i SCNN.

I 2019 brukte han SCNN på simuleringer av dataene forventet fra Deep Underground Neutrino Experiment, eller DUNE, som vil være verdens største nøytrinofysikkeksperiment når det kommer online i 2026. Prosjektet vil skyte nøytrinoer fra Fermilab, like utenfor Chicago, gjennom 800 miles av jorden til et underjordisk laboratorium i South Dakota. Underveis vil partiklene "oscillere" mellom de tre kjente typene nøytrinoer, og disse svingningene kan avsløre detaljerte nøytrinoegenskaper.

SCNN-ene analyserte de simulerte dataene raskere enn vanlige metoder, og krevde betydelig mindre beregningskraft for å gjøre det. De lovende resultatene betyr at SCNN-er sannsynligvis vil bli brukt under den faktiske eksperimentelle kjøringen.

I 2021 hjalp Terao i mellomtiden med å legge SCNN-er til et annet nøytrinoeksperiment på Fermilab kjent som MicroBooNE. Her ser forskerne på kjølvannet av kollisjoner mellom nøytrinoer og kjernene til argonatomer. Ved å undersøke sporene som er skapt av disse interaksjonene, kan forskere utlede detaljer om de originale nøytrinoene. For å gjøre det trenger de en algoritme som kan se på pikslene (eller, teknisk sett, deres tredimensjonale motstykker kalt voxels) i en tredimensjonal representasjon av detektoren og deretter bestemme hvilke piksler som er assosiert med hvilke partikkelbaner.

Fordi dataene er så sparsomme – en snert av små linjer i en stor detektor (omtrent 170 tonn flytende argon) – er SCNN-er nesten perfekte for denne oppgaven. Med en standard CNN, ville bildet måtte deles opp i 50 deler, på grunn av all beregningen som skal gjøres, sa Terao. "Med et sparsomt CNN analyserer vi hele bildet på en gang - og gjør det mye raskere."

Tidlige utløsere

En av forskerne som jobbet på MicroBooNE var en undergraduate praktikant ved navn Felix Yu. Imponert over kraften og effektiviteten til SCNN-er, tok han med seg verktøyene til sin neste arbeidsplass som doktorgradsstudent ved et Harvard-forskningslaboratorium som formelt er tilknyttet IceCube Neutrino Observatory på Sydpolen.

Et av hovedmålene til observatoriet er å fange opp universets mest energiske nøytrinoer og spore dem tilbake til kildene deres, hvorav de fleste ligger utenfor galaksen vår. Detektoren består av 5,160 optiske sensorer begravet i den antarktiske isen, hvorav bare en liten brøkdel lyser opp til enhver tid. Resten av matrisen forblir mørk og er ikke spesielt informativ. Enda verre, mange av "hendelsene" som detektorene registrerer er falske positive og ikke nyttige for nøytrino-jakt. Bare såkalte trigger-nivå-hendelser tar veien for videre analyse, og det må tas umiddelbare beslutninger om hvilke som er verdig den betegnelsen og som vil bli permanent ignorert.

Standard CNN-er er for trege for denne oppgaven, så IceCube-forskere har lenge stolt på en algoritme kalt LineFit for å fortelle dem om potensielt nyttige deteksjoner. Men den algoritmen er upålitelig, sa Yu, "noe som betyr at vi kan gå glipp av interessante hendelser." Igjen, det er et sparsomt datamiljø som er ideelt egnet for en SCNN.

Yu - sammen med Argüelles-Delgado, hans doktorgradsrådgiver, og Jeff Lazar, en doktorgradsstudent ved University of Wisconsin, Madison - kvantifiserte denne fordelen, og viste i en fersk artikkel at disse nettverkene ville være omtrent 20 ganger raskere enn typiske CNN-er. "Det er raskt nok til å kjøre på hver hendelse som kommer ut av detektoren," omtrent 3,000 hvert sekund, sa Lazar. "Det gjør oss i stand til å ta bedre beslutninger om hva vi skal kaste ut og hva vi skal beholde."

Forfatterne har også med suksess brukt en SCNN i en simulering ved hjelp av offisielle IceCube-data, og neste trinn er å teste systemet deres på en kopi av South Pole databehandlingssystemet. Hvis alt går bra, mener Argüelles-Delgado at de bør få systemet sitt installert ved Antarktis-observatoriet neste år. Men teknologien kan se enda bredere bruk. "Vi tror at [SCNN kan være til nytte] alle nøytrinoteleskoper, ikke bare IceCube," sa Argüelles-Delgado.

Utover nøytrinoer

Philip Harris, en fysiker ved Massachusetts Institute of Technology, håper SCNN-er kan hjelpe til med den største partikkelkollideren av dem alle: Large Hadron Collider (LHC) ved CERN. Harris hørte om denne typen nevrale nettverk fra en MIT-kollega, informatikeren Song Han. "Song er en ekspert på å gjøre algoritmer raske og effektive," sa Harris - perfekt for LHC, der 40 millioner kollisjoner skjer hvert sekund.

Da de snakket for et par år siden, fortalte Song Harris om et autonomt kjøretøyprosjekt han forfulgte med medlemmer av laboratoriet hans. Songs team brukte SCNN-er til å analysere 3D-laserkart over plassen foran kjøretøyet, hvorav mye er tomt, for å se om det var noen hindringer foran.

Harris og kollegene hans møter lignende utfordringer ved LHC. Når to protoner kolliderer inne i maskinen, skaper krasjen en ekspanderende kule laget av partikler. Når en av disse partiklene treffer oppsamleren, oppstår en sekundær partikkeldusj. "Hvis du kan kartlegge hele omfanget av denne dusjen," sa Harris, "kan du bestemme energien til partikkelen som ga opphav til den," som kan være et objekt av spesiell interesse - noe som Higgs-bosonet, som fysikere oppdaget i 2012, eller en mørk materiepartikkel, som fysikere fortsatt leter etter.

"Problemet vi prøver å løse kommer ned til å koble sammen prikkene," sa Harris, akkurat som en selvkjørende bil kan koble sammen prikkene på et laserkart for å oppdage en hindring.

SCNN-er vil fremskynde dataanalysen ved LHC med minst en faktor på 50, sa Harris. "Vårt endelige mål er å få [SCNNs] inn i detektoren" - en oppgave som vil ta minst et år med papirarbeid og ekstra innkjøp fra fellesskapet. Men han og kollegene er håpefulle.

Totalt sett er det stadig mer sannsynlig at SCNN - en idé som opprinnelig ble unnfanget i informatikkverdenen - snart vil spille en rolle i de største eksperimentene som noen gang er utført innen nøytrinofysikk (DUNE), nøytrinoastronomi (IceCube) og høyenergifysikk (LHC) .

Graham sa at han ble positivt overrasket over å høre at SCNN-er hadde kommet seg til partikkelfysikk, selv om han ikke var helt sjokkert. "I abstrakt forstand," sa han, "er en partikkel som beveger seg i rommet litt som en pennespissen som beveger seg på et stykke papir."