Sparsomme neurale netværk peger fysikere på nyttige data | Quanta Magasinet

Antag, at du har en bog på tusind sider, men hver side har kun en enkelt tekstlinje. Det er meningen, at du skal udtrække informationen i bogen ved hjælp af en scanner, kun denne særlige scanner går systematisk igennem hver eneste side og scanner en kvadrattomme ad gangen. Det ville tage dig lang tid at komme igennem hele bogen med den scanner, og det meste af den tid ville være spildt på at scanne tom plads. 

Sådan er livet for mange eksperimenterende fysikere. I partikeleksperimenter fanger og analyserer detektorer enorme mængder data, selvom kun en lille brøkdel af dem indeholder nyttig information. "På et fotografi af f.eks. en fugl, der flyver på himlen, kan hver pixel være meningsfuld," forklarede Kazuhiro Terao, en fysiker ved SLAC National Accelerator Laboratory. Men i de billeder, en fysiker ser på, er det ofte kun en lille del af det, der betyder noget. Under sådanne omstændigheder kræver det unødvendigt tid og beregningsressourcer at gennemsøge hver eneste detalje.

Men det begynder at ændre sig. Med et maskinlæringsværktøj kendt som et sparse konvolutionelt neuralt netværk (SCNN), kan forskere fokusere på de relevante dele af deres data og screene resten ud. Forskere har brugt disse netværk til i høj grad at accelerere deres evne til at udføre dataanalyse i realtid. Og de planlægger at ansætte SCNN'er i kommende eller eksisterende eksperimenter på mindst tre kontinenter. Skiftet markerer en historisk ændring for fysiksamfundet. 

"I fysik er vi vant til at udvikle vores egne algoritmer og beregningsmæssige tilgange," sagde Carlos Argüelles-Delgado, en fysiker ved Harvard University. "Vi har altid været på forkant med udviklingen, men nu, i den beregningsmæssige ende af tingene, er datalogi ofte førende." 

Sparsomme karakterer

Arbejdet, der ville føre til SCNN'er, begyndte i 2012, da Benjamin Graham, dengang ved University of Warwick, ønskede at lave et neuralt netværk, der kunne genkende kinesisk håndskrift. 

De førende værktøjer på det tidspunkt til billedrelaterede opgaver som denne var konvolutionelle neurale netværk (CNN'er). Til den kinesiske håndskriftsopgave ville en forfatter spore en karakter på en digital tablet og producere et billede på f.eks. 10,000 pixels. CNN ville derefter flytte et 3-til-3-gitter kaldet en kerne hen over hele billedet, og centrere kernen på hver pixel individuelt. For hver placering af kernen ville netværket udføre en kompliceret matematisk beregning kaldet en foldning, der ledte efter kendetegn.

CNN'er blev designet til at blive brugt med informationstætte billeder såsom fotografier. Men et billede, der indeholder et kinesisk tegn, er for det meste tomt; forskere henviser til data med denne egenskab som sparsomme. Det er et fællestræk for alt i den naturlige verden. "For at give et eksempel på, hvor sparsom verden kan være," sagde Graham, hvis Eiffeltårnet var indkapslet i det mindst mulige rektangel, ville det rektangel bestå af "99.98% luft og kun 0.02% jern."

Graham forsøgte at tilpasse CNN-tilgangen, så kernen kun ville blive placeret på 3 gange 3 sektioner af billedet, der indeholder mindst én pixel, der har en værdi, der ikke er nul (og ikke kun er tom). På denne måde lykkedes det ham at producere et system, der effektivt kunne identificere håndskrevne kinesere. Den vandt en konkurrence i 2013 ved at identificere individuelle tegn med en fejlrate på kun 2.61 %. (Mennesker scorede 4.81 % i gennemsnit.) Han vendte derefter sin opmærksomhed mod et endnu større problem: tredimensionel genkendelse af objekter.

I 2017 var Graham flyttet til Facebook AI Research og havde yderligere forfinet sin teknik og offentliggjort og detaljer for den første SCNN, som kun centrerede kernen på pixels, der havde en værdi, der ikke var nul (i stedet for at placere kernen på en hvilken som helst 3-til-3-sektion, der havde mindst én "ikke-nul"-pixel). Det var denne generelle idé, som Terao bragte til partikelfysikkens verden.

Underjordiske skud

Terao er involveret i eksperimenter på Fermi National Accelerator Laboratory, der undersøger arten af ​​neutrinoer, blandt de mest uhåndgribelige kendte elementarpartikler. De er også de mest udbredte partikler i universet med masse (omend ikke meget), men de dukker sjældent op inde i en detektor. Som følge heraf er de fleste data til neutrino-eksperimenter sparsomme, og Terao var konstant på udkig efter bedre tilgange til dataanalyse. Han fandt en i SCNNs.

I 2019 anvendte han SCNN'er til simuleringer af de data, der forventes fra Deep Underground Neutrino Experiment, eller DUNE, som vil være verdens største neutrinofysikeksperiment, når det kommer online i 2026. Projektet vil skyde neutrinoer fra Fermilab, lige uden for Chicago, gennem 800 miles af jorden til et underjordisk laboratorium i South Dakota. Undervejs vil partiklerne "oscillere" mellem de tre kendte typer neutrinoer, og disse svingninger kan afsløre detaljerede neutrinoegenskaber.

SCNN'erne analyserede de simulerede data hurtigere end almindelige metoder og krævede betydeligt mindre beregningskraft til at gøre det. De lovende resultater betyder, at SCNN'er sandsynligvis vil blive brugt under den faktiske eksperimentelle kørsel.

I 2021 hjalp Terao i mellemtiden med at tilføje SCNN'er til et andet neutrinoeksperiment på Fermilab kendt som MicroBooNE. Her ser forskerne på følgerne af kollisioner mellem neutrinoer og argonatomernes kerner. Ved at undersøge sporene skabt af disse interaktioner kan forskere udlede detaljer om de originale neutrinoer. For at gøre det har de brug for en algoritme, der kan se på pixels (eller teknisk set deres tredimensionelle modstykker kaldet voxels) i en tredimensionel repræsentation af detektoren og derefter bestemme, hvilke pixels der er forbundet med hvilke partikelbaner.

Fordi dataene er så sparsomme - en snert af små linjer i en stor detektor (ca. 170 tons flydende argon) - er SCNN'er næsten perfekte til denne opgave. Med en standard CNN ville billedet skulle brydes op i 50 stykker på grund af al den beregning, der skal udføres, sagde Terao. "Med et sparsomt CNN analyserer vi hele billedet på én gang - og gør det meget hurtigere."

Tidlige udløsere

En af forskerne, der arbejdede på MicroBooNE, var en undergraduate-praktikant ved navn Felix Yu. Imponeret over kraften og effektiviteten af ​​SCNN'er tog han værktøjerne med sig til sin næste arbejdsplads som kandidatstuderende ved et Harvard-forskningslaboratorium, der formelt er tilknyttet IceCube Neutrino Observatory på Sydpolen.

Et af observatoriets vigtigste mål er at opsnappe universets mest energiske neutrinoer og spore dem tilbage til deres kilder, hvoraf de fleste ligger uden for vores galakse. Detektoren består af 5,160 optiske sensorer begravet i den antarktiske is, hvoraf kun en lille del lyser op på et givet tidspunkt. Resten af ​​arrayet forbliver mørkt og er ikke særlig informativt. Hvad værre er, er mange af de "begivenheder", som detektorerne registrerer, falske positive og ikke nyttige til neutrinojagt. Kun såkaldte hændelser på trigger-niveau gør det muligt for yderligere analyse, og der skal straks træffes beslutninger om, hvilke der er værdige til den betegnelse, og hvilke der vil blive permanent ignoreret.

Standard CNN'er er for langsomme til denne opgave, så IceCube-forskere har længe stolet på en algoritme kaldet LineFit for at fortælle dem om potentielt nyttige påvisninger. Men den algoritme er upålidelig, sagde Yu, "hvilket betyder, at vi kan gå glip af interessante begivenheder." Igen, det er et sparsomt datamiljø, der er ideelt egnet til en SCNN.

Yu - sammen med Argüelles-Delgado, hans doktorgradsrådgiver, og Jeff Lazar, en kandidatstuderende ved University of Wisconsin, Madison - kvantificerede denne fordel, hvilket viste sig i et nyligt papir at disse netværk ville være omkring 20 gange hurtigere end typiske CNN'er. "Det er hurtigt nok til at køre på hver begivenhed, der kommer ud af detektoren," omkring 3,000 hvert sekund, sagde Lazar. "Det sætter os i stand til at træffe bedre beslutninger om, hvad vi skal smide ud, og hvad vi skal beholde."

Forfatterne har også med succes anvendt en SCNN i en simulering ved hjælp af officielle IceCube-data, og næste trin er at teste deres system på en kopi af South Pole-computersystemet. Hvis alt går vel, mener Argüelles-Delgado, at de bør få deres system installeret ved det antarktiske observatorium næste år. Men teknologien kunne se endnu bredere anvendelse. "Vi tror, ​​at [SCNN'er kan gavne] alle neutrinoteleskoper, ikke kun IceCube," sagde Argüelles-Delgado.

Ud over neutrinoer

Philip Harris, fysiker ved Massachusetts Institute of Technology, håber, at SCNN'er kan hjælpe med den største partikelkollider af dem alle: Large Hadron Collider (LHC) ved CERN. Harris hørte om denne form for neurale netværk fra en MIT-kollega, datalogen Song Han. "Song er en ekspert i at gøre algoritmer hurtige og effektive," sagde Harris - perfekt til LHC, hvor der sker 40 millioner kollisioner hvert sekund.

Da de talte for et par år siden, fortalte Song Harris om et selvstændigt køretøjsprojekt, han forfulgte med medlemmer af sit laboratorium. Songs team brugte SCNN'er til at analysere 3D-laserkort over rummet foran køretøjet, hvoraf meget er tomt, for at se, om der var nogen forhindringer forude.

Harris og hans kolleger står over for lignende udfordringer på LHC. Når to protoner støder sammen inde i maskinen, skaber styrtet en ekspanderende kugle lavet af partikler. Når en af ​​disse partikler rammer opsamleren, opstår der en sekundær partikelbruser. "Hvis du kan kortlægge det fulde omfang af denne byge," sagde Harris, "kan du bestemme energien af ​​den partikel, der gav anledning til den," hvilket kan være et objekt af særlig interesse - noget som Higgs-bosonen, som fysikere opdaget i 2012, eller en mørk stofpartikel, som fysikere stadig leder efter.

"Det problem, vi forsøger at løse, kommer ned til at forbinde prikkerne," sagde Harris, ligesom en selvkørende bil måske forbinder prikkerne på et laserkort for at opdage en forhindring.

SCNN'er ville fremskynde dataanalysen ved LHC med mindst en faktor 50, sagde Harris. "Vores ultimative mål er at få [SCNN'er] ind i detektoren" - en opgave, der vil tage mindst et års papirarbejde og yderligere buy-in fra fællesskabet. Men han og hans kolleger er håbefulde.

Alt i alt er det mere og mere sandsynligt, at SCNN'er - en idé, der oprindeligt er udtænkt i computervidenskabsverdenen - snart vil spille en rolle i de største eksperimenter, der nogensinde er udført inden for neutrinofysik (DUNE), neutrino-astronomi (IceCube) og højenergifysik (LHC) .

Graham sagde, at han var glædeligt overrasket over at høre, at SCNN'er havde fundet vej til partikelfysik, selvom han ikke var helt chokeret. "I abstrakt forstand," sagde han, "er en partikel, der bevæger sig i rummet, lidt som spidsen af ​​en kuglepen, der bevæger sig på et stykke papir."