Glesa neurala nätverk pekar fysiker på användbara data | Quanta Magazine

Anta att du har en bok på tusen sidor, men varje sida har bara en rad text. Det är meningen att du ska extrahera informationen i boken med hjälp av en skanner, bara den här skannern går systematiskt igenom varje sida och skannar en kvadrattum i taget. Det skulle ta dig lång tid att komma igenom hela boken med den skannern, och det mesta av den tiden skulle gå till spillo på att skanna tomt utrymme. 

Så är livet för många experimentella fysiker. I partikelexperiment fångar och analyserar detektorer stora mängder data, även om bara en liten bråkdel av den innehåller användbar information. "I ett fotografi av, säg, en fågel som flyger på himlen, kan varje pixel vara meningsfull," förklarade Kazuhiro Terao, en fysiker vid SLAC National Accelerator Laboratory. Men i bilderna en fysiker tittar på spelar ofta bara en liten del av det någon roll. Under sådana omständigheter tar det onödigt mycket tid och beräkningsresurser att gå igenom varje detalj.

Men det börjar förändras. Med ett maskininlärningsverktyg känt som ett sparse konvolutionellt neuralt nätverk (SCNN), kan forskare fokusera på de relevanta delarna av deras data och sålla bort resten. Forskare har använt dessa nätverk för att avsevärt påskynda deras förmåga att göra dataanalys i realtid. Och de planerar att anställa SCNN i kommande eller befintliga experiment på minst tre kontinenter. Växeln markerar en historisk förändring för fysikgemenskapen. 

"Inom fysiken är vi vana vid att utveckla våra egna algoritmer och beräkningsmetoder," sa Carlos Argüelles-Delgado, fysiker vid Harvard University. "Vi har alltid legat i framkant av utvecklingen, men nu, när det gäller beräkningsändamål, leder ofta datavetenskap vägen." 

Sparsamma karaktärer

Arbetet som skulle leda till SCNN började 2012, då Benjamin Graham, då vid University of Warwick, ville skapa ett neuralt nätverk som kunde känna igen kinesisk handstil. 

De främsta verktygen vid den tiden för bildrelaterade uppgifter som denna var konvolutionella neurala nätverk (CNN). För den kinesiska handskriftsuppgiften skulle en författare spåra en karaktär på en digital surfplatta och producera en bild på, säg, 10,000 3 pixlar. CNN skulle sedan flytta ett 3-av-XNUMX-rutnät som kallas en kärna över hela bilden och centrera kärnan på varje pixel individuellt. För varje placering av kärnan skulle nätverket utföra en komplicerad matematisk beräkning som kallas en faltning som letade efter särskiljande egenskaper.

CNNs designades för att användas med informationstäta bilder som fotografier. Men en bild som innehåller ett kinesiskt tecken är för det mesta tom; forskare hänvisar till data med denna egenskap som sparsam. Det är ett vanligt inslag i allt i den naturliga världen. "För att ge ett exempel på hur gles världen kan vara," sa Graham, om Eiffeltornet var inkapslat i minsta möjliga rektangel, skulle den rektangeln bestå av "99.98% luft och bara 0.02% järn."

Graham försökte justera CNN-metoden så att kärnan endast skulle placeras på 3-av-3 sektioner av bilden som innehåller minst en pixel som har ett värde som inte är noll (och inte bara är tom). På så sätt lyckades han ta fram ett system som effektivt kunde identifiera handskrivna kinesiska. Den vann en tävling 2013 genom att identifiera individuella tecken med en felfrekvens på endast 2.61 %. (Människor fick 4.81 % i genomsnitt.) Därefter riktade han uppmärksamheten mot ett ännu större problem: tredimensionellt objektigenkänning.

2017 hade Graham flyttat till Facebook AI Research och hade ytterligare förfinat sin teknik och publicerade d detaljer för den första SCNN, som centrerade kärnan endast på pixlar som hade ett värde som inte var noll (istället för att placera kärnan på någon 3-av-3-sektion som hade minst en "icke-noll" pixel). Det var denna allmänna idé som Terao förde till partikelfysikens värld.

Underjordiska skott

Terao är involverad i experiment vid Fermi National Accelerator Laboratory som undersöker naturen hos neutriner, bland de mest svårfångade kända elementarpartiklarna. De är också de vanligaste partiklarna i universum med massa (om än inte mycket), men de dyker sällan upp i en detektor. Som ett resultat är det mesta av data för neutrinoexperiment sparsamt, och Terao var ständigt på jakt efter bättre tillvägagångssätt för dataanalys. Han hittade en i SCNN.

2019 använde han SCNN på simuleringar av data som förväntas från Deep Underground Neutrino Experiment, eller DUNE, som kommer att vara världens största neutrinofysikexperiment när det kommer online 2026. Projektet kommer att skjuta neutriner från Fermilab, strax utanför Chicago, genom 800 miles av jorden till ett underjordiskt laboratorium i South Dakota. Längs vägen kommer partiklarna att "oscillera" mellan de tre kända typerna av neutriner, och dessa svängningar kan avslöja detaljerade neutrinoegenskaper.

SCNN analyserade de simulerade data snabbare än vanliga metoder och krävde betydligt mindre beräkningskraft för att göra det. De lovande resultaten betyder att SCNN sannolikt kommer att användas under själva experimentkörningen.

Under 2021 hjälpte Terao till att lägga till SCNN till ett annat neutrinoexperiment på Fermilab, känt som MicroBooNE. Här tittar forskare på efterdyningarna av kollisioner mellan neutriner och argonatomernas kärnor. Genom att undersöka spåren som skapas av dessa interaktioner kan forskare sluta sig till detaljer om de ursprungliga neutrinerna. För att göra det behöver de en algoritm som kan titta på pixlarna (eller, tekniskt sett, deras tredimensionella motsvarigheter kallade voxels) i en tredimensionell representation av detektorn och sedan bestämma vilka pixlar som är associerade med vilka partikelbanor.

Eftersom informationen är så sparsam – ett stycke små linjer i en stor detektor (cirka 170 ton flytande argon) – är SCNN nästan perfekta för denna uppgift. Med en standard CNN skulle bilden behöva delas upp i 50 delar, på grund av all beräkning som ska göras, sa Terao. "Med ett sparsamt CNN analyserar vi hela bilden på en gång - och gör det mycket snabbare."

Tidiga utlösare

En av forskarna som arbetade på MicroBooNE var en praktikant som hette Felix Yu. Imponerad av kraften och effektiviteten hos SCNN:er tog han med sig verktygen till sin nästa arbetsplats som doktorand vid ett Harvard-forskningslaboratorium som formellt är anslutet till IceCube Neutrino Observatory på Sydpolen.

Ett av observatoriets viktigaste mål är att fånga upp universums mest energiska neutriner och spåra dem tillbaka till deras källor, av vilka de flesta ligger utanför vår galax. Detektorn består av 5,160 XNUMX optiska sensorer begravda i den antarktiska isen, varav endast en liten bråkdel tänds vid varje given tidpunkt. Resten av arrayen förblir mörk och är inte särskilt informativ. Vad värre är, många av de "händelser" som detektorerna registrerar är falska positiva och inte användbara för neutrinojakt. Endast så kallade trigger-nivåhändelser klarar av ytterligare analys, och omedelbara beslut måste fattas om vilka som är värda den beteckningen och vilka som kommer att ignoreras permanent.

Standard CNN är för långsamma för denna uppgift, så IceCube-forskare har länge förlitat sig på en algoritm som heter LineFit för att berätta för dem om potentiellt användbara upptäckter. Men den algoritmen är opålitlig, sa Yu, "vilket betyder att vi kan gå miste om intressanta händelser." Återigen, det är en sparsam datamiljö som är idealisk för en SCNN.

Yu - tillsammans med Argüelles-Delgado, hans doktorandrådgivare, och Jeff Lazar, en doktorand vid University of Wisconsin, Madison - kvantifierade den fördelen och visade i ett nyligen uppsats att dessa nätverk skulle vara cirka 20 gånger snabbare än vanliga CNN. "Det är tillräckligt snabbt för att köra på varje händelse som kommer ut ur detektorn," ungefär 3,000 XNUMX varje sekund, sa Lazar. "Det gör det möjligt för oss att fatta bättre beslut om vad vi ska kasta ut och vad vi ska behålla."

Författarna har också framgångsrikt använt en SCNN i en simulering med officiell IceCube-data, och nästa steg är att testa deras system på en kopia av sydpolens datorsystem. Om allt går som det ska tror Argüelles-Delgado att de borde få sitt system installerat vid Antarktisobservatoriet nästa år. Men tekniken kunde se ännu bredare användning. "Vi tror att [SCNNs kan gynnas] alla neutrinoteleskop, inte bara IceCube," sa Argüelles-Delgado.

Bortom Neutrinos

Philip Harris, fysiker vid Massachusetts Institute of Technology, hoppas att SCNN kan hjälpa till vid den största partikelkollideraren av dem alla: Large Hadron Collider (LHC) vid CERN. Harris hörde talas om den här typen av neurala nätverk från en MIT-kollega, datavetaren Song Han. "Song är en expert på att göra algoritmer snabba och effektiva," sa Harris - perfekt för LHC, där 40 miljoner kollisioner inträffar varje sekund.

När de pratade för ett par år sedan berättade Song för Harris om ett självständigt fordonsprojekt som han höll på med med medlemmar i sitt labb. Songs team använde SCNN för att analysera 3D-laserkartor över utrymmet framför fordonet, varav mycket är tomt, för att se om det fanns några hinder framför sig.

Harris och hans kollegor står inför liknande utmaningar på LHC. När två protoner kolliderar inuti maskinen skapar kraschen en expanderande sfär gjord av partiklar. När en av dessa partiklar träffar kollektorn uppstår en sekundär partikeldusch. "Om du kan kartlägga hela omfattningen av denna dusch," sa Harris, "kan du bestämma energin hos partikeln som gav upphov till den", vilket kan vara ett föremål av särskilt intresse - något som Higgs-bosonen, som fysiker upptäcktes 2012, eller en mörk materia partikel, som fysiker fortfarande letar efter.

"Problemet vi försöker lösa handlar om att koppla ihop prickarna," sa Harris, precis som en självkörande bil kan ansluta prickarna på en laserkarta för att upptäcka ett hinder.

SCNN skulle påskynda dataanalysen vid LHC med minst en faktor 50, sa Harris. "Vårt slutmål är att få [SCNN] in i detektorn" - en uppgift som kommer att ta minst ett år av pappersarbete och ytterligare inköp från samhället. Men han och hans kollegor är hoppfulla.

Sammantaget är det allt mer troligt att SCNN - en idé som ursprungligen skapades inom datavetenskapsvärlden - snart kommer att spela en roll i de största experimenten som någonsin utförts inom neutrinofysik (DUNE), neutrinoastronomi (IceCube) och högenergifysik (LHC) .

Graham sa att han var positivt överraskad över att höra att SCNN:er hade tagit sig till partikelfysik, även om han inte var helt chockad. "I abstrakt mening," sa han, "är en partikel som rör sig i rymden lite som spetsen på en penna som rör sig på ett papper."