Harvat hermoverkot osoittavat fyysikot hyödylliseen dataan | Quanta-lehti

Oletetaan, että sinulla on tuhatsivuinen kirja, mutta jokaisella sivulla on vain yksi tekstirivi. Sinun pitäisi poimia kirjan sisältämät tiedot skannerilla, vain tämä skanneri käy järjestelmällisesti läpi jokaisen sivun ja skannaa neliötuuman kerrallaan. Koko kirjan lukeminen skannerilla kestäisi kauan, ja suurin osa ajasta menisi tyhjän tilan skannaamiseen. 

Sellaista on monen kokeellisen fyysikon elämä. Hiukkaskokeissa ilmaisimet keräävät ja analysoivat valtavia määriä dataa, vaikka vain pieni osa siitä sisältää hyödyllistä tietoa. "Kuvassa esimerkiksi taivaalla lentävästä linnusta jokainen pikseli voi olla merkityksellinen", selitti Kazuhiro Terao, fyysikko SLAC National Accelerator Laboratoryssa. Mutta kuvissa, joita fyysikko katsoo, usein vain pienellä osalla on merkitystä. Tällaisissa olosuhteissa jokaisen yksityiskohdan pohtiminen kuluttaa tarpeettomasti aikaa ja laskentaresursseja.

Mutta se alkaa muuttua. Harva konvoluutiohermoverkko (SCNN) tunnetun koneoppimistyökalun avulla tutkijat voivat keskittyä tietonsa oleellisiin osiin ja seuloa loput. Tutkijat ovat käyttäneet näitä verkkoja nopeuttaakseen huomattavasti kykyään tehdä reaaliaikaista data-analyysiä. Ja he aikovat käyttää SCNN:itä tulevissa tai olemassa olevissa kokeissa vähintään kolmella mantereella. Vaihto merkitsee historiallista muutosta fysiikan yhteisölle. 

"Fysiikassa olemme tottuneet kehittämään omia algoritmejamme ja laskennallisia lähestymistapojamme", sanoi Carlos Argüelles-Delgado, fyysikko Harvardin yliopistossa. "Olemme aina olleet kehityksen eturintamassa, mutta nyt, laskennallisesti, tietojenkäsittelytiede on usein edelläkävijä." 

Harvat hahmot

Työ, joka johtaisi SCNN:ihin, alkoi vuonna 2012, jolloin Benjamin Graham, silloin Warwickin yliopistossa, halusi tehdä hermoverkon, joka tunnistaisi kiinalaisen käsinkirjoituksen. 

Tällaisten kuviin liittyvien tehtävien tärkeimmät työkalut tuolloin olivat konvoluutiohermoverkot (CNN). Kiinalaisessa käsinkirjoitustehtävässä kirjoittaja jäljittäisi merkin digitaalisella tabletilla ja tuottaisi esimerkiksi 10,000 3 pikselin kuvan. CNN siirtäisi sitten 3 x XNUMX -ruudukon, jota kutsutaan ytimeksi koko kuvan poikki, keskittäen ytimen jokaiseen pikseliin erikseen. Jokaiselle ytimen sijoittelulle verkko suoritti monimutkaisen matemaattisen laskelman, jota kutsutaan konvoluutioksi ja joka etsi erottavia piirteitä.

CNN:t on suunniteltu käytettäväksi informaatiotiheiden kuvien, kuten valokuvien, kanssa. Mutta kuva, joka sisältää kiinalaisen merkin, on enimmäkseen tyhjä; tutkijat pitävät tätä ominaisuutta sisältäviä tietoja harvassa. Se on yleinen piirre kaikkeen luonnossa. "Esimerkkinä siitä, kuinka harva maailma voi olla", Graham sanoi, jos Eiffel-torni olisi koteloitu pienimpään mahdolliseen suorakulmioon, tämä suorakulmio koostuisi "99.98% ilmasta ja vain 0.02% raudasta".

Graham yritti säätää CNN-lähestymistapaa niin, että ydin sijoitettaisiin vain 3 x 3 kuvan osiin, jotka sisältävät vähintään yhden pikselin, jonka arvo ei ole nolla (eikä ole vain tyhjä). Tällä tavalla hän onnistui tuottamaan järjestelmän, joka pystyi tunnistamaan tehokkaasti käsinkirjoitetut kiinalaiset. Se voitti vuoden 2013 kilpailun tunnistamalla yksittäisiä hahmoja virhetasolla vain 2.61 %. (Ihmiset saivat keskimäärin 4.81 %.) Seuraavaksi hän kiinnitti huomionsa vielä suurempaan ongelmaan: kolmiulotteisen objektin tunnistamiseen.

Vuoteen 2017 mennessä Graham oli siirtynyt Facebook AI Researchiin ja hionut edelleen tekniikkaansa ja julkaistu Ishayoiden opettaman yksityiskohdat ensimmäiselle SCNN:lle, joka keskitti ytimen vain pikseleihin, joilla oli nollasta poikkeava arvo (sen sijaan, että ydin olisi sijoitettu mihin tahansa 3 x 3 -osaan, jossa oli vähintään yksi "nollasta poikkeava" pikseli). Tämän yleisen idean Terao toi hiukkasfysiikan maailmaan.

Underground Shots

Terao on mukana Fermi National Accelerator Laboratoryn kokeissa, joissa tutkitaan neutriinojen luonnetta, yksi vaikeasti havaittavista tunnetuista alkuainehiukkasista. Ne ovat myös maailmankaikkeuden yleisimmät hiukkaset, joilla on massa (vaikkakaan ei paljon), mutta niitä esiintyy harvoin ilmaisimen sisällä. Tämän seurauksena suurin osa neutrinokokeiden tiedoista on niukkaa, ja Terao etsi jatkuvasti parempia lähestymistapoja data-analyysiin. Hän löysi sellaisen SCNN:stä.

Vuonna 2019 hän sovelsi SCNN:itä tietojen simulaatioihin Deep Underground Neutrino Experimentistä eli DUNEsta, joka tulee olemaan maailman suurin neutriinofysiikan kokeilu, kun se tulee verkkoon vuonna 2026. Projekti ampuu neutriinoja Fermilabista, aivan Chicagon ulkopuolella, 800 mailia maata maanalaiseen laboratorioon Etelä-Dakotassa. Matkan varrella hiukkaset "värähtelevät" kolmen tunnetun neutriinotyypin välillä, ja nämä värähtelyt voivat paljastaa yksityiskohtaisia ​​neutriino-ominaisuuksia.

SCNN:t analysoivat simuloidut tiedot tavallisia menetelmiä nopeammin ja vaativat huomattavasti vähemmän laskentatehoa tehdessään. Lupaavat tulokset tarkoittavat, että SCNN:itä tullaan todennäköisesti käyttämään varsinaisen koeajon aikana.

Vuonna 2021 Terao auttoi lisäämään SCNN:itä toiseen Fermilabin neutriinokokeeseen, joka tunnetaan nimellä MicroBooNE. Täällä tutkijat tarkastelevat neutriinojen ja argonatomien ytimien välisten törmäysten seurauksia. Tutkimalla näiden vuorovaikutusten synnyttämiä jälkiä tutkijat voivat päätellä yksityiskohtia alkuperäisistä neutriinoista. Tätä varten he tarvitsevat algoritmin, joka voi tarkastella pikseleitä (tai teknisesti niiden kolmiulotteisia vastineita, joita kutsutaan vokseleiksi) ilmaisimen kolmiulotteisessa esityksessä ja määrittää sitten, mitkä pikselit liittyvät mihinkin hiukkasratoihin.

Koska tiedot ovat niin niukkoja – pieniä juovia suuressa ilmaisimessa (noin 170 tonnia nestemäistä argonia) – SCNN:t ovat melkein täydellisiä tähän tehtävään. Tavallisella CNN:llä kuva olisi jaettava 50 osaan kaiken suoritettavan laskennan vuoksi, Terao sanoi. "Harvalla CNN:llä analysoimme koko kuvan kerralla – ja teemme sen paljon nopeammin."

Ajankohtaiset laukaisimet

Yksi MicroBooNE:n parissa työskennellyistä tutkijoista oli jatko-opiskelija nimeltä Felix Yu. Hän vaikuttui SCNN:n tehosta ja tehokkuudesta, ja hän toi työkalut mukanaan seuraavalle työpaikalleen jatko-opiskelijana Harvardin tutkimuslaboratoriossa, joka oli muodollisesti sidoksissa etelänavalla sijaitsevaan IceCube Neutrino Observatorioon.

Yksi observatorion tärkeimmistä tavoitteista on siepata maailmankaikkeuden energisimpiä neutriinoja ja jäljittää ne lähteilleen, joista suurin osa on galaksimme ulkopuolella. Ilmaisin koostuu 5,160 XNUMX Etelämantereen jäähän hautautuneesta optisesta anturista, joista vain pieni osa syttyy kulloinkin. Muu osa taulukosta pysyy pimeänä eikä se ole erityisen informatiivinen. Mikä pahempaa, monet ilmaisinten tallentamista "tapahtumista" ovat vääriä positiivisia, eivätkä ne ole hyödyllisiä neutriinojen metsästykseen. Vain ns. trigger-tason tapahtumat tekevät leikkauksen lisäanalyysille, ja on tehtävä välittömiä päätöksiä siitä, mitkä ovat kyseisen nimityksen arvoisia ja mitkä jätetään pysyvästi huomiotta.

Tavalliset CNN:t ovat liian hitaita tähän tehtävään, joten IceCube-tutkijat ovat pitkään luottaneet LineFit-algoritmiin kertoakseen heille mahdollisesti hyödyllisistä havainnoista. Mutta tämä algoritmi on epäluotettava, Yu sanoi, "mikä tarkoittaa, että saatamme jäädä paitsi mielenkiintoisista tapahtumista." Jälleen, se on harvassa dataympäristössä, joka sopii ihanteellisesti SCNN:lle.

Yu – yhdessä hänen tohtorintutkintonsa neuvonantajansa Argüelles-Delgadon ja Wisconsinin yliopiston Madisonin jatko-opiskelijan Jeff Lazarin kanssa – määritti tämän edun määrällisesti. äskettäin julkaistu että nämä verkot olisivat noin 20 kertaa nopeampia kuin tyypilliset CNN:t. "Se on tarpeeksi nopea ajaakseen jokaisessa ilmaisimesta tulevassa tapahtumassa", noin 3,000 sekunnissa, Lazar sanoi. "Tämän avulla voimme tehdä parempia päätöksiä siitä, mitä heittää pois ja mitä säilyttää."

Kirjoittajat ovat myös menestyksekkäästi käyttäneet SCNN:ää simulaatiossa käyttämällä virallisia IceCube-tietoja, ja seuraava askel on testata järjestelmäänsä etelänavan laskentajärjestelmän kopiolla. Jos kaikki menee hyvin, Argüelles-Delgado uskoo, että heidän pitäisi saada järjestelmänsä asennettuna Etelämanner-observatorioon ensi vuonna. Mutta tekniikkaa voitaisiin käyttää vielä laajemminkin. "Uskomme, että [SCNN:t voisivat hyötyä] kaikista neutriinoteleskoopeista, ei vain IceCubesta", Argüelles-Delgado sanoi.

Neutrinoiden lisäksi

Philip Harris, fyysikko Massachusetts Institute of Technologysta, toivoo, että SCNN:t voivat auttaa suurimmassa hiukkastörmätäjässä: CERNin suuressa hadronitörmätäjässä (LHC). Harris kuuli tällaisesta hermoverkosta MIT-kollegalta, tietotekniikan tiedemieheltä Song Hanilta. "Song on asiantuntija algoritmien tekemisessä nopeiksi ja tehokkaiksi", Harris sanoi – täydellinen LHC:lle, jossa tapahtuu 40 miljoonaa törmäystä sekunnissa.

Kun he puhuivat pari vuotta sitten, Song kertoi Harrisille autonomisten ajoneuvojen projektista, jota hän harjoitti laboratorionsa jäsenten kanssa. Songin tiimi käytti SCNN:itä analysoidakseen 3D-laserkarttoja ajoneuvon edessä olevasta tilasta, josta suuri osa on tyhjä, nähdäkseen, oliko edessä esteitä.

Harris ja hänen kollegansa kohtaavat samanlaisia ​​haasteita LHC:ssä. Kun kaksi protonia törmäävät koneen sisällä, törmäys luo hiukkasista koostuvan laajenevan pallon. Kun jokin näistä hiukkasista osuu kerääjään, tapahtuu toissijainen hiukkassuihku. "Jos voit kartoittaa tämän suihkun koko laajuuden", Harris sanoi, "voit määrittää sen aiheuttaneen hiukkasen energian", joka saattaa olla erityisen kiinnostava kohde - jotain kuten Higgsin bosoni, jonka fyysikot vuonna 2012 löydetty tai pimeän aineen hiukkanen, jota fyysikot edelleen etsivät.

"Ongelma, jota yritämme ratkaista, johtuu pisteiden yhdistämisestä", Harris sanoi, aivan kuten itse ajava auto saattaa yhdistää laserkartan pisteet havaitakseen esteen.

SCNN:t nopeuttaisivat LHC:n tietojen analysointia vähintään 50-kertaisesti, Harris sanoi. "Perimmäisenä tavoitteemme on saada [SCNN:t] ilmaisimeen" - tehtävä, joka vaatii vähintään vuoden paperityötä ja lisää sisäänostoa yhteisöltä. Mutta hän ja hänen kollegansa ovat toiveikkaita.

Kaiken kaikkiaan on yhä todennäköisempää, että SCNN:t – alunperin tietotekniikan maailmasta syntynyt idea – ovat pian mukana suurimmissa kokeissa, joita on koskaan tehty neutriinofysiikassa (DUNE), neutriinotähtitiedessä (IceCube) ja korkean energian fysiikassa (LHC). .

Graham sanoi olevansa iloisesti yllättynyt kuultuaan, että SCNN:t olivat päässeet hiukkasfysiikkaan, vaikka hän ei ollutkaan täysin järkyttynyt. "Abstraktissa mielessä", hän sanoi, "avaruudessa liikkuva hiukkanen on vähän kuin kynän kärki, joka liikkuu paperilla."