A ritka neurális hálózatok a fizikusokat hasznos adatokra irányítják | Quanta Magazin

Tegyük fel, hogy van egy ezer oldalas könyve, de minden oldalon csak egyetlen sornyi szöveg található. A könyvben található információkat egy szkennerrel kell kinyernie, csak ez a lapolvasó szisztematikusan átmegy minden egyes oldalon, egyszerre egy négyzetcentimétert. Sok időbe telne, amíg átnézi az egész könyvet ezzel a szkennerrel, és az idő nagy részét az üres hely szkennelésére kell pazarolni. 

Sok kísérletező fizikus élete ilyen. A részecskekísérletek során a detektorok hatalmas mennyiségű adatot rögzítenek és elemeznek, még akkor is, ha csak egy töredéke tartalmaz hasznos információkat. „Például egy égen repülő madárról készült fényképen minden pixel értelmes lehet” – magyarázta Kazuhiro Terao, a SLAC National Accelerator Laboratory fizikusa. De azokon a képeken, amelyeket a fizikus néz, gyakran csak egy kis része számít valójában. Ilyen körülmények között minden részlet átgondolása szükségtelenül időt és számítási erőforrásokat emészt fel.

De ez kezd változni. A ritka konvolúciós neurális hálózatként (SCNN) ismert gépi tanulási eszközzel a kutatók adataik releváns részeire összpontosíthatnak, a többit pedig kiszűrhetik. A kutatók ezeket a hálózatokat arra használták, hogy jelentősen felgyorsítsák valós idejű adatelemzési képességüket. És azt tervezik, hogy az SCNN-eket legalább három kontinensen a közelgő vagy már meglévő kísérletekben alkalmazzák. A váltás történelmi változást jelent a fizikus közösség számára. 

„A fizikában hozzászoktunk ahhoz, hogy saját algoritmusainkat és számítási megközelítéseinket dolgozzuk ki” – mondta Carlos Argüelles-Delgado, a Harvard Egyetem fizikusa. „Mindig is a fejlesztés élvonalában voltunk, de most, ami a számítástechnikát illeti, gyakran az informatika vezet az élen.” 

Ritka karakterek

Az SCNN-ekhez vezető munka 2012-ben kezdődött, amikor Benjamin Graham, akkor a Warwicki Egyetemen olyan neurális hálózatot akart készíteni, amely képes felismerni a kínai kézírást. 

Az ehhez hasonló képekkel kapcsolatos feladatok akkori első számú eszközei a konvolúciós neurális hálózatok (CNN-ek) voltak. A kínai kézírási feladathoz az író egy digitális táblagépen nyom egy karaktert, mondjuk 10,000 3 pixeles képet hozva létre. A CNN ezután egy 3xXNUMX-as rácsot mozgat, amelyet kernelnek neveznek a teljes képen, és a kernelt az egyes pixelekre külön-külön középre állítva. A rendszermag minden elhelyezése esetén a hálózat bonyolult matematikai számítást hajt végre, amelyet konvolúciónak neveznek, amely megkülönböztető jellemzőket keres.

A CNN-eket információsűrű képekkel, például fényképekkel való használatra tervezték. De a kínai karaktert tartalmazó kép többnyire üres; a kutatók ritkanak emlegetik az ilyen tulajdonságú adatokat. Ez a természeti világban mindenre jellemző. „Hogy példát mutassak arra, milyen ritka tud lenni a világ” – mondta Graham, ha az Eiffel-tornyot a lehető legkisebb téglalapba foglalnák, az a téglalap „99.98% levegőből és mindössze 0.02% vasból állna”.

Graham megpróbálta úgy módosítani a CNN-megközelítést, hogy a kernelt csak a kép háromszoros részében helyezzék el, amelyek legalább egy pixelt tartalmaznak, amelynek értéke nem nulla (és nem csak üres). Ily módon sikerült egy olyan rendszert létrehoznia, amely hatékonyan képes azonosítani a kézzel írt kínaiakat. 3-ban megnyert egy versenyt azáltal, hogy az egyes karaktereket mindössze 3%-os hibaaránnyal azonosította. (Az emberek átlagosan 2013%-ot értek el.) Ezután egy még nagyobb problémára fordította figyelmét: a háromdimenziós objektumfelismerésre.

2017-re Graham a Facebook AI Research-hez költözött, és tovább finomította technikáját és közzétett a részletek az első SCNN-hez, amely csak a nullától eltérő értékű képpontokra helyezte a kernelt (ahelyett, hogy a kernelt bármilyen 3x3-as szakaszra helyezte volna, amely legalább egy „nem nulla” pixellel rendelkezik). Ezt az általános elképzelést hozta Terao a részecskefizika világába.

Underground Shots

Terao részt vesz a Fermi National Accelerator Laboratory kísérleteiben, amelyek a neutrínók természetét vizsgálják, a legmegfoghatatlanabb ismert elemi részecskék között. Ezek az univerzum legnagyobb tömegű részecskéi (bár nem sok), de ritkán jelennek meg egy detektor belsejében. Ennek eredményeként a legtöbb neutrínó-kísérletre vonatkozó adat kevés, és Terao folyamatosan kereste az adatelemzés jobb megközelítéseit. Talált egyet az SCNN-ben.

2019-ben SCNN-eket alkalmazott a Deep Underground Neutrino Experiment, vagyis a DUNE adatok szimulációjára, amely a világ legnagyobb neutrínófizikai kísérlete lesz, amikor 2026-ban online lesz. A projekt a Chicago melletti Fermilabból fog neutrínókat lőni. 800 mérföldnyi földön keresztül egy dél-dakotai földalatti laboratóriumba. Útközben a részecskék „oszcillálnak” a három ismert neutrínótípus között, és ezek az oszcillációk részletes neutrínótulajdonságokat tárhatnak fel.

Az SCNN-k gyorsabban elemezték a szimulált adatokat, mint a hagyományos módszerek, és ehhez lényegesen kisebb számítási teljesítményre volt szükség. Az ígéretes eredmények azt jelentik, hogy az SCNN-eket valószínűleg a tényleges kísérleti futtatás során fogják használni.

Eközben 2021-ben Terao segített hozzáadni az SCNN-eket egy másik neutrínókísérlethez a Fermilabnál, amely MicroBooNE néven ismert. Itt a tudósok a neutrínók és az argonatomok atommagjai közötti ütközések következményeit vizsgálják. Az ezen kölcsönhatások által létrehozott nyomok vizsgálatával a kutatók részletekre következtethetnek az eredeti neutrínókról. Ehhez szükségük van egy olyan algoritmusra, amely a pixeleket (vagy technikailag háromdimenziós megfelelőit, az úgynevezett voxeleket) a detektor háromdimenziós ábrázolásában tudja megnézni, majd meghatározza, hogy mely pixelek milyen részecskepályákhoz vannak társítva.

Mivel az adatok olyan ritkák – apró vonalak egy nagy detektoron belül (körülbelül 170 tonna folyékony argon) –, az SCNN-ek szinte tökéletesek erre a feladatra. A szabványos CNN-nél a képet 50 darabra kellene felosztani a számítások elvégzése miatt, mondta Terao. „A ritka CNN-nel egyszerre elemezzük a teljes képet – és sokkal gyorsabban tesszük ezt.”

Időszerű triggerek

Az egyik kutató, aki a MicroBooNE-n dolgozott, egy Felix Yu nevű egyetemi gyakornok volt. Az SCNN-ek ereje és hatékonysága lenyűgözve magával vitte az eszközöket következő munkahelyére, mint végzős hallgató a Harvard kutatólaboratóriumában, amely hivatalosan is kapcsolódik a Déli-sarkon található IceCube Neutrino Obszervatóriumhoz.

Az obszervatórium egyik kulcsfontosságú célja az univerzum legnagyobb energiájú neutrínóinak elfogása, és visszakövetni őket forrásaikhoz, amelyek többsége galaxisunkon kívül található. A detektor 5,160 optikai szenzorból áll, amelyek az antarktiszi jegébe vannak eltemetve, és ezeknek csak egy kis része világít bármikor. A tömb többi része sötét marad, és nem különösebben informatív. Ami még rosszabb, a detektorok által rögzített „események” közül sok hamis pozitív, és nem hasznos a neutrínóvadászatban. Csak az úgynevezett trigger-szintű események jelentik a vágást a további elemzéshez, és azonnali döntéseket kell hozni arról, hogy melyek méltók erre a megjelölésre, és melyeket hagynak végleg figyelmen kívül.

A szabványos CNN-k túl lassúak ehhez a feladathoz, így az IceCube tudósai régóta a LineFit nevű algoritmusra hagyatkoznak, hogy elmondják nekik a potenciálisan hasznos észleléseket. De ez az algoritmus megbízhatatlan, mondta Yu, "ami azt jelenti, hogy lemaradhatunk érdekes eseményekről." Ismét egy ritka adatkörnyezet, amely ideális egy SCNN-hez.

Yu – Argüelles-Delgadóval, doktori tanácsadójával és Jeff Lazarral, a madisoni Wisconsini Egyetem végzős hallgatójával együtt – számszerűsítette ezt az előnyt, megmutatva egy friss papír hogy ezek a hálózatok körülbelül 20-szor gyorsabbak lennének, mint a tipikus CNN-ek. „Ez elég gyors ahhoz, hogy minden eseményen lefusson, ami a detektorból kijön” – körülbelül 3,000 másodpercenként – mondta Lazar. "Ez lehetővé teszi számunkra, hogy jobb döntéseket hozzunk arról, hogy mit dobjunk ki és mit tartsunk meg."

A szerzők sikeresen alkalmaztak egy SCNN-t is a hivatalos IceCube-adatokat használó szimulációban, és a következő lépés a rendszerük tesztelése a déli pólus számítási rendszerének másolatán. Ha minden jól megy, Argüelles-Delgado úgy véli, hogy jövőre telepíteniük kell rendszerüket az Antarktiszi Obszervatóriumban. De a technológia még szélesebb körben használható. „Úgy gondoljuk, hogy [az SCNN-ek hasznára válhatnak] minden neutrínó teleszkópnak, nem csak az IceCube-nak” – mondta Argüelles-Delgado.

A neutrínókon túl

Philip Harris, a Massachusetts Institute of Technology fizikusa abban reménykedik, hogy az SCNN-ek segíthetnek a legnagyobb részecskeütköztetőben: a CERN-ben található Large Hadron Colliderben (LHC). Harris az MIT egyik kollégájától, Song Han informatikustól hallott erről a neurális hálózatról. „A Song szakértő az algoritmusok gyors és hatékony létrehozásában” – mondta Harris – tökéletes az LHC-hez, ahol másodpercenként 40 millió ütközés történik.

Amikor néhány évvel ezelőtt beszéltek, Song mesélt Harrisnek egy autonóm jármű projektről, amelyet laborja tagjaival folytatott. Song csapata SCNN-eket használva elemezte a jármű előtti tér 3D lézertérképét, amelynek nagy része üres, hogy lássák, vannak-e akadályok előtte.

Harris és kollégái hasonló kihívásokkal néznek szembe az LHC-nél. Amikor két proton ütközik a gép belsejében, az ütközés részecskékből álló táguló gömböt hoz létre. Amikor ezen részecskék egyike eléri a kollektort, másodlagos részecskezápor lép fel. „Ha fel tudja térképezni ennek a zápornak a teljes kiterjedését” – mondta Harris, „meg tudja határozni annak a részecske energiáját, amely ezt eredményezte”, amely különleges érdeklődésre számot tartó tárgy lehet – olyasmi, mint a Higgs-bozon, amit a fizikusok. 2012-ben fedezték fel, vagy egy sötét anyag részecskét, amelyet a fizikusok még mindig keresnek.

„A probléma, amit megpróbálunk megoldani, a pontok összekapcsolásából fakad” – mondta Harris, ahogy egy önvezető autó is összekapcsolhatja a lézertérkép pontjait, hogy észleljen egy akadályt.

Az SCNN-k legalább 50-szeresére gyorsítanák az LHC adatelemzését, mondta Harris. „Végső célunk az [SCNN-ek] bejuttatása a detektorba” – ez a feladat legalább egy év papírmunkát és további vásárlást igényel a közösségtől. De ő és kollégái bizakodóak.

Összességében egyre valószínűbb, hogy az SCNN-ek – egy eredetileg a számítástechnikai világban született ötlet – hamarosan szerepet fognak játszani a valaha végzett legnagyobb kísérletekben a neutrínófizikában (DUNE), a neutrínócsillagászatban (IceCube) és a nagyenergiás fizikában (LHC). .

Graham elmondta, hogy kellemesen meglepte, amikor megtudta, hogy az SCNN-ek eljutottak a részecskefizika felé, bár nem volt teljesen megdöbbenve. „Absztrakt értelemben – mondta –, az űrben mozgó részecske egy kicsit olyan, mint egy papíron mozgó toll hegye.