Τα αραιά νευρωνικά δίκτυα κατευθύνουν τους φυσικούς σε χρήσιμα δεδομένα | Περιοδικό Quanta

Ας υποθέσουμε ότι έχετε ένα βιβλίο χιλιάδων σελίδων, αλλά κάθε σελίδα έχει μόνο μία γραμμή κειμένου. Υποτίθεται ότι εξάγετε τις πληροφορίες που περιέχονται στο βιβλίο χρησιμοποιώντας έναν σαρωτή, μόνο που αυτός ο συγκεκριμένος σαρωτής περνά συστηματικά από κάθε σελίδα, σαρώνοντας μία τετραγωνική ίντσα τη φορά. Θα σας έπαιρνε πολύ χρόνο για να διαβάσετε ολόκληρο το βιβλίο με αυτόν τον σαρωτή και τον περισσότερο χρόνο θα χάνατε σαρώνοντας κενό χώρο. 

Αυτή είναι η ζωή πολλών πειραματικών φυσικών. Σε πειράματα σωματιδίων, οι ανιχνευτές συλλαμβάνουν και αναλύουν τεράστιες ποσότητες δεδομένων, παρόλο που μόνο ένα μικρό κλάσμα αυτών περιέχει χρήσιμες πληροφορίες. «Σε μια φωτογραφία, ας πούμε, ενός πουλιού που πετά στον ουρανό, κάθε pixel μπορεί να έχει νόημα», εξήγησε Καζουχίρο Τεράο, φυσικός στο Εθνικό Εργαστήριο Επιταχυντών SLAC. Αλλά στις εικόνες που κοιτάζει ένας φυσικός, συχνά μόνο ένα μικρό μέρος τους έχει πραγματικά σημασία. Σε τέτοιες περιπτώσεις, η εξέταση κάθε λεπτομέρειας καταναλώνει άσκοπα χρόνο και υπολογιστικούς πόρους.

Αλλά αυτό έχει αρχίσει να αλλάζει. Με ένα εργαλείο μηχανικής μάθησης γνωστό ως αραιό συνελικτικό νευρωνικό δίκτυο (SCNN), οι ερευνητές μπορούν να επικεντρωθούν στα σχετικά μέρη των δεδομένων τους και να ελέγξουν τα υπόλοιπα. Οι ερευνητές έχουν χρησιμοποιήσει αυτά τα δίκτυα για να επιταχύνουν κατά πολύ την ικανότητά τους να κάνουν ανάλυση δεδομένων σε πραγματικό χρόνο. Και σκοπεύουν να χρησιμοποιήσουν SCNN σε επερχόμενα ή υπάρχοντα πειράματα σε τουλάχιστον τρεις ηπείρους. Ο διακόπτης σηματοδοτεί μια ιστορική αλλαγή για την κοινότητα της φυσικής. 

«Στη φυσική, έχουμε συνηθίσει να αναπτύσσουμε τους δικούς μας αλγόριθμους και υπολογιστικές προσεγγίσεις», είπε. Carlos Argüelles-Delgado, φυσικός στο Πανεπιστήμιο του Χάρβαρντ. «Ήμασταν πάντα στην πρώτη γραμμή της ανάπτυξης, αλλά τώρα, στο υπολογιστικό τέλος των πραγμάτων, η επιστήμη των υπολογιστών συχνά πρωτοπορεί». 

Αραιοί χαρακτήρες

Οι εργασίες που θα οδηγούσαν στα SCNN ξεκίνησαν το 2012, όταν Μπέντζαμιν Γκράχαμ, τότε στο Πανεπιστήμιο του Warwick, ήθελε να φτιάξει ένα νευρωνικό δίκτυο που θα μπορούσε να αναγνωρίσει την κινεζική γραφή. 

Τα κορυφαία εργαλεία εκείνη την εποχή για εργασίες που σχετίζονται με την εικόνα ήταν τα συνελικτικά νευρωνικά δίκτυα (CNN). Για την κινεζική εργασία χειρογράφου, ένας συγγραφέας θα ανιχνεύσει έναν χαρακτήρα σε ένα ψηφιακό tablet, παράγοντας μια εικόνα, ας πούμε, 10,000 pixel. Στη συνέχεια, το CNN θα μετακινούσε ένα πλέγμα 3 προς 3 που ονομάζεται πυρήνας σε ολόκληρη την εικόνα, κεντρίζοντας τον πυρήνα σε κάθε pixel ξεχωριστά. Για κάθε τοποθέτηση του πυρήνα, το δίκτυο θα εκτελούσε έναν περίπλοκο μαθηματικό υπολογισμό που ονομάζεται συνέλιξη που αναζητούσε διακριτικά χαρακτηριστικά.

Τα CNN σχεδιάστηκαν για χρήση με εικόνες πυκνής πληροφορίας, όπως φωτογραφίες. Αλλά μια εικόνα που περιέχει έναν κινεζικό χαρακτήρα είναι ως επί το πλείστον κενή. Οι ερευνητές αναφέρονται στα δεδομένα με αυτή την ιδιότητα ως αραιά. Είναι ένα κοινό χαρακτηριστικό οτιδήποτε στον φυσικό κόσμο. «Για να δώσω ένα παράδειγμα του πόσο αραιός μπορεί να είναι ο κόσμος», είπε ο Γκράχαμ, εάν ο Πύργος του Άιφελ ήταν εγκλεισμένος στο μικρότερο δυνατό ορθογώνιο, αυτό το ορθογώνιο θα αποτελείται από «99.98% αέρα και μόλις 0.02% σίδηρο».

Ο Γκράχαμ προσπάθησε να τροποποιήσει την προσέγγιση του CNN έτσι ώστε ο πυρήνας να τοποθετείται μόνο σε τμήματα 3 επί 3 της εικόνας που περιέχουν τουλάχιστον ένα pixel που έχει μη μηδενική τιμή (και δεν είναι απλώς κενό). Με αυτόν τον τρόπο, πέτυχε να δημιουργήσει ένα σύστημα που θα μπορούσε να αναγνωρίσει αποτελεσματικά χειρόγραφα κινέζικα. Κέρδισε έναν διαγωνισμό του 2013 προσδιορίζοντας μεμονωμένους χαρακτήρες με ποσοστό σφάλματος μόνο 2.61%. (Οι άνθρωποι σημείωσαν 4.81% κατά μέσο όρο.) Στη συνέχεια έστρεψε την προσοχή του σε ένα ακόμη μεγαλύτερο πρόβλημα: την τρισδιάστατη αναγνώριση αντικειμένων.

Μέχρι το 2017, ο Graham είχε μετακομίσει στο Facebook AI Research και είχε βελτιώσει περαιτέρω την τεχνική του και δημοσιεύθηκε ο καθέκαστα για το πρώτο SCNN, το οποίο εστίασε τον πυρήνα μόνο σε εικονοστοιχεία που είχαν μη μηδενική τιμή (αντί να τοποθετήσει τον πυρήνα σε οποιοδήποτε τμήμα 3 επί 3 που είχε τουλάχιστον ένα «μη μηδενικό» εικονοστοιχείο). Αυτή ήταν η γενική ιδέα που έφερε ο Terao στον κόσμο της σωματιδιακής φυσικής.

Υπόγεια Πλάνα

Ο Terao εμπλέκεται με πειράματα στο Εθνικό Εργαστήριο Επιταχυντών Fermi που διερευνούν τη φύση των νετρίνων, μεταξύ των πιο αόριστων γνωστών στοιχειωδών σωματιδίων. Είναι επίσης τα πιο άφθονα σωματίδια στο σύμπαν με μάζα (αν και όχι πολύ), αλλά σπάνια εμφανίζονται μέσα σε έναν ανιχνευτή. Ως αποτέλεσμα, τα περισσότερα από τα δεδομένα για πειράματα νετρίνων είναι αραιά και ο Terao αναζητούσε συνεχώς καλύτερες προσεγγίσεις στην ανάλυση δεδομένων. Βρήκε ένα σε SCNN.

Το 2019, εφάρμοσε SCNN σε προσομοιώσεις των δεδομένων που αναμένονταν από το Deep Underground Neutrino Experiment ή DUNE, το οποίο θα είναι το μεγαλύτερο πείραμα φυσικής νετρίνων στον κόσμο όταν κυκλοφορήσει online το 2026. Το έργο θα πυροβολήσει νετρίνα από το Fermilab, λίγο έξω από το Σικάγο. μέσω 800 μιλίων γης σε ένα υπόγειο εργαστήριο στη Νότια Ντακότα. Στην πορεία, τα σωματίδια θα «ταλαντωθούν» μεταξύ των τριών γνωστών τύπων νετρίνων και αυτές οι ταλαντώσεις μπορεί να αποκαλύψουν λεπτομερείς ιδιότητες νετρίνων.

Τα SCNN ανέλυσαν τα προσομοιωμένα δεδομένα ταχύτερα από τις συνηθισμένες μεθόδους και απαιτούσαν σημαντικά λιγότερη υπολογιστική ισχύ για να το κάνουν. Τα πολλά υποσχόμενα αποτελέσματα σημαίνουν ότι τα SCNN πιθανότατα θα χρησιμοποιηθούν κατά τη διάρκεια της πραγματικής πειραματικής εκτέλεσης.

Εν τω μεταξύ, το 2021, η Terao βοήθησε στην προσθήκη SCNN σε ένα άλλο πείραμα νετρίνων στο Fermilab γνωστό ως MicroBooNE. Εδώ, οι επιστήμονες εξετάζουν τις συνέπειες των συγκρούσεων μεταξύ των νετρίνων και των πυρήνων των ατόμων αργού. Εξετάζοντας τα ίχνη που δημιουργούνται από αυτές τις αλληλεπιδράσεις, οι ερευνητές μπορούν να συμπεράνουν λεπτομέρειες σχετικά με τα αρχικά νετρίνα. Για να γίνει αυτό, χρειάζονται έναν αλγόριθμο που μπορεί να κοιτάξει τα εικονοστοιχεία (ή, τεχνικά, τα τρισδιάστατα αντίστοιχά τους που ονομάζονται voxels) σε μια τρισδιάστατη αναπαράσταση του ανιχνευτή και στη συνέχεια να προσδιορίσει ποια pixel σχετίζονται με ποιες τροχιές σωματιδίων.

Επειδή τα δεδομένα είναι τόσο αραιά - μια σωρεία μικροσκοπικών γραμμών σε έναν μεγάλο ανιχνευτή (περίπου 170 τόνοι υγρού αργού) - τα SCNN είναι σχεδόν τέλεια για αυτήν την εργασία. Με ένα τυπικό CNN, η εικόνα θα έπρεπε να χωριστεί σε 50 κομμάτια, λόγω όλων των υπολογισμών που πρέπει να γίνουν, είπε ο Terao. «Με ένα αραιό CNN, αναλύουμε ολόκληρη την εικόνα ταυτόχρονα – και το κάνουμε πολύ πιο γρήγορα».

Έγκαιροι Ενεργοποιητές

Ένας από τους ερευνητές που εργάστηκαν στο MicroBooNE ήταν ένας προπτυχιακός ασκούμενος ονόματι Felix Yu. Εντυπωσιασμένος με τη δύναμη και την αποτελεσματικότητα των SCNN, έφερε τα εργαλεία μαζί του στον επόμενο χώρο εργασίας του ως μεταπτυχιακός φοιτητής σε ένα ερευνητικό εργαστήριο του Χάρβαρντ, επίσημα συνδεδεμένο με το Παρατηρητήριο Νετρίνων IceCube στο Νότιο Πόλο.

Ένας από τους βασικούς στόχους του παρατηρητηρίου είναι να αναχαιτίσει τα πιο ενεργητικά νετρίνα του σύμπαντος και να τα εντοπίσει στις πηγές τους, τα περισσότερα από τα οποία βρίσκονται έξω από τον γαλαξία μας. Ο ανιχνευτής αποτελείται από 5,160 οπτικούς αισθητήρες θαμμένους στον πάγο της Ανταρκτικής, μόνο ένα μικρό κλάσμα των οποίων ανάβει ανά πάσα στιγμή. Η υπόλοιπη συστοιχία παραμένει σκοτεινή και δεν είναι ιδιαίτερα κατατοπιστική. Ακόμη χειρότερα, πολλά από τα «συμβάντα» που καταγράφουν οι ανιχνευτές είναι ψευδώς θετικά και δεν είναι χρήσιμα για το κυνήγι νετρίνων. Μόνο τα αποκαλούμενα γεγονότα σε επίπεδο ενεργοποίησης κάνουν την περικοπή για περαιτέρω ανάλυση και πρέπει να ληφθούν στιγμιαίες αποφάσεις ως προς το ποια είναι άξια αυτού του χαρακτηρισμού και ποια θα αγνοηθούν μόνιμα.

Τα τυπικά CNN είναι πολύ αργά για αυτήν την εργασία, Έτσι, οι επιστήμονες του IceCube βασίζονται εδώ και καιρό σε έναν αλγόριθμο που ονομάζεται LineFit για να τους ενημερώσει για πιθανές χρήσιμες ανιχνεύσεις. Αλλά αυτός ο αλγόριθμος είναι αναξιόπιστος, είπε ο Yu, «πράγμα που σημαίνει ότι θα μπορούσαμε να χάσουμε ενδιαφέροντα γεγονότα». Και πάλι, είναι ένα περιβάλλον αραιών δεδομένων, ιδανικό για ένα SCNN.

Ο Yu — μαζί με τον Argüelles-Delgado, τον διδακτορικό του σύμβουλο, και τον Jeff Lazar, μεταπτυχιακό φοιτητή στο Πανεπιστήμιο του Wisconsin, Madison — ποσοτικοποίησαν αυτό το πλεονέκτημα, δείχνοντας ένα πρόσφατο άρθρο ότι αυτά τα δίκτυα θα ήταν περίπου 20 φορές πιο γρήγορα από τα τυπικά CNN. "Αυτό είναι αρκετά γρήγορο για να τρέχει σε κάθε συμβάν που βγαίνει από τον ανιχνευτή", περίπου 3,000 κάθε δευτερόλεπτο, είπε ο Lazar. «Αυτό μας δίνει τη δυνατότητα να λαμβάνουμε καλύτερες αποφάσεις για το τι θα πετάξουμε και τι θα κρατήσουμε».

Οι συγγραφείς έχουν επίσης χρησιμοποιήσει με επιτυχία ένα SCNN σε μια προσομοίωση χρησιμοποιώντας επίσημα δεδομένα IceCube και το επόμενο βήμα είναι να δοκιμάσουν το σύστημά τους σε ένα αντίγραφο του υπολογιστικού συστήματος του Νότιου Πόλου. Αν όλα πάνε καλά, η Argüelles-Delgado πιστεύει ότι θα πρέπει να εγκαταστήσουν το σύστημά τους στο αστεροσκοπείο της Ανταρκτικής το επόμενο έτος. Αλλά η τεχνολογία θα μπορούσε να έχει ακόμη ευρύτερη χρήση. «Πιστεύουμε ότι [τα SCNN θα μπορούσαν να ωφελήσουν] όλα τα τηλεσκόπια νετρίνων, όχι μόνο το IceCube», είπε ο Argüelles-Delgado.

Πέρα από τα νετρίνα

Ο Philip Harris, ένας φυσικός στο Ινστιτούτο Τεχνολογίας της Μασαχουσέτης, ελπίζει ότι τα SCNN μπορούν να βοηθήσουν στον μεγαλύτερο επιταχυντή σωματιδίων από όλους: τον Μεγάλο Επιταχυντή Αδρονίων (LHC) στο CERN. Ο Χάρις άκουσε για αυτό το είδος νευρωνικού δικτύου από έναν συνάδελφο του MIT, τον επιστήμονα υπολογιστών Song Han. «Ο Song είναι ειδικός στο να κάνει αλγόριθμους γρήγορους και αποτελεσματικούς», είπε ο Harris — ιδανικό για τον LHC, όπου συμβαίνουν 40 εκατομμύρια συγκρούσεις κάθε δευτερόλεπτο.

Όταν μίλησαν πριν από μερικά χρόνια, ο Σονγκ είπε στον Χάρις για ένα έργο αυτόνομου οχήματος που ακολουθούσε με μέλη του εργαστηρίου του. Η ομάδα του Song χρησιμοποιούσε SCNN για να αναλύσει τρισδιάστατους χάρτες λέιζερ του χώρου μπροστά από το όχημα, μεγάλο μέρος του οποίου είναι άδειο, για να δει αν υπήρχαν εμπόδια μπροστά.

Ο Χάρις και οι συνάδελφοί του αντιμετωπίζουν παρόμοιες προκλήσεις στο LHC. Όταν δύο πρωτόνια συγκρούονται μέσα στη μηχανή, η συντριβή δημιουργεί μια διαστελλόμενη σφαίρα από σωματίδια. Όταν ένα από αυτά τα σωματίδια χτυπήσει τον συλλέκτη, εμφανίζεται μια δευτερεύουσα βροχή σωματιδίων. «Αν μπορείτε να χαρτογραφήσετε την πλήρη έκταση αυτού του ντους», είπε ο Χάρις, «μπορείτε να προσδιορίσετε την ενέργεια του σωματιδίου που το δημιούργησε», το οποίο μπορεί να είναι ένα αντικείμενο ιδιαίτερου ενδιαφέροντος - κάτι σαν το μποζόνιο Χιγκς, το οποίο οι φυσικοί ανακαλύφθηκε το 2012, ή ένα σωματίδιο σκοτεινής ύλης, το οποίο οι φυσικοί εξακολουθούν να αναζητούν.

«Το πρόβλημα που προσπαθούμε να λύσουμε έγκειται στη σύνδεση των κουκκίδων», είπε ο Χάρις, ακριβώς όπως ένα αυτοοδηγούμενο αυτοκίνητο μπορεί να συνδέσει τις κουκκίδες ενός χάρτη λέιζερ για να ανιχνεύσει ένα εμπόδιο.

Τα SCNN θα επιτάχυναν την ανάλυση δεδομένων στο LHC τουλάχιστον κατά 50, είπε ο Χάρις. «Ο απώτερος στόχος μας είναι να βάλουμε [SCNN] στον ανιχνευτή» — μια εργασία που θα χρειαστεί τουλάχιστον ένα χρόνο γραφειοκρατίας και πρόσθετη συμμετοχή από την κοινότητα. Αλλά αυτός και οι συνάδελφοί του είναι αισιόδοξοι.

Συνολικά, είναι ολοένα και πιο πιθανό ότι τα SCNN - μια ιδέα που δημιουργήθηκε αρχικά στον κόσμο της επιστήμης των υπολογιστών - θα παίξουν σύντομα ρόλο στα μεγαλύτερα πειράματα που έγιναν ποτέ στη φυσική των νετρίνων (DUNE), την αστρονομία των νετρίνων (IceCube) και τη φυσική υψηλής ενέργειας (το LHC). .

Ο Γκράχαμ είπε ότι εξεπλάγην ευχάριστα όταν έμαθε ότι τα SCNN είχαν φτάσει στη σωματιδιακή φυσική, αν και δεν σοκαρίστηκε εντελώς. «Με μια αφηρημένη έννοια», είπε, «ένα σωματίδιο που κινείται στο διάστημα μοιάζει λίγο με την άκρη ενός στυλό που κινείται σε ένα κομμάτι χαρτί».