Sparse Neural Networks ชี้นักฟิสิกส์ให้ข้อมูลที่เป็นประโยชน์ | นิตยสารควอนตั้ม

สมมติว่าคุณมีหนังสือหนึ่งพันหน้า แต่แต่ละหน้ามีข้อความเพียงบรรทัดเดียว คุณควรแยกข้อมูลที่อยู่ในหนังสือโดยใช้เครื่องสแกน เฉพาะเครื่องสแกนนี้เท่านั้นที่จะผ่านแต่ละหน้าอย่างเป็นระบบ สแกนครั้งละหนึ่งตารางนิ้ว คุณจะใช้เวลานานในการสแกนหนังสือทั้งเล่มด้วยเครื่องสแกนนั้น และเวลาส่วนใหญ่ก็จะเสียไปกับการสแกนพื้นที่ว่าง 

นั่นคือชีวิตของนักฟิสิกส์ทดลองหลายคน ในการทดลองอนุภาค เครื่องตรวจจับจะจับและวิเคราะห์ข้อมูลจำนวนมหาศาล แม้ว่าจะมีเพียงเศษเสี้ยวเล็กๆ ก็ตามที่มีข้อมูลที่เป็นประโยชน์ “ในการถ่ายภาพ เช่น นกที่บินอยู่บนท้องฟ้า ทุกพิกเซลสามารถมีความหมายได้” อธิบาย คาซูฮิโระ เทราโอะนักฟิสิกส์จาก SLAC National Accelerator Laboratory แต่ในภาพที่นักฟิสิกส์ดู มักจะเป็นเพียงส่วนเล็กๆ เท่านั้นที่มีความสำคัญ ในสถานการณ์เช่นนั้น การเจาะลึกทุกรายละเอียดไม่จำเป็นต้องใช้เวลาและทรัพยากรในการคำนวณ

แต่นั่นกำลังเริ่มเปลี่ยนไป ด้วยเครื่องมือแมชชีนเลิร์นนิงที่เรียกว่า sparse convolutional neural network (SCNN) นักวิจัยสามารถมุ่งเน้นไปที่ส่วนที่เกี่ยวข้องของข้อมูลและกรองส่วนที่เหลือออก นักวิจัยได้ใช้เครือข่ายเหล่านี้เพื่อเร่งความสามารถในการวิเคราะห์ข้อมูลแบบเรียลไทม์อย่างมาก และพวกเขาวางแผนที่จะใช้ SCNN ในการทดลองที่จะเกิดขึ้นหรือที่มีอยู่แล้วในอย่างน้อยสามทวีป สวิตช์ดังกล่าวนับเป็นการเปลี่ยนแปลงครั้งประวัติศาสตร์สำหรับชุมชนฟิสิกส์ 

“ในวิชาฟิสิกส์ เราคุ้นเคยกับการพัฒนาอัลกอริทึมและวิธีการคำนวณของเราเอง” กล่าว คาร์ลอส อาร์เกลเลส-เดลกาโดนักฟิสิกส์แห่งมหาวิทยาลัยฮาร์วาร์ด “เราอยู่ในระดับแนวหน้าของการพัฒนามาโดยตลอด แต่ตอนนี้ วิทยาการคอมพิวเตอร์มักเป็นผู้นำในด้านการคำนวณเสมอ” 

ตัวละครกระจัดกระจาย

งานที่จะนำไปสู่ ​​SCNN เริ่มขึ้นในปี 2012 เมื่อ เบนจามินเกรแฮมซึ่งตอนนั้นอยู่ที่มหาวิทยาลัย Warwick ต้องการสร้างโครงข่ายประสาทเทียมที่สามารถจดจำลายมือภาษาจีนได้ 

เครื่องมือชั้นนำในเวลานั้นสำหรับงานเกี่ยวกับภาพเช่นนี้คือเครือข่ายประสาทเทียม (CNN) สำหรับงานเขียนด้วยลายมือภาษาจีน นักเขียนจะติดตามอักขระบนแท็บเล็ตดิจิทัล โดยสร้างภาพขนาด 10,000 พิกเซล จากนั้น CNN จะย้ายตารางขนาด 3 คูณ 3 ที่เรียกว่าเคอร์เนลทั่วทั้งภาพ โดยจัดเคอร์เนลให้อยู่กึ่งกลางในแต่ละพิกเซล สำหรับทุกตำแหน่งของเคอร์เนล เครือข่ายจะทำการคำนวณทางคณิตศาสตร์ที่ซับซ้อนซึ่งเรียกว่าการบิดเบี้ยวที่มองหาคุณลักษณะที่แตกต่าง

CNN ได้รับการออกแบบมาให้ใช้กับรูปภาพที่มีข้อมูลหนาแน่น เช่น รูปถ่าย แต่รูปภาพที่มีตัวอักษรจีนส่วนใหญ่จะว่างเปล่า นักวิจัยอ้างถึงข้อมูลที่มีคุณสมบัตินี้ว่าเบาบาง เป็นลักษณะทั่วไปของสิ่งใดในโลกธรรมชาติ “เพื่อเป็นตัวอย่างว่าโลกนี้มีขนาดที่เบาบางเพียงใด” เกรแฮมกล่าว หากหอไอเฟลถูกห่อหุ้มด้วยสี่เหลี่ยมผืนผ้าที่เล็กที่สุดเท่าที่จะเป็นไปได้ สี่เหลี่ยมผืนผ้านั้นจะประกอบด้วย “อากาศ 99.98% และธาตุเหล็กเพียง 0.02%”

Graham พยายามปรับแต่งแนวทางของ CNN เพื่อให้เคอร์เนลถูกวางไว้ในส่วน 3 ต่อ 3 ของรูปภาพที่มีพิกเซลอย่างน้อยหนึ่งพิกเซลที่มีค่าไม่เป็นศูนย์ (และไม่ใช่แค่ว่างเปล่า) ด้วยวิธีนี้ เขาจึงประสบความสำเร็จในการสร้างระบบที่สามารถระบุภาษาจีนที่เขียนด้วยลายมือได้อย่างมีประสิทธิภาพ ชนะการแข่งขันในปี 2013 จากการระบุอักขระแต่ละตัวด้วยอัตราข้อผิดพลาดเพียง 2.61% (มนุษย์ได้คะแนนเฉลี่ย 4.81%) ถัดมา เขาหันไปสนใจปัญหาที่ใหญ่กว่านั้น นั่นคือการจดจำวัตถุสามมิติ

ภายในปี 2017 Graham ได้ย้ายไปที่ Facebook AI Research และได้ปรับปรุงเทคนิคและ การตีพิมพ์ รายละเอียด สำหรับ SCNN แรก ซึ่งจัดกึ่งกลางเคอร์เนลบนพิกเซลที่มีค่าไม่เป็นศูนย์เท่านั้น (แทนที่จะวางเคอร์เนลในส่วน 3 คูณ 3 ที่มีพิกเซล "ไม่ใช่ศูนย์" อย่างน้อยหนึ่งพิกเซล) นี่คือแนวคิดทั่วไปที่ Terao นำมาสู่โลกแห่งฟิสิกส์ของอนุภาค

ภาพใต้ดิน

Terao เกี่ยวข้องกับการทดลองที่ Fermi National Accelerator Laboratory เพื่อสำรวจธรรมชาติของนิวตริโน ซึ่งเป็นหนึ่งในอนุภาคมูลฐานที่เข้าใจยากที่สุดที่รู้จัก พวกมันยังเป็นอนุภาคที่มีมวลมากที่สุดในเอกภพ (แม้ว่าจะไม่มากนัก) แต่พวกมันแทบจะไม่ปรากฏในเครื่องตรวจจับ ด้วยเหตุนี้ ข้อมูลส่วนใหญ่สำหรับการทดลองนิวตริโนจึงมีน้อย และ Terao ก็มองหาแนวทางที่ดีกว่าในการวิเคราะห์ข้อมูลอยู่เสมอ เขาพบหนึ่งใน SCNN

ในปี 2019 เขาใช้ SCNN ในการจำลองข้อมูลที่คาดหวังจาก Deep Underground Neutrino Experiment หรือ DUNE ซึ่งจะเป็นการทดลองทางฟิสิกส์ของนิวตริโนที่ใหญ่ที่สุดในโลกเมื่อเปิดตัวในปี 2026 โครงการจะยิงนิวตริโนจาก Fermilab นอกเมืองชิคาโก ผ่านโลก 800 ไมล์ไปยังห้องทดลองใต้ดินในเซาท์ดาโคตา ระหว่างทาง อนุภาคจะ "แกว่ง" ระหว่างนิวตริโนสามประเภทที่รู้จัก และการสั่นเหล่านี้อาจเปิดเผยคุณสมบัติของนิวตริโนโดยละเอียด

SCNN วิเคราะห์ข้อมูลจำลองได้เร็วกว่าวิธีการทั่วไป และต้องการพลังในการคำนวณน้อยกว่ามากในการดำเนินการดังกล่าว ผลลัพธ์ที่คาดหวังหมายความว่า SCNN จะถูกนำมาใช้ในระหว่างการทดลองใช้งานจริง

ในขณะเดียวกัน ในปี 2021 Terao ได้ช่วยเพิ่ม SCNN ในการทดลองนิวตริโนอีกรายการที่ Fermilab ซึ่งรู้จักกันในชื่อ MicroBooNE ที่นี่ นักวิทยาศาสตร์พิจารณาผลที่ตามมาของการชนกันระหว่างนิวตริโนกับนิวเคลียสของอะตอมอาร์กอน การตรวจสอบเส้นทางที่สร้างขึ้นโดยปฏิสัมพันธ์เหล่านี้ นักวิจัยสามารถสรุปรายละเอียดเกี่ยวกับนิวตริโนดั้งเดิมได้ ในการทำเช่นนั้น พวกเขาต้องการอัลกอริทึมที่สามารถดูพิกเซล (หรือในทางเทคนิค พิกเซลสามมิติที่เรียกว่า voxels) ในการนำเสนอแบบสามมิติของเครื่องตรวจจับ จากนั้นพิจารณาว่าพิกเซลใดเชื่อมโยงกับวิถีโคจรของอนุภาคใด

เนื่องจากข้อมูลมีอยู่อย่างกระจัดกระจาย — เป็นเพียงเส้นเล็ก ๆ ภายในเครื่องตรวจจับขนาดใหญ่ (ประมาณ 170 ตันของอาร์กอนเหลว) — SCNN เกือบจะสมบูรณ์แบบสำหรับงานนี้ ด้วยมาตรฐานของ CNN รูปภาพจะต้องถูกแบ่งออกเป็น 50 ชิ้น เนื่องจากต้องคำนวณทั้งหมด Terao กล่าว “ด้วย CNN ที่กระจัดกระจาย เราวิเคราะห์ภาพทั้งหมดพร้อมกัน — และทำให้เร็วขึ้นมาก”

ทริกเกอร์ทันเวลา

หนึ่งในนักวิจัยที่ทำงานเกี่ยวกับ MicroBooNE คือนักศึกษาฝึกงานระดับปริญญาตรีชื่อ Felix Yu ด้วยความประทับใจในพลังและประสิทธิภาพของ SCNN เขาจึงนำเครื่องมือติดตัวไปที่สถานที่ทำงานถัดไปในฐานะนักศึกษาระดับบัณฑิตศึกษาที่ห้องปฏิบัติการวิจัยฮาร์วาร์ดที่เป็นพันธมิตรอย่างเป็นทางการกับหอสังเกตการณ์นิวตริโน IceCube ที่ขั้วโลกใต้

หนึ่งในเป้าหมายหลักของหอดูดาวคือการสกัดกั้นนิวตริโนที่มีพลังมากที่สุดในจักรวาลและติดตามพวกมันกลับไปยังแหล่งกำเนิดซึ่งส่วนใหญ่อยู่นอกกาแลคซีของเรา เครื่องตรวจจับประกอบด้วยเซ็นเซอร์ออปติก 5,160 ตัวที่ฝังอยู่ในน้ำแข็งแอนตาร์กติก ซึ่งมีเพียงส่วนน้อยเท่านั้นที่สว่างขึ้นในช่วงเวลาใดก็ตาม อาร์เรย์ที่เหลือยังคงมืดและไม่ได้ให้ข้อมูลเป็นพิเศษ ที่แย่กว่านั้นคือ "เหตุการณ์" หลายอย่างที่เครื่องตรวจจับบันทึกไว้เป็นผลบวกที่ผิดพลาดและไม่มีประโยชน์สำหรับการล่านิวตริโน เฉพาะเหตุการณ์ระดับทริกเกอร์เท่านั้นที่ตัดส่วนสำหรับการวิเคราะห์เพิ่มเติม และจำเป็นต้องทำการตัดสินใจในทันทีว่าเหตุการณ์ใดคู่ควรกับการกำหนดนั้น และเหตุการณ์ใดจะถูกเพิกเฉยอย่างถาวร

CNN มาตรฐานช้าเกินไปสำหรับงานนี้ ดังนั้นนักวิทยาศาสตร์ของ IceCube จึงใช้อัลกอริทึมที่เรียกว่า LineFit มาเป็นเวลานานเพื่อบอกพวกเขาเกี่ยวกับการตรวจจับที่อาจเป็นประโยชน์ แต่อัลกอริทึมนั้นไม่น่าเชื่อถือ Yu กล่าว "ซึ่งหมายความว่าเราอาจจะพลาดเหตุการณ์ที่น่าสนใจ" อีกครั้ง มันเป็นสภาพแวดล้อมข้อมูลที่เบาบางซึ่งเหมาะอย่างยิ่งสำหรับ SCNN

Yu ร่วมกับ Argüelles-Delgado ที่ปรึกษาระดับปริญญาเอกของเขา และ Jeff Lazar นักศึกษาระดับบัณฑิตศึกษาจาก University of Wisconsin, Madison ได้ประเมินข้อได้เปรียบดังกล่าวโดยแสดงไว้ใน กระดาษล่าสุด ว่าเครือข่ายเหล่านี้จะเร็วกว่า CNN ทั่วไปประมาณ 20 เท่า “นั่นเร็วพอที่จะทำงานในทุกเหตุการณ์ที่ออกมาจากเครื่องตรวจจับ” ลาซาร์กล่าวประมาณ 3,000 ครั้งต่อวินาที “นั่นทำให้เราตัดสินใจได้ดีขึ้นว่าอะไรควรทิ้งและอะไรควรเก็บไว้”

ผู้เขียนยังประสบความสำเร็จในการใช้ SCNN ในการจำลองโดยใช้ข้อมูล IceCube อย่างเป็นทางการ และขั้นตอนต่อไปคือการทดสอบระบบของพวกเขาบนแบบจำลองของระบบคอมพิวเตอร์ขั้วโลกใต้ หากทุกอย่างเป็นไปด้วยดี Argüelles-Delgado เชื่อว่าพวกเขาควรจะติดตั้งระบบที่หอดูดาวแอนตาร์กติกในปีหน้า แต่เทคโนโลยีสามารถเห็นการใช้งานที่กว้างขึ้น Argüelles-Delgado กล่าวว่า "เราคิดว่า [SCNNs จะได้รับประโยชน์] กล้องโทรทรรศน์นิวตริโนทั้งหมด ไม่ใช่แค่ IceCube"

นอกเหนือจากนิวตริโน

Philip Harris นักฟิสิกส์แห่งสถาบันเทคโนโลยีแมสซาชูเซตส์ หวังว่า SCNN สามารถช่วยเครื่องชนอนุภาคที่ใหญ่ที่สุดในบรรดาเครื่องชนอนุภาคขนาดใหญ่ทั้งหมด นั่นคือ Large Hadron Collider (LHC) ที่ CERN Harris ได้ยินเกี่ยวกับเครือข่ายประสาทชนิดนี้จากเพื่อนร่วมงานของ MIT ซึ่งเป็นนักวิทยาศาสตร์คอมพิวเตอร์ Song Han “Song เป็นผู้เชี่ยวชาญในการสร้างอัลกอริทึมที่รวดเร็วและมีประสิทธิภาพ” Harris กล่าว — สมบูรณ์แบบสำหรับ LHC ซึ่งมีการชนกัน 40 ล้านครั้งทุกวินาที

เมื่อพวกเขาคุยกันเมื่อ 3-XNUMX ปีก่อน ซองบอกกับแฮร์ริสเกี่ยวกับโครงการรถยนต์ไร้คนขับที่เขากำลังดำเนินการร่วมกับสมาชิกในห้องปฏิบัติการของเขา ทีมของ Song ใช้ SCNN เพื่อวิเคราะห์แผนที่เลเซอร์ XNUMX มิติของพื้นที่ด้านหน้ายานพาหนะ ซึ่งส่วนใหญ่ว่างเปล่า เพื่อดูว่ามีสิ่งกีดขวางข้างหน้าหรือไม่

Harris และเพื่อนร่วมงานของเขาเผชิญกับความท้าทายที่คล้ายกันที่ LHC เมื่อโปรตอนสองตัวชนกันภายในเครื่อง การชนจะสร้างทรงกลมขยายตัวซึ่งทำจากอนุภาค เมื่อหนึ่งในอนุภาคเหล่านี้กระทบกับตัวสะสม อนุภาคทุติยภูมิจะเกิดขึ้น Harris กล่าวว่า "ถ้าคุณสามารถแมปขอบเขตทั้งหมดของการอาบน้ำนี้ได้" Harris กล่าว "คุณสามารถกำหนดพลังงานของอนุภาคที่ทำให้เกิดมันได้" ซึ่งอาจเป็นวัตถุที่น่าสนใจเป็นพิเศษ เช่น Higgs boson ซึ่งนักฟิสิกส์ ค้นพบในปี 2012 หรืออนุภาคสสารมืดที่นักฟิสิกส์ยังคงค้นหาอยู่

“ปัญหาที่เรากำลังพยายามแก้ไขนั้นมาจากการเชื่อมต่อจุดต่างๆ” แฮร์ริสกล่าว เช่นเดียวกับที่รถยนต์ขับเคลื่อนอัตโนมัติอาจเชื่อมต่อจุดต่างๆ ของแผนที่เลเซอร์เพื่อตรวจจับสิ่งกีดขวาง

SCNN จะเพิ่มความเร็วในการวิเคราะห์ข้อมูลที่ LHC อย่างน้อย 50 เท่า Harris กล่าว “เป้าหมายสูงสุดของเราคือการให้ [SCNNs] เข้าสู่เครื่องตรวจจับ” ซึ่งเป็นงานที่ต้องใช้เอกสารอย่างน้อยหนึ่งปีและการซื้อเพิ่มเติมจากชุมชน แต่เขาและเพื่อนร่วมงานมีความหวัง

โดยรวมแล้วมีแนวโน้มมากขึ้นว่า SCNNs ซึ่งเป็นแนวคิดที่ถือกำเนิดขึ้นในโลกวิทยาการคอมพิวเตอร์ จะมีบทบาทในการทดลองที่ยิ่งใหญ่ที่สุดที่เคยมีมาในฟิสิกส์นิวตริโน (DUNE) ดาราศาสตร์นิวตริโน (IceCube) และฟิสิกส์พลังงานสูง (LHC) .

Graham กล่าวว่าเขารู้สึกประหลาดใจอย่างยิ่งที่รู้ว่า SCNN ได้หาทางไปสู่ฟิสิกส์ของอนุภาคแล้ว แม้ว่าเขาจะไม่ได้รู้สึกตกใจเลยก็ตาม "ในแง่นามธรรม" เขากล่าว "อนุภาคที่เคลื่อนที่ในอวกาศก็เหมือนกับปลายปากกาที่เคลื่อนไปบนแผ่นกระดาษ"