Mạng lưới thần kinh thưa thớt hướng các nhà vật lý đến dữ liệu hữu ích | Tạp chí lượng tử

Giả sử bạn có một cuốn sách dày hàng nghìn trang, nhưng mỗi trang chỉ có một dòng văn bản. Bạn phải trích xuất thông tin có trong sách bằng máy quét, chỉ máy quét cụ thể này mới đi qua từng trang một cách có hệ thống, quét từng inch vuông một. Bạn sẽ mất nhiều thời gian để xem toàn bộ cuốn sách bằng máy quét đó và phần lớn thời gian đó sẽ bị lãng phí khi quét không gian trống. 

Đó là cuộc sống của nhiều nhà vật lý thực nghiệm. Trong các thí nghiệm về hạt, các máy dò thu thập và phân tích lượng dữ liệu khổng lồ, mặc dù chỉ một phần rất nhỏ trong số đó chứa thông tin hữu ích. “Ví dụ, trong một bức ảnh chụp một con chim đang bay trên bầu trời, mỗi điểm ảnh đều có thể có ý nghĩa,” giải thích Kazuhiro Terao, một nhà vật lý tại Phòng thí nghiệm Máy gia tốc Quốc gia SLAC. Nhưng trong những hình ảnh mà một nhà vật lý nhìn vào, thường chỉ một phần nhỏ của nó thực sự quan trọng. Trong những trường hợp như vậy, việc nghiền ngẫm từng chi tiết sẽ tiêu tốn thời gian và tài nguyên tính toán một cách không cần thiết.

Nhưng điều đó đang bắt đầu thay đổi. Với một công cụ học máy được gọi là mạng thần kinh tích chập thưa thớt (SCNN), các nhà nghiên cứu có thể tập trung vào các phần dữ liệu có liên quan của họ và sàng lọc phần còn lại. Các nhà nghiên cứu đã sử dụng các mạng này để tăng tốc đáng kể khả năng thực hiện phân tích dữ liệu theo thời gian thực. Và họ có kế hoạch sử dụng SCNN trong các thử nghiệm sắp tới hoặc hiện có trên ít nhất ba lục địa. Việc chuyển đổi đánh dấu một sự thay đổi lịch sử cho cộng đồng vật lý. 

“Trong vật lý, chúng tôi đã quen với việc phát triển các thuật toán và phương pháp tính toán của riêng mình,” cho biết Carlos Argüelles-Delgado, một nhà vật lý tại Đại học Harvard. “Chúng tôi luôn đi đầu trong phát triển, nhưng giờ đây, về mặt tính toán, khoa học máy tính thường dẫn đầu.” 

Nhân vật thưa thớt

Công việc dẫn đến SCNN bắt đầu vào năm 2012, khi Benjamin Graham, sau đó tại Đại học Warwick, muốn tạo ra một mạng thần kinh có thể nhận dạng chữ viết tay của Trung Quốc. 

Các công cụ hàng đầu vào thời điểm đó cho các tác vụ liên quan đến hình ảnh như thế này là mạng thần kinh tích chập (CNN). Đối với nhiệm vụ viết tay của Trung Quốc, một người viết sẽ theo dõi một ký tự trên máy tính bảng kỹ thuật số, tạo ra một hình ảnh có độ phân giải 10,000 pixel. Sau đó, CNN sẽ di chuyển một lưới 3 nhân 3 được gọi là hạt nhân trên toàn bộ hình ảnh, tập trung hạt nhân vào từng pixel riêng lẻ. Đối với mọi vị trí của hạt nhân, mạng sẽ thực hiện một phép tính toán học phức tạp được gọi là phép tích chập để tìm kiếm các đặc điểm phân biệt.

CNN được thiết kế để sử dụng với các hình ảnh chứa nhiều thông tin như ảnh chụp. Nhưng một hình ảnh chứa một ký tự Trung Quốc hầu hết trống rỗng; các nhà nghiên cứu coi dữ liệu có thuộc tính này là thưa thớt. Đó là một đặc điểm chung của bất cứ điều gì trong thế giới tự nhiên. “Để đưa ra một ví dụ về mức độ thưa thớt của thế giới,” Graham nói, nếu Tháp Eiffel được bao bọc trong hình chữ nhật nhỏ nhất có thể, thì hình chữ nhật đó sẽ bao gồm “99.98% không khí và chỉ 0.02% sắt”.

Graham đã thử điều chỉnh cách tiếp cận CNN để hạt nhân chỉ được đặt trên các phần 3 nhân 3 của hình ảnh chứa ít nhất một pixel có giá trị khác 2013 (và không chỉ trống). Bằng cách này, ông đã thành công trong việc tạo ra một hệ thống có thể nhận dạng chữ viết tay của người Trung Quốc một cách hiệu quả. Nó đã giành chiến thắng trong một cuộc thi năm 2.61 bằng cách xác định các ký tự riêng lẻ với tỷ lệ lỗi chỉ là 4.81%. (Con người đạt điểm trung bình là XNUMX%). Tiếp theo, ông chuyển sự chú ý của mình sang một vấn đề thậm chí còn lớn hơn: nhận dạng đối tượng ba chiều.

Đến năm 2017, Graham đã chuyển sang Facebook AI Research và đã hoàn thiện hơn nữa kỹ thuật của mình cũng như công bố các chi tiết đối với SCNN đầu tiên, chỉ tập trung hạt nhân vào các pixel có giá trị khác không (thay vì đặt hạt nhân trên bất kỳ phần 3 x 3 nào có ít nhất một pixel “khác không”). Chính ý tưởng chung này mà Terao đã mang đến thế giới vật lý hạt cơ bản.

bắn ngầm

Terao tham gia vào các thí nghiệm tại Phòng thí nghiệm Máy gia tốc Quốc gia Fermi thăm dò bản chất của neutrino, một trong những hạt cơ bản khó nắm bắt nhất đã biết. Chúng cũng là những hạt có khối lượng dồi dào nhất trong vũ trụ (mặc dù không nhiều), nhưng chúng hiếm khi xuất hiện bên trong máy dò. Kết quả là hầu hết dữ liệu cho các thí nghiệm neutrino đều thưa thớt và Terao liên tục tìm kiếm các phương pháp tốt hơn để phân tích dữ liệu. Anh ấy đã tìm thấy một cái trong SCNN.

Vào năm 2019, anh ấy đã áp dụng SCNN vào các mô phỏng dữ liệu dự kiến ​​từ Thí nghiệm neutrino dưới lòng đất sâu, hay DUNE, đây sẽ là thí nghiệm vật lý neutrino lớn nhất thế giới khi được đưa vào hoạt động vào năm 2026. Dự án sẽ bắn neutrino từ Fermilab, ngay bên ngoài Chicago, qua 800 dặm trái đất đến một phòng thí nghiệm dưới lòng đất ở Nam Dakota. Trên đường đi, các hạt sẽ “dao động” giữa ba loại neutrino đã biết, và những dao động này có thể tiết lộ các đặc tính chi tiết của neutrino.

Các SCNN đã phân tích dữ liệu mô phỏng nhanh hơn so với các phương pháp thông thường và yêu cầu sức mạnh tính toán ít hơn đáng kể khi làm như vậy. Các kết quả đầy hứa hẹn có nghĩa là SCNN có thể sẽ được sử dụng trong quá trình chạy thử nghiệm thực tế.

Trong khi đó, vào năm 2021, Terao đã giúp thêm SCNN vào một thí nghiệm neutrino khác tại Fermilab có tên là MicroBooNE. Tại đây, các nhà khoa học xem xét hậu quả của sự va chạm giữa neutrino và hạt nhân của nguyên tử argon. Bằng cách kiểm tra các vệt do các tương tác này tạo ra, các nhà nghiên cứu có thể suy luận chi tiết về các neutrino ban đầu. Để làm được điều đó, họ cần một thuật toán có thể xem xét các pixel (hoặc, về mặt kỹ thuật, các đối tác ba chiều của chúng được gọi là voxels) trong một biểu diễn ba chiều của máy dò và sau đó xác định pixel nào được liên kết với quỹ đạo của hạt nào.

Bởi vì dữ liệu quá thưa thớt — một vài dòng nhỏ trong một máy dò lớn (xấp xỉ 170 tấn argon lỏng) — SCNN gần như hoàn hảo cho nhiệm vụ này. Terao cho biết, với một CNN tiêu chuẩn, hình ảnh sẽ phải được chia thành 50 mảnh do phải thực hiện tất cả các phép tính. “Với một CNN thưa thớt, chúng tôi phân tích toàn bộ hình ảnh cùng một lúc — và thực hiện nhanh hơn nhiều.”

kích hoạt kịp thời

Một trong những nhà nghiên cứu làm việc trên MicroBooNE là một sinh viên thực tập đại học tên là Felix Yu. Ấn tượng với sức mạnh và hiệu quả của SCNN, anh ấy đã mang theo các công cụ này đến nơi làm việc tiếp theo của mình với tư cách là một sinh viên tốt nghiệp tại phòng thí nghiệm nghiên cứu Harvard liên kết chính thức với Đài quan sát Neutrino IceCube ở Nam Cực.

Một trong những mục tiêu chính của đài quan sát là chặn các hạt neutrino năng lượng nhất của vũ trụ và truy tìm chúng về nguồn gốc của chúng, hầu hết chúng nằm bên ngoài thiên hà của chúng ta. Máy dò bao gồm 5,160 cảm biến quang học được chôn trong băng ở Nam Cực, chỉ một phần rất nhỏ trong số đó phát sáng vào bất kỳ thời điểm nào. Phần còn lại của mảng vẫn tối và không có nhiều thông tin. Tồi tệ hơn, nhiều “sự kiện” mà máy dò ghi lại là dương tính giả và không hữu ích cho việc săn neutrino. Chỉ những sự kiện được gọi là cấp độ kích hoạt mới thực hiện cắt giảm để phân tích thêm và cần phải đưa ra quyết định ngay lập tức xem sự kiện nào xứng đáng với chỉ định đó và sự kiện nào sẽ bị bỏ qua vĩnh viễn.

CNN tiêu chuẩn quá chậm cho nhiệm vụ này, vì vậy các nhà khoa học của IceCube từ lâu đã dựa vào thuật toán có tên LineFit để cho họ biết về các phát hiện hữu ích tiềm năng. Nhưng thuật toán đó không đáng tin cậy, Yu nói, “có nghĩa là chúng ta có thể bỏ lỡ các sự kiện thú vị.” Một lần nữa, đó là một môi trường dữ liệu thưa thớt phù hợp lý tưởng cho SCNN.

Yu — cùng với Argüelles-Delgado, cố vấn tiến sĩ của anh ấy, và Jeff Lazar, nghiên cứu sinh tại Đại học Wisconsin, Madison — đã định lượng lợi thế đó, thể hiện trong một bài báo gần đây rằng các mạng này sẽ nhanh hơn khoảng 20 lần so với các CNN điển hình. Lazar nói: “Điều đó đủ nhanh để chạy trên mọi sự kiện phát ra từ máy dò,” khoảng 3,000 mỗi giây. “Điều đó cho phép chúng tôi đưa ra quyết định tốt hơn về những gì nên vứt bỏ và những gì nên giữ lại.”

Các tác giả cũng đã sử dụng thành công SCNN trong một mô phỏng sử dụng dữ liệu chính thức của IceCube và bước tiếp theo là kiểm tra hệ thống của họ trên một bản sao của hệ thống điện toán Nam Cực. Nếu mọi việc suôn sẻ, Argüelles-Delgado tin rằng họ nên lắp đặt hệ thống của mình tại đài quan sát Nam Cực vào năm tới. Nhưng công nghệ có thể được sử dụng rộng rãi hơn. Argüelles-Delgado nói: “Chúng tôi nghĩ rằng [SCNNs có thể mang lại lợi ích] cho tất cả các kính viễn vọng neutrino, không chỉ IceCube.

Ngoài Neutrino

Philip Harris, một nhà vật lý tại Viện Công nghệ Massachusetts, đang hy vọng SCNN có thể giúp ích cho máy va chạm hạt lớn nhất trong số chúng: Máy Va chạm Hadron Lớn (LHC) tại CERN. Harris đã nghe về loại mạng thần kinh này từ một đồng nghiệp ở MIT, nhà khoa học máy tính Song Han. Harris cho biết: “Song là một chuyên gia trong việc tạo ra các thuật toán nhanh và hiệu quả – hoàn hảo cho LHC, nơi có 40 triệu va chạm xảy ra mỗi giây.

Khi họ nói chuyện cách đây vài năm, Song đã nói với Harris về một dự án xe tự hành mà anh ấy đang theo đuổi cùng với các thành viên trong phòng thí nghiệm của mình. Nhóm của Song đang sử dụng SCNN để phân tích bản đồ laser 3D của không gian phía trước phương tiện, phần lớn là trống rỗng, để xem liệu có vật cản nào phía trước hay không.

Harris và các đồng nghiệp của ông phải đối mặt với những thách thức tương tự tại LHC. Khi hai proton va chạm bên trong cỗ máy, vụ va chạm tạo ra một quả cầu giãn nở làm từ các hạt. Khi một trong những hạt này chạm vào bộ thu, một trận mưa hạt thứ cấp sẽ xảy ra. “Nếu bạn có thể vạch ra toàn bộ quy mô của trận mưa rào này,” Harris nói, “bạn có thể xác định năng lượng của hạt sinh ra nó,” đó có thể là một đối tượng được quan tâm đặc biệt - một thứ giống như boson Higgs, mà các nhà vật lý được phát hiện vào năm 2012, hay một hạt vật chất tối mà các nhà vật lý vẫn đang tìm kiếm.

Harris cho biết: “Vấn đề mà chúng tôi đang cố gắng giải quyết là kết nối các dấu chấm,” giống như một chiếc ô tô tự lái có thể kết nối các dấu chấm của bản đồ laze để phát hiện vật cản.

Harris cho biết SCNN sẽ tăng tốc độ phân tích dữ liệu tại LHC lên ít nhất là 50 lần. “Mục tiêu cuối cùng của chúng tôi là đưa [SCNN] vào máy dò” — một nhiệm vụ sẽ mất ít nhất một năm làm thủ tục giấy tờ và thêm sự ủng hộ từ cộng đồng. Nhưng anh ấy và các đồng nghiệp của mình đang hy vọng.

Nhìn chung, ngày càng có nhiều khả năng SCNN - một ý tưởng ban đầu được hình thành trong thế giới khoa học máy tính - sẽ sớm đóng một vai trò trong các thí nghiệm lớn nhất từng được tiến hành trong vật lý neutrino (DUNE), thiên văn học neutrino (IceCube) và vật lý năng lượng cao (LHC) .

Graham cho biết ông rất ngạc nhiên khi biết rằng SCNN đã tìm đường đến với vật lý hạt cơ bản, mặc dù ông không hoàn toàn bị sốc. “Theo một nghĩa trừu tượng,” ông nói, “một hạt chuyển động trong không gian giống như đầu bút di chuyển trên một tờ giấy.”