Od dołu do góry: informatyk Amanda Barnard o pięknie symulacji, uczeniu maszynowym i tym, jak te dwa elementy się przecinają – Physics World

Od wykorzystania superkomputerów do wykorzystania nowych rodzajów materiałów po szkolenie modeli uczenia maszynowego w celu badania złożonych właściwości w nanoskali, Australijska informatyk Amanda Barnard pracuje na styku informatyki i data science. Starszy profesor w School of Computing na Australian National University, Barnard jest także zastępcą dyrektora i kierownikiem działu informatyki. Obecnie używa różnych metod obliczeniowych do rozwiązywania problemów z zakresu nauk fizycznych, ale Barnard rozpoczęła swoją karierę jako fizyk, uzyskując doktorat z teoretycznej fizyki materii skondensowanej w 2003 roku.

Po spędzeniu kilku następnych lat na stanowisku postdoc w Akademii im Centrum Materiałów w Nanoskali w Argonne National Laboratory w USA zaczęła poszerzać swoje zainteresowania badawcze o wiele aspektów informatyki, w tym wykorzystanie uczenia maszynowego w nanotechnologii, materiałoznawstwie, chemii i medycynie.

Kolega z obu Australijski Instytut Fizyki oraz Królewskie Towarzystwo Chemii, w 2022 roku Barnard został mianowany a Członek Orderu Australii. Jest także laureatką wielu nagród, m.in Nagroda Feynmana 2014 w dziedzinie nanotechnologii (Teoria) i Medal 2019 od Association of Molecular Modellers of Australasia. Rozmawia z Hamishem Johnstonem o swoim zainteresowaniu zastosowaniem uczenia maszynowego do różnych problemów oraz o wyzwaniach i korzyściach związanych z administrowaniem uniwersytetem.

Czy możesz powiedzieć nam trochę o tym, czym zajmujesz się jako informatyk?

Nauki obliczeniowe obejmują projektowanie i wykorzystywanie modeli matematycznych do analizowania problemów wymagających obliczeń w wielu dziedzinach nauki i inżynierii. Obejmuje to postępy w infrastrukturze obliczeniowej i algorytmach, które umożliwiają naukowcom z różnych dziedzin przeprowadzanie eksperymentów obliczeniowych na dużą skalę. W pewnym sensie informatyka obejmuje badania nad obliczeniami o wysokiej wydajności, a nie tylko badania z wykorzystaniem komputera o wysokiej wydajności.

Większość czasu spędzamy na algorytmach i zastanawianiu się, jak je zaimplementować w sposób, który najlepiej wykorzysta zaawansowany sprzęt; a ten sprzęt cały czas się zmienia. Obejmuje to konwencjonalne symulacje oparte na modelach matematycznych opracowanych specjalnie dla różnych dziedzin nauki, czy to fizyki, chemii, czy innych. Spędzamy też dużo czasu stosując metody z uczenie maszynowe (ML) i sztuczna inteligencja (AI), z których większość została opracowana przez informatyków, co czyni je bardzo interdyscyplinarnymi badaniami. Umożliwia to stosowanie całej gamy nowych podejść we wszystkich tych różnych obszarach naukowych.

Uczenie maszynowe pozwala nam odzyskać znaczną część złożoności, którą utraciliśmy, gdy tworzyliśmy te piękne teorie

Symulacja zrodziła się z teoretycznych aspektów każdej dziedziny naukowej, które przy pewnych dogodnych poziomach abstrakcji umożliwiły nam rozwiązanie równań. Ale kiedy opracowaliśmy te teorie, były one niemal nadmiernym uproszczeniem problemu, co zostało zrobione albo w pogoni za matematyczną elegancją, albo po prostu ze względu na praktyczność. Uczenie maszynowe pozwala nam odzyskać znaczną część złożoności, którą utraciliśmy, gdy wyprowadzaliśmy te piękne teorie. Ale niestety nie wszystkie uczenie maszynowe dobrze współpracuje z nauką, dlatego naukowcy zajmujący się komputerami spędzają dużo czasu, próbując dowiedzieć się, jak zastosować te algorytmy, które nigdy nie miały być używane w tego rodzaju zestawach danych, aby przezwyciężyć niektóre problemy, które są doświadczony w interfejsie. I to jest jeden z ekscytujących obszarów, które lubię.

Karierę rozpocząłeś jako fizyk. Co skłoniło Cię do przejścia na informatykę?

Fizyka jest świetnym punktem wyjścia praktycznie do wszystkiego. Ale zawsze byłem na ścieżce do informatyki, nie zdając sobie z tego sprawy. Podczas mojego pierwszego projektu badawczego jako student użyłem metod obliczeniowych i od razu się wciągnąłem. Uwielbiałem kodowanie, od napisania kodu do końcowych wyników, więc od razu wiedziałem, że przeznaczeniem superkomputerów jest mój instrument naukowy. Myślenie o tym, co mógłby zrobić naukowiec zajmujący się materiałami, gdyby za każdym razem tworzył doskonałe próbki, było ekscytujące. Albo co chemik mógłby zrobić, gdyby mógł usunąć wszystkie zanieczyszczenia i mieć doskonałe reakcje. Co moglibyśmy zrobić, gdybyśmy mogli eksplorować trudne lub niebezpieczne środowiska bez ryzyka zranienia kogokolwiek? A co ważniejsze, co by było, gdybyśmy mogli robić wszystkie te rzeczy jednocześnie, na żądanie, za każdym razem, gdy próbowaliśmy?

Piękno superkomputerów polega na tym, że są one jedynym instrumentem, który umożliwia nam osiągnięcie tej niemal perfekcji. Najbardziej urzeka mnie to, że mogę nie tylko odtworzyć to, co moi koledzy potrafią zrobić w laboratorium, ale także zrobić wszystko, czego nie mogą zrobić w laboratorium. Więc od samego początku moja fizyka obliczeniowa była na komputerze. Moja chemia obliczeniowa ewoluowała następnie w kierunku materiałów, informatyki materiałowej, a teraz prawie wyłącznie ML. Ale zawsze koncentrowałem się na metodach w każdym z tych obszarów i myślę, że podstawy fizyki pozwalają mi bardzo kreatywnie myśleć o tym, jak podchodzę do tych wszystkich innych obszarów obliczeniowo.

Czym uczenie maszynowe różni się od klasycznych symulacji komputerowych?

Większość moich badań to teraz ML, prawdopodobnie 80%. Nadal jednak wykonuję konwencjonalne symulacje, ponieważ dają mi one coś zupełnie innego. Symulacje są zasadniczo podejściem oddolnym. Zaczynamy od pewnego zrozumienia systemu lub problemu, przeprowadzamy symulację, a na koniec otrzymujemy trochę danych. Z kolei ML to podejście odgórne. Zaczynamy od danych, uruchamiamy model, a następnie uzyskujemy lepsze zrozumienie systemu lub problemu. Symulacja opiera się na zasadach określonych przez nasze ustalone teorie naukowe, podczas gdy ML opiera się na doświadczeniach i historii. Symulacje są często w dużej mierze deterministyczne, chociaż istnieje kilka przykładów metod stochastycznych, takich jak Monte Carlo. ML jest w dużej mierze stochastyczny, chociaż istnieją również przykłady deterministyczne.

Dzięki symulacjom jestem w stanie przeprowadzić bardzo dobrą ekstrapolację. Wiele teorii leżących u podstaw symulacji pozwala nam badać obszary „przestrzeni konfiguracyjnej” (współrzędne określające wszystkie możliwe stany systemu) lub obszary problemu, dla których nie mamy danych ani informacji. Z drugiej strony ML jest naprawdę dobry w interpolacji i wypełnianiu wszystkich luk i jest bardzo dobry do wnioskowania.

Rzeczywiście, te dwie metody opierają się na bardzo różnych rodzajach logiki. Symulacja opiera się na logice „jeżeli-to-inaczej”, co oznacza, że ​​jeśli mam określony problem lub określony zestaw warunków, to otrzymam deterministyczną odpowiedź lub, obliczeniowo, prawdopodobnie ulegnie awarii, jeśli otrzymasz To błędne. Z kolei ML opiera się na logice „oszacuj-popraw-powtórz”, co oznacza, że ​​zawsze da odpowiedź. Tę odpowiedź zawsze można poprawić, ale nie zawsze może być poprawna, więc to kolejna różnica.

Symulacje mają charakter interdyscyplinarny: mają bardzo ścisły związek z wiedzą dziedzinową i opierają się na ludzkiej inteligencji. Z drugiej strony ML jest interdyscyplinarny: wykorzystuje modele opracowane poza pierwotną domeną, jest niezależny od wiedzy dziedzinowej i w dużej mierze opiera się na sztucznej inteligencji. Dlatego lubię łączyć te dwa podejścia.

Czy możesz powiedzieć nam coś więcej o tym, jak wykorzystujesz uczenie maszynowe w swoich badaniach?

Przed pojawieniem się uczenia maszynowego naukowcy musieli w dużym stopniu zrozumieć relacje między danymi wejściowymi a wynikami. Musieliśmy mieć z góry określoną strukturę modelu, zanim mogliśmy go rozwiązać. Oznaczało to, że musieliśmy mieć pomysł na odpowiedź, zanim mogliśmy jej szukać.

Możemy opracować strukturę wyrażenia lub równania i jednocześnie je rozwiązać. To przyspiesza metodę naukową i jest kolejnym powodem, dla którego lubię korzystać z uczenia maszynowego

Kiedy używasz ML, maszyny używają technik statystycznych i informacji historycznych, aby w zasadzie same się programować. Oznacza to, że możemy opracować strukturę wyrażenia lub równania i rozwiązać je w tym samym czasie. To przyspiesza metodę naukową i jest to kolejny powód, dla którego lubię jej używać.

Stosowane przeze mnie techniki ML są różnorodne. Istnieje wiele różnych smaków i rodzajów ML, podobnie jak istnieje wiele różnych rodzajów fizyki obliczeniowej lub metod fizyki eksperymentalnej. Używam uczenia bez nadzoru, które jest całkowicie oparte na zmiennych wejściowych i polega na opracowaniu „ukrytych wzorców” lub próbie znalezienia reprezentatywnych danych. Jest to przydatne w przypadku materiałów w nanonauce, kiedy nie przeprowadziliśmy eksperymentów, aby być może zmierzyć właściwość, ale wiemy całkiem sporo o warunkach wejściowych, które wprowadziliśmy w celu opracowania materiału.

Uczenie się bez nadzoru może być przydatne w wyszukiwaniu grup struktur, zwanych klastrami, które mają podobieństwa w przestrzeni wielowymiarowej lub czystych i reprezentatywnych struktur (archetypów lub prototypów), które opisują zbiór danych jako całość. Możemy również przekształcić dane, aby odwzorować je w przestrzeni o niższych wymiarach i ujawnić więcej podobieństw, które wcześniej nie były widoczne, w podobny sposób, w jaki moglibyśmy przejść do przestrzeni odwrotnej w fizyce.

Używam również nadzorowanego ML do znajdowania relacji i trendów, takich jak relacje struktura-właściwości, które są ważne w materiałach i nanonauce. Obejmuje to klasyfikację, gdzie mamy dyskretną etykietę. Załóżmy, że mamy już różne kategorie nanocząstek i na podstawie ich właściwości chcemy automatycznie przypisać je do jednej lub drugiej kategorii i upewnić się, że możemy łatwo rozdzielić te klasy na podstawie samych danych wejściowych.

Używam również uczenia statystycznego i częściowo nadzorowanego uczenia się. W szczególności uczenie się statystyczne jest przydatne w nauce, chociaż nie jest jeszcze powszechnie stosowane. Myślimy o tym jako o wnioskowaniu przyczynowym, które jest często używane w diagnostyce medycznej i można to zastosować do skutecznego diagnozowania, na przykład, w jaki sposób materiał może zostać stworzony, a nie tylko dlaczego został stworzony.

W Twojej grupie badawczej znajdują się osoby o szerokim spektrum zainteresowań naukowych. Czy możesz dać nam przedsmak niektórych rzeczy, które badają?

Kiedy zaczynałem w fizyce, nigdy nie myślałem, że będę otoczony tak niesamowitą grupą mądrych ludzi z różnych dziedzin nauki. Klaster nauk obliczeniowych na Australijskim Uniwersytecie Narodowym obejmuje naukowców zajmujących się środowiskiem, naukowców zajmujących się ziemią, biologów obliczeniowych i bioinformatyków. Są też badacze zajmujący się genomiką, neuronauką obliczeniową, chemią kwantową, materiałoznawstwem, fizyką plazmy, astrofizyką, astronomią, inżynierią i – ja – nanotechnologią. Jesteśmy więc zróżnicowaną grupą.

W naszej grupie jest m.in Giuseppe Barcy, który opracowuje algorytmy leżące u podstaw pakietów oprogramowania do chemii kwantowej, które są używane na całym świecie. Jego badania koncentrują się na tym, w jaki sposób możemy wykorzystać nowe procesory, takie jak akceleratory, i jak możemy przemyśleć, w jaki sposób duże cząsteczki mogą być partycjonowane i fragmentowane, abyśmy mogli strategicznie łączyć masowo równoległe przepływy pracy. Pomaga nam również efektywniej korzystać z superkomputerów, co pozwala oszczędzać energię. A przez ostatnie dwa lata był rekordzistą świata w najlepszym skalującym algorytmie chemii kwantowej.

Również na małą skalę – pod względem naukowym – jest Minh Bui, który jest bioinformatykiem pracującym nad rozwojem nowych modeli statystycznych w obszarze filogenezy systemów [wielodyscyplinarna dziedzina, która łączy badania ewolucyjne z biologią systemową i ekologią, wykorzystując metody z nauki o sieciach]. Obejmują one modele partycjonowania, modele świadome izomorfizmu i modele drzewa dystrybucji. Zastosowania tego obejmują obszary danych dotyczących enzymów fotosyntetycznych lub głębokiej transkrypcji filogenezy owadów, a on pracował nad algami, a także bakteriami i wirusami, takimi jak HIV i SARS-CoV-2 (który powoduje COVID-19).

Na większym końcu skali jest matematyk Quanlinga Denga, którego badania koncentrują się na modelowaniu matematycznym i symulacji mediów wielkoskalowych, takich jak oceany i dynamika atmosfery, a także kry lodowe Antarktydy.

Najlepsze jest to, że odkrywamy, że problem z jednej domeny został już rozwiązany w innej, a jeszcze lepiej, gdy odkrywamy problem występujący w wielu domenach, dzięki czemu możemy skalować superliniowo. To wspaniale, gdy jedno rozwiązanie ma wiele obszarów oddziaływania. I jak często można znaleźć neurobiologa obliczeniowego pracującego obok fizyka plazmy? To się po prostu nie zdarza.

Oprócz pracy w swojej grupie badawczej, jesteś także zastępcą dyrektora Szkoły Informatyki Australijskiego Uniwersytetu Narodowego. Czy możesz opowiedzieć nam trochę o tej roli?

Jest to w dużej mierze rola administracyjna. Tak więc oprócz pracy z niesamowitą grupą informatyków zajmujących się nauką o danych, podstawowymi obszarami językowymi, tworzeniem oprogramowania, cyberbezpieczeństwem, wizją komputerową, robotyką itd. najlepszą wersję siebie. Duża część mojej pracy na stanowisku kierowniczym dotyczy ludzi. Obejmuje to rekrutację, opiekę nad naszym programem stałego zatrudnienia oraz naszym programem rozwoju zawodowego. Miałem również okazję rozpocząć kilka nowych programów w obszarach, które moim zdaniem wymagały uwagi.

Jednym z takich przykładów była globalna pandemia COVID. Wielu z nas zostało zamkniętych i nie miało dostępu do naszych laboratoriów, przez co zastanawialiśmy się, co możemy zrobić. Skorzystałem z okazji, aby opracować program o nazwie Jubileuszowe wspólne stowarzyszenie, która wspiera naukowców pracujących na styku informatyki i innej dziedziny, w których rozwiązują wielkie wyzwania w swoich obszarach, ale także wykorzystują wiedzę z tej dziedziny do tworzenia nowych typów informatyki. Program wspierał pięciu takich badaczy z różnych dziedzin w 2021 r.

Jestem także przewodniczącą ds Program pionierskich kobiet, która oferuje stypendia, wykłady i stypendia, aby wspierać kobiety rozpoczynające przygodę z informatyką i zapewnić im sukces w całej karierze w naszej firmie.

I oczywiście jedną z innych moich ról jako zastępcy dyrektora jest opieka nad zapleczem komputerowym naszej szkoły. Zastanawiam się, w jaki sposób możemy zdywersyfikować nasze zasoby, aby przetrwać trudne czasy, takie jak pandemia COVID, kiedy nie mogliśmy zamówić żadnego nowego sprzętu. Zastanawiam się również, jak możemy być bardziej wydajni energetycznie, ponieważ komputery zużywają ogromne ilości energii.

To musi być bardzo ekscytujący czas dla osób prowadzących badania w ML, ponieważ technologia znajduje tak wiele różnych zastosowań. Jakich nowych zastosowań ML najbardziej oczekujesz w swoich badaniach?

Cóż, prawdopodobnie niektóre z tych, o których już słyszałeś, a mianowicie AI. Chociaż istnieje ryzyko związane ze sztuczną inteligencją, istnieją również ogromne możliwości i myślę, że generatywna sztuczna inteligencja będzie szczególnie ważna w nadchodzących latach dla nauki – pod warunkiem, że uda nam się przezwyciężyć niektóre problemy z jej „halucynacjami” [kiedy system sztucznej inteligencji , taki jak duży model językowy, generuje fałszywe informacje w oparciu o uczący zestaw danych lub logikę kontekstową lub ich kombinację].

Bez względu na to, w jakiej dziedzinie nauki się znajdujemy, jesteśmy ograniczeni czasem, pieniędzmi, zasobami i sprzętem, do którego mamy dostęp. Oznacza to, że idziemy na kompromis z naszą nauką, aby dopasować się do tych ograniczeń, zamiast skupiać się na ich przezwyciężaniu

Ale bez względu na to, w jakiej dziedzinie nauki się znajdujemy, czy to obliczeniowej, czy eksperymentalnej, wszyscy cierpimy z powodu wielu ograniczeń. Ogranicza nas czas, pieniądze, zasoby i sprzęt, do którego mamy dostęp. Oznacza to, że idziemy na kompromis z naszą nauką, aby dopasować się do tych ograniczeń, zamiast skupiać się na ich przezwyciężaniu. Naprawdę wierzę, że infrastruktura nie powinna dyktować tego, co robimy, powinno być na odwrót.

Myślę, że generatywna sztuczna inteligencja pojawiła się we właściwym czasie, aby umożliwić nam ostateczne przezwyciężenie niektórych z tych problemów, ponieważ ma duży potencjał, aby wypełnić luki i dać nam wyobrażenie o tym, jaką naukę moglibyśmy zrobić, gdybyśmy mieli wszystkie niezbędne zasoby.

Rzeczywiście, sztuczna inteligencja mogłaby pozwolić nam uzyskać więcej, robiąc mniej i uniknąć niektórych pułapek, takich jak błąd selekcji. To naprawdę duży problem przy stosowaniu ML do zbiorów danych naukowych. Musimy wykonać o wiele więcej pracy, aby zapewnić, że metody generatywne dają sensowną naukę, a nie halucynacje. Jest to szczególnie ważne, jeśli mają stanowić podstawę dla dużych, wstępnie wyszkolonych modeli. Ale myślę, że to będzie naprawdę ekscytująca era nauki, w której będziemy współpracować ze sztuczną inteligencją, a nie tylko wykonywać za nas zadanie.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
• Źródło: https://physicsworld.com/a/from-bottom-up-to-top-down-computational-scientist-amanda-barnard-on-the-beauty-of-simulations-machine-learning-and-how-the-two-intersect/