Von unten nach oben nach oben: Die Informatikerin Amanda Barnard über die Schönheit von Simulationen, maschinellem Lernen und wie sich beides überschneidet – Physics World

Von der Verwendung von Supercomputern zur Erschließung neuartiger Materialien bis hin zum Training von Modellen für maschinelles Lernen zur Untersuchung komplexer Eigenschaften im Nanomaßstab, Die australische Informatikerin Amanda Barnard arbeitet an der Schnittstelle von Informatik und Datenwissenschaft. Ein leitender Professor in der School of Computing an der Australian National UniversityBarnard ist außerdem stellvertretender Direktor und Leiter der Informatik. Heutzutage nutzt sie eine Vielzahl von Rechenmethoden, um Probleme in den gesamten Naturwissenschaften zu lösen, doch Barnard begann ihre Karriere als Physikerin und promovierte 2003 in theoretischer Physik der kondensierten Materie.

Nachdem er die nächsten Jahre als Postdoc am Zentrum für nanoskalige Materialien am Argonne National Laboratory In den USA begann sie, ihre Forschungsinteressen auf viele Aspekte der Computerwissenschaften auszudehnen, darunter den Einsatz von maschinellem Lernen in der Nanotechnologie, Materialwissenschaft, Chemie und Medizin.

Ein Gefährte beider Australisches Institut für Physik und für Königliche Gesellschaft für Chemie, im Jahr 2022 wurde Barnard zum a Mitglied des Ordens von Australien. Sie hat auch eine Reihe von Preisen gewonnen, darunter den 2014 Feynman-Preis für Nanotechnologie (Theorie) und die Medaille 2019 der Association of Molecular Modellers of Australasia. Sie spricht mit Hamish Johnston über ihr Interesse an der Anwendung maschinellen Lernens auf eine Reihe von Problemen und über die Herausforderungen und Vorteile der Universitätsverwaltung.

Können Sie uns etwas darüber erzählen, was Sie als Informatiker tun?

Die Computerwissenschaft umfasst den Entwurf und die Verwendung mathematischer Modelle zur Analyse rechenintensiver Probleme in vielen Bereichen der Wissenschaft und Technik. Dazu gehören Fortschritte in der Computerinfrastruktur und bei Algorithmen, die es Forschern in diesen verschiedenen Bereichen ermöglichen, groß angelegte Computerexperimente durchzuführen. In gewisser Weise handelt es sich bei der Computerwissenschaft um die Erforschung des Hochleistungsrechnens und nicht nur um die Forschung mit einem Hochleistungscomputer.

Wir verbringen die meiste Zeit mit Algorithmen und versuchen herauszufinden, wie wir sie so implementieren können, dass die fortschrittliche Hardware optimal genutzt wird. und dass sich die Hardware ständig ändert. Dazu gehören konventionelle Simulationen, die auf mathematischen Modellen basieren, die speziell in verschiedenen wissenschaftlichen Bereichen entwickelt wurden, sei es Physik, Chemie oder darüber hinaus. Wir verbringen auch viel Zeit mit Methoden von Maschinelles Lernen (ML) und künstliche Intelligenz (KI), die größtenteils von Informatikern entwickelt wurden, was sie zu einer sehr interdisziplinären Forschung macht. Dies ermöglicht den Einsatz einer ganzen Reihe neuer Ansätze in all diesen unterschiedlichen Wissenschaftsbereichen.

Durch maschinelles Lernen können wir einen Großteil der Komplexität wiedererlangen, die wir verloren haben, wenn wir diese schönen Theorien ableiten

Die Simulation entstand aus den theoretischen Aspekten jedes wissenschaftlichen Bereichs, die es uns mit einigen geeigneten Abstraktionsebenen ermöglichten, die Gleichungen zu lösen. Aber als wir diese Theorien entwickelten, stellten sie fast eine übermäßige Vereinfachung des Problems dar, die entweder im Streben nach mathematischer Eleganz oder einfach aus Gründen der Praktikabilität erfolgte. ML ermöglicht es uns, einen Großteil der Komplexität wiederzuerlangen, die wir verloren haben, wenn wir diese schönen Theorien ableiten. Aber leider funktioniert nicht jedes ML gut mit der Wissenschaft, und so verbringen Computerwissenschaftler viel Zeit damit, herauszufinden, wie sie diese Algorithmen anwenden können, die nie für diese Art von Datensätzen gedacht waren, um einige der bestehenden Probleme zu lösen erfahren an der Schnittstelle. Und das ist einer der spannenden Bereiche, die ich mag.

Sie haben Ihre Karriere als Physiker begonnen. Was hat Sie dazu bewogen, sich der Informatik zuzuwenden?

Die Physik ist ein guter Ausgangspunkt für praktisch alles. Aber ich war immer auf dem Weg zur Informatik, ohne es zu merken. Bei meinem ersten Forschungsprojekt als Student nutzte ich rechnerische Methoden und war sofort begeistert. Ich liebte das Programmieren, vom Schreiben des Codes bis zu den Endergebnissen, und so wusste ich sofort, dass Supercomputer mein wissenschaftliches Instrument sein würden. Es war spannend, darüber nachzudenken, was ein Materialwissenschaftler tun könnte, wenn er jedes Mal perfekte Proben herstellen könnte. Oder was ein Chemiker tun könnte, wenn er alle Verunreinigungen entfernen und perfekte Reaktionen erzielen könnte. Was könnten wir tun, wenn wir raue oder gefährliche Umgebungen erkunden könnten, ohne das Risiko einzugehen, jemanden zu verletzen? Und noch wichtiger: Was wäre, wenn wir all diese Dinge gleichzeitig und auf Abruf tun könnten, jedes Mal, wenn wir es versuchen?

Das Schöne an Supercomputern ist, dass sie das einzige Instrument sind, mit dem wir diese nahezu Perfektion erreichen können. Was mich am meisten fasziniert, ist, dass ich nicht nur nachbilden kann, was meine Kollegen im Labor können, sondern auch alles tun kann, was sie im Labor nicht können. Meine Computerphysik fand also von Anfang an auf einem Computer statt. Meine Computerchemie entwickelte sich dann zu Materialien, Materialinformatik und mittlerweile fast ausschließlich ML. Aber ich habe mich immer auf die Methoden in jedem dieser Bereiche konzentriert, und ich denke, dass eine Grundlage in der Physik es mir ermöglicht, sehr kreativ darüber nachzudenken, wie ich all diese anderen Bereiche rechnerisch angehen kann.

Wie unterscheidet sich maschinelles Lernen von klassischen Computersimulationen?

Der Großteil meiner Forschung ist mittlerweile ML, wahrscheinlich 80 % davon. Ich mache jedoch immer noch einige konventionelle Simulationen, da sie mir etwas ganz anderes bieten. Simulationen sind grundsätzlich ein Bottom-up-Ansatz. Wir beginnen mit einem gewissen Verständnis eines Systems oder eines Problems, führen eine Simulation durch und erhalten am Ende einige Daten. ML hingegen ist ein Top-Down-Ansatz. Wir beginnen mit den Daten, führen ein Modell durch und erhalten am Ende ein besseres Verständnis des Systems oder Problems. Simulation basiert auf Regeln, die durch unsere etablierten wissenschaftlichen Theorien bestimmt werden, während ML auf Erfahrungen und Geschichte basiert. Simulationen sind oft weitgehend deterministisch, obwohl es einige Beispiele für stochastische Methoden wie Monte Carlo gibt. ML ist größtenteils stochastisch, obwohl es auch einige Beispiele gibt, die deterministisch sind.

Mit Simulationen kann ich sehr gut extrapolieren. Viele der Theorien, die Simulationen zugrunde liegen, ermöglichen es uns, Bereiche eines „Konfigurationsraums“ (die Koordinaten, die alle möglichen Zustände eines Systems bestimmen) oder Bereiche eines Problems zu untersuchen, für die wir keine Daten oder Informationen haben. Andererseits ist ML wirklich gut darin, alle Lücken zu interpolieren und zu füllen, und es eignet sich sehr gut für Schlussfolgerungen.

Tatsächlich basieren die beiden Methoden auf sehr unterschiedlichen Arten von Logik. Die Simulation basiert auf einer „Wenn-dann-sonst“-Logik. Das heißt, wenn ich ein bestimmtes Problem oder eine bestimmte Reihe von Bedingungen habe, erhalte ich eine deterministische Antwort, andernfalls wird es rechnerisch wahrscheinlich abstürzen, wenn Sie sie erhalten es ist falsch. Im Gegensatz dazu basiert ML auf einer „Schätzen-Verbessern-Wiederholen“-Logik, was bedeutet, dass es immer eine Antwort gibt. Diese Antwort lässt sich immer verbessern, ist aber möglicherweise nicht immer richtig. Das ist also ein weiterer Unterschied.

Simulationen sind intradisziplinär: Sie haben einen sehr engen Bezug zum Domänenwissen und basieren auf menschlicher Intelligenz. Andererseits ist ML interdisziplinär: Es verwendet Modelle, die außerhalb der ursprünglichen Domäne entwickelt wurden, ist unabhängig von Domänenwissen und stützt sich stark auf künstliche Intelligenz. Deshalb kombiniere ich gerne beide Ansätze.

Können Sie uns etwas mehr darüber erzählen, wie Sie maschinelles Lernen in Ihrer Forschung einsetzen?

Vor dem Aufkommen von ML mussten Wissenschaftler die Beziehungen zwischen den Eingaben und Ausgaben weitgehend verstehen. Wir mussten die Struktur des Modells vorher festlegen, bevor wir es lösen konnten. Das bedeutete, dass wir eine Vorstellung von der Antwort haben mussten, bevor wir nach einer suchen konnten.

Wir können die Struktur eines Ausdrucks oder einer Gleichung entwickeln und diese gleichzeitig lösen. Das beschleunigt die wissenschaftliche Methode und ist ein weiterer Grund, warum ich maschinelles Lernen gerne einsetze

Wenn Sie ML verwenden, nutzen die Maschinen statistische Techniken und historische Informationen, um sich im Grunde selbst zu programmieren. Das bedeutet, dass wir die Struktur eines Ausdrucks oder einer Gleichung entwickeln und diese gleichzeitig lösen können. Das beschleunigt die wissenschaftliche Methode und ist ein weiterer Grund, warum ich sie gerne verwende.

Die ML-Techniken, die ich verwende, sind vielfältig. Es gibt viele verschiedene Varianten und Arten von ML, genauso wie es viele verschiedene Arten von Methoden der Computerphysik oder Experimentalphysik gibt. Ich verwende unüberwachtes Lernen, das vollständig auf Eingabevariablen basiert und sich mit der Entwicklung „verborgener Muster“ oder dem Versuch befasst, repräsentative Daten zu finden. Das ist für Materialien in der Nanowissenschaft nützlich, wenn wir die Experimente nicht durchgeführt haben, um vielleicht eine Eigenschaft zu messen, aber wir wissen einiges über die Eingabebedingungen, die wir bei der Entwicklung des Materials einsetzen.

Unüberwachtes Lernen kann nützlich sein, um Gruppen von Strukturen, sogenannte Cluster, zu finden, die Ähnlichkeiten im hochdimensionalen Raum aufweisen, oder reine und repräsentative Strukturen (Archetypen oder Prototypen), die den Datensatz als Ganzes beschreiben. Wir können Daten auch transformieren, um sie einem niedrigerdimensionalen Raum zuzuordnen und mehr Ähnlichkeiten aufzudecken, die zuvor nicht offensichtlich waren, auf ähnliche Weise, wie wir in der Physik zum reziproken Raum wechseln könnten.

Ich verwende überwachtes ML auch, um Beziehungen und Trends zu finden, wie zum Beispiel Struktur-Eigenschafts-Beziehungen, die in den Material- und Nanowissenschaften wichtig sind. Dazu gehört auch die Klassifizierung, bei der wir eine diskrete Bezeichnung haben. Angenommen, wir verfügen bereits über verschiedene Kategorien von Nanopartikeln und möchten diese anhand ihrer Eigenschaften automatisch entweder der einen oder anderen Kategorie zuordnen und sicherstellen, dass wir diese Klassen allein anhand der Eingabedaten problemlos trennen können.

Ich verwende auch statistisches Lernen und halbüberwachtes Lernen. Insbesondere statistisches Lernen ist in der Wissenschaft nützlich, obwohl es noch nicht weit verbreitet ist. Wir betrachten dies als einen Kausalschluss, der in der medizinischen Diagnostik häufig verwendet wird und der angewendet werden kann, um effektiv zu diagnostizieren, wie beispielsweise ein Material hergestellt werden könnte und nicht nur, warum es hergestellt wird.

Zu Ihrer Forschungsgruppe gehören Menschen mit den unterschiedlichsten wissenschaftlichen Interessen. Können Sie uns einen Vorgeschmack auf einige der Dinge geben, die sie studieren?

Als ich mit dem Physikstudium anfing, hätte ich nie gedacht, dass ich von einer so tollen Gruppe kluger Leute aus verschiedenen wissenschaftlichen Bereichen umgeben sein würde. Der Computational Science Cluster an der Australian National University umfasst Umweltwissenschaftler, Geowissenschaftler, Computerbiologen und Bioinformatiker. Es gibt auch Forscher, die sich mit Genomik, Computational Neuroscience, Quantenchemie, Materialwissenschaften, Plasmaphysik, Astrophysik, Astronomie, Ingenieurwesen und – ich – Nanotechnologie befassen. Wir sind also ein bunt gemischter Haufen.

Zu unserer Gruppe gehören Giuseppe Barca, der Algorithmen entwickelt, die den weltweit verwendeten Quantenchemie-Softwarepaketen zugrunde liegen. Seine Forschung konzentriert sich darauf, wie wir neue Prozessoren wie Beschleuniger nutzen können und wie wir überdenken können, wie große Moleküle aufgeteilt und fragmentiert werden können, damit wir massiv parallele Arbeitsabläufe strategisch kombinieren können. Er hilft uns auch dabei, Supercomputer effizienter zu nutzen und so Energie zu sparen. Und seit zwei Jahren hält er den Weltrekord im quantenchemischen Algorithmus mit der besten Skalierung.

Auch im Kleinen – im Sinne der Wissenschaft – gilt Minh Bui, ein Bioinformatiker, der an der Entwicklung neuer statistischer Modelle im Bereich der Phylogenomiksysteme arbeitet [ein multidisziplinäres Gebiet, das Evolutionsforschung mit Systembiologie und Ökologie unter Verwendung von Methoden der Netzwerkwissenschaft kombiniert]. Dazu gehören Partitionierungsmodelle, isomorphismusbewusste Modelle und Verteilungsbaummodelle. Die Anwendungen umfassen Bereiche wie photosynthetische Enzyme oder tiefe Phylogenie-Transkriptionsdaten von Insekten, und er hat sich mit Algen sowie Bakterien und Viren wie HIV und SARS-CoV-2 (das COVID-19 verursacht) befasst.

Am größeren Ende der Skala steht der Mathematiker Quanling Deng, dessen Forschungsschwerpunkt auf der mathematischen Modellierung und Simulation großräumiger Medien wie Ozeanen und Atmosphärendynamik sowie antarktischer Eisschollen liegt.

Das Beste daran ist, wenn wir entdecken, dass ein Problem aus einem Bereich bereits in einem anderen gelöst wurde, und noch besser, wenn wir feststellen, dass ein Problem in mehreren Bereichen bereits gelöst wurde, sodass wir superlinear skalieren können. Es ist großartig, wenn eine Lösung mehrere Wirkungsbereiche hat. Und wie oft arbeitet ein Computerneurowissenschaftler mit einem Plasmaphysiker zusammen? Es passiert einfach nicht normalerweise.

Sie arbeiten nicht nur mit Ihrer Forschungsgruppe zusammen, sondern sind auch stellvertretender Direktor der School of Computing der Australian National University. Können Sie uns etwas über diese Rolle erzählen?

Es handelt sich größtenteils um eine administrative Rolle. So arbeite ich nicht nur mit einer großartigen Gruppe von Informatikern aus den Bereichen Datenwissenschaft, Grundlagenbereiche in Sprachen, Softwareentwicklung, Cybersicherheit, Computer Vision, Robotik usw. zusammen, sondern kann auch Möglichkeiten für neue Menschen schaffen, der Schule beizutreten und dort zu sein die beste Version ihrer selbst. Ein großer Teil meiner Arbeit in der Führungsrolle dreht sich um die Menschen. Und dazu gehört auch die Rekrutierung, die Betreuung unseres Tenure-Track-Programms und unseres Weiterbildungsprogramms. Ich hatte auch die Gelegenheit, einige neue Programme für Bereiche zu starten, die meiner Meinung nach Aufmerksamkeit erforderten.

Ein solches Beispiel war während der globalen COVID-Pandemie. Viele von uns waren geschlossen und hatten keinen Zugang zu unseren Laboren, weshalb wir uns fragten, was wir tun können. Ich nutzte die Gelegenheit, ein Programm namens zu entwickeln Gemeinsames Jubiläumsstipendium, das Forscher unterstützt, die an der Schnittstelle zwischen der Informatik und einer anderen Domäne arbeiten, wo sie große Herausforderungen in ihren Bereichen lösen, aber auch dieses Domänenwissen nutzen, um neue Arten der Informatik zu informieren. Das Programm unterstützte im Jahr 2021 fünf solcher Forscher in verschiedenen Bereichen.

Ich bin auch Vorsitzender des Pionierfrauenprogramm, das Stipendien, Lehraufträge und Stipendien anbietet, um Frauen beim Einstieg in die Informatik zu unterstützen und sicherzustellen, dass sie während ihrer gesamten Karriere bei uns erfolgreich sind.

Und natürlich ist es eine meiner weiteren Aufgaben als stellvertretender Direktor, mich um die Computerausstattung unserer Schule zu kümmern. Ich suche nach Möglichkeiten, wie wir unsere Ressourcenpipeline diversifizieren können, um schwierige Zeiten zu überstehen, wie zum Beispiel während COVID, als wir keine neue Ausrüstung bestellen konnten. Ich untersuche auch, wie wir energieeffizienter arbeiten können, denn Computer verbrauchen enorm viel Energie.

Es muss eine sehr aufregende Zeit für Menschen sein, die im Bereich ML forschen, da die Technologie so viele verschiedene Anwendungen findet. Auf welche neuen Anwendungen von ML freuen Sie sich in Ihrer Forschung am meisten?

Nun ja, wahrscheinlich einige davon, von denen Sie bereits gehört haben, nämlich KI. Während mit KI Risiken verbunden sind, gibt es auch enorme Chancen, und ich denke, dass generative KI in den kommenden Jahren für die Wissenschaft besonders wichtig sein wird – vorausgesetzt, wir können einige der Probleme überwinden, die damit einhergehen, dass sie „halluziniert“ [wenn ein KI-System B. ein großes Sprachmodell, generiert falsche Informationen, basierend entweder auf einem Trainingsdatensatz oder einer kontextuellen Logik oder einer Kombination aus beidem].

Ganz gleich, in welchem ​​Bereich der Wissenschaft wir tätig sind, wir sind durch die Zeit, die wir haben, das Geld, die Ressourcen und die Ausrüstung, zu denen wir Zugang haben, eingeschränkt. Das bedeutet, dass wir unsere Wissenschaft kompromittieren, um diesen Einschränkungen gerecht zu werden, anstatt uns darauf zu konzentrieren, sie zu überwinden

Aber ganz gleich, in welchem ​​Bereich der Wissenschaft wir tätig sind, ob rechnerisch oder experimentell, wir leiden alle unter einer Reihe von Einschränkungen. Wir sind durch die Zeit, die wir haben, das Geld, die Ressourcen und die Ausrüstung, auf die wir Zugriff haben, eingeschränkt. Das bedeutet, dass wir unsere Wissenschaft kompromittieren, um diesen Einschränkungen gerecht zu werden, anstatt uns darauf zu konzentrieren, sie zu überwinden. Ich bin der festen Überzeugung, dass die Infrastruktur nicht diktieren sollte, was wir tun, sondern umgekehrt.

Ich denke, dass die generative KI genau zum richtigen Zeitpunkt gekommen ist, um es uns zu ermöglichen, einige dieser Probleme endlich zu überwinden, denn sie hat großes Potenzial, die Lücken zu schließen und uns eine Vorstellung davon zu vermitteln, was wir wissenschaftlich hätten leisten können, wenn wir alles hätten tun können die notwendigen Ressourcen.

Tatsächlich könnte KI es uns ermöglichen, mit weniger Aufwand mehr zu erreichen und einige Fallstricke wie Selektionsverzerrungen zu vermeiden. Das ist ein wirklich großes Problem bei der Anwendung von ML auf wissenschaftliche Datensätze. Wir müssen noch viel mehr tun, um sicherzustellen, dass generative Methoden sinnvolle Wissenschaft und keine Halluzinationen hervorbringen. Dies ist besonders wichtig, wenn sie die Grundlage für große vorab trainierte Modelle bilden sollen. Ich denke jedoch, dass dies eine wirklich aufregende Ära der Wissenschaft sein wird, in der wir mit der KI zusammenarbeiten und nicht nur eine Aufgabe für uns erledigen.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
• Quelle: https://physicsworld.com/a/from-bottom-up-to-top-down-computational-scientist-amanda-barnard-on-the-beauty-of-simulations-machine-learning-and-how-the-two-intersect/