Van bottom-up naar top-down: computationele wetenschapper Amanda Barnard over de schoonheid van simulaties, machine learning en hoe de twee elkaar kruisen - Physics World

Van het gebruik van supercomputers om nieuwe soorten materialen aan te boren tot het trainen van machine learning-modellen om complexe eigenschappen op nanoschaal te bestuderen, De Australische computationele wetenschapper Amanda Barnard werkt op het grensvlak van informatica en datawetenschap. Een senior hoogleraar in de School of Computing aan de Australian National University, Barnard is ook adjunct-directeur en hoofd van de computerwetenschappen. Tegenwoordig gebruikt ze verschillende computationele methoden om problemen in de natuurwetenschappen op te lossen, maar Barnard begon haar carrière als natuurkundige en promoveerde in 2003 in de theoretische fysica van de gecondenseerde materie.

Na een aantal jaren als postdoc te hebben doorgebracht aan de Centrum voor materialen op nanoschaal in het Argonne National Laboratory in de VS begon ze haar onderzoeksinteresses te verbreden naar vele aspecten van de computationele wetenschap, waaronder het gebruik van machine learning in nanotechnologie, materiaalkunde, scheikunde en geneeskunde.

Een collega van zowel de Australisch Instituut voor Natuurkunde en Koninklijke Maatschappij voor Chemie, in 2022 werd Barnard benoemd tot a Lid van de Orde van Australië. Ze heeft ook een aantal prijzen gewonnen, waaronder de Feynman-prijs voor nanotechnologie 2014 (Theorie) en de Medaille 2019 van de Association of Molecular Modellers of Australasia. Ze spreekt met Hamish Johnston over haar interesse in het toepassen van machinaal leren op een reeks problemen, en over de uitdagingen en voordelen van universitair bestuur.

Kun je ons iets vertellen over wat je doet als computationeel wetenschapper?

Computationele wetenschap omvat het ontwerpen en gebruiken van wiskundige modellen om computationeel veeleisende problemen op veel gebieden van wetenschap en techniek te analyseren. Dit omvat vooruitgang in de computationele infrastructuur en algoritmen die onderzoekers in deze verschillende domeinen in staat stellen grootschalige computationele experimenten uit te voeren. In zekere zin omvat computationele wetenschap onderzoek naar high-performance computing, en niet alleen onderzoek met behulp van een krachtige computer.

We besteden het grootste deel van onze tijd aan algoritmen en proberen erachter te komen hoe we deze kunnen implementeren op een manier die het beste gebruik maakt van de geavanceerde hardware; en die hardware verandert voortdurend. Dit omvat conventionele simulaties gebaseerd op wiskundige modellen die specifiek zijn ontwikkeld in verschillende wetenschappelijke domeinen, of het nu natuurkunde, scheikunde of daarbuiten is. We besteden ook veel tijd aan het gebruik van methoden uit machine learning (ML) en kunstmatige intelligentie (AI), waarvan de meeste zijn ontwikkeld door computerwetenschappers, waardoor het zeer interdisciplinair onderzoek is. Hierdoor kunnen op al deze verschillende wetenschappelijke gebieden een hele reeks nieuwe benaderingen worden gebruikt.

Machine learning stelt ons in staat een groot deel van de complexiteit te herwinnen die we zijn kwijtgeraakt toen we die prachtige theorieën afleidden

Simulatie is ontstaan ​​uit de theoretische aspecten van elk wetenschappelijk gebied die ons, met enkele handige abstractieniveaus, in staat stelden de vergelijkingen op te lossen. Maar toen we die theorieën ontwikkelden, waren ze bijna een te simpele vereenvoudiging van het probleem, hetzij in het nastreven van wiskundige elegantie, hetzij gewoon uit praktische overwegingen. ML stelt ons in staat een groot deel van de complexiteit te herwinnen die we zijn kwijtgeraakt toen we die prachtige theorieën afleidden. Maar helaas werkt niet alle ML goed samen met de wetenschap, en daarom besteden computationele wetenschappers veel tijd aan het uitzoeken hoe ze deze algoritmen, die nooit bedoeld waren om voor dit soort datasets te worden gebruikt, kunnen toepassen om enkele van de problemen op te lossen die zich voordoen. ervaren op het raakvlak. En dat is een van de opwindende gebieden waar ik van houd.

U begon uw carrière als natuurkundige. Waarom ben je overgestapt naar computationele wetenschap?

Natuurkunde is voor vrijwel alles een goed startpunt. Maar ik was altijd op weg naar computationele wetenschap zonder het te beseffen. Tijdens mijn eerste onderzoeksproject als student gebruikte ik computationele methoden en was er meteen verslaafd aan. Ik hield van het coderen, vanaf het schrijven van de code tot aan de uiteindelijke resultaten, en dus wist ik meteen dat supercomputers voorbestemd waren om mijn wetenschappelijke instrument te worden. Het was spannend om na te denken over wat een materiaalwetenschapper zou kunnen doen als hij elke keer perfecte monsters kon maken. Of wat een scheikundige zou kunnen doen als hij alle verontreinigingen zou kunnen verwijderen en perfecte reacties zou krijgen. Wat zouden we kunnen doen als we ruige of gevaarlijke omgevingen zouden kunnen verkennen zonder het risico te lopen iemand te verwonden? En nog belangrijker: wat als we al deze dingen tegelijkertijd zouden kunnen doen, op verzoek, elke keer dat we het proberen?

Het mooie van supercomputers is dat ze het enige instrument zijn waarmee we deze bijna perfectie kunnen bereiken. Wat mij het meest boeit, is dat ik niet alleen kan reproduceren wat mijn collega's in het lab kunnen, maar ook alles kan doen wat ze in het lab niet kunnen. Dus vanaf het begin was mijn computationele fysica op een computer. Mijn computationele chemie evolueerde vervolgens naar materialen, materiaalinformatica en nu vrijwel uitsluitend ML. Maar ik heb me altijd geconcentreerd op de methoden op elk van deze gebieden, en ik denk dat een basis in de natuurkunde mij in staat stelt heel creatief na te denken over hoe ik al deze andere gebieden computationeel benader.

Hoe verschilt machine learning van klassieke computersimulaties?

Het grootste deel van mijn onderzoek is nu ML, waarschijnlijk 80% ervan. Ik doe echter nog steeds een aantal conventionele simulaties, omdat ze me iets heel anders opleveren. Simulaties zijn in principe een bottom-up benadering. We beginnen met enig begrip van een systeem of een probleem, we voeren een simulatie uit en aan het einde krijgen we wat gegevens. ML daarentegen is een top-downbenadering. We beginnen met de gegevens, we voeren een model uit en uiteindelijk krijgen we een beter begrip van het systeem of het probleem. Simulatie is gebaseerd op regels die zijn bepaald door onze gevestigde wetenschappelijke theorieën, terwijl ML gebaseerd is op ervaringen en geschiedenis. Simulaties zijn vaak grotendeels deterministisch, hoewel er enkele voorbeelden zijn van stochastische methoden zoals Monte Carlo. ML is grotendeels stochastisch, hoewel er enkele voorbeelden zijn die ook deterministisch zijn.

Met simulaties kan ik heel goed extrapoleren. Veel van de theorieën die ten grondslag liggen aan simulaties stellen ons in staat gebieden van een ‘configuratieruimte’ (de coördinaten die alle mogelijke toestanden van een systeem bepalen) of gebieden van een probleem te onderzoeken waarvoor we geen gegevens of informatie hebben. Aan de andere kant is ML heel goed in het interpoleren en opvullen van alle gaten, en het is ook heel goed voor gevolgtrekkingen.

De twee methoden zijn inderdaad gebaseerd op zeer verschillende soorten logica. Simulatie is gebaseerd op een 'als-dan-anders'-logica, wat betekent dat als ik een bepaald probleem of een bepaalde reeks voorwaarden heb, ik een deterministisch antwoord krijg, anders zal het, rekenkundig gezien, waarschijnlijk crashen als je het is fout. ML daarentegen is gebaseerd op een ‘schatting-verbetering-herhaal’-logica, wat betekent dat het altijd een antwoord zal geven. Dat antwoord is altijd voor verbetering vatbaar, maar het is misschien niet altijd juist, dus dat is een ander verschil.

Simulaties zijn intradisciplinair: ze hebben een zeer nauwe relatie met de domeinkennis en zijn afhankelijk van menselijke intelligentie. Aan de andere kant is ML interdisciplinair: het gebruikt modellen die buiten het oorspronkelijke domein zijn ontwikkeld, staat agnostisch tegenover domeinkennis en leunt sterk op kunstmatige intelligentie. Daarom combineer ik graag de twee benaderingen.

Kunt u ons iets meer vertellen over hoe u machine learning gebruikt in uw onderzoek?

Vóór de komst van ML moesten wetenschappers de relaties tussen de inputs en de outputs vrijwel begrijpen. We moesten de structuur van het model vooraf bepaald hebben voordat we het konden oplossen. Het betekende dat we een idee moesten hebben van het antwoord voordat we er naar konden zoeken.

We kunnen de structuur van een uitdrukking of een vergelijking ontwikkelen en deze tegelijkertijd oplossen. Dat versnelt de wetenschappelijke methode, en het is nog een reden waarom ik graag machinaal leren gebruik

Wanneer u ML gebruikt, gebruiken de machines statistische technieken en historische informatie om zichzelf in principe te programmeren. Het betekent dat we de structuur van een uitdrukking of vergelijking kunnen ontwikkelen en deze tegelijkertijd kunnen oplossen. Dat versnelt de wetenschappelijke methode, en het is nog een reden waarom ik het graag gebruik.

De ML-technieken die ik gebruik zijn divers. Er zijn veel verschillende smaken en soorten ML, net zoals er veel verschillende soorten computationele fysica of experimentele natuurkundige methoden zijn. Ik gebruik onbewaakt leren, dat volledig gebaseerd is op invoervariabelen, en er wordt gekeken naar het ontwikkelen van ‘verborgen patronen’ of het proberen representatieve gegevens te vinden. Dat is handig voor materialen in de nanowetenschappen, als we de experimenten niet hebben gedaan om misschien een eigenschap te meten, maar we wel aardig wat weten over de inputvoorwaarden die we hebben ingevoerd om het materiaal te ontwikkelen.

Leren zonder toezicht kan nuttig zijn bij het vinden van groepen structuren, ook wel clusters genoemd, die overeenkomsten hebben in de hoogdimensionale ruimte, of pure en representatieve structuren (archetypen of prototypen) die de dataset als geheel beschrijven. We kunnen gegevens ook transformeren om ze in een lager-dimensionale ruimte in kaart te brengen en meer overeenkomsten te onthullen die voorheen niet duidelijk waren, op een vergelijkbare manier waarop we in de natuurkunde naar een wederkerige ruimte zouden kunnen overschakelen.

Ik gebruik ook gesuperviseerde ML om relaties en trends te vinden, zoals structuur-eigenschaprelaties, die belangrijk zijn in materialen en nanowetenschappen. Dit omvat classificatie, waarbij we een discreet label hebben. Stel dat we al verschillende categorieën nanodeeltjes hebben en dat we ze op basis van hun kenmerken automatisch aan de ene of de andere categorie willen toewijzen, en ervoor zorgen dat we deze klassen eenvoudig kunnen scheiden op basis van uitsluitend invoergegevens.

Ik gebruik ook statistisch leren en semi-begeleid leren. Vooral statistisch leren is nuttig in de wetenschap, hoewel het nog niet op grote schaal wordt gebruikt. We beschouwen dat als een causale gevolgtrekking die veel wordt gebruikt in de medische diagnostiek, en dit kan worden toegepast om effectief te diagnosticeren hoe een materiaal bijvoorbeeld kan worden gemaakt, in plaats van alleen maar waarom het wordt gemaakt.

Je onderzoeksgroep bestaat uit mensen met een breed scala aan wetenschappelijke interesses. Kun je ons een voorproefje geven van de dingen die ze bestuderen?

Toen ik met natuurkunde begon, had ik nooit gedacht dat ik omringd zou worden door zo'n geweldige groep slimme mensen uit verschillende wetenschappelijke gebieden. Het computationele wetenschapscluster van de Australian National University omvat milieuwetenschappers, aardwetenschappers, computationele biologen en bio-informatici. Er zijn ook onderzoekers die genomica, computationele neurowetenschappen, kwantumchemie, materiaalkunde, plasmafysica, astrofysica, astronomie, techniek en – ik – nanotechnologie bestuderen. We zijn dus een divers gezelschap.

Onze groep omvat Giuseppe Barça, die algoritmen ontwikkelt die ten grondslag liggen aan de softwarepakketten voor kwantumchemie die over de hele wereld worden gebruikt. Zijn onderzoek is gericht op de manier waarop we nieuwe processors, zoals versnellers, kunnen benutten en hoe we kunnen heroverwegen hoe grote moleculen kunnen worden gepartitioneerd en gefragmenteerd, zodat we op strategische wijze massaal parallelle workflows kunnen combineren. Ook helpt hij ons supercomputers efficiënter in te zetten, waardoor energie wordt bespaard. En de afgelopen twee jaar heeft hij het wereldrecord in het best opschalende kwantumchemie-algoritme behaald.

Ook op kleine schaal – qua wetenschap – wel Min Bui, een bio-informaticus die werkt aan de ontwikkeling van nieuwe statistische modellen op het gebied van fylogenomische systemen [een multidisciplinair veld dat evolutionair onderzoek combineert met systeembiologie en ecologie, met behulp van methoden uit de netwerkwetenschap]. Deze omvatten partitiemodellen, isomorfismebewuste modellen en distributieboommodellen. De toepassingen hiervan omvatten gebieden in fotosynthetische enzymen of diepe transcriptiegegevens van insectenfylogenie, en hij heeft onderzoek gedaan naar algen, maar ook naar bacteriën en virussen zoals HIV en SARS-CoV-2 (dat COVID-19 veroorzaakt).

Aan de grotere kant van de schaal bevindt zich de wiskundige Quanling Deng, wiens onderzoek zich richt op wiskundige modellering en simulatie voor grootschalige media, zoals oceanen en atmosfeerdynamiek, evenals Antarctische ijsschotsen.

Het mooiste is als we ontdekken dat een probleem uit het ene domein feitelijk al is opgelost in een ander domein, en nog beter als we ontdekken dat er een probleem is ervaren in meerdere domeinen, zodat we super lineair kunnen opschalen. Het is geweldig als één oplossing meerdere impactgebieden heeft. En hoe vaak zie je een computationele neurowetenschapper samenwerken met een plasmafysicus? Normaal gesproken gebeurt het gewoon niet.

Naast dat u samenwerkt met uw onderzoeksgroep, bent u ook adjunct-directeur van de School of Computing van de Australian National University. Kun je ons iets vertellen over die rol?

Het is grotendeels een administratieve rol. Dus naast het werken met een geweldige groep computerwetenschappers op het gebied van datawetenschap, fundamentele gebieden van talen, softwareontwikkeling, cyberbeveiliging, computervisie, robotica enzovoort, mag ik ook kansen creëren voor nieuwe mensen om zich bij de school aan te sluiten en de beste versie van zichzelf. Veel van mijn werk in de leiderschapsrol gaat over de mensen. En dit omvat ook de werving, het verzorgen van ons tenure track-programma en ons professionele ontwikkelingsprogramma. Ik heb ook de kans gehad om een ​​aantal nieuwe programma's te starten voor gebieden waarvan ik dacht dat ze aandacht nodig hadden.

Een voorbeeld hiervan was tijdens de wereldwijde COVID-pandemie. Velen van ons waren gesloten en hadden geen toegang tot onze laboratoria, waardoor we ons afvroegen wat we konden doen. Ik maakte van de gelegenheid gebruik om een ​​programma te ontwikkelen genaamd de Jubileum Gezamenlijke Fellowship, dat onderzoekers ondersteunt die werken op het grensvlak tussen informatica en een ander domein, waar ze grote uitdagingen in hun vakgebied oplossen, maar die domeinkennis ook gebruiken om nieuwe vormen van informatica te informeren. Het programma ondersteunde in 2021 vijf van dergelijke onderzoekers op verschillende gebieden.

Tevens ben ik voorzitter van de Baanbrekend vrouwenprogramma, dat beurzen, lectoraten en fellowships heeft om vrouwen te ondersteunen die de informatica-opleiding ingaan en ervoor te zorgen dat ze gedurende hun hele carrière bij ons succesvol zijn.

En natuurlijk is een van mijn andere taken als adjunct-directeur het zorgen voor de computerfaciliteiten voor onze school. Ik kijk naar manieren waarop we onze pijplijn aan middelen kunnen diversifiëren om moeilijke tijden door te komen, zoals tijdens COVID, toen we geen nieuwe apparatuur konden bestellen. Ik onderzoek ook hoe we energiezuiniger kunnen zijn, omdat computers enorm veel energie verbruiken.

Het moet een heel opwindende tijd zijn voor mensen die onderzoek doen naar ML, omdat de technologie op zoveel verschillende manieren wordt gebruikt. Naar welke nieuwe toepassingen van ML kijkt u het meeste uit in uw onderzoek?

Nou ja, waarschijnlijk enkele daarvan waar je al over hoort, namelijk AI. Hoewel er risico's verbonden zijn aan AI, zijn er ook enorme kansen, en ik denk dat generatieve AI de komende jaren bijzonder belangrijk zal zijn voor de wetenschap – op voorwaarde dat we een aantal van de problemen kunnen overwinnen door het te ‘hallucineren’ [wanneer een AI-systeem , zoals een groot taalmodel, genereert valse informatie, gebaseerd op een trainingsdataset of contextuele logica, of een combinatie van beide.

Op welk gebied van de wetenschap we ons ook bevinden, we worden beperkt door de tijd die we hebben, het geld, de middelen en de apparatuur waartoe we toegang hebben. Het betekent dat we onze wetenschap in gevaar brengen om aan deze beperkingen te voldoen, in plaats van ons te concentreren op het overwinnen ervan

Maar op welk gebied van de wetenschap we ons ook bevinden, of het nu computationeel of experimenteel is, we lijden allemaal onder een aantal beperkingen. We worden beperkt door de tijd die we hebben, het geld, de middelen en de apparatuur waartoe we toegang hebben. Het betekent dat we onze wetenschap in gevaar brengen om aan deze beperkingen te voldoen, in plaats van ons te concentreren op het overwinnen ervan. Ik geloof echt dat de infrastructuur niet zou moeten dicteren wat we doen, het zou andersom moeten zijn.

Ik denk dat generatieve AI op het juiste moment is gekomen om ons in staat te stellen eindelijk een aantal van deze problemen te overwinnen, omdat het veel potentieel heeft om de hiaten op te vullen en ons een idee te geven van wat de wetenschap had kunnen doen, als we alles hadden gedaan. de benodigde middelen.

AI zou ons in staat kunnen stellen meer te bereiken door minder te doen en enkele valkuilen zoals selectiebias te vermijden. Dat is een heel groot probleem bij het toepassen van ML op wetenschappelijke datasets. We moeten veel meer werk doen om ervoor te zorgen dat generatieve methoden betekenisvolle wetenschap opleveren, en geen hallucinaties. Dit is vooral belangrijk als ze de basis gaan vormen voor grote, vooraf getrainde modellen. Maar ik denk dat dit een heel opwindend tijdperk van de wetenschap gaat worden waarin we samenwerken met AI, in plaats van dat het alleen maar een taak voor ons uitvoert.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://physicsworld.com/a/from-bottom-up-to-top-down-computational-scientist-amanda-barnard-on-the-beauty-of-simulations-machine-learning-and-how-the-two-intersect/