Från bottom-up till top-down: beräkningsforskaren Amanda Barnard om skönheten i simuleringar, maskininlärning och hur de två korsas – Physics World

Från att använda superdatorer för att utnyttja nya typer av material till att träna maskininlärningsmodeller för att studera komplexa egenskaper på nanoskala, Den australiensiska beräkningsforskaren Amanda Barnard arbetar i gränssnittet mellan datavetenskap och datavetenskap. En senior professor i School of Computing vid Australian National University, Barnard är också biträdande direktör och beräkningsvetenskaplig ledare. Nuförtiden använder hon en mängd olika beräkningsmetoder för att lösa problem inom de fysiska vetenskaperna, men Barnard började sin karriär som fysiker och tog sin doktorsexamen i teoretisk kondenserad materiens fysik 2003.

Efter att ha tillbringat de närmaste åren som postdoc vid Center for Nanoscale Materials vid Argonne National Laboratory i USA började hon bredda sina forskningsintressen till att omfatta många aspekter av beräkningsvetenskap, inklusive användningen av maskininlärning inom nanoteknik, materialvetenskap, kemi och medicin.

En kamrat av båda Australian Institute of Physics och Royal Society of Chemistry2022 utsågs Barnard till en Medlem av Order of Australia. Hon har också vunnit ett antal priser, bland annat 2014 Feynman-priset i nanoteknik (Teori) och Medalj 2019 från Association of Molecular Modellers of Australasia. Hon pratar med Hamish Johnston om sitt intresse för att tillämpa maskininlärning på en rad problem, och om utmaningarna och fördelarna med att administrera universitet.

Kan du berätta lite om vad du gör som beräkningsvetare?

Beräkningsvetenskap innebär att designa och använda matematiska modeller för att analysera beräkningskrävande problem inom många områden inom naturvetenskap och teknik. Detta inkluderar framsteg inom beräkningsinfrastruktur och algoritmer som gör det möjligt för forskare över dessa olika domäner att utföra storskaliga beräkningsexperiment. På ett sätt involverar beräkningsvetenskap forskning om högpresterande datorer, och inte bara forskning med hjälp av en högpresterande dator.

Vi spenderar det mesta av vår tid på algoritmer och försöker ta reda på hur vi implementerar dem på ett sätt som utnyttjar den avancerade hårdvaran på bästa sätt; och att hårdvaran förändras hela tiden. Detta inkluderar konventionella simuleringar baserade på matematiska modeller utvecklade specifikt inom olika vetenskapliga domäner, vare sig det är fysik, kemi eller längre. Vi lägger också mycket tid på att använda metoder från maskininlärning (ML) och artificiell intelligens (AI), varav de flesta utvecklades av datavetare, vilket gör det till mycket tvärvetenskaplig forskning. Detta gör det möjligt att använda en hel massa nya tillvägagångssätt inom alla dessa olika vetenskapliga områden.

Maskininlärning gör det möjligt för oss att återerövra mycket av den komplexitet som vi har förlorat när vi härleder dessa vackra teorier

Simulering föddes ur de teoretiska aspekterna av varje vetenskapligt område som, med några lämpliga abstraktionsnivåer, gjorde det möjligt för oss att lösa ekvationerna. Men när vi utvecklade de teorierna var de nästan en överförenkling av problemet, vilket gjordes antingen i strävan efter matematisk elegans eller bara för det praktiska. ML gör det möjligt för oss att återerövra mycket av den komplexitet som vi har förlorat när vi härleder dessa vackra teorier. Men tyvärr fungerar inte all ML bra med vetenskap, och därför lägger beräkningsforskare mycket tid på att försöka ta reda på hur de ska tillämpa dessa algoritmer som aldrig var avsedda att användas för den här typen av datamängder för att övervinna några av problemen som är upplevt i gränssnittet. Och det är ett av de spännande områdena som jag gillar.

Du började din karriär som fysiker. Vad fick dig att gå över till beräkningsvetenskap?

Fysik är en bra utgångspunkt för praktiskt taget vad som helst. Men jag var alltid på väg mot beräkningsvetenskap utan att inse det. Under mitt första forskningsprojekt som student använde jag beräkningsmetoder och fastnade direkt. Jag älskade kodningen, hela vägen från att skriva koden till det slutliga resultatet, och så jag visste direkt att superdatorer var avsedda att bli mitt vetenskapliga instrument. Det var spännande att tänka på vad en materialvetare kunde göra om de kunde göra perfekta prover varje gång. Eller vad en kemist skulle kunna göra om de kunde ta bort alla föroreningar och ha perfekta reaktioner. Vad skulle vi kunna göra om vi kunde utforska tuffa eller farliga miljöer utan risk för att skada någon? Och ännu viktigare, tänk om vi kunde göra alla dessa saker samtidigt, på begäran, varje gång vi försökte?

Det fina med superdatorer är att de är det enda instrumentet som gör det möjligt för oss att uppnå denna nästan perfektion. Det som fängslar mig mest är att jag inte bara kan återge vad mina kollegor kan på labbet, utan också göra allt de inte kan i labbet. Så från de allra första dagarna var min beräkningsfysik på en dator. Min beräkningskemi utvecklades sedan till material, materialinformatik och nu i stort sett uteslutande ML. Men jag har alltid fokuserat på metoderna inom vart och ett av dessa områden, och jag tror att en grund i fysik gör det möjligt för mig att tänka väldigt kreativt om hur jag närmar mig alla dessa andra områden beräkningsmässigt.

Hur skiljer sig maskininlärning från klassiska datorsimuleringar?

Det mesta av min forskning är nu ML, förmodligen 80% av det. Jag gör fortfarande några konventionella simuleringar, men de ger mig något helt annat. Simuleringar är i grunden en nedifrån och upp-strategi. Vi börjar med att förstå ett system eller ett problem, vi kör en simulering och sedan får vi lite data i slutet. ML är däremot ett uppifrån-och-ned-upplägg. Vi börjar med datan, vi kör en modell och sedan får vi en bättre förståelse för systemet eller problemet. Simulering baseras på regler som bestäms av våra etablerade vetenskapliga teorier, medan ML bygger på erfarenheter och historia. Simuleringar är ofta till stor del deterministiska, även om det finns några exempel på stokastiska metoder som Monte Carlo. ML är till stor del stokastiskt, även om det finns några exempel som också är deterministiska.

Med simuleringar kan jag göra mycket bra extrapolering. Många av teorierna som ligger till grund för simuleringar gör det möjligt för oss att utforska områden i ett "konfigurationsutrymme" (koordinaterna som bestämmer alla möjliga tillstånd i ett system) eller områden av ett problem som vi inte har några data eller information om. Å andra sidan är ML riktigt bra på att interpolera och fylla i alla luckor och det är väldigt bra för slutledning.

De två metoderna är faktiskt baserade på mycket olika typer av logik. Simulering är baserad på en "om-då-annan"-logik, vilket innebär att om jag har ett visst problem eller en viss uppsättning villkor, så får jag ett deterministiskt svar, annars kommer det, beräkningsmässigt, förmodligen att krascha om du får det är fel. ML, däremot, bygger på en "uppskattning-förbättra-upprepa"-logik, vilket innebär att den alltid kommer att ge ett svar. Det svaret går alltid att förbättra, men det kanske inte alltid är rätt, så det är en annan skillnad.

Simuleringar är intradisciplinära: de har en mycket nära relation till domänkunskapen och förlitar sig på mänsklig intelligens. Å andra sidan är ML tvärvetenskapligt: ​​genom att använda modeller som utvecklats utanför den ursprungliga domänen är den agnostisk mot domänkunskap och förlitar sig mycket på artificiell intelligens. Det är därför jag gillar att kombinera de två tillvägagångssätten.

Kan du berätta lite mer om hur du använder maskininlärning i din forskning?

Före tillkomsten av ML var forskare tvungna att i stort sett förstå sambanden mellan indata och utdata. Vi var tvungna att ha modellens struktur förutbestämd innan vi kunde lösa den. Det innebar att vi var tvungna att ha en uppfattning om svaret innan vi kunde leta efter ett.

Vi kan utveckla strukturen för ett uttryck eller en ekvation och lösa det samtidigt. Det påskyndar den vetenskapliga metoden, och det är ytterligare en anledning till att jag gillar att använda maskininlärning

När du använder ML använder maskinerna statistiska tekniker och historisk information för att i princip programmera sig själva. Det betyder att vi kan utveckla strukturen för ett uttryck eller en ekvation och lösa det samtidigt. Det påskyndar den vetenskapliga metoden, och det är ytterligare en anledning till att jag gillar att använda den.

ML-teknikerna jag använder är olika. Det finns många olika smaker och typer av ML, precis som det finns massor av olika typer av beräkningsfysik eller experimentell fysikmetoder. Jag använder oövervakat lärande, som helt bygger på indatavariabler, och det går ut på att utveckla "dolda mönster" eller försöka hitta representativ data. Det är användbart för material inom nanovetenskap, när vi inte har gjort experimenten för att kanske mäta en egenskap, men vi vet ganska mycket om de ingångsvillkor som vi lägger in för att utveckla materialet.

Oövervakat lärande kan vara användbart för att hitta grupper av strukturer, kallade kluster, som har likheter i det högdimensionella rummet, eller rena och representativa strukturer (arketyper eller prototyper) som beskriver datamängden som helhet. Vi kan också transformera data för att kartlägga dem till ett lägre dimensionellt utrymme och avslöja fler likheter som inte tidigare var uppenbara, på ett liknande sätt som vi kan ändra till ömsesidigt utrymme i fysiken.

Jag använder också handledad ML för att hitta relationer och trender, såsom struktur-egenskapsrelationer, som är viktiga inom material och nanovetenskap. Detta inkluderar klassificering, där vi har en diskret etikett. Säg att vi redan har olika kategorier av nanopartiklar och, baserat på deras egenskaper, vill vi automatiskt tilldela dem till antingen en eller annan kategori, och se till att vi enkelt kan separera dessa klasser baserat på enbart indata.

Jag använder statistiskt lärande och semi-övervakat lärande också. Statistisk inlärning, i synnerhet, är användbar inom vetenskapen, även om den inte används i stor utsträckning än. Vi ser det som en kausal slutledning som används mycket inom medicinsk diagnostik, och detta kan användas för att effektivt diagnostisera hur ett material, till exempel, kan skapas, snarare än bara varför det skapas.

Din forskargrupp omfattar personer med ett brett spektrum av vetenskapliga intressen. Kan du ge oss en smak av några av de saker som de studerar?

När jag började i fysik trodde jag aldrig att jag skulle vara omgiven av en så fantastisk grupp smarta människor från olika vetenskapliga områden. Det beräkningsvetenskapliga klustret vid Australian National University inkluderar miljöforskare, jordforskare, beräkningsbiologer och bioinformatiker. Det finns också forskare som studerar genomik, beräkningsneurovetenskap, kvantkemi, materialvetenskap, plasmafysik, astrofysik, astronomi, ingenjörsvetenskap och – jag – nanoteknik. Så vi är ett mångsidigt gäng.

I vår grupp ingår Giuseppe Barca, som utvecklar algoritmer som stödjer kvantkemiprogramvarupaketen som används över hela världen. Hans forskning är fokuserad på hur vi kan utnyttja nya processorer, såsom acceleratorer, och hur vi kan tänka om hur stora molekyler kan delas upp och fragmenteras så att vi strategiskt kan kombinera massivt parallella arbetsflöden. Han hjälper oss också att använda superdatorer mer effektivt, vilket sparar energi. Och under de senaste två åren har han haft världsrekordet i den bästa skalningskvantkemialgoritmen.

Även i liten skala – vetenskapsmässigt – är det Minh Bui, som är en bioinformatiker som arbetar med att utveckla nya statistiska modeller inom området fylogenomiska system [ett multidisciplinärt område som kombinerar evolutionär forskning med systembiologi och ekologi, med metoder från nätverksvetenskap]. Dessa inkluderar partitioneringsmodeller, isomorfismmedvetna modeller och distributionsträdmodeller. Tillämpningarna av detta inkluderar områden i fotosyntetiska enzymer eller transkriptionsdata för djup insektsfylogeni, och han har arbetat med att titta på alger, såväl som bakterier och virus som HIV och SARS-CoV-2 (som orsakar COVID-19).

I den större änden av skalan är matematiker Quanling Deng, vars forskning fokuserar på matematisk modellering och simulering för storskaliga medier, som hav och atmosfärsdynamik, samt antarktiska isflak.

Det bästa är när vi upptäcker att ett problem från en domän faktiskt redan har lösts i en annan, och ännu bättre när vi upptäcker ett problem som är upplevt i flera domäner så att vi kan skala superlinjärt. Det är bra när en lösning har flera inverkansområden. Och hur ofta skulle du hitta en beräkningsneuroforskare som arbetar tillsammans med en plasmafysiker? Det händer bara inte normalt.

Förutom att arbeta med din forskargrupp, är du också biträdande chef för Australian National University's School of Computing. Kan du berätta lite om den rollen?

Det är till stor del en administrativ roll. Så förutom att arbeta med en fantastisk grupp datavetare inom datavetenskap, grundläggande områden inom språk, mjukvaruutveckling, cybersäkerhet, datorseende, robotik och så vidare, får jag också skapa möjligheter för nya människor att gå med i skolan och vara den bästa versionen av sig själva. Mycket av mitt arbete i ledarrollen handlar om människorna. Och detta inkluderar rekrytering, skötsel av vårt tenure-track-program och vårt professionella utvecklingsprogram. Jag har också haft möjlighet att starta några nya program för områden som jag tyckte behövde uppmärksamhet.

Ett sådant exempel var under den globala covid-pandemin. Många av oss stängdes av och kunde inte komma åt våra labb, vilket fick oss att undra vad vi kan göra. Jag passade på att utveckla ett program som heter Jubileumsgemensam gemenskap, som stödjer forskare som arbetar i gränssnittet mellan datavetenskap och en annan domän, där de löser stora utmaningar inom sina områden, men också använder den domänkunskapen för att informera om nya typer av datavetenskap. Programmet stödde fem sådana forskare inom olika områden 2021.

Jag är också ordförande för Banbrytande kvinnorsprogram, som har stipendier, föreläsningar och stipendier för att stödja kvinnor som börjar med datoranvändning och se till att de är framgångsrika under hela sin karriär hos oss.

Och naturligtvis är en av mina andra roller som biträdande rektor att ta hand om datorfaciliteter för vår skola. Jag tittar på hur vi kan diversifiera vår pipeline av resurser för att ta oss igenom tuffa tider, som under covid, då vi inte kunde beställa någon ny utrustning. Jag tittar också på hur vi kan bli mer energieffektiva, eftersom datoranvändning använder enormt mycket energi.

Det måste vara en mycket spännande tid för människor som forskar inom ML, eftersom tekniken hittar så många olika användningsområden. Vilka nya tillämpningar av ML ser du mest fram emot i din forskning?

Tja, förmodligen några av de du redan hört talas om, nämligen AI. Även om det finns risker förknippade med AI, finns det också enorma möjligheter, och jag tror att generativ AI kommer att bli särskilt viktig under de kommande åren för vetenskapen – förutsatt att vi kan övervinna några av problemen med att det "hallucinerar" [när ett AI-system , såsom en stor språkmodell, genererar falsk information, baserat på antingen en träningsdatauppsättning eller kontextuell logik, eller en kombination av dem båda].

Oavsett vilket område av vetenskap vi är inom, är vi begränsade av tiden vi har, pengarna, resurserna och utrustningen vi har tillgång till. Det betyder att vi kompromissar med vår vetenskap för att passa dessa begränsningar snarare än att fokusera på att övervinna dem

Men oavsett vilket område av vetenskap vi är inom, oavsett om det är beräkningsmässigt eller experimentellt, lider vi alla av ett antal restriktioner. Vi är begränsade av tiden vi har, pengarna, resurserna och utrustningen vi har tillgång till. Det betyder att vi kompromissar med vår vetenskap för att passa dessa begränsningar snarare än att fokusera på att övervinna dem. Jag tror verkligen att infrastrukturen inte borde diktera vad vi gör, det borde vara tvärtom.

Jag tror att generativ AI har kommit vid rätt tidpunkt för att göra det möjligt för oss att äntligen övervinna några av dessa problem eftersom den har stor potential att fylla i luckorna och ge oss en uppfattning om vad vetenskapen vi kunde ha gjort om vi hade allt de resurser som behövs.

Faktum är att AI skulle kunna göra det möjligt för oss att få mer genom att göra mindre och undvika några av fallgroparna som urvalsbias. Det är ett riktigt stort problem när man tillämpar ML på vetenskapliga datamängder. Vi måste göra mycket mer arbete för att säkerställa att generativa metoder producerar meningsfull vetenskap, inte hallucinationer. Detta är särskilt viktigt om de ska ligga till grund för stora förtränade modeller. Men jag tror att detta kommer att bli en riktigt spännande era av vetenskap där vi arbetar tillsammans med AI, snarare än att det bara utför en uppgift åt oss.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
• Källa: https://physicsworld.com/a/from-bottom-up-to-top-down-computational-scientist-amanda-barnard-on-the-beauty-of-simulations-machine-learning-and-how-the-two-intersect/