Od spodaj navzgor do zgoraj navzdol: računalniška znanstvenica Amanda Barnard o lepoti simulacij, strojnem učenju in o tem, kako se oboje križa – Svet fizike

Od uporabe superračunalnikov za izkoriščanje novih vrst materialov do usposabljanja modelov strojnega učenja za preučevanje kompleksnih lastnosti na nanometru, Avstralska računalniška znanstvenica Amanda Barnard deluje na vmesniku računalništva in podatkovne znanosti. Višji profesor na Šola za računalništvo na Avstralski nacionalni univerzi, Barnard je tudi namestnik direktorja in vodja oddelka za računalništvo. Danes uporablja različne računalniške metode za reševanje problemov v fizikalnih vedah, vendar je Barnardova svojo kariero začela kot fizičarka in leta 2003 doktorirala iz teoretične fizike kondenzirane snovi.

Potem ko je naslednjih nekaj let preživel kot podoktor na Center za materiale v nanometrskem merilu pri Nacionalnem laboratoriju Argonne v ZDA je začela širiti svoje raziskovalne interese, da bi zajela številne vidike računalniške znanosti, vključno z uporabo strojnega učenja v nanotehnologiji, znanosti o materialih, kemiji in medicini.

Štipendist obeh Avstralski inštitut za fiziko in Kraljevo kemijsko društvo, leta 2022 je bil Barnard imenovan za a Član avstralskega reda. Prejela je tudi številne nagrade, med drugim Feynmanova nagrada za nanotehnologijo 2014 (Teorija) in 2019 medalja Združenja molekularnih modelarjev Avstralije. S Hamishem Johnstonom se pogovarja o svojem zanimanju za uporabo strojnega učenja pri različnih problemih ter o izzivih in nagradah, ki jih prinaša opravljanje univerzitetne administracije.

Nam lahko poveste nekaj o tem, kaj počnete kot računalniški znanstvenik?

Računalništvo vključuje načrtovanje in uporabo matematičnih modelov za analizo računalniško zahtevnih problemov na številnih področjih znanosti in tehnike. To vključuje napredek v računalniški infrastrukturi in algoritmih, ki raziskovalcem na teh različnih področjih omogočajo izvajanje obsežnih računalniških poskusov. Na nek način računalniška znanost vključuje raziskave visoko zmogljivega računalništva in ne samo raziskav z uporabo visoko zmogljivega računalnika.

Večino časa porabimo za algoritme in poskušamo ugotoviti, kako jih implementirati na način, ki najbolje izkorišča napredno strojno opremo; in ta strojna oprema se ves čas spreminja. To vključuje običajne simulacije, ki temeljijo na matematičnih modelih, razvitih posebej na različnih znanstvenih področjih, pa naj gre za fiziko, kemijo ali drugje. Veliko časa preživimo tudi z metodami iz strojno učenje (ML) in Umetna inteligenca (AI), ki so jih večinoma razvili računalniški znanstveniki, zaradi česar je zelo interdisciplinarno raziskovanje. To omogoča cel kup novih pristopov, ki se uporabljajo na vseh teh različnih znanstvenih področjih.

Strojno učenje nam omogoča, da ponovno ujamemo veliko zapletenosti, ki smo jo izgubili, ko smo izpeljali te čudovite teorije

Simulacija se je rodila iz teoretičnih vidikov vsakega znanstvenega področja, ki nam je z nekaj primernimi stopnjami abstrakcije omogočilo reševanje enačb. Toda ko smo razvili te teorije, so bile skoraj pretirana poenostavitev problema, ki je bila storjena bodisi v prizadevanju za matematično eleganco bodisi samo zaradi praktičnosti. ML nam omogoča, da ponovno ujamemo veliko zapletenosti, ki smo jo izgubili, ko smo izpeljali te čudovite teorije. Toda na žalost vse ML ne deluje dobro z znanostjo, zato računalniški znanstveniki porabijo veliko časa, ko poskušajo ugotoviti, kako uporabiti te algoritme, ki nikoli niso bili namenjeni uporabi za te vrste naborov podatkov, da bi premagali nekatere težave, ki so izkušen na vmesniku. In to je eno od razburljivih področij, ki mi je všeč.

Svojo poklicno pot ste začeli kot fizik. Zakaj ste se odločili za računalništvo?

Fizika je odlično izhodišče za skoraj vse. Vendar sem bil vedno na poti v računalništvo, ne da bi se tega zavedal. Med svojim prvim raziskovalnim projektom kot študent sem uporabil računalniške metode in bil takoj zasvojen. Všeč mi je bilo kodiranje, vse od pisanja kode do končnih rezultatov, in tako sem takoj vedel, da so superračunalniki usojeni, da bodo moj znanstveni instrument. Bilo je vznemirljivo razmišljati o tem, kaj bi lahko naredil znanstvenik za materiale, če bi lahko vsakič naredil popolne vzorce. Ali kaj bi lahko naredil kemik, če bi lahko odstranil vse kontaminacije in imel popolne reakcije. Kaj bi lahko storili, če bi lahko raziskovali težka ali nevarna okolja, ne da bi pri tem kogar koli poškodovali? In kar je še pomembneje, kaj če bi lahko naredili vse te stvari hkrati, na zahtevo, vsakič, ko poskusimo?

Lepota superračunalnikov je v tem, da so edini instrument, ki nam omogoča, da dosežemo to skoraj popolnost. Najbolj me navdušuje to, da ne morem samo reproducirati tega, kar zmorejo moji sodelavci v laboratoriju, ampak naredim tudi vse, česar oni v laboratoriju ne zmorejo. Tako je bila moja računalniška fizika že od samega začetka na računalniku. Moja računalniška kemija se je nato razvila v materiale, informatiko materialov in zdaj skoraj izključno v ML. Toda vedno sem se osredotočal na metode na vsakem od teh področij in menim, da mi osnova fizike omogoča, da zelo kreativno razmišljam o tem, kako računalniško pristopam k vsem tem drugim področjem.

Kako se strojno učenje razlikuje od klasičnih računalniških simulacij?

Večina mojih raziskav je zdaj ML, verjetno 80 %. Še vedno pa delam nekaj običajnih simulacij, saj mi dajo nekaj zelo drugačnega. Simulacije so načeloma pristop od spodaj navzgor. Začnemo z razumevanjem sistema ali težave, izvedemo simulacijo in na koncu dobimo nekaj podatkov. Nasprotno pa je ML pristop od zgoraj navzdol. Začnemo s podatki, zaženemo model, nato pa končamo z boljšim razumevanjem sistema ali težave. Simulacija temelji na pravilih, ki jih določajo naše uveljavljene znanstvene teorije, medtem ko ML temelji na izkušnjah in zgodovini. Simulacije so pogosto v veliki meri deterministične, čeprav obstaja nekaj primerov stohastičnih metod, kot je Monte Carlo. ML je v veliki meri stohastičen, čeprav obstaja nekaj primerov, ki so tudi deterministični.

S simulacijami lahko naredim zelo dobro ekstrapolacijo. Veliko teorij, ki podpirajo simulacije, nam omogoča, da raziščemo področja "konfiguracijskega prostora" (koordinate, ki določajo vsa možna stanja sistema) ali področja problema, za katerega nimamo podatkov ali informacij. Po drugi strani pa je ML zelo dober pri interpolaciji in zapolnjevanju vseh vrzeli ter je zelo dober za sklepanje.

Obe metodi dejansko temeljita na zelo različnih vrstah logike. Simulacija temelji na logiki »če-potem-drugega«, kar pomeni, da če imam določen problem ali določen nabor pogojev, bom dobil determinističen odgovor ali pa se bo računsko verjetno zrušil, če dobite je narobe. ML pa nasprotno temelji na logiki »oceni-izboljšaj-ponovi«, kar pomeni, da bo vedno dal odgovor. Ta odgovor je vedno mogoče izboljšati, vendar morda ni vedno pravilen, zato je to še ena razlika.

Simulacije so intradisciplinarne: so zelo tesno povezane z znanjem domene in se zanašajo na človeško inteligenco. Po drugi strani je ML interdisciplinaren: z uporabo modelov, razvitih zunaj prvotne domene, je agnostičen glede znanja o domeni in se močno zanaša na umetno inteligenco. Zato rada združujem oba pristopa.

Nam lahko poveste nekaj več o tem, kako uporabljate strojno učenje v svojih raziskavah?

Pred pojavom ML so morali znanstveniki precej razumeti razmerja med vložki in izhodi. Preden smo ga lahko rešili, smo morali imeti vnaprej določeno strukturo modela. To je pomenilo, da smo morali imeti idejo o odgovoru, preden smo ga lahko iskali.

Lahko razvijemo strukturo izraza ali enačbe in jo hkrati rešujemo. To pospeši znanstveno metodo in to je še en razlog, zakaj rad uporabljam strojno učenje

Ko uporabljate ML, stroji uporabljajo statistične tehnike in zgodovinske informacije, da se v bistvu sami programirajo. To pomeni, da lahko razvijemo strukturo izraza ali enačbe in jo hkrati rešimo. To pospeši znanstveno metodo in to je še en razlog, zakaj jo rad uporabljam.

Tehnike ML, ki jih uporabljam, so raznolike. Obstaja veliko različnih okusov in vrst ML, tako kot obstaja veliko različnih vrst računalniške fizike ali eksperimentalnih fizikalnih metod. Uporabljam nenadzorovano učenje, ki v celoti temelji na vhodnih spremenljivkah in se osredotoča na razvijanje "skritih vzorcev" ali poskuša najti reprezentativne podatke. To je uporabno za materiale v nanoznanosti, ko nismo izvedli poskusov, da bi morda izmerili lastnosti, vendar vemo kar nekaj o vhodnih pogojih, ki smo jih postavili za razvoj materiala.

Nenadzorovano učenje je lahko koristno pri iskanju skupin struktur, imenovanih grozdi, ki imajo podobnosti v visokodimenzionalnem prostoru, ali čistih in reprezentativnih struktur (arhetipov ali prototipov), ki opisujejo nabor podatkov kot celoto. Prav tako lahko transformiramo podatke, da jih preslikamo v prostor nižje dimenzije in razkrijemo več podobnosti, ki prej niso bile očitne, na podoben način, kot bi ga lahko spremenili v recipročni prostor v fiziki.

Uporabljam tudi nadzorovano ML za iskanje odnosov in trendov, kot so razmerja med strukturo in lastnostmi, ki so pomembni v materialih in nanoznanosti. To vključuje klasifikacijo, kjer imamo diskretno oznako. Recimo, da že imamo različne kategorije nanodelcev in jih želimo na podlagi njihovih značilnosti samodejno dodeliti eni ali drugi kategoriji ter zagotoviti, da lahko te razrede preprosto ločimo samo na podlagi vhodnih podatkov.

Uporabljam tudi statistično učenje in delno nadzorovano učenje. Statistično učenje je še posebej uporabno v znanosti, čeprav še ni v široki uporabi. Na to mislimo kot na vzročno sklepanje, ki se pogosto uporablja v medicinski diagnostiki, in to je mogoče uporabiti za učinkovito diagnosticiranje, kako bi na primer lahko bil material ustvarjen, ne pa le, zakaj je ustvarjen.

Vaša raziskovalna skupina vključuje ljudi s širokim spektrom znanstvenih interesov. Ali nam lahko predstavite nekaj stvari, ki jih preučujejo?

Ko sem začel s fiziko, si nikoli nisem mislil, da bom obkrožen s tako neverjetno skupino pametnih ljudi z različnih znanstvenih področij. Grozd računalniških znanosti na Avstralski nacionalni univerzi vključuje okoljske znanstvenike, znanstvenike o zemlji, računalniške biologe in bioinformatike. Obstajajo tudi raziskovalci, ki preučujejo genomiko, računalniško nevroznanost, kvantno kemijo, znanost o materialih, fiziko plazme, astrofiziko, astronomijo, inženirstvo in – jaz – nanotehnologijo. Torej smo raznolika družba.

Naša skupina vključuje Giuseppe Barca, ki razvija algoritme, ki podpirajo programske pakete za kvantno kemijo, ki se uporabljajo po vsem svetu. Njegove raziskave so osredotočene na to, kako lahko izkoristimo nove procesorje, kot so pospeševalniki, in kako lahko ponovno razmislimo o tem, kako lahko velike molekule razdelimo in razdrobimo, da lahko strateško združimo masivne vzporedne poteke dela. Pomaga nam tudi pri učinkovitejši uporabi superračunalnikov, kar varčuje z energijo. In zadnji dve leti je držal svetovni rekord v algoritmu za kvantno kemijo z najboljšim skaliranjem.

Tudi v majhnem merilu – v smislu znanosti – je Minh Bui, ki je bioinformatik, ki se ukvarja z razvojem novih statističnih modelov na področju filogenomskih sistemov [multidisciplinarno področje, ki združuje evolucijske raziskave s sistemsko biologijo in ekologijo z uporabo metod mrežne znanosti]. Ti vključujejo modele particioniranja, modele, ki upoštevajo izomorfizem, in modele porazdelitvenega drevesa. Uporabe tega vključujejo področja fotosintetskih encimov ali podatke o globoki transkripciji filogenije žuželk, opravil pa je tudi raziskave alg, pa tudi bakterij in virusov, kot sta HIV in SARS-CoV-2 (ki povzroča COVID-19).

Na večjem koncu lestvice je matematik Quanling Deng, katerega raziskave se osredotočajo na matematično modeliranje in simulacije za medije velikega obsega, kot so oceani in dinamika atmosfere ter antarktične ledene plošče.

Najboljše je, ko odkrijemo, da je bila težava iz ene domene dejansko že rešena v drugi, še bolje pa je, ko odkrijemo, da je težava izkušena na več področjih, tako da lahko superlinearno merimo. Odlično je, če ima ena rešitev več področij vpliva. In kako pogosto bi našli računalniškega nevroznanstvenika, ki dela skupaj s fizikom plazme? To se običajno ne zgodi.

Poleg dela s svojo raziskovalno skupino ste tudi namestnik direktorja Fakultete za računalništvo Avstralske nacionalne univerze. Nam lahko poveste nekaj o tej vlogi?

To je v veliki meri administrativna vloga. Torej poleg dela z neverjetno skupino računalniških znanstvenikov na področju podatkovne znanosti, temeljnih področij v jezikih, razvoju programske opreme, kibernetski varnosti, računalniškem vidu, robotiki in tako naprej, ustvarjam tudi priložnosti za nove ljudi, da se pridružijo šoli in postanejo najboljša različica sebe. Veliko mojega dela v vodstveni vlogi je povezanih z ljudmi. In to vključuje zaposlovanje, skrb za naš program zaposlovanja in tudi naš program strokovnega razvoja. Imel sem tudi priložnost začeti nekaj novih programov za področja, za katera sem mislil, da potrebujejo pozornost.

En tak primer je bil med svetovno pandemijo COVID. Veliko nas je bilo zaprtih in nismo mogli dostopati do svojih laboratorijev, zaradi česar smo se spraševali, kaj lahko storimo. Izkoristil sem priložnost in razvil program, imenovan Jubilejna skupna štipendija, ki podpira raziskovalce, ki delajo na vmesniku med računalništvom in drugo domeno, kjer rešujejo velike izzive na svojih področjih, hkrati pa uporabljajo to znanje domene za informiranje novih vrst računalništva. Program je leta 2021 podprl pet takih raziskovalcev na različnih področjih.

Sem tudi predsedujoča Pionirski ženski program, ki ima štipendije, predavanja in štipendije za podporo ženskam, ki vstopijo v računalništvo, in jim zagotavlja uspeh v celotni karieri pri nas.

In seveda, ena od mojih drugih vlog kot namestnika direktorja je skrbeti za računalniške zmogljivosti naše šole. Iščem načine, kako bi lahko diverzificirali našo ponudbo virov, da bi prebrodili težke čase, na primer med COVID-om, ko nismo mogli naročiti nove opreme. Raziskujem tudi, kako smo lahko bolj energetsko učinkoviti, saj računalništvo porabi ogromno energije.

Gotovo je zelo razburljiv čas za ljudi, ki raziskujejo ML, saj tehnologija najde toliko različnih uporab. Katerih novih aplikacij ML se najbolj veselite v svojem raziskovanju?

No, verjetno nekateri od tistih, o katerih ste že slišali, in sicer AI. Medtem ko obstajajo tveganja, povezana z umetno inteligenco, obstaja tudi ogromno priložnosti in menim, da bo generativna umetna inteligenca v prihodnjih letih še posebej pomembna za znanost – pod pogojem, da lahko premagamo nekatere težave s tem, da »halucinira« [ko sistem umetne inteligence , kot je velik jezikovni model, ustvarja lažne informacije, ki temeljijo bodisi na naboru podatkov za usposabljanje bodisi na kontekstualni logiki ali kombinaciji obeh].

Ne glede na to, na katerem področju znanosti smo, smo omejeni s časom, ki ga imamo, denarjem, viri in opremo, do katere imamo dostop. To pomeni, da ogrožamo našo znanost, da bi ustrezali tem omejitvam, namesto da bi se osredotočili na njihovo premagovanje

Toda ne glede na to, na katerem področju znanosti se nahajamo, bodisi računalniškem ali eksperimentalnem, vsi trpimo zaradi številnih omejitev. Omejeni smo s časom, ki ga imamo, denarjem, viri in opremo, do katere imamo dostop. To pomeni, da ogrožamo našo znanost, da bi ustrezali tem omejitvam, namesto da bi se osredotočili na njihovo premagovanje. Resnično verjamem, da nam infrastruktura ne bi smela narekovati, kaj počnemo, ampak mora biti obratno.

Mislim, da je generativna umetna inteligenca prišla ob pravem času, da nam omogoči, da končno premagamo nekatere od teh težav, saj ima veliko možnosti, da zapolni vrzeli in nam ponudi idejo o tem, kakšno znanost bi lahko naredili, če bi imeli vse potrebna sredstva.

Umetna inteligenca bi nam dejansko lahko omogočila, da z manj dela pridobimo več in se izognemo nekaterim pastem, kot je pristranskost pri izbiri. To je res velik problem pri uporabi strojnega jezika za nabore znanstvenih podatkov. Opraviti moramo veliko več dela, da zagotovimo, da generativne metode ustvarjajo smiselno znanost, ne pa halucinacij. To je še posebej pomembno, če bodo predstavljali osnovo za velike vnaprej usposobljene modele. Ampak mislim, da bo to res vznemirljivo obdobje znanosti, v katerem bomo sodelovali z umetno inteligenco, namesto da bi le opravljala nalogo namesto nas.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
• vir: https://physicsworld.com/a/from-bottom-up-to-top-down-computational-scientist-amanda-barnard-on-the-beauty-of-simulations-machine-learning-and-how-the-two-intersect/