Nova generativna umetna inteligenca, ki jo navdihuje fizika, presega pričakovanja | Revija Quanta

Orodja umetne inteligence – zlasti nevronske mreže – so bila fizikom dobra. Ta tehnologija že leta pomaga raziskovalcem rekonstruirati trajektorije delcev v poskusih s pospeševalnikom, iskati dokaze o novih delcih in odkrivati ​​gravitacijske valove in eksoplanete. Medtem ko lahko orodja umetne inteligence očitno veliko naredijo za fizike, je po besedah ​​Maxa Tegmarka, fizika na Tehnološkem inštitutu v Massachusettsu, vprašanje zdaj: "Ali lahko kaj vrnemo?"

Tegmark verjame, da lahko njegovi kolegi fiziki pomembno prispevajo k znanosti o umetni inteligenci, zato je to postavil za svojo glavno raziskovalno prednostno nalogo. Eden od načinov, kako bi lahko fiziki pomagali pri napredku tehnologije umetne inteligence, je dejal, bi bil zamenjava algoritmov "črne skrinjice" nevronskih mrež, katerih delovanje je v veliki meri nedoumljivo, z dobro razumljenimi enačbami fizikalnih procesov.

Ideja ni čisto nova. Generativni modeli AI ki temelji na difuziji — postopek, ki na primer povzroči, da se mleko, vlito v skodelico kave, enakomerno porazdeli — se je prvič pojavil leta 2015, kakovost slik, ki jih ustvarijo, pa se je od takrat bistveno izboljšala. Ta tehnologija poganja priljubljeno programsko opremo za ustvarjanje slik, kot sta DALL·E 2 in Midjourney. Zdaj se Tegmark in njegovi kolegi učijo, ali bi lahko drugi generativni modeli, ki jih navdihuje fizika, delovali tako dobro kot modeli, ki temeljijo na difuziji, ali celo bolje.

Konec lanskega leta je Tegmarkova ekipa predstavila obetavno novo metodo izdelave slik, imenovano Poissonov generativni model toka (PFGM). Podatke v njem predstavljajo nabiti delci, ki se združijo in ustvarijo električno polje, katerega lastnosti so odvisne od porazdelitve nabojev v danem trenutku. Imenuje se Poissonov model toka, ker gibanje nabojev ureja Poissonova enačba, ki izhaja iz načela, da se elektrostatična sila med dvema nabojema spreminja v obratnem sorazmerju s kvadratom razdalje med njima (podobno kot formula Newtonove gravitacije) .

Ta fizični proces je v središču PFGM. "Naš model je mogoče skoraj v celoti označiti z močjo in smerjo električnega polja na vsaki točki v prostoru," je dejal Yilun Xu, podiplomski študent na MIT in soavtor prispevka. "Kar se nevronska mreža nauči med procesom usposabljanja, je, kako oceniti to električno polje." In pri tem se lahko nauči ustvarjati slike, ker je sliko v tem modelu mogoče jedrnato opisati z električnim poljem.

PFGM lahko ustvari slike enake kakovosti kot tiste, ustvarjene s pristopi, ki temeljijo na difuziji, in to 10- do 20-krat hitreje. "Uporablja fizični konstrukt, električno polje, na način, ki ga še nismo videli," je dejal Hananel Hazan, računalniški znanstvenik na univerzi Tufts. "To odpira vrata možnosti, da se drugi fizični pojavi izkoristijo za izboljšanje naših nevronskih mrež."

Difuzijski in Poissonov model toka imata veliko skupnega, poleg tega, da temeljita na enačbah, uvoženih iz fizike. Med usposabljanjem se difuzijski model, zasnovan za ustvarjanje slike, običajno začne s sliko - recimo psa - in nato doda vizualni šum, ki naključno spreminja vsako slikovno piko, dokler njene značilnosti niso popolnoma zakrite (čeprav ne popolnoma odpravljene). Model nato poskuša obrniti proces in ustvariti psa, ki je blizu izvirniku. Ko je model izurjen, lahko uspešno ustvari pse – in druge podobe – začenši z na videz praznega platna.

Modeli Poissonovega toka delujejo na približno enak način. Med usposabljanjem obstaja postopek naprej, ki vključuje postopno dodajanje šuma nekoč ostri sliki, in obratni postopek, v katerem poskuša model odstraniti ta šum korak za korakom, dokler se začetna različica večinoma ne obnovi. Tako kot pri generiranju na podlagi difuzije se sistem sčasoma nauči ustvarjati slike, ki jih med usposabljanjem ni videl.

Toda fizika, na kateri temeljijo Poissonovi modeli, je popolnoma drugačna. Difuzijo poganjajo termodinamične sile, medtem ko Poissonov tok poganjajo elektrostatične sile. Slednji predstavlja podrobno sliko z uporabo razporeditve nabojev, ki lahko ustvarijo zelo zapleteno električno polje. To polje pa povzroči, da se naboji sčasoma enakomerneje porazdelijo - tako kot se mleko naravno razprši v skodelici kave. Posledica tega je, da samo polje postane enostavnejše in enotnejše. Toda to s hrupom prežeto enotno polje ni popolna prazna plošča; še vedno vsebuje zametke informacij, iz katerih je mogoče zlahka sestaviti slike.

V začetku leta 2023 je ekipa nadgradila svoj Poissonov model, razširitev zajeti celotno družino modelov. Razširjena različica, PFGM++, vključuje nov parameter, D, ki raziskovalcem omogoča prilagoditev dimenzionalnosti sistema. To je lahko velika razlika: v znanem tridimenzionalnem prostoru je jakost električnega polja, ki ga proizvaja naboj, obratno sorazmerna s kvadratom razdalje od tega naboja. Toda v štirih dimenzijah poljska jakost sledi zakonu inverzne kocke. In za vsako dimenzijo prostora in vsako vrednost D, je to razmerje nekoliko drugačno.

Ta ena sama inovacija je modelom Poissonovega toka omogočila veliko večjo variabilnost, pri čemer so skrajni primeri ponujali različne prednosti. Kdaj D je na primer nizka, model je robustnejši, kar pomeni, da je bolj toleranten do napak pri ocenjevanju električnega polja. "Model ne more popolnoma predvideti električnega polja," je dejal Ziming Liu, še en podiplomski študent na MIT in soavtor obeh člankov. »Vedno je neko odstopanje. Toda robustnost pomeni, da lahko še vedno ustvarite dobre slike, tudi če je vaša napaka pri ocenjevanju velika.« Torej morda ne boste imeli psa svojih sanj, vendar boste še vedno imeli nekaj podobnega psu.

V drugi skrajnosti, ko D visoka, nevronsko mrežo postane lažje trenirati, saj potrebuje manj podatkov za obvladovanje njenih umetniških veščin. Natančnega razloga ni lahko razložiti, vendar je posledica dejstva, da ima model, ko je več dimenzij, manj električnih polj, ki jih je treba spremljati - in s tem manj podatkov za asimilacijo.

Izboljšani model, PFGM++, "vam daje prilagodljivost za interpolacijo med tema dvema skrajnostma," je dejal Rose Yu, računalniški znanstvenik na kalifornijski univerzi v San Diegu.

In nekje znotraj tega območja je idealna vrednost za D ki vzpostavlja pravo ravnovesje med robustnostjo in enostavnostjo usposabljanja, je dejal Xu. »Eden od ciljev prihodnjega dela bo odkriti sistematičen način iskanja tistega najboljšega, da bomo lahko izbrali najboljše možno D za dano situacijo brez zatekanja k poskusom in napakam.«

Drug cilj za raziskovalce MIT vključuje iskanje več fizičnih procesov, ki lahko zagotovijo osnovo za nove družine generativnih modelov. Preko projekta imenovanega GenPhys, je ekipa že identificirala enega obetavnega kandidata: potencial Yukawa, ki se nanaša na šibko jedrsko silo. "Razlikuje se od modelov Poissonovega toka in difuzije, kjer je število delcev vedno ohranjeno," je dejal Liu. »Potencial Yukawa vam omogoča, da uničite delce ali delce razdelite na dva dela. Takšen model bi lahko na primer simuliral biološke sisteme, kjer ni treba, da število celic ostane enako.

To je lahko plodna linija preiskave, je dejal Yu. "To bi lahko vodilo do novih algoritmov in novih generativnih modelov s potencialnimi aplikacijami, ki presegajo ustvarjanje slik."

In sam PFGM++ je že presegel prvotna pričakovanja svojih izumiteljev. Se sprva niso zavedali, da ko D je nastavljen na neskončnost, njihovega ojačanega Poissonovega modela toka postane neločljivo od difuzijskega modela. Liu je to odkril v izračunih, ki jih je izvedel v začetku tega leta.

Mert Pilanci, računalniški znanstvenik na Univerzi Stanford, meni, da je to "poenotenje" najpomembnejši rezultat, ki izhaja iz dela skupine MIT. »Papir PFGM++,« je dejal, »razkriva, da sta oba modela del širšega razreda, [ki] odpira zanimivo vprašanje: Ali morda obstajajo drugi fizični modeli za generativno umetno inteligenco, ki čakajo na odkritje, kar namiguje na še večje poenotenje? ”