Uus "füüsikast inspireeritud" generatiivne AI ületab ootusi | Ajakiri Quanta

Tehisintellekti tööriistad – eelkõige närvivõrgud – on füüsikutele head olnud. See tehnoloogia on aastaid aidanud teadlastel kiirendikatsetes rekonstrueerida osakeste trajektoore, otsida tõendeid uute osakeste kohta ning tuvastada gravitatsioonilaineid ja eksoplaneete. Kuigi tehisintellekti tööriistad võivad füüsikute jaoks selgelt palju ära teha, on Massachusettsi Tehnoloogiainstituudi füüsiku Max Tegmarki sõnul praegu küsimus: "Kas me saame midagi tagasi anda?"

Tegmark usub, et tema füüsikutest eakaaslased saavad tehisintellekti teadusesse oluliselt kaasa aidata ja ta on seadnud selle oma uurimistöö peamiseks prioriteediks. Üks viis, kuidas füüsikud saaksid aidata tehisintellekti tehnoloogiat edendada, oleks tema sõnul asendada närvivõrkude "musta kasti" algoritmid, mille toimimine on suures osas uurimatu, füüsikaliste protsesside hästi mõistetavate võrranditega.

Idee pole täiesti uus. Generatiivsed AI mudelid põhineb difusioonil — protsess, mille käigus näiteks kohvitassi valatud piim ühtlaselt laiali valgub — ilmnes esmakordselt 2015. aastal ja sellest ajast alates on nende loodud piltide kvaliteet oluliselt paranenud. See tehnoloogia toetab populaarseid pilditöötlustarkvarasid, nagu DALL·E 2 ja Midjourney. Nüüd õpivad Tegmark ja tema kolleegid, kas teised füüsikast inspireeritud generatiivsed mudelid võivad töötada sama hästi kui difusioonipõhised mudelid või isegi paremini.

Eelmise aasta lõpus tutvustas Tegmarki meeskond paljutõotavat uut piltide valmistamise meetodit, mida nimetatakse Poissoni voolu generatiivne mudel (PFGM). Selles kujutavad andmeid laetud osakesed, mis ühendavad elektrivälja, mille omadused sõltuvad laengute jaotusest igal ajahetkel. Seda nimetatakse Poissoni voolumudeliks, kuna laengute liikumist juhib Poissoni võrrand, mis tuleneb põhimõttest, mille kohaselt kahe laengu vaheline elektrostaatiline jõud varieerub pöördvõrdeliselt nendevahelise kauguse ruuduga (sarnaselt Newtoni gravitatsiooni formuleeringule). .

See füüsiline protsess on PFGMi keskmes. "Meie mudelit saab peaaegu täielikult iseloomustada elektrivälja tugevuse ja suunaga igas ruumipunktis, " ütles Yilun Xu, MIT-i magistrant ja artikli kaasautor. "See, mida närvivõrk koolitusprotsessi käigus õpib, on see, kuidas seda elektrivälja hinnata." Ja seda tehes saab ta õppida pilte looma, sest selle mudeli kujutist saab lühidalt kirjeldada elektrivälja abil.

PFGM suudab luua difusioonipõhiste lähenemisviisidega sama kvaliteediga pilte ja teeb seda 10–20 korda kiiremini. "See kasutab füüsilist konstruktsiooni, elektrivälja, viisil, mida me pole kunagi varem näinud," ütles Hananel Hazan, Tuftsi ülikooli arvutiteadlane. "See avab ukse võimalusele kasutada meie närvivõrkude parandamiseks teisi füüsilisi nähtusi."

Difusiooni- ja Poissoni voolumudelitel on peale selle, et need põhinevad füüsikast imporditud võrranditel, palju ühist. Treeningu ajal algab kujutise genereerimiseks loodud difusioonimudel tavaliselt pildist – oletame koerast – ja lisab seejärel visuaalset müra, muutes iga pikslit suvaliselt, kuni selle funktsioonid on täielikult kaetud (kuigi mitte täielikult kõrvaldatud). Seejärel proovib mudel protsessi ümber pöörata ja luua koera, mis on originaalile lähedane. Pärast treenimist saab modell edukalt luua koeri – ja muid kujutisi – alustades näiliselt tühjalt lõuendilt.

Poissoni voolu mudelid töötavad peaaegu samal viisil. Treeningu ajal toimub edasiliikumine, mis hõlmab müra järk-järgulist lisamist ühekordsele teravale pildile, ja vastupidine protsess, mille käigus mudel proovib seda müra samm-sammult eemaldada, kuni esialgne versioon on enamjaolt taastatud. Nagu difusioonipõhise genereerimise puhul, õpib süsteem lõpuks tegema pilte, mida ta koolitusel kunagi ei näinud.

Kuid Poissoni mudelite aluseks olev füüsika on täiesti erinev. Difusiooni juhivad termodünaamilised jõud, samas kui Poissoni voolu juhivad elektrostaatilised jõud. Viimane kujutab endast üksikasjalikku pilti, kasutades laengute paigutust, mis võib tekitada väga keerulise elektrivälja. See väli aga jaotab laengud aja jooksul ühtlasemalt – täpselt nagu piim tassis kohvis loomulikult hajub. Tulemuseks on see, et väli ise muutub lihtsamaks ja ühtlasemaks. Kuid see mürarohke ühtlane väli pole täiesti puhas leht; see sisaldab endiselt teabeseemneid, millest saab hõlpsasti pilte kokku panna.

2023. aasta alguses uuendas meeskond oma Poissoni mudelit, seda pikendades et hõlmata tervet mudelite perekonda. Täiustatud versioon PFGM++ sisaldab uut parameetrit, D, mis võimaldab teadlastel süsteemi mõõtmeid reguleerida. Sellel võib olla suur erinevus: tuttavas kolmemõõtmelises ruumis on laengu tekitatud elektrivälja tugevus pöördvõrdeline selle laengu kauguse ruuduga. Kuid neljas mõõtmes järgib väljatugevus pöördvõrdelist kuubiseadust. Ja ruumi iga mõõtme ja iga väärtuse jaoks D, on see suhe mõnevõrra erinev.

See üksik uuendus andis Poissoni voolumudelitele palju suurema varieeruvuse, äärmuslikel juhtudel pakkudes erinevaid eeliseid. Millal D on madal, näiteks on mudel robustsem, mis tähendab, et see talub paremini elektrivälja hindamisel tehtud vigu. "Mudel ei suuda elektrivälja ideaalselt ennustada," ütles Ziming Liu, teine ​​MIT-i kraadiõppur ja mõlema töö kaasautor. "Alati on mingi kõrvalekalle. Kuid vastupidavus tähendab, et isegi kui teie hinnanguviga on suur, saate ikkagi luua häid pilte. Nii et te ei pruugi oma unistuste koera juurde jõuda, kuid siiski saate midagi koera meenutavat.

Teises äärmuses, millal D on kõrge, muutub närvivõrgu treenimine lihtsamaks, vajades oma kunstioskuste valdamiseks vähem andmeid. Täpset põhjust ei ole lihtne selgitada, kuid see tuleneb asjaolust, et kui mõõtmeid on rohkem, on mudelil vähem elektrivälju, mida jälgida, ja seega ka vähem andmeid, mida assimileerida.

Täiustatud mudel PFGM++ "annab teile paindlikkuse nende kahe äärmuse vahel interpoleerimiseks", ütles Rose Yu, San Diego California ülikooli arvutiteadlane.

Ja kuskil selles vahemikus asub ideaalne väärtus D mis loob õige tasakaalu tugevuse ja treenimise lihtsuse vahel, ütles Xu. "Tuleviku töö üheks eesmärgiks on välja mõelda süstemaatiline viis selle magusa koha leidmiseks, et saaksime valida parima võimaliku D konkreetse olukorra jaoks katse-eksituse meetodit kasutamata.

MIT-i teadlaste teine ​​​​eesmärk hõlmab rohkemate füüsiliste protsesside leidmist, mis võivad olla aluseks uutele generatiivsete mudelite perekondadele. Nimetatud projekti kaudu GenPhys, on meeskond juba tuvastanud ühe paljutõotava kandidaadi: Yukawa potentsiaali, mis on seotud nõrga tuumajõuga. "See erineb Poissoni voolu- ja difusioonimudelitest, kus osakeste arv on alati säilinud, " ütles Liu. "Yukawa potentsiaal võimaldab teil osakesi hävitada või osakesi kaheks jagada. Selline mudel võib näiteks simuleerida bioloogilisi süsteeme, kus rakkude arv ei pea jääma samaks.

Yu ütles, et see võib olla viljakas uurimissuund. "See võib viia uute algoritmide ja uute generatiivsete mudeliteni, mille potentsiaalsed rakendused ulatuvad kaugemale pildi loomisest."

Ja ainuüksi PFGM++ on juba ületanud oma leiutajate algsed ootused. Nad ei saanud alguses aru, et millal D on seatud lõpmatusse, muutub nende võimendatud Poissoni voolumudel difusioonimudelist eristamatuks. Liu avastas selle selle aasta alguses tehtud arvutustes.

Mert PilanciStanfordi ülikooli arvutiteadlane peab seda "ühendamist" kõige olulisemaks tulemuseks, mis tuleneb MIT rühma tööst. "PFGM++ dokument," ütles ta, "selgitab, et mõlemad mudelid on osa laiemast klassist, [mis] tõstatab intrigeeriva küsimuse: kas generatiivse tehisintellekti jaoks võib olla teisi füüsilisi mudeleid, mis ootavad avastamist, mis vihjab veelgi suurejoonelisemale ühendamisele? ”