Uusi "fysiikasta inspiroitu" generatiivinen tekoäly ylittää odotukset | Quanta-lehti

Tekoälyn työkalut – erityisesti hermoverkot – ovat olleet fyysikoille hyviä. Tämä tekniikka on vuosien ajan auttanut tutkijoita rekonstruoimaan hiukkasratoja kiihdytinkokeissa, etsimään todisteita uusista hiukkasista ja havaitsemaan gravitaatioaaltoja ja eksoplaneettoja. Vaikka tekoälytyökalut voivat selvästikin tehdä paljon fyysikoille, Massachusetts Institute of Technologyn fyysikon Max Tegmarkin mukaan kysymys kuuluu nyt: "Voimmeko antaa mitään takaisin?"

Tegmark uskoo, että hänen fyysikkotoverinsa voivat antaa merkittävän panoksen tekoälytieteeseen, ja hän on asettanut tämän tutkimuksen ensisijaiseksi tavoitteekseen. Yksi tapa fyysikot voisivat auttaa AI-teknologian edistämisessä, hän sanoi, olisi korvata hermoverkkojen "mustan laatikon" algoritmit, joiden toiminta on suurelta osin tutkimatonta, hyvin ymmärretyillä fyysisten prosessien yhtälöillä.

Idea ei ole aivan uusi. Generatiiviset AI-mallit diffuusioon perustuen — prosessi, jossa esimerkiksi kahvikuppiin kaadettu maito leviää tasaisesti — syntyi ensimmäisen kerran vuonna 2015, ja niiden tuottamien kuvien laatu on sen jälkeen parantunut merkittävästi. Tämä tekniikka antaa voiman suosituille kuvantuotantoohjelmistoille, kuten DALL·E 2 ja Midjourney. Nyt Tegmark ja hänen kollegansa oppivat, voisivatko muut fysiikan inspiroimat generatiiviset mallit toimia yhtä hyvin kuin diffuusiopohjaiset mallit tai jopa paremmin.

Viime vuoden lopulla Tegmarkin tiimi esitteli lupaavan uuden menetelmän kuvien tuottamiseksi Poisson-virtauksen generatiivinen malli (PFGM). Siinä dataa edustavat varautuneet hiukkaset, jotka yhdessä muodostavat sähkökentän, jonka ominaisuudet riippuvat varausten jakautumisesta kulloinkin. Sitä kutsutaan Poisson-virtausmalliksi, koska varausten liikettä ohjaa Poisson-yhtälö, joka perustuu periaatteeseen, jonka mukaan kahden varauksen välinen sähköstaattinen voima vaihtelee käänteisesti niiden välisen etäisyyden neliön kanssa (samanlainen kuin Newtonin painovoiman muotoilu). .

Tämä fyysinen prosessi on PFGM:n ytimessä. "Mallemme voidaan luonnehtia lähes täysin sähkökentän voimakkuudella ja suunnalla avaruuden jokaisessa pisteessä", sanoi Yilun Xu, MIT:n jatko-opiskelija ja artikkelin toinen kirjoittaja. "Se mitä hermoverkko oppii harjoittelun aikana, on kuinka arvioida sähkökenttä." Ja näin tehdessään se voi oppia luomaan kuvia, koska tässä mallissa oleva kuva voidaan kuvata ytimekkäästi sähkökentällä.

PFGM voi luoda samanlaatuisia kuvia kuin diffuusiopohjaisilla lähestymistavoilla tuotetut ja tehdä sen 10-20 kertaa nopeammin. "Se käyttää fyysistä rakennetta, sähkökenttää, tavalla, jota emme ole koskaan ennen nähneet", sanoi Hananel Hazan, tietojenkäsittelytieteilijä Tuftsin yliopistossa. "Se avaa oven mahdollisuudelle, että muita fyysisiä ilmiöitä voidaan valjastaa parantamaan hermoverkkojamme."

Diffuusio- ja Poisson-virtausmalleilla on paljon yhteistä sen lisäksi, että ne perustuvat fysiikasta tuotuihin yhtälöihin. Harjoittelun aikana kuvan luomiseen suunniteltu diffuusiomalli alkaa tyypillisesti kuvasta - vaikkapa koirasta - ja lisää sitten visuaalista kohinaa, mikä muuttaa jokaista pikseliä satunnaisella tavalla, kunnes sen piirteet peittyvät kokonaan (vaikkakaan ei kokonaan poistu). Malli yrittää sitten kääntää prosessin päinvastaiseksi ja luoda koiran, joka on lähellä alkuperäistä. Kun malli on koulutettu, se voi onnistuneesti luoda koiria – ja muita kuvia – alkaen näennäisesti tyhjältä kankaalta.

Poisson-virtausmallit toimivat pitkälti samalla tavalla. Harjoittelun aikana on eteenpäin suuntautuva prosessi, jossa kohinaa lisätään asteittain kerran terävään kuvaan, ja käänteinen prosessi, jossa malli yrittää poistaa tämän kohinan askel askeleelta, kunnes alkuperäinen versio on suurimmaksi osaksi palautettu. Kuten diffuusiopohjaisessa generoinnissa, järjestelmä oppii lopulta tekemään kuvia, joita se ei koskaan nähnyt harjoituksissa.

Mutta Poisson-mallien taustalla oleva fysiikka on täysin erilainen. Diffuusiota ohjaavat termodynaamiset voimat, kun taas Poisson-virtausta ohjaavat sähköstaattiset voimat. Jälkimmäinen edustaa yksityiskohtaista kuvaa käyttämällä varausjärjestelyä, joka voi luoda erittäin monimutkaisen sähkökentän. Tämä kenttä saa kuitenkin panokset jakautumaan tasaisemmin ajan myötä - aivan kuten maito luonnostaan ​​hajoaa kupilliseen kahvia. Tuloksena itse kentästä tulee yksinkertaisempi ja yhtenäisempi. Mutta tämä meluinen yhtenäinen kenttä ei ole täysin tyhjä taulukko; se sisältää edelleen tiedon siemeniä, joista voidaan helposti koota kuvia.

Vuoden 2023 alussa tiimi päivitti Poisson-malliaan, laajentamalla sitä kattaa koko malliperheen. Lisätty versio, PFGM++, sisältää uuden parametrin, D, jonka avulla tutkijat voivat säätää järjestelmän mittasuhteita. Tällä voi olla suuri ero: Tutussa kolmiulotteisessa avaruudessa varauksen tuottaman sähkökentän voimakkuus on kääntäen verrannollinen etäisyyden neliöön tästä varauksesta. Mutta neljässä ulottuvuudessa kentänvoimakkuus noudattaa käänteistä kuution lakia. Ja jokaiselle tilan ulottuvuudelle ja jokaiselle arvolle D, tämä suhde on hieman erilainen.

Tämä yksittäinen innovaatio antoi Poisson-virtausmalleille paljon enemmän vaihtelua, ja ääritapaukset tarjosivat erilaisia ​​​​etuja. Kun D on alhainen, esimerkiksi malli on robustimpi, eli se sietää paremmin sähkökentän arvioinnissa tehtyjä virheitä. "Malli ei pysty ennustamaan sähkökenttää täydellisesti", sanoi Ziming Liu, toinen MIT:n jatko-opiskelija ja molempien julkaisujen toinen kirjoittaja. "Aina on jokin poikkeama. Mutta kestävyys tarkoittaa, että vaikka arviovirheesi olisi suuri, voit silti luoda hyviä kuvia." Joten et ehkä päädy unelmiesi koiraan, mutta saat silti jotain koiraa muistuttavaa.

Toisessa ääripäässä, milloin D on korkea, hermoverkkoa on helpompi harjoitella, mikä vaatii vähemmän dataa sen taiteellisten taitojen hallitsemiseksi. Tarkkaa syytä ei ole helppo selittää, mutta se johtuu siitä tosiasiasta, että kun ulottuvuuksia on enemmän, mallissa on vähemmän sähkökenttiä seuratakseen - ja siten vähemmän tietoja omaksuttavaa.

Parannettu malli, PFGM++, "antaa sinulle joustavuuden interpoloida näiden kahden ääripään välillä", sanoi Rose Yu, tietojenkäsittelytieteilijä Kalifornian yliopistosta San Diegosta.

Ja jossain tämän alueen sisällä on ihanteellinen arvo D joka löytää oikean tasapainon kestävyyden ja harjoittelun helppouden välillä, sanoi Xu. ”Yksi tulevaisuuden työn tavoitteista on löytää systemaattinen tapa löytää se makea paikka, jotta voimme valita parhaan mahdollisen D tietyssä tilanteessa turvautumatta yrityksen ja erehdyksen keinoihin."

Toinen MIT:n tutkijoiden tavoite on löytää lisää fyysisiä prosesseja, jotka voivat tarjota perustan uusille generatiivisten mallien perheille. Hankkeen kautta ns GenPhys, tiimi on jo tunnistanut yhden lupaavan ehdokkaan: Yukawan potentiaalin, joka liittyy heikkoon ydinvoimaan. "Se eroaa Poisson-virtaus- ja diffuusiomalleista, joissa hiukkasten määrä säilyy aina", Liu sanoi. "Yukawa-potentiaali mahdollistaa hiukkasten tuhoamisen tai jakamisen kahteen osaan. Tällainen malli voisi esimerkiksi simuloida biologisia järjestelmiä, joissa solujen lukumäärän ei tarvitse pysyä ennallaan.

Tämä voi olla hedelmällinen tutkimuslinja, Yu sanoi. "Se voi johtaa uusiin algoritmeihin ja uusiin generatiivisiin malleihin, joiden mahdolliset sovellukset ulottuvat kuvan luomisen ulkopuolelle."

Ja PFGM++ yksin on jo ylittänyt keksijöidensä alkuperäiset odotukset. He eivät aluksi tajunneet, että milloin D on asetettu äärettömyyteen, niiden vahvistetusta Poisson-virtausmallista tulee mahdoton erottaa diffuusiomallista. Liu havaitsi tämän aiemmin tänä vuonna tekemissään laskelmissa.

Mert PilanciStanfordin yliopiston tietojenkäsittelytieteilijä, pitää tätä "yhdistämistä" tärkeimpänä MIT-ryhmän työn tuloksena. "PFGM++-paperi", hän sanoi, "paljastaa, että nämä molemmat mallit ovat osa laajempaa luokkaa, [mikä] herättää kiehtovan kysymyksen: Voiko generatiiviselle tekoälylle olla muita fyysisiä malleja, jotka odottavat löytöä, mikä vihjaa vieläkin suurempaan yhdistymiseen? ”