Az új, „fizika által ihletett” generatív mesterséges intelligencia felülmúlja az elvárásokat | Quanta Magazin

A mesterséges intelligencia eszközei – különösen a neurális hálózatok – jót tettek a fizikusoknak. Ez a technológia évek óta segített a kutatóknak rekonstruálni a részecskepályákat a gyorsítókísérletek során, új részecskék bizonyítékait keresni, valamint gravitációs hullámokat és exobolygókat észlelni. Noha az AI-eszközök egyértelműen sokat tehetnek a fizikusokért, Max Tegmark, a Massachusetts Institute of Technology fizikusa szerint a kérdés most az: „Adhatunk-e vissza valamit?”

Tegmark úgy véli, hogy fizikus társai jelentős mértékben hozzájárulhatnak a mesterséges intelligencia tudományához, és ezt tette a kutatási prioritások közé. Az egyik módja annak, hogy a fizikusok hozzájárulhassanak az AI-technológia fejlődéséhez, az lenne, ha a neurális hálózatok „fekete doboz” algoritmusait, amelyek működése nagyrészt kifürkészhetetlen, lecserélnék a fizikai folyamatok jól érthető egyenleteire.

Az ötlet nem teljesen új. Generatív AI modellek diffúzió alapján – először 2015-ben tűnt fel az a folyamat, amelynek során például egy csésze kávéba öntött tej egyenletesen eloszlik, és azóta jelentősen javult az általuk készített képek minősége. Ez a technológia támogatja az olyan népszerű képkészítő szoftvereket, mint a DALL·E 2 és a Midjourney. Tegmark és kollégái most azt tanulják, hogy más, fizika által inspirált generatív modellek működhetnek-e a diffúzió alapú modelleknél, vagy még jobban.

A múlt év végén a Tegmark csapata bevezetett egy ígéretes új módszert a képek előállítására Poisson-áramlás generatív modell (PFGM). Ebben az adatokat töltött részecskék képviselik, amelyek egyesülve olyan elektromos mezőt hoznak létre, amelynek tulajdonságai a töltések mindenkori eloszlásától függenek. Poisson-áramlási modellnek hívják, mivel a töltések mozgását a Poisson-egyenlet szabályozza, amely abból az elvből ered, hogy a két töltés közötti elektrosztatikus erő fordítottan változik a köztük lévő távolság négyzetével (hasonlóan a newtoni gravitáció megfogalmazásához). .

Ez a fizikai folyamat a PFGM középpontjában áll. „Modellünk szinte teljesen jellemezhető az elektromos tér erősségével és irányával a tér minden pontjában” – mondta Yilun Xu, az MIT végzős hallgatója és a cikk társszerzője. "Amit a neurális hálózat megtanul a képzési folyamat során, az az, hogy hogyan kell megbecsülni az elektromos mezőt." Ezáltal pedig megtanulhat képeket létrehozni, mert egy képet ebben a modellben tömören le lehet írni egy elektromos térrel.

A PFGM ugyanolyan minőségű képeket tud készíteni, mint a diffúzió alapú megközelítésekkel, és ez 10-20-szor gyorsabb. "Egy fizikai konstrukciót, az elektromos mezőt használ fel, olyan módon, ahogyan korábban még soha nem láttuk" - mondta Hananel Hazan, a Tufts Egyetem informatikusa. "Ez megnyitja az ajtót annak a lehetőségének, hogy más fizikai jelenségeket is felhasználjanak neurális hálózataink fejlesztésére."

A diffúziós és a Poisson-áramlási modellekben sok a közös, amellett, hogy fizikából importált egyenleteken alapulnak. A képzés során a képgenerálásra tervezett diffúziós modell jellemzően egy képpel – mondjuk egy kutyával – kezdődik, majd vizuális zajt ad hozzá, véletlenszerűen változtatva az egyes pixeleken, amíg a jellemzői teljesen el nem takaródnak (bár nem szűnnek meg teljesen). A modell ezután megpróbálja megfordítani a folyamatot, és létrehozni egy olyan kutyát, amely közel áll az eredetihez. Kiképzés után a modell sikeresen tud készíteni kutyákat – és más képeket – egy látszólag üres vászonról.

A Poisson-áramlási modellek nagyjából ugyanúgy működnek. A képzés során van egy előremeneti folyamat, amely magában foglalja a zaj fokozatos hozzáadását az egyszer éles képhez, és egy fordított folyamatot, amelyben a modell lépésről lépésre megpróbálja eltávolítani ezt a zajt, amíg a kezdeti verzió nagy részét vissza nem állítja. A diffúzió alapú generáláshoz hasonlóan a rendszer végül megtanul olyan képeket készíteni, amelyeket a képzés során soha nem látott.

De a Poisson-modellek alapjául szolgáló fizika teljesen más. A diffúziót termodinamikai erők, míg a Poisson-áramlást elektrosztatikus erők hajtják. Ez utóbbi egy részletgazdag képet ábrázol a töltések elrendezésével, amely nagyon bonyolult elektromos mezőt hozhat létre. Ez a mező azonban azt eredményezi, hogy a töltések egyenletesebben oszlanak el az idő múlásával – ahogyan a tej természetesen szétoszlik egy csésze kávéban. Ennek eredményeként maga a mező egyszerűbbé és egységesebbé válik. De ez a zajos egységes mezőny nem teljesen üres lap; még mindig tartalmazza az információ magvait, amelyekből könnyen összeállíthatók a képek.

2023 elején a csapat frissítette Poisson modelljét, kiterjesztve azt hogy a modellek egész családját felölelje. A bővített verzió, a PFGM++ egy új paramétert tartalmaz, D, amely lehetővé teszi a kutatók számára, hogy módosítsák a rendszer dimenzióit. Ez nagy különbséget jelenthet: az ismerős háromdimenziós térben a töltés által keltett elektromos tér erőssége fordítottan arányos a töltéstől való távolság négyzetével. De négy dimenzióban a térerősség inverz kockatörvényt követ. És a tér minden dimenziójához és minden értékéhez D, ez a kapcsolat némileg más.

Ez az egyetlen innováció sokkal nagyobb variálhatóságot biztosított a Poisson áramlási modelleknek, és a szélsőséges esetek eltérő előnyöket kínálnak. Amikor D alacsony például, a modell robusztusabb, vagyis jobban toleráns az elektromos tér becslésénél elkövetett hibákkal szemben. "A modell nem tudja tökéletesen megjósolni az elektromos mezőt" - mondta Ziming Liu, egy másik végzős hallgató az MIT-n és mindkét tanulmány társszerzője. „Mindig van némi eltérés. De a robusztusság azt jelenti, hogy még ha a becslési hiba nagy is, akkor is jó képeket készíthet.” Így lehet, hogy nem álmai kutyájával végez, de mégis valami kutyához hasonlít.

A másik véglet, amikor D magas, a neurális hálózat könnyebben betanítható, így kevesebb adatra van szükség művészi képességeinek elsajátításához. A pontos okot nem könnyű megmagyarázni, de annak a ténynek köszönhető, hogy több dimenzió esetén a modellnek kevesebb nyomon követhető elektromos mezője van – és így kevesebb adatot kell asszimilálni.

A továbbfejlesztett modell, a PFGM++ „rugalmasságot biztosít a két véglet közötti interpolációhoz” – mondta. Rózsa Yu, a San Diego-i Kaliforniai Egyetem informatikusa.

És valahol ezen a tartományon belül található az ideális érték D amely megtalálja a megfelelő egyensúlyt a robusztusság és a könnyű edzés között – mondta Xu. „A jövőbeli munka egyik célja az lesz, hogy szisztematikus módon megtaláljuk ezt az édes helyet, hogy ki tudjuk választani a lehető legjobbat. D egy adott helyzetre anélkül, hogy próbálkozás-hibázáshoz folyamodnánk.”

Az MIT kutatóinak másik célja az, hogy több olyan fizikai folyamatot találjanak, amelyek alapját képezhetik a generatív modellek új családjainak. elnevezésű projekten keresztül GenPhys, a csapat már azonosított egy ígéretes jelöltet: a Yukawa potenciált, amely a gyenge nukleáris erőhöz kapcsolódik. "Ez eltér a Poisson áramlási és diffúziós modellektől, ahol a részecskék száma mindig megmarad" - mondta Liu. „A Yukawa-potenciál lehetővé teszi a részecskék megsemmisítését vagy egy részecske kettéosztását. Egy ilyen modell például olyan biológiai rendszereket szimulálhat, ahol a sejtek számának nem kell változatlannak maradnia.

Ez egy gyümölcsöző vizsgálati irány lehet, mondta Yu. „Új algoritmusokhoz és új generatív modellekhez vezethet, amelyek potenciális alkalmazásai túlmutatnak a képalkotáson.”

A PFGM++ pedig önmagában már túlszárnyalta feltalálói eredeti elvárásait. Először nem is sejtették, hogy mikor D végtelenbe van állítva, a felerősített Poisson-áramlási modelljük megkülönböztethetetlenné válik a diffúziós modelltől. Liu ezt az év elején végzett számításai során fedezte fel.

Mert Pilanci, a Stanford Egyetem informatikusa ezt az „egyesítést” tartja a legfontosabb eredménynek, amely az MIT-csoport munkájából fakad. „A PFGM++ tanulmány felfedi, hogy mindkét modell egy szélesebb osztály részét képezi, [ami] egy érdekes kérdést vet fel: Lehetnek-e más fizikai modellek a generatív mesterséges intelligencia számára, amelyek felfedezésre várnak, és egy még nagyszerűbb egyesülésre utalnak? ”