Mik azok a hiperhálózatok?

Amikor néhány héttel ezelőtt a Stable Diffusion, a fotórealisztikus képeket renderelő mesterséges intelligencia alkalmazás előtérbe került, egy új divatszó is megjelent vele; hiperhálózatok.

Most már a stabil diffúzió és a hiperhálózatok annyira össze vannak kapcsolva, hogy lehetetlen ugyanabban a bekezdésben egyiket a másik nélkül említeni.

Stabil diffúziós hiperhálózatokat képeztem ki kis adathalmazokon (nem, nem kortárs művészek, kivéve a tiédet), hogy megtanítsam azokat a homályos „stílusokra”, amelyeket a dobozból nem igazán ért. Pontosan a leírtak szerint működik, valójában jobban, mint ahogy én magam gondoltam volna” – mondja egy felhasználó a Twitteren.

Stabil diffúziós hiperhálózatokat képeztem ki kis adathalmazokon (nem, nem kortárs művészek, kivéve a tiédet igazán), hogy megtanítsam azokat a homályos „stílusokra”, amelyeket nem igazán ért a dobozból. pontosan úgy működik, ahogy leírta, valójában jobban, mint gondoltam volna.

— sajnálat maximalizáló (@regretmaximizer) December 20, 2022

Ez megtestesíti azt a hiperhálózati zümmögést, amely az utóbbi időben megragadta a netezőket.

A számítástechnikában a hiperhálózat technikailag olyan hálózat, amely súlyokat generál egy fő hálózat számára. Más szóval, úgy gondolják, hogy a fő hálózat viselkedése megegyezik más neurális hálózatokkal, mert megtanul néhány nyers bemenetet leképezni a kívánt célpontokra, miközben a hiperhálózat olyan bemeneteket vesz fel, amelyek információkat tartalmaznak a súlyok szerkezetéről, és generál az adott réteg súlya.

Olvassa el: AI Tech, amely életet romboló mély hamis képeket készít

Hogyan használják a hiperhálózatokat?

Annak érdekében, hogy megértsük, mi az a hiperhálózat, tegyünk egy kicsit vissza. Ha képeket készített a Stable Diffusion-on – a digitális művészet és képek létrehozására szolgáló mesterséges intelligencia eszközön –, akkor találkozott vele.

A képzés általában egy olyan folyamatra vonatkozik, ahol a modell megtanulja (meghatározza) a jó értékeket az összes súlyhoz és a torzításhoz a címkézett példákból

Képek létrehozása bekapcsolva Stabil diffúzió nem automatikus folyamat, amint azt már említettük máshol. Ahhoz, hogy oda jussunk, folyamatok vannak.

Először egy mesterséges intelligencia-modellnek meg kell tanulnia, hogyan lehet szoftveren keresztül egy 2D-s vagy 3D-s modellből fotóvá renderelni vagy szintetizálni valakiről készült képet. Bár a Stable Diffusion modellt alaposan tesztelték, van néhány képzési korlátja, amelyeket beágyazási és hiperhálózati képzési módszerekkel lehet korrigálni.

A legjobb eredmény elérése érdekében a végfelhasználók dönthetnek úgy, hogy további képzést végeznek a generációs kimenetek finomhangolása érdekében, hogy megfeleljenek a konkrétabb használati eseteknek. A „beágyazási” képzés a felhasználó által biztosított képek gyűjteményét foglalja magában, és lehetővé teszi a modell számára, hogy vizuálisan hasonló képeket hozzon létre, amikor a beágyazás nevét egy generálási promptban használják.

A beágyazások a Tel Avivi Egyetem kutatói által kifejlesztett „szövegfordítás” koncepción alapulnak, ahol a modell szövegkódolója által használt speciális tokenek vektoros reprezentációi új pszeudoszavakhoz kapcsolódnak. A beágyazás csökkentheti az eredeti modellen belüli torzításokat, vagy utánozhatja a vizuális stílusokat.

A „hiperhálózat” ezzel szemben egy előre betanított neurális hálózat, amelyet egy nagyobb neurális hálózat különböző pontjaira alkalmaznak, és a NovelAI fejlesztője, Kurumuz által 2021-ben megalkotott technikára utal, amelyet eredetileg szöveggeneráló transzformátormodellekhez szántak. .

Vonatok meghatározott művészekre

A hiperhálózatok egy adott irányba terelhetik az eredményeket, lehetővé téve a Stable Diffusion alapú modellek számára, hogy megismételjék bizonyos művészek művészeti stílusait. A hálózat előnye, hogy akkor is tud dolgozni, ha a művészt az eredeti modell nem ismeri fel, és továbbra is feldolgozza a képet úgy, hogy megtalálja a kulcsfontosságú területeket, például a hajat és a szemeket, majd ezeket a területeket egy másodlagos látens térben foltozza be.

„A Stable Diffusion beágyazási rétege felelős a bemenetek (például a szöveges prompt és az osztálycímkék) kisdimenziós vektorokká történő kódolásáért. Ezek a vektorok segítik a diffúziós modellt, hogy olyan képeket állítsanak elő, amelyek megfelelnek a felhasználó által megadott adatoknak” – magyarázza Benny Cheung a blogjában.

„A Hypernetwork réteg egy módja annak, hogy a rendszer megtanulja és képviselje saját tudását. Lehetővé teszi, hogy a Stable Diffusion képeket készítsen korábbi tapasztalatai alapján.”

Míg a beágyazási rétege a bemeneteket, például a szöveges promptokat és az osztálycímkéket alacsony dimenziós vektorokká kódolja, hogy segítse a diffúziós modellt a felhasználó által bevitt adatoknak megfelelő képek előállításához, a hiperhálózati réteg némileg egy módja annak, hogy a rendszer megtanulja és megjelenítse saját sajátját. tudás.

Más szavakkal, lehetővé teszi a Stable Diffusion számára, hogy képeket készítsen korábbi tapasztalatai alapján. A stabil diffúzióban a hiperhálózat egy további réteg, amely a modellen keresztüli kép megjelenítése után kerül feldolgozásra. A hiperhálózat hajlamos az összes eredményt a modelltől az edzési adatok felé torzítani, oly módon, hogy lényegében „megváltoztatja” a modellt.

Memória megőrzése

Ez lényegében azt jelenti, hogy a hiperhálózat felelős a rendszer által korábban generált képek memóriamegőrzéséért. Amikor egy felhasználó új bevitelt ad meg, a rendszer felhasználhatja korábbi tudását, hogy pontosabb képet alkosson. A hiperhálózatok ezért lehetővé teszik a rendszer számára, hogy gyorsabban tanuljon, és menet közben fejlődjön.

Ennek az az előnye, hogy minden olyan kép, amely az edzési adatait leírja, úgy fog kinézni, mint az edzési adatok.

„Úgy találtuk, hogy a beágyazásos edzés könnyebb, mint az önarcképek készítésére szolgáló hiperhálózattal. Edzésünk jó eredményeket hozott, amivel elégedettek vagyunk” – írta Cheung.

Milyen finomhangolási technikát használsz? Olyasmi, mint a hiperhálózatok vagy a szövegfordítás?

– Mathias Michel (@m91michel) December 21, 2022

De ez egy olyan technológia, amellyel még mindig sokan alkudoznak. A hiperhálózatok és az AI-generátorok most kezdték el kielégíteni a felhasználók igényeit és szükségleteit. A felhasználói felületek és felszólító technikák kétségtelenül gyorsan fejlődnek, és talán még magával ragadóak is Google off-guard, mint a MetaNews nemrégiben lefedték.

OSZD MEG EZT A POSZTOT