Mitä ovat hyperverkot?

Kun Stable Diffusion, valokuvarealistisia kuvia tuottava tekoälysovellus nousi esiin muutama viikko sitten, sen mukana tuli uusi muotisana; hyperverkot.

Nyt jo vakaa diffuusio ja hyperverkot ovat niin yhdistettyjä, että on mahdotonta mainita toisiaan ilman toista samassa kappaleessa.

"Olen kouluttanut vakaita diffuusiohyperverkkoja pienille tietojoukoille (ei, ei nykytaiteilijoita paitsi sinun todella) opettaakseni sille hämäriä "tyylejä", joita se ei todellakaan ymmärrä alusta alkaen. Se toimii täsmälleen kuvatulla tavalla, itse asiassa paremmin kuin itse luulin sen toimivan", sanoo käyttäjä Twitterissä.

Olen kouluttanut vakaita diffuusiohyperverkkoja pienille tietojoukoille (ei, ei nykytaiteilijoita paitsi sinun todella) opettaakseni sille hämäriä "tyylejä", joita se ei todellakaan ymmärrä. se toimii täsmälleen kuten hän kuvaili, itse asiassa paremmin kuin itse ajattelin sen toimivan.

- pahoittelun maksimitoiminto (@regretmaximizer) Joulukuu 20, 2022

Tämä kuvastaa verkkojen viime aikoina valloittavaa hyperverkon kuhinaa.

Tietojenkäsittelytieteessä hyperverkko on teknisesti verkko, joka luo painotuksia pääverkolle. Toisin sanoen uskotaan, että pääverkon käyttäytyminen on sama muiden hermoverkkojen kanssa, koska se oppii kartoittaa joitain raakasyötteitä haluttuihin kohteisiin, kun taas hyperverkko ottaa joukon syötteitä, jotka sisältävät tietoa painojen rakenteesta ja luo kerroksen paino.

Lue myös: Tekoälytekniikka, joka luo elämää tuhoavia vääriä kuvia

Miten hyperverkkoja käytetään?

Ymmärtääksesi, mikä hyperverkko on, lähdetään hieman taaksepäin. Jos olet luonut kuvia Stable Diffusionilla – tekoälytyökalulla digitaalisen taiteen ja kuvien luomiseen – olet törmännyt siihen.

Harjoittelu viittaa yleensä prosessiin, jossa malli oppii (määrittää) hyvät arvot kaikille painoille ja harhaan merkittyjen esimerkkien perusteella.

Kuvien luominen päällä Vakaa diffuusio ei ole automaattinen prosessi, kuten olemme käsitelleet muualla. Sinne pääsemiseksi tarvitaan prosesseja.

Ensin tekoälymallin on opittava renderöimään tai syntetisoimaan jonkun kuva valokuvaksi 2D- tai 3D-mallista ohjelmiston avulla. Vaikka Stable Diffusion -malli testattiin perusteellisesti, siinä on joitain koulutusrajoituksia, jotka voidaan korjata upottamalla ja hyperverkkojen koulutusmenetelmillä.

Parhaiden tulosten saavuttamiseksi loppukäyttäjät voivat halutessaan suorittaa lisäkoulutusta sukupolven tulosten hienosäätämiseksi vastaamaan tarkempia käyttötapauksia. "Upotus" -koulutus sisältää kokoelman käyttäjän toimittamia kuvia ja antaa mallille mahdollisuuden luoda visuaalisesti samanlaisia ​​kuvia aina, kun upotuksen nimeä käytetään sukupolvikehotteessa.

Upotukset perustuvat Tel Avivin yliopiston tutkijoiden kehittämään "tekstin inversion" konseptiin, jossa mallin tekstienkooderin käyttämien tiettyjen merkkien vektoriesitykset on linkitetty uusiin pseudosanoihin. Upottaminen voi vähentää alkuperäisen mallin vääristymiä tai matkia visuaalisia tyylejä.

"Hyperverkko" puolestaan ​​​​on esikoulutettu hermoverkko, jota sovelletaan suuremman hermoverkon eri kohtiin, ja se viittaa NovelAI-kehittäjä Kurumuzin vuonna 2021 luomaan tekniikkaan, joka oli alun perin tarkoitettu tekstiä luoville muuntajamalleille. .

Junat tietyille artisteille

Hyperverkot ovat mukana ohjaamaan tuloksia tiettyyn suuntaan, jolloin Stable Diffusion -pohjaiset mallit voivat kopioida tiettyjen taiteilijoiden taidetyylejä. Verkoston etuna on, että se voi työskennellä silloinkin, kun alkuperäinen malli ei tunnista taiteilijaa, ja silti prosessoi kuvaa etsimällä tärkeitä tärkeitä alueita, kuten hiukset ja silmät, ja sitten paikata nämä alueet toissijaiseen piilevään tilaan.

"Stable Diffusionin upotuskerros vastaa syötteiden (esimerkiksi tekstikehotteen ja luokkatunnisteiden) koodaamisesta pieniulotteisiksi vektoreiksi. Nämä vektorit auttavat ohjaamaan diffuusiomallia tuottamaan kuvia, jotka vastaavat käyttäjän syötteitä", Benny Cheung selittää blogissaan.

”Hyperverkkokerros on tapa, jolla järjestelmä oppii ja edustaa omaa tietoaan. Sen avulla Stable Diffusion voi luoda kuvia aikaisemman kokemuksensa perusteella."

Vaikka sen upotuskerros koodaa syötteet, kuten tekstikehotteet ja luokkatunnisteet pieniulotteisiksi vektoreiksi auttaakseen diffuusiomallia tuottamaan kuvia, jotka vastaavat käyttäjän syötteitä, hyperverkkokerros on jossain määrin tapa järjestelmälle oppia ja edustaa omaansa. tietoa.

Toisin sanoen se antaa Stable Diffusionille mahdollisuuden luoda kuvia aikaisemman kokemuksensa perusteella. Vakaassa diffuusiossa hyperverkko on lisäkerros, joka käsitellään sen jälkeen, kun kuva on renderöity mallin läpi. Hyperverkko pyrkii vääristämään kaikki mallin tulokset harjoitustietoihisi tavalla, joka olennaisesti "muuttaa" mallia.

Muistin säilyttäminen

Tämä tarkoittaa käytännössä sitä, että hyperverkko on vastuussa järjestelmän aiemmin luomien kuvien muistin säilyttämisestä. Kun käyttäjä antaa uuden syötteen, järjestelmä voi käyttää aiempaa tietoaan luodakseen tarkemman kuvan. Hyperverkot antavat siksi järjestelmän oppia nopeammin ja kehittyä sen edetessä.

Tällä on se etu, että jokainen kuva, joka sisältää jotain, joka kuvaa harjoitustietojasi, näyttää harjoitustiedoistasi.

”Huomasimme, että upottaminen on helpompaa kuin harjoittelu omakuvien luomiseen tarkoitetun hyperverkon avulla. Harjoittelumme tuotti hyviä tuloksia, joihin olemme tyytyväisiä”, Cheung kirjoitti.

Mitä hienosäätötekniikkaa käytät? Jotain hyperverkkoja tai tekstin inversiota?

- Mathias Michel (@m91michel) Joulukuu 21, 2022

Mutta se on tekniikka, jonka kanssa monet vielä tinkivät. Hyperverkot ja tekoälygeneraattorit ovat juuri alkaneet vastata käyttäjien tarpeisiin ja toiveisiin. Käyttöliittymät ja kehotustekniikat etenevät epäilemättä nopeasti ja ovat ehkä jopa tarttuvia Google off-guard, kuten MetaNews äskettäin peitetty.

JAA TÄMÄ POSTAUS