Ce sunt hiperrețelele?

Când Stable Diffusion, aplicația de inteligență artificială care redă imagini foto realiste luate la iveală în urmă cu câteva săptămâni, a apărut un nou cuvânt la modă; hiperrețele.

Acum, deja Stable Diffusion și hiperrețelele sunt atât de unite, încât este imposibil de menționat una fără cealaltă în același paragraf.

„Am antrenat hiperrețele stabile de difuzie pe seturi de date mici (nu, nu artiști contemporani în afară de ai tăi cu adevărat) pentru a le învăța „stiluri” obscure pe care nu le înțelege cu adevărat. Funcționează exact așa cum este descris, de fapt mai bine decât am crezut eu însumi că va face”, spune un utilizator pe twitter.

Am antrenat hiperrețele de difuzie stabile pe seturi de date mici (nu, nu artiști contemporani în afară de ai tăi cu adevărat) pentru a le învăța „stiluri” obscure pe care nu le înțelege cu adevărat. funcționează exact așa cum a descris el, de fapt mai bine decât am crezut eu că ar fi.

— regret maximizer (@regretmaximizer) December 20, 2022

Acest lucru simbolizează zgomotul de hiperrețea care a captat internauții în ultima vreme.

În informatică, o hiperrețea este din punct de vedere tehnic o rețea care generează ponderi pentru o rețea principală. Cu alte cuvinte, se crede că comportamentul rețelei principale este același cu alte rețele neuronale, deoarece învață să mapeze unele intrări brute la țintele dorite, în timp ce hiperrețeaua preia un set de intrări care conțin informații despre structura greutăților și generează. greutatea pentru acel strat.

De asemenea, citiți: Tehnologia AI care creează imagini false profunde care distrug viața

Cum se folosesc hiperrețelele?

Pentru a înțelege ce este o hiperrețea, să facem puțin înapoi. Dacă ați creat imagini pe Stable Diffusion – instrumentul AI pentru crearea de artă și imagini digitale – ați dat peste el.

Antrenamentul se referă, în general, la un proces în care un model învață (determină) valori bune pentru toate ponderile și părtinirea din exemplele etichetate.

Crearea imaginilor pe Difuzie stabilă nu este un proces automat, așa cum am menționat în altă parte. Pentru a ajunge acolo, există procese.

Mai întâi, un model AI trebuie să învețe cum să randeze sau să sintetizeze o imagine a cuiva într-o fotografie dintr-un model 2D sau 3D prin intermediul unui software. Deși modelul Stable Diffusion a fost testat temeinic, are unele limitări de antrenament care pot fi corectate prin încorporare și metode de antrenament hiperrețele.

Pentru a obține cele mai bune rezultate, utilizatorii finali pot alege să facă o formare suplimentară pentru a ajusta rezultatele generației pentru a se potrivi cu cazuri de utilizare mai specifice. Un antrenament de „încorporare” implică o colecție de imagini furnizate de utilizator și permite modelului să creeze imagini similare vizual ori de câte ori numele de încorporare este folosit într-un prompt de generare.

Înglobările se bazează pe conceptul de „inversie textuală” dezvoltat de cercetătorii de la Universitatea din Tel Aviv, unde reprezentările vectoriale pentru anumite simboluri utilizate de codificatorul de text al modelului sunt legate de noi pseudo-cuvinte. Încorporarea poate reduce prejudecățile în cadrul modelului original sau poate imita stilurile vizuale.

O „hiperrețea”, pe de altă parte, este o rețea neuronală pre-antrenată care este aplicată în diferite puncte dintr-o rețea neuronală mai mare și se referă la tehnica creată de dezvoltatorul NovelAI Kurumuz în 2021, destinată inițial modelelor de transformatoare pentru generarea de text. .

Se antrenează pe anumiți artiști

Hiperrețelele sunt incluse pentru a orienta rezultatele către o anumită direcție, permițând modelelor bazate pe Stable Diffusion să reproducă stilurile de artă ale anumitor artiști. Rețeaua are avantajul de a putea funcționa chiar și atunci când artistul nu este recunoscut de modelul original și va procesa totuși imaginea prin găsirea unor zone cheie de importanță, cum ar fi părul și ochii, și apoi petice aceste zone într-un spațiu latent secundar.

„Layerul de încorporare în Stable Diffusion este responsabil pentru codificarea intrărilor (de exemplu, promptul de text și etichetele clasei) în vectori cu dimensiuni reduse. Acești vectori ajută la ghidarea modelului de difuzie pentru a produce imagini care se potrivesc cu inputul utilizatorului”, explică Benny Cheung pe blogul său.

„Layerul Hypernetwork este o modalitate prin care sistemul învață și își reprezintă propriile cunoștințe. Permite Stable Diffusion să creeze imagini pe baza experienței sale anterioare.”

În timp ce stratul său de încorporare codifică intrările, cum ar fi promptul de text și etichetele de clasă în vectori de dimensiuni joase pentru a ajuta la ghidarea modelului de difuzie pentru a produce imagini care se potrivesc cu intrarea utilizatorului, stratul de hiperrețea este oarecum o modalitate prin care sistemul să învețe și să-și reprezinte propriul cunoştinţe.

Cu alte cuvinte, permite Stable Diffusion să creeze imagini pe baza experienței sale anterioare. În Stable Diffusion, o hiperrețea este un strat suplimentar care este procesat după ce o imagine a fost redată prin model. Hypernetwork tinde să oblige toate rezultatele modelului către datele dvs. de antrenament într-un mod care „schimbă” în esență modelul.

Păstrarea memoriei

Acest lucru înseamnă în esență că hiperrețeaua este responsabilă pentru păstrarea în memorie a imaginilor pe care sistemul le-a generat anterior. Când un utilizator oferă o nouă intrare, sistemul poate folosi cunoștințele sale anterioare existente pentru a crea o imagine mai precisă. Prin urmare, hiperrețelele permit sistemului să învețe mai rapid și să se îmbunătățească pe măsură ce trece.

Acest lucru are avantajul că fiecare imagine care conține ceva care descrie datele tale de antrenament, va arăta ca datele tale de antrenament.

„Am descoperit că antrenamentul cu încorporare este mai ușor decât antrenamentul cu o hiperrețea pentru generarea de autoportrete. Antrenamentul nostru a dat rezultate bune de care suntem mulțumiți”, a scris Cheung.

Ce tehnică de reglare fină folosiți? Ceva de genul Hypernetworks sau Textual Inversion?

— Mathias Michel (@m91michel) December 21, 2022

Dar este o tehnologie cu care mulți încă se tocmesc. Hiperrețelele și generatorii de inteligență artificială tocmai au început să răspundă nevoilor și dorințelor utilizatorilor. Interfețele utilizatorului și tehnicile de promptare vor avansa fără îndoială rapid și poate chiar vor fi captivante Google neprevăzut, ca MetaNews acoperit recent.

DISTRIBUIE ACEASTA POSTARE