Cosa sono le iperreti?

Quando Stable Diffusion, l'applicazione AI che rende immagini fotorealistiche, è stata messa in risalto poche settimane fa, è arrivata una nuova parola d'ordine; iperreti.

Ora, già Diffusione Stabile e iperreti sono così congiunte che è impossibile citarne l'una senza l'altra nello stesso paragrafo.

“Ho addestrato iperreti di diffusione stabile su piccoli set di dati (no, non artisti contemporanei a parte il sottoscritto) per insegnargli oscuri “stili” che non capisce fuori dagli schemi. Funziona esattamente come descritto, in realtà meglio di quanto pensassi io stesso", afferma un utente su Twitter.

ho addestrato iperreti di diffusione stabile su piccoli set di dati (no, non artisti contemporanei a parte il sottoscritto) per insegnargli "stili" oscuri che non capisce davvero fuori dagli schemi. funziona esattamente come ha descritto, in realtà meglio di quanto pensassi io stesso.

— rimpianto massimizzatore (@regretmaximizer) Dicembre 20, 2022

Questo incarna il ronzio dell'iperrete che ha attanagliato i netizen negli ultimi tempi.

In informatica, un'iperrete è tecnicamente una rete che genera pesi per una rete principale. In altre parole, si ritiene che il comportamento della rete principale sia lo stesso con altre reti neurali perché impara a mappare alcuni input grezzi ai target desiderati mentre l'iperrete prende un insieme di input che contengono informazioni sulla struttura dei pesi e genera il peso per quello strato.

Leggi anche: Tecnologia di intelligenza artificiale che crea immagini finte profonde che distruggono la vita

Come vengono utilizzate le iperreti?

Per capire cos'è un'iperrete, facciamo un piccolo backup. Se hai creato immagini su Stable Diffusion, lo strumento di intelligenza artificiale per la creazione di arte e immagini digitali, l'hai trovato.

La formazione si riferisce generalmente a un processo in cui un modello apprende (determinando) buoni valori per tutti i pesi e la distorsione da esempi etichettati

Creazione di immagini su Diffusione stabile non è un processo automatico, come abbiamo spiegato altrove. Per arrivarci, ci sono dei processi.

Innanzitutto un modello AI deve imparare come eseguire il rendering o sintetizzare un'immagine di qualcuno in una foto da un modello 2D o 3D tramite software. Sebbene il modello Stable Diffusion sia stato testato a fondo, presenta alcuni limiti di addestramento che possono essere corretti mediante l'incorporamento e metodi di addestramento di iperreti.

Per ottenere i migliori risultati, gli utenti finali possono scegliere di eseguire una formazione aggiuntiva per ottimizzare gli output di generazione in modo che corrispondano a casi d'uso più specifici. Un training di "incorporamento" prevede una raccolta di immagini fornite dall'utente e consente al modello di creare immagini visivamente simili ogni volta che il nome dell'incorporamento viene utilizzato all'interno di un prompt di generazione.

Gli incorporamenti si basano sul concetto di "inversione testuale" sviluppato dai ricercatori dell'Università di Tel Aviv, in cui le rappresentazioni vettoriali per token specifici utilizzati dal codificatore di testo del modello sono collegate a nuove pseudo-parole. L'incorporamento può ridurre i pregiudizi all'interno del modello originale o imitare gli stili visivi.

Una "iperrete", invece, è una rete neurale pre-addestrata che viene applicata a vari punti all'interno di una rete neurale più ampia e si riferisce alla tecnica creata dallo sviluppatore di NovelAI Kurumuz nel 2021, originariamente destinata ai modelli di trasformatore di generazione di testo .

Si allena su artisti specifici

Le iperreti sono incluse per orientare i risultati verso una particolare direzione, consentendo ai modelli basati su Stable Diffusion di replicare gli stili artistici di artisti specifici. La rete ha il vantaggio di poter funzionare anche quando l'artista non è riconosciuto dal modello originale ed elaborerà comunque l'immagine trovando aree chiave di importanza come capelli e occhi, per poi rattoppare queste aree in uno spazio latente secondario.

“Il livello Embedding in Stable Diffusion è responsabile della codifica degli input (ad esempio, il prompt di testo e le etichette di classe) in vettori a bassa dimensione. Questi vettori aiutano a guidare il modello di diffusione per produrre immagini che corrispondano all'input dell'utente”, spiega Benny Cheung nel suo blog.

“Il livello Hypernetwork è un modo per il sistema di apprendere e rappresentare la propria conoscenza. Permette a Stable Diffusion di creare immagini basate sulla sua precedente esperienza.”

Mentre il suo livello di incorporamento codifica gli input come prompt di testo ed etichette di classe in vettori a bassa dimensione per aiutare a guidare il modello di diffusione per produrre immagini che corrispondano all'input dell'utente, il livello di iperrete è in qualche modo un modo per il sistema di apprendere e rappresentare il proprio conoscenza.

In altre parole, permette a Stable Diffusion di creare immagini basate sulla sua precedente esperienza. In Stable Diffussion, un'iperrete è un livello aggiuntivo che viene elaborato dopo che un'immagine è stata renderizzata attraverso il modello. L'iperrete tende a distorcere tutti i risultati del modello verso i dati di addestramento in un modo essenzialmente "cambiando" il modello.

Conservazione della memoria

Ciò significa essenzialmente che l'iperrete è responsabile della conservazione in memoria delle immagini che il sistema ha precedentemente generato. Quando un utente fornisce un nuovo input, il sistema può utilizzare le sue conoscenze preesistenti per creare un'immagine più accurata. In quanto tali, le iperreti consentono quindi al sistema di apprendere più velocemente e migliorare man mano che procede.

Ciò ha il vantaggio che ogni immagine contenente qualcosa che descrive i tuoi dati di allenamento sembrerà come i tuoi dati di allenamento.

“Abbiamo scoperto che la formazione con l'incorporamento è più semplice della formazione con un'iperrete per la generazione di autoritratti. La nostra formazione ha prodotto buoni risultati di cui siamo soddisfatti", ha scritto Cheung.

Quale tecnica di regolazione stai usando? Qualcosa come Hypernetworks o Textual Inversion?

— Mattia Michel (@m91michel) Dicembre 21, 2022

Ma è una tecnologia con cui molti stanno ancora contrattando. Le iperreti e i generatori di intelligenza artificiale hanno appena iniziato a soddisfare le esigenze e i desideri degli utenti. Le interfacce utente e le tecniche di suggerimento avanzeranno indubbiamente rapidamente e forse saranno persino accattivanti Google alla sprovvista, come MetaNews recentemente coperto.

CONDIVIDI QUESTO POST