Que sont les hyperréseaux ?

Lorsque Stable Diffusion, l'application d'intelligence artificielle rendant des images photoréalistes prises il y a quelques semaines, un nouveau mot à la mode est venu avec elle ; hyperréseaux.

Or, déjà Stable Diffusion et hyperréseaux sont si conjoints qu'il est impossible de les mentionner l'un sans l'autre dans le même paragraphe.

« J'ai formé des hyperréseaux de diffusion stables sur de petits ensembles de données (non, pas des artistes contemporains à part le vôtre) pour lui apprendre des « styles » obscurs qu'il ne comprend pas vraiment. Cela fonctionne exactement comme décrit, en fait mieux que je ne le pensais moi-même », déclare un utilisateur sur Twitter.

j'ai formé des hyperréseaux de diffusion stables sur de petits ensembles de données (non, pas des artistes contemporains à part le vôtre) pour lui apprendre des «styles» obscurs qu'il ne comprend pas vraiment en sortie de boîte. cela fonctionne exactement comme il l'a décrit, en fait mieux que je ne le pensais moi-même.

– maximiseur de regrets (@regretmaximizer) 20 décembre 2022

Cela incarne le buzz de l'hyperréseau qui a saisi les internautes ces derniers temps.

En informatique, un hyperréseau est techniquement un réseau qui génère des poids pour un réseau principal. En d'autres termes, on pense que le comportement du réseau principal est le même que celui des autres réseaux de neurones, car il apprend à mapper certaines entrées brutes sur les cibles souhaitées, tandis que l'hyperréseau prend un ensemble d'entrées contenant des informations sur la structure des poids et génère le poids de cette couche.

Lisez aussi: Une technologie d'IA qui crée de fausses images profondes qui détruisent la vie

Comment les hyperréseaux sont-ils utilisés ?

Afin de comprendre ce qu'est un hyperréseau, revenons un peu en arrière. Si vous avez créé des images sur Stable Diffusion - l'outil d'IA pour créer de l'art et des images numériques - vous l'avez rencontré.

La formation fait généralement référence à un processus dans lequel un modèle apprend (détermine) de bonnes valeurs pour tous les poids et le biais à partir d'exemples étiquetés.

Création d'images sur Diffusion stable n'est pas un processus automatique, comme nous l'avons vu ailleurs. Pour y arriver, il y a des processus.

Un modèle d'IA doit d'abord apprendre à rendre ou à synthétiser une image de quelqu'un en une photo à partir d'un modèle 2D ou 3D via un logiciel. Bien que le modèle de diffusion stable ait été testé de manière approfondie, il présente certaines limites de formation qui peuvent être corrigées par des méthodes d'intégration et de formation d'hyperréseaux.

Pour obtenir les meilleurs résultats, les utilisateurs finaux peuvent choisir de suivre une formation supplémentaire pour affiner les sorties de génération afin de correspondre à des cas d'utilisation plus spécifiques. Une formation "d'intégration" implique une collection d'images fournies par l'utilisateur et permet au modèle de créer des images visuellement similaires chaque fois que le nom de l'intégration est utilisé dans une invite de génération.

Les incorporations sont basées sur le concept « d'inversion textuelle » développé par des chercheurs de l'Université de Tel Aviv où les représentations vectorielles de jetons spécifiques utilisés par l'encodeur de texte du modèle sont liées à de nouveaux pseudo-mots. L'intégration peut réduire les biais dans le modèle d'origine ou imiter les styles visuels.

Un "hyperréseau", d'autre part, est un réseau neuronal pré-formé qui est appliqué à divers points au sein d'un réseau neuronal plus large, et fait référence à la technique créée par le développeur NovelAI Kurumuz en 2021, initialement destinée aux modèles de transformateur de génération de texte .

Trains sur des artistes spécifiques

Des hyperréseaux sont inclus pour orienter les résultats vers une direction particulière, permettant aux modèles basés sur la diffusion stable de reproduire les styles artistiques d'artistes spécifiques. Le réseau a l'avantage de pouvoir travailler même lorsque l'artiste n'est pas reconnu par le modèle d'origine et traitera toujours l'image en trouvant des zones clés d'importance telles que les cheveux et les yeux, puis patchera ces zones dans un espace latent secondaire.

"La couche d'intégration dans Stable Diffusion est responsable de l'encodage des entrées (par exemple, l'invite de texte et les étiquettes de classe) en vecteurs de faible dimension. Ces vecteurs aident à guider le modèle de diffusion pour produire des images qui correspondent à l'entrée de l'utilisateur », explique Benny Cheung dans son blog.

« La couche Hypernetwork est un moyen pour le système d'apprendre et de représenter ses propres connaissances. Il permet à Stable Diffusion de créer des images basées sur son expérience antérieure.

Alors que sa couche d'intégration encode les entrées telles que l'invite de texte et les étiquettes de classe dans des vecteurs de faible dimension pour aider à guider le modèle de diffusion afin de produire des images qui correspondent à l'entrée de l'utilisateur, la couche hyperréseau est en quelque sorte un moyen pour le système d'apprendre et de représenter son propre connaissance.

En d'autres termes, il permet à Stable Diffusion de créer des images basées sur son expérience antérieure. Dans Stable Diffusion, un hyperréseau est une couche supplémentaire qui est traitée après qu'une image a été rendue à travers le modèle. L'hyperréseau a tendance à biaiser tous les résultats du modèle vers vos données d'entraînement d'une manière qui « change » essentiellement le modèle.

Conservation de la mémoire

Cela signifie essentiellement que l'hyperréseau est responsable de la conservation en mémoire des images que le système a précédemment générées. Lorsqu'un utilisateur donne une nouvelle entrée, le système peut utiliser ses connaissances existantes pour créer une image plus précise. Ainsi, les hyperréseaux permettent donc au système d'apprendre plus vite et de s'améliorer au fur et à mesure.

Cela a l'avantage que chaque image contenant quelque chose qui décrit vos données d'entraînement ressemblera à vos données d'entraînement.

"Nous avons constaté que la formation avec l'intégration est plus facile que la formation avec un hyperréseau pour générer des autoportraits. Notre formation a donné de bons résultats dont nous sommes satisfaits », a écrit Cheung.

Quelle technique de réglage fin utilisez-vous ? Quelque chose comme les Hyperréseaux ou l'Inversion Textuelle ?

- Mathias Michel (@m91michel) 21 décembre 2022

Mais c'est une technologie avec laquelle beaucoup marchandent encore. Les hyperréseaux et les générateurs d'IA commencent tout juste à répondre aux besoins et aux désirs des utilisateurs. Les interfaces utilisateur et les techniques d'invite progresseront sans aucun doute rapidement, et seront peut-être même contagieuses Google au dépourvu, comme MetaNews récemment couvert.

PARTAGER CETTE PUBLICATION