O que são hiper-redes?

Quando o Stable Diffusion, o aplicativo de IA que renderiza imagens fotográficas realistas, ganhou destaque há algumas semanas, uma nova palavra da moda surgiu com ele; hipernetworks.

Agora, Difusão Estável e hiper-redes já estão tão unidas que é impossível mencionar uma sem a outra no mesmo parágrafo.

“Treinei hiper-redes de difusão estável em pequenos conjuntos de dados (não, não artistas contemporâneos, exceto o seu, de verdade) para ensiná-los “estilos” obscuros que realmente não entendem fora da caixa. Funciona exatamente como descrito, na verdade melhor do que eu mesmo pensei que funcionaria”, disse um usuário no Twitter.

Eu treinei hiper-redes de difusão estável em pequenos conjuntos de dados (não, não artistas contemporâneos além dos seus) para ensiná-los “estilos” obscuros que eles realmente não entendem fora da caixa. funciona exatamente como ele descreveu, na verdade melhor do que eu mesmo pensei que seria.

— maximizador de arrependimento (@regretmaximizer) 20 de dezembro de 2022

Isso resume o burburinho da hiper-rede que está cativando os internautas ultimamente.

Em ciência da computação, uma hiperrede é tecnicamente uma rede que gera pesos para uma rede principal. Em outras palavras, acredita-se que o comportamento da rede principal seja o mesmo de outras redes neurais, pois ela aprende a mapear algumas entradas brutas para seus alvos desejados, enquanto a hiperrede pega um conjunto de entradas que contém informações sobre a estrutura dos pesos e gera o peso dessa camada.

Leia também: Tecnologia de IA que cria imagens falsas profundas que destroem vidas

Como são usadas as hiperredes?

Para entender o que é uma hiperrede, vamos voltar um pouco. Se você criou imagens no Stable Diffusion – a ferramenta de IA para criar arte e imagens digitais – você o encontrou.

O treinamento geralmente se refere a um processo em que um modelo aprende (determinando) bons valores para todos os pesos e o viés de exemplos rotulados

Criando imagens em Difusão Estável não é um processo automático, já que abordamos em outro lugar. Para chegar lá, existem processos.

Primeiro, um modelo de IA deve aprender como renderizar ou sintetizar uma imagem de alguém em uma foto de um modelo 2D ou 3D por meio de software. Embora o modelo Stable Diffusion tenha sido exaustivamente testado, ele possui algumas limitações de treinamento que podem ser corrigidas por métodos de embedding e treinamento de hiper-redes.

Para obter melhores resultados, os usuários finais podem optar por fazer treinamento adicional para ajustar as saídas de geração para corresponder a casos de uso mais específicos. Um treinamento de “incorporação” envolve uma coleção de imagens fornecidas pelo usuário e permite que o modelo crie imagens visualmente semelhantes sempre que o nome da incorporação for usado em um prompt de geração.

As incorporações são baseadas no conceito de “inversão textual” desenvolvido por pesquisadores da Universidade de Tel Aviv, onde as representações vetoriais para tokens específicos usados ​​pelo codificador de texto do modelo são vinculadas a novas pseudopalavras. A incorporação pode reduzir vieses no modelo original ou imitar estilos visuais.

Uma “hiperrede”, por outro lado, é uma rede neural pré-treinada que é aplicada a vários pontos dentro de uma rede neural maior e refere-se à técnica criada pelo desenvolvedor NovelAI Kurumuz em 2021, originalmente destinada a modelos transformadores de geração de texto .

Trens em artistas específicos

As hiperredes são incluídas para orientar os resultados em uma direção específica, permitindo que modelos baseados em Stable Diffusion repliquem estilos artísticos de artistas específicos. A rede tem a vantagem de poder trabalhar mesmo quando o artista não é reconhecido pelo modelo original e ainda processa a imagem encontrando áreas-chave de importância, como cabelos e olhos, e depois remenda essas áreas em um espaço latente secundário.

“A camada de incorporação no Stable Diffusion é responsável por codificar as entradas (por exemplo, o prompt de texto e os rótulos de classe) em vetores de baixa dimensão. Esses vetores ajudam a guiar o modelo de difusão para produzir imagens que correspondam à entrada do usuário”, explica Benny Cheung em seu blog.

“A camada de Hiperrede é uma forma do sistema aprender e representar seu próprio conhecimento. Ele permite que a Stable Diffusion crie imagens com base em sua experiência anterior.”

Enquanto sua camada de incorporação codifica as entradas, como prompt de texto e rótulos de classe, em vetores de baixa dimensão para ajudar a guiar o modelo de difusão para produzir imagens que correspondam à entrada do usuário, a camada de hiperrede é, de certa forma, uma maneira de o sistema aprender e representar sua própria conhecimento.

Em outras palavras, permite que o Stable Diffusion crie imagens com base em sua experiência anterior. Em Stable Diffussion, uma hiper-rede é uma camada adicional que é processada depois que uma imagem foi renderizada por meio do modelo. A Hiperrede tende a distorcer todos os resultados do modelo em direção aos seus dados de treinamento de uma forma essencialmente “alterando” o modelo.

Retenção de memória

Isso significa essencialmente que a hiperrede é responsável pela retenção de memória das imagens que o sistema gerou anteriormente. Quando um usuário dá uma nova entrada, o sistema pode usar seu conhecimento anterior existente para criar uma imagem mais precisa. Como tal, as hiperredes permitem que o sistema aprenda mais rápido e melhore à medida que avança.

Isso tem a vantagem de que toda imagem contendo algo que descreva seus dados de treinamento parecerá com seus dados de treinamento.

“Descobrimos que treinar com incorporação é mais fácil do que treinar com uma hiperrede para gerar autorretratos. Nosso treinamento rendeu bons resultados com os quais estamos satisfeitos”, escreveu Cheung.

Qual técnica de ajuste fino você está usando? Algo como Hiperredes ou Inversão Textual?

-Mathias Michel (@m91michel) 21 de dezembro de 2022

Mas é uma tecnologia com a qual muitos ainda estão discutindo. Hiperredes e geradores de IA apenas começaram a atender às necessidades e desejos dos usuários. As interfaces de usuário e as técnicas de solicitação, sem dúvida, avançarão rapidamente e talvez até sejam atraentes Google desprevenido, como MetaNews coberto recentemente.

COMPARTILHE ESTA POSTAGEM