¿Qué son las hiperredes?

Cuando Stable Diffusion, la aplicación de inteligencia artificial que representa imágenes fotorrealistas saltó a la fama hace unas semanas, apareció una nueva palabra de moda; hiperredes.

Ahora, la difusión estable y las hiperredes ya están tan unidas que es imposible mencionar una sin la otra en el mismo párrafo.

“He entrenado hiperredes de difusión estables en pequeños conjuntos de datos (no, no artistas contemporáneos además de los tuyos) para enseñarle oscuros “estilos” que realmente no entiende de forma inmediata. Funciona exactamente como se describe, en realidad mejor de lo que yo mismo pensé que sería”, dice un usuario en Twitter.

He entrenado hiperredes de difusión estables en pequeños conjuntos de datos (no, no artistas contemporáneos además de los suyos) para enseñarle "estilos" oscuros que realmente no entiende de forma inmediata. funciona exactamente como lo describió, en realidad mejor de lo que yo mismo pensé que sería.

- maximizador de arrepentimiento (@regretmaximizer) 20 de diciembre de 2022

Esto personifica el zumbido de hiperred que se apodera de los internautas en los últimos tiempos.

En informática, una hiperred es técnicamente una red que genera pesos para una red principal. En otras palabras, se cree que el comportamiento de la red principal es el mismo que el de otras redes neuronales porque aprende a asignar algunas entradas sin procesar a sus objetivos deseados, mientras que la hiperred toma un conjunto de entradas que contienen información sobre la estructura de los pesos y genera el peso de esa capa.

Lea también: Tecnología de inteligencia artificial que crea imágenes falsas profundas que arruinan la vida

¿Cómo se utilizan las hiperredes?

Para entender qué es una hiperred, retrocedamos un poco. Si ha creado imágenes en Stable Diffusion, la herramienta de inteligencia artificial para crear imágenes y arte digital, se ha topado con ella.

El entrenamiento generalmente se refiere a un proceso en el que un modelo aprende (determina) buenos valores para todos los pesos y el sesgo de los ejemplos etiquetados

Creación de imágenes en Difusión estable no es un proceso automático, como hemos cubierto en otra parte. Para llegar hay procesos.

Primero, un modelo de IA debe aprender cómo representar o sintetizar una imagen de alguien en una foto de un modelo 2D o 3D a través del software. Aunque el modelo Stable Diffusion se probó exhaustivamente, tiene algunas limitaciones de entrenamiento que se pueden corregir mediante métodos de entrenamiento de integración e hiperredes.

Para obtener los mejores resultados, los usuarios finales pueden optar por realizar una capacitación adicional para ajustar los resultados de generación para que coincidan con casos de uso más específicos. Un entrenamiento de "incrustación" implica una colección de imágenes proporcionadas por el usuario y permite que el modelo cree imágenes visualmente similares cada vez que se usa el nombre de la incrustación dentro de un indicador de generación.

Las incrustaciones se basan en el concepto de "inversión textual" desarrollado por investigadores de la Universidad de Tel Aviv, donde las representaciones vectoriales de tokens específicos utilizados por el codificador de texto del modelo se vinculan a nuevas pseudopalabras. La incrustación puede reducir los sesgos dentro del modelo original o imitar estilos visuales.

Una "hiperred", por otro lado, es una red neuronal preentrenada que se aplica a varios puntos dentro de una red neuronal más grande, y se refiere a la técnica creada por el desarrollador de NovelAI Kurumuz en 2021, originalmente destinada a modelos de transformadores de generación de texto. .

Trenes sobre artistas específicos

Se incluyen hiperredes para dirigir los resultados hacia una dirección particular, lo que permite que los modelos basados ​​en Stable Diffusion repliquen los estilos artísticos de artistas específicos. La red tiene la ventaja de poder trabajar incluso cuando el artista no es reconocido por el modelo original y seguirá procesando la imagen encontrando áreas clave de importancia, como el cabello y los ojos, y luego parcheando estas áreas en un espacio latente secundario.

“La capa de incrustación en Stable Diffusion es responsable de codificar las entradas (por ejemplo, el mensaje de texto y las etiquetas de clase) en vectores de baja dimensión. Estos vectores ayudan a guiar el modelo de difusión para producir imágenes que coincidan con la entrada del usuario”, explica Benny Cheung en su blog.

“La capa Hypernetwork es una forma para que el sistema aprenda y represente su propio conocimiento. Permite a Stable Diffusion crear imágenes basadas en su experiencia previa”.

Si bien su capa de incrustación codifica las entradas, como el mensaje de texto y las etiquetas de clase, en vectores de baja dimensión para ayudar a guiar el modelo de difusión para producir imágenes que coincidan con la entrada del usuario, la capa de hiperred es de alguna manera una forma para que el sistema aprenda y represente su propio conocimiento.

En otras palabras, permite a Stable Diffusion crear imágenes basadas en su experiencia previa. En Stable Diffussion, una hiperred es una capa adicional que se procesa después de que una imagen se haya renderizado a través del modelo. Hypernetwork tiende a sesgar todos los resultados del modelo hacia sus datos de entrenamiento de una manera que esencialmente "cambia" el modelo.

Retención de memoria

Básicamente, esto significa que la hiperred es responsable de la retención en la memoria de las imágenes que el sistema ha generado previamente. Cuando un usuario da una nueva entrada, el sistema puede usar su conocimiento previo existente para crear una imagen más precisa. Como tales, las hiperredes permiten que el sistema aprenda más rápido y mejore a medida que avanza.

Esto tiene la ventaja de que cada imagen que contenga algo que describa tus datos de entrenamiento se parecerá a tus datos de entrenamiento.

“Descubrimos que entrenar con la incrustación es más fácil que entrenar con una hiperred para generar autorretratos. Nuestro entrenamiento arrojó buenos resultados con los que estamos satisfechos”, escribió Cheung.

¿Qué técnica de ajuste fino estás usando? ¿Algo así como Hiperredes o Inversión Textual?

— Mathías Michel (@m91michel) 21 de diciembre de 2022

Pero es una tecnología con la que muchos todavía están regateando. Las hiperredes y los generadores de IA acaban de comenzar a satisfacer las necesidades y los deseos de los usuarios. Las interfaces de usuario y las técnicas de solicitud sin duda avanzarán rápido y tal vez incluso sean Google desprevenido, como MetaNews cubierto recientemente.

COMPARTIR ESTA PUBLICACION