Что такое гиперсети?

Когда несколько недель назад Stable Diffusion, приложение ИИ для рендеринга фотореалистичных изображений, стало популярным, вместе с ним появилось новое модное словечко; гиперсети.

Теперь, когда Стабильная Диффузия и гиперсети уже настолько связаны, что невозможно упомянуть одно без другого в одном абзаце.

«Я обучил стабильные диффузионные гиперсети на небольших наборах данных (нет, не на современных художниках, кроме вашего покорного слуги), чтобы научить их неясным «стилям», которые они не понимают из коробки. Он работает именно так, как описано, на самом деле лучше, чем я сам думал», — пишет пользователь в твиттере.

Я обучил стабильные диффузионные гиперсети на небольших наборах данных (нет, не о современных художниках, кроме вашего покорного слуги), чтобы научить их неясным «стилям», которые они не понимают из коробки. он работает точно так, как он описал, на самом деле лучше, чем я сам думал.

— максимизатор сожалений (@regretmaximizer) 20 декабря 2022

Это олицетворяет шумиху вокруг гиперсетей, охватившую пользователей сети в последнее время.

В компьютерных науках гиперсеть технически представляет собой сеть, которая генерирует веса для основной сети. Другими словами, считается, что основная сеть ведет себя так же, как и другие нейронные сети, потому что она учится сопоставлять некоторые необработанные входные данные с желаемыми целями, в то время как гиперсеть принимает набор входных данных, содержащих информацию о структуре весов, и генерирует вес этого слоя.

Также читайте: Технология искусственного интеллекта, которая создает разрушительные глубокие поддельные изображения

Как используются гиперсети?

Чтобы понять, что такое гиперсеть, давайте немного отступим. Если вы создавали изображения в Stable Diffusion — инструменте искусственного интеллекта для создания цифрового искусства и изображений — вы сталкивались с ним.

Обучение обычно относится к процессу, в котором модель изучает (определяет) хорошие значения для всех весов и смещения из помеченных примеров.

Создание изображений на Стабильная диффузия это не автоматический процесс, как мы рассмотрели в другом месте. Для того, чтобы попасть туда, есть процессы.

Сначала модель ИИ должна научиться визуализировать или синтезировать изображение кого-либо в фотографию из 2D- или 3D-модели с помощью программного обеспечения. Хотя модель стабильной диффузии была тщательно протестирована, она имеет некоторые ограничения обучения, которые можно исправить с помощью методов обучения встраивания и гиперсетей.

Чтобы получить наилучшие результаты, конечные пользователи могут выбрать дополнительное обучение для точной настройки выходных данных генерации в соответствии с более конкретными вариантами использования. Обучение «встраиванию» включает в себя набор изображений, предоставленных пользователем, и позволяет модели создавать визуально похожие изображения всякий раз, когда имя встраивания используется в подсказке генерации.

Встраивания основаны на концепции «текстовой инверсии», разработанной исследователями из Тель-Авивского университета, где векторные представления для определенных токенов, используемых текстовым кодировщиком модели, связаны с новыми псевдословами. Встраивание может уменьшить отклонения в исходной модели или имитировать визуальные стили.

С другой стороны, «гиперсеть» представляет собой предварительно обученную нейронную сеть, которая применяется к различным точкам в более крупной нейронной сети и относится к технике, созданной разработчиком NovelAI Курумузом в 2021 году и изначально предназначенной для моделей преобразования текста. .

Поезда на конкретных исполнителях

Гиперсети включены, чтобы направлять результаты в определенном направлении, позволяя моделям на основе Stable Diffusion воспроизводить художественные стили конкретных художников. Преимущество сети в том, что она может работать, даже если художник не распознается исходной моделью, и все равно будет обрабатывать изображение, находя ключевые важные области, такие как волосы и глаза, а затем исправляя эти области во вторичном скрытом пространстве.

«Слой Embedding в Stable Diffusion отвечает за кодирование входных данных (например, текстовой подсказки и меток классов) в низкоразмерные векторы. Эти векторы помогают направлять модель распространения для создания изображений, соответствующих вводу пользователя», — объясняет Бенни Чунг в своем блоге.

«Уровень гиперсети — это способ для системы учиться и представлять свои собственные знания. Это позволяет Stable Diffusion создавать изображения на основе своего предыдущего опыта».

В то время как его уровень внедрения кодирует входные данные, такие как текстовое приглашение и метки классов, в низкоразмерные векторы, чтобы помочь направить модель распространения для создания изображений, которые соответствуют входным данным пользователя, слой гиперсети — это своего рода способ для системы учиться и представлять свои собственные знания.

Другими словами, он позволяет Stable Diffusion создавать изображения на основе своего предыдущего опыта. В стабильной диффузии гиперсеть — это дополнительный слой, который обрабатывается после рендеринга изображения в модели. Гиперсеть имеет тенденцию искажать все результаты модели по отношению к вашим обучающим данным, по существу «меняя» модель.

Сохранение памяти

По сути, это означает, что гиперсеть отвечает за сохранение в памяти изображений, ранее сгенерированных системой. Когда пользователь вводит новые данные, система может использовать свои предыдущие знания для создания более точного изображения. Таким образом, гиперсети позволяют системе быстрее учиться и совершенствоваться по ходу дела.

Преимущество этого заключается в том, что каждое изображение, содержащее что-то, описывающее ваши тренировочные данные, будет выглядеть как ваши тренировочные данные.

«Мы обнаружили, что обучение с встраиванием проще, чем обучение с гиперсетью для создания автопортретов. Наши тренировки дали хорошие результаты, которыми мы довольны», — написал Ченг.

Какую технику тонкой настройки вы используете? Что-то вроде гиперсетей или текстовой инверсии?

— Матиас Мишель (@m91michel) 21 декабря 2022

Но это технология, с которой многие до сих пор торгуются. Гиперсети и генераторы искусственного интеллекта только начали удовлетворять потребности и желания пользователей. Пользовательские интерфейсы и методы подсказок, несомненно, будут быстро развиваться и, возможно, даже станут привлекательными. Google неожиданно, как MetaNews недавно покрытый.

ПОДЕЛИТЬСЯ ЭТОЙ ЗАПИСЬЮ