Що таке гіпермережі?

Коли Stable Diffusion, програма штучного інтелекту, яка відтворює фотореалістичні зображення, зроблені кілька тижнів тому, стала помітною, разом з нею з’явилося нове модне слово; гіпермережі.

Тепер уже стабільна дифузія та гіпермережі настільки поєднані, що неможливо згадувати одне без іншого в одному параграфі.

«Я навчив стабільні дифузійні гіпермережі на невеликих наборах даних (ні, не сучасних художників, окрім ваших справді), щоб навчити їх незрозумілим «стилям», які він насправді не розуміє з коробки. Він працює точно так, як описано, насправді краще, ніж я сам думав», — каже користувач у Twitter.

Я навчив стабільні дифузійні гіпермережі на невеликих наборах даних (ні, не сучасних художників, окрім вашого справді), щоб навчити його незрозумілим «стилям», які він насправді не розуміє з коробки. це працює саме так, як він описав, насправді краще, ніж я сам думав.

— максимізатор жалю (@regretmaximizer) 20 Грудня, 2022

Це втілення гіпермережевого шуму, який останнім часом охопив користувачів мережі.

У інформатиці гіпермережа технічно є мережею, яка генерує ваги для основної мережі. Іншими словами, вважається, що поведінка основної мережі така ж, як і в інших нейронних мереж, оскільки вона вчиться відображати деякі необроблені вхідні дані для бажаних цілей, тоді як гіпермережа приймає набір вхідних даних, які містять інформацію про структуру вагових коефіцієнтів, і генерує вага цього шару.

Також читайте: Технологія штучного інтелекту, яка створює жахливі глибокі підроблені зображення

Як використовуються гіпермережі?

Щоб зрозуміти, що таке гіпермережа, давайте трохи повернемось назад. Якщо ви створювали зображення на Stable Diffusion – інструменті штучного інтелекту для створення цифрового мистецтва та зображень – ви натрапили на це.

Навчання, як правило, відноситься до процесу, під час якого модель вивчає (визначає) хороші значення для всіх вагових коефіцієнтів і зміщення з позначених прикладів

Створення зображень на Стабільна дифузія це не автоматичний процес, як ми розглядали в іншому місці. Щоб туди потрапити, існують процеси.

Спочатку модель штучного інтелекту повинна навчитися рендерити або синтезувати зображення людини у фотографію з 2D або 3D моделі за допомогою програмного забезпечення. Незважаючи на те, що модель Stable Diffusion була ретельно протестована, вона має деякі обмеження щодо навчання, які можна виправити за допомогою методів навчання вбудовування та гіпермереж.

Щоб отримати найкращі результати, кінцеві користувачі можуть вибрати додаткове навчання для точного налаштування виходів генерації відповідно до більш конкретних випадків використання. Навчання «вбудовування» передбачає збір зображень, наданих користувачем, і дозволяє моделі створювати візуально подібні зображення щоразу, коли ім’я вбудовування використовується в підказці створення.

Вбудовування базуються на концепції «текстової інверсії», розробленій дослідниками з Тель-Авівського університету, де векторні представлення для конкретних токенів, що використовуються текстовим кодувальником моделі, пов’язані з новими псевдословами. Вбудовування може зменшити упередження в оригінальній моделі або імітувати візуальні стилі.

З іншого боку, «гіпермережа» — це попередньо навчена нейронна мережа, яка застосовується до різних точок у більшій нейронній мережі, і відноситься до техніки, створеної розробником NovelAI Kurumuz у 2021 році, спочатку призначеної для моделей трансформаторів генерації тексту. .

Тренується на конкретних артистах

Гіпермережі включено, щоб спрямувати результати в певному напрямку, дозволяючи моделям на основі стабільної дифузії відтворювати художні стилі конкретних художників. Мережа має перевагу в тому, що вона здатна працювати навіть тоді, коли оригінальна модель не розпізнає художника, і все одно оброблятиме зображення, знаходячи ключові важливі області, такі як волосся та очі, а потім заправлятиме ці області у вторинному латентному просторі.

«Рівень вбудовування в Stable Diffusion відповідає за кодування вхідних даних (наприклад, текстових підказок і міток класів) у вектори низької розмірності. Ці вектори допомагають керувати дифузійною моделлю для створення зображень, які відповідають введеним користувачам», — пояснює Бенні Чунг у своєму блозі.

«Гіпермережевий рівень — це спосіб для системи навчатися та представляти власні знання. Це дозволяє Stable Diffusion створювати зображення на основі попереднього досвіду».

У той час як його рівень вбудовування кодує вхідні дані, такі як текстові підказки та мітки класів, у низьковимірні вектори, щоб допомогти моделі дифузії створювати зображення, які відповідають введеним користувачам, гіпермережевий рівень є певною мірою способом для системи вивчати та представляти власні знання.

Іншими словами, це дозволяє Stable Diffusion створювати зображення на основі попереднього досвіду. У Stable Diffussion гіпермережа є додатковим шаром, який обробляється після того, як зображення було відтворено через модель. Гіпермережа має тенденцію спотворювати всі результати моделі до ваших тренувальних даних таким чином, суттєво «змінюючи» модель.

Збереження пам’яті

По суті, це означає, що гіпермережа відповідає за збереження в пам’яті зображень, які система раніше згенерувала. Коли користувач вводить нові дані, система може використовувати свої попередні знання для створення точнішого зображення. Таким чином, гіпермережі дозволяють системі швидше навчатися та вдосконалюватися.

Це має ту перевагу, що кожне зображення, яке містить щось, що описує ваші тренувальні дані, виглядатиме як ваші навчальні дані.

«Ми виявили, що тренуватися з вбудовуванням легше, ніж з гіпермережею для створення автопортретів. Наше навчання дало хороші результати, якими ми задоволені», – написав Ченг.

Яку техніку тонкого налаштування ви використовуєте? Щось на зразок гіпермереж чи текстової інверсії?

— Матіас Мішель (@m91michel) 21 Грудня, 2022

Але це технологія, з якою багато хто все ще торгується. Гіпермережі та генератори ШІ тільки почали задовольняти потреби та бажання користувачів. Користувацькі інтерфейси та методи підказок, безсумнівно, швидко розвиватимуться та, можливо, навіть будуть помітними Google зненацька, як MetaNews нещодавно охоплені.

ПОДІЛИТИСЯ ЦІЄЮ ПУБЛІКАЦІЄЮ