Apa itu Hypernetwork?

Saat Difusi Stabil, aplikasi AI yang merender gambar realistis foto menjadi terkenal beberapa minggu yang lalu, sebuah kata kunci baru muncul bersamanya; hypernetwork.

Sekarang, Difusi Stabil dan hypernetwork begitu digabungkan sehingga tidak mungkin untuk menyebutkan satu tanpa yang lain dalam paragraf yang sama.

“Saya telah melatih hypernetwork difusi yang stabil pada kumpulan data kecil (tidak, bukan seniman kontemporer selain Anda sebenarnya) untuk mengajarkannya “gaya” yang tidak jelas yang tidak benar-benar dipahami di luar kotak. Ini berfungsi persis seperti yang dijelaskan, sebenarnya lebih baik dari yang saya kira, ”kata seorang pengguna di twitter.

Saya telah melatih hypernetwork difusi yang stabil pada kumpulan data kecil (tidak, bukan seniman kontemporer selain Anda sebenarnya) untuk mengajarkannya "gaya" yang tidak jelas yang tidak benar-benar dipahami di luar kotak. itu bekerja persis seperti yang dia gambarkan, sebenarnya lebih baik daripada yang saya kira.

— pemaksimal penyesalan (@regretmaximizer) Desember 20, 2022

Ini melambangkan buzz hypernetwork mencengkeram netizen akhir-akhir ini.

Dalam ilmu komputer, hypernetwork secara teknis adalah jaringan yang menghasilkan bobot untuk jaringan utama. Dengan kata lain, diyakini bahwa perilaku jaringan utama sama dengan jaringan saraf lainnya karena ia belajar memetakan beberapa input mentah ke target yang diinginkannya sementara hypernetwork mengambil serangkaian input yang berisi informasi tentang struktur bobot dan menghasilkan berat untuk lapisan itu.

Baca juga : AI Tech Yang Menciptakan Gambar Palsu Dalam yang Merusak Kehidupan

Bagaimana hypernetwork digunakan?

Untuk memahami apa itu hypernetwork, mari kita buat cadangan sedikit. Jika Anda telah membuat gambar di Stable Diffusion – alat AI untuk membuat seni dan gambar digital – Anda telah menemukannya.

Pelatihan umumnya mengacu pada proses di mana model mempelajari (menentukan) nilai yang baik untuk semua bobot dan bias dari contoh berlabel

Membuat gambar aktif Difusi Stabil bukanlah proses otomatis, seperti yang telah kita bahas di tempat lain. Untuk menuju ke sana, ada proses.

Pertama, model AI harus mempelajari cara merender atau mensintesis gambar seseorang menjadi foto dari model 2D atau 3D melalui perangkat lunak. Meskipun model Difusi Stabil telah diuji secara menyeluruh, ia memiliki beberapa keterbatasan pelatihan yang dapat diperbaiki dengan metode pelatihan embedding dan hypernetwork.

Untuk mendapatkan hasil terbaik, pengguna akhir dapat memilih untuk melakukan pelatihan tambahan guna menyempurnakan output pembuatan agar sesuai dengan kasus penggunaan yang lebih spesifik. Pelatihan "menyematkan" melibatkan kumpulan gambar yang disediakan pengguna, dan memungkinkan model untuk membuat gambar yang serupa secara visual setiap kali nama penyematan digunakan dalam permintaan pembuatan.

Penyematan didasarkan pada konsep "inversi tekstual" yang dikembangkan oleh para peneliti dari Universitas Tel Aviv di mana representasi vektor untuk token tertentu yang digunakan oleh encoder teks model ditautkan ke kata-kata semu baru. Penyematan dapat mengurangi bias dalam model asli, atau meniru gaya visual.

Sebuah "hypernetwork", di sisi lain, adalah jaringan saraf terlatih yang diterapkan ke berbagai titik dalam jaringan saraf yang lebih besar, dan mengacu pada teknik yang dibuat oleh pengembang NovelAI Kurumuz pada tahun 2021, awalnya ditujukan untuk model transformator pembuatan teks .

Melatih artis tertentu

Hypernetwork disertakan untuk mengarahkan hasil ke arah tertentu, memungkinkan model berbasis Stable Diffusion untuk mereplikasi gaya seni seniman tertentu. Keuntungan dari jaringan adalah dapat bekerja bahkan ketika artis tidak dikenali oleh model aslinya dan akan tetap memproses gambar dengan menemukan area kunci yang penting seperti rambut dan mata, lalu menambal area ini di ruang laten sekunder.

“Lapisan Embedding di Stable Diffusion bertanggung jawab untuk menyandikan input (misalnya, prompt teks dan label kelas) ke dalam vektor dimensi rendah. Vektor ini membantu memandu model difusi untuk menghasilkan gambar yang sesuai dengan masukan pengguna,” Benny Cheung menjelaskan dalam blognya.

“Lapisan Hypernetwork adalah cara sistem untuk belajar dan merepresentasikan pengetahuannya sendiri. Ini memungkinkan Difusi Stabil untuk membuat gambar berdasarkan pengalaman sebelumnya.”

Sementara lapisan penyematnya menyandikan input seperti prompt teks dan label kelas ke vektor dimensi rendah untuk membantu memandu model difusi untuk menghasilkan gambar yang cocok dengan input pengguna, lapisan hypernetwork agaknya merupakan cara bagi sistem untuk belajar dan merepresentasikannya sendiri. pengetahuan.

Dengan kata lain, ini memungkinkan Difusi Stabil untuk membuat gambar berdasarkan pengalaman sebelumnya. Dalam Stable Diffussion, hypernetwork adalah lapisan tambahan yang diproses setelah gambar dirender melalui model. Hypernetwork cenderung membelokkan semua hasil dari model ke data pelatihan Anda dengan cara yang pada dasarnya "mengubah" model.

Retensi memori

Ini pada dasarnya berarti bahwa hypernetwork bertanggung jawab untuk retensi memori dari gambar yang dihasilkan sistem sebelumnya. Saat pengguna memberikan input baru, sistem dapat menggunakan pengetahuan yang sudah ada sebelumnya untuk membuat gambar yang lebih akurat. Dengan demikian, hypernetwork memungkinkan sistem untuk belajar lebih cepat dan meningkat seiring berjalannya waktu.

Keuntungannya adalah setiap gambar yang berisi sesuatu yang menggambarkan data pelatihan Anda, akan terlihat seperti data pelatihan Anda.

“Kami menemukan bahwa pelatihan dengan penyematan lebih mudah daripada pelatihan dengan hypernetwork untuk menghasilkan potret diri. Pelatihan kami menghasilkan hasil yang baik dan kami puas,” tulis Cheung.

Teknik finetuning mana yang Anda gunakan? Sesuatu seperti Hypernetwork atau Pembalikan Tekstual?

— Mathias Michel (@m91michel) Desember 21, 2022

Tapi ini adalah teknologi yang masih banyak ditawar. Hypernetwork dan generator AI baru saja mulai memenuhi kebutuhan dan keinginan pengguna. Antarmuka pengguna dan teknik prompt pasti akan maju dengan cepat, dan bahkan mungkin menarik Google lengah, seperti MetaNews baru saja dibahas.

BAGIKAN POSTINGAN INI