数週間前に写真のようにリアルな画像をレンダリングする AI アプリケーションである Stable Diffusion が注目を集めたとき、新しい流行語がそれに伴って登場しました。 ハイパーネットワーク。
現在、すでに安定拡散とハイパーネットワークは非常に結合しているため、同じ段落で一方を抜きにして言及することは不可能です。
「私は小さなデータセットで安定した拡散ハイパーネットワークをトレーニングしました (いや、あなたのアーティストは別として、現代のアーティストはそうではありません)。最初は理解できないあいまいな「スタイル」を教えました。 説明どおりに機能し、実際には私自身が思っていたよりも優れています」と、Twitter のユーザーは言います。
私は小さなデータセットで安定した拡散ハイパーネットワークを訓練しました (いいえ、あなたのアーティスト以外の現代アーティストではありません)。 彼が説明したとおりに機能し、実際には私自身が思っていたよりも優れています。
— リグリーマキシマイザー (@regretmaximizer) 2022 年 12 月 20 日
これは、最近のネチズンの間で話題になっているハイパーネットワークの典型です。
コンピューター サイエンスでは、ハイパーネットワークは技術的にはメイン ネットワークの重みを生成するネットワークです。 言い換えれば、メイン ネットワークの動作は他のニューラル ネットワークと同じであると考えられています。これは、ハイパーネットワークが重みの構造に関する情報を含む一連の入力を取得して生成する間に、生の入力を目的のターゲットにマッピングすることを学習するためです。そのレイヤーの重み。
また読む： 生命を破壊するディープ フェイク画像を作成する AI 技術
ハイパーネットワークはどのように使用されますか?
ハイパーネットワークとは何かを理解するために、少し話を戻しましょう。 Stable Diffusion (デジタル アートと画像を作成するための AI ツール) で画像を作成したことがある場合は、それに遭遇したことがあります。
一般に、トレーニングとは、モデルがラベル付けされた例からすべての重みとバイアスの適切な値を学習 (決定) するプロセスを指します。
での画像の作成 安定拡散 説明したように、自動プロセスではありません 他の場所で. そこにたどり着くには、プロセスがあります。
まず、AI モデルは、ソフトウェアを介して 2D または 3D モデルから誰かの画像を写真にレンダリングまたは合成する方法を学習する必要があります。 Stable Diffusion モデルは徹底的にテストされていますが、埋め込みとハイパーネットワークのトレーニング方法によって修正できるいくつかのトレーニングの制限があります。
最良の結果を得るために、エンドユーザーは追加のトレーニングを行って生成出力を微調整し、より具体的なユースケースに一致させることを選択できます。 「埋め込み」トレーニングには、ユーザー提供の画像のコレクションが含まれ、生成プロンプト内で埋め込みの名前が使用されるたびに、モデルが視覚的に類似した画像を作成できるようになります。
埋め込みは、モデルのテキスト エンコーダーによって使用される特定のトークンのベクトル表現が新しい疑似単語にリンクされる、テルアビブ大学の研究者によって開発された「テキスト反転」の概念に基づいています。 埋め込むことで、元のモデル内のバイアスを減らしたり、ビジュアル スタイルを模倣したりできます。
一方、「ハイパーネットワーク」は、大規模なニューラル ネットワーク内のさまざまなポイントに適用される事前トレーニング済みのニューラル ネットワークであり、2021 年に NovelAI 開発者 Kurumuz によって作成された技術を指し、元々はテキスト生成変換モデルを対象としていました。 .
特定のアーティストのトレーニング
結果を特定の方向に向けるためにハイパーネットワークが組み込まれているため、Stable Diffusion ベースのモデルで特定のアーティストのアート スタイルを再現できます。 ネットワークには、アーティストが元のモデルによって認識されていない場合でも機能するという利点があり、髪や目などの重要な領域を見つけて画像を処理し、これらの領域を二次潜在空間にパッチします。
「Stable Diffusion の埋め込みレイヤーは、入力 (テキスト プロンプトやクラス ラベルなど) を低次元ベクトルにエンコードする役割を果たします。 これらのベクトルは、拡散モデルをガイドして、ユーザーの入力に一致する画像を生成するのに役立ちます」と Benny Cheung はブログで説明しています。
「ハイパーネットワーク層は、システムが自身の知識を学習して表現する方法です。 これにより、Stable Diffusion は以前の経験に基づいて画像を作成できます。」
その埋め込みレイヤーは、テキスト プロンプトやクラス ラベルなどの入力を低次元ベクトルにエンコードして、拡散モデルがユーザーの入力に一致する画像を生成するように誘導しますが、ハイパーネットワーク レイヤーは、システムが独自の情報を学習して表現するための方法の XNUMX つです。知識。
つまり、Stable Diffusion が以前の経験に基づいてイメージを作成することを可能にします。 安定拡散では、ハイパーネットワークは、モデルを介して画像がレンダリングされた後に処理される追加のレイヤーです。 ハイパーネットワークは、本質的にモデルを「変更」する方法で、モデルからのすべての結果をトレーニング データに偏らせる傾向があります。
メモリ保持
これは本質的に、システムが以前に生成した画像のメモリ保持をハイパーネットワークが担うことを意味します。 ユーザーが新しい入力を行うと、システムは以前の既存の知識を使用して、より正確な画像を作成できます。 そのため、ハイパーネットワークにより、システムはより速く学習し、進行するにつれて改善することができます。
これには、トレーニング データを説明する何かを含むすべての画像がトレーニング データのように見えるという利点があります。
「自画像を生成するためのハイパーネットワークを使用したトレーニングよりも、埋め込みを使用したトレーニングの方が簡単であることがわかりました。 私たちのトレーニングは、私たちが満足している良い結果をもたらしました」と Cheung は書いています。
どの微調整技術を使用していますか? ハイパーネットワークやテキスト反転のようなものですか?
— マティアス・ミシェル (@m91michel) 2022 年 12 月 21 日
しかし、その技術はまだ多くの人が口論しています。 ハイパーネットワークと AI ジェネレーターは、ユーザーのニーズと要望に応え始めたばかりです。 ユーザー インターフェイスとプロンプトの手法は間違いなく急速に進歩し、ひょっとしたら注目を集めることさえあるでしょう。 でログイン 不意をつく、MetaNews のように 最近カバーされた.
