今日、多くのデジタル アーティスト、アーキテクト、エンジニア、ゲーム開発者が 3D モデルに依存しています。 ただし、これらのデジタル オブジェクトの作成は、多くの場合、時間のかかる複雑なプロセスです。 新しい人工知能 (AI) モデルが解決策を提供する可能性があります。
AI によって生成されたアートは、ほとんどが 2D 画像の形ですが、最近多くの悪評を得ています。 現在、いくつかの企業が、さらに一歩進んで参照テキストや写真を 3D デザインに変換できる機械学習ソフトウェアを発表しています。
ジェネレーティブ AI の現在
2022 年 XNUMX 月、Google テキストから 3D へのモデルを発表 ドリームフュージョンと呼ばれます。 このアルゴリズムは、2021 年にリリースされた Dream Fields と呼ばれる以前のアルゴリズムに基づいて構築されており、研究者はテキスト ラベル付きの 3D モデルのライブラリでトレーニングを受けました。 ただし、DreamFusion では、要求を理解するために既存の 3D モデルは必要ないため、はるかに実用的です。
3 か月後、グラフィックス カードの巨人 Nvidia が同様のモデルをリリースしました。 Magic3D と呼ばれる彼らのソフトウェアは、外部から見るとほとんど同じです。 必要な XNUMXD モデルの説明を入力すると、アルゴリズムが XNUMX つをレンダリングします。 ただし、Nvidia のソリューションは XNUMX 倍高速であると主張しています。
今日目にする 3 番目の主要な 3D 生成 AI は、ChatGPT と Dall-E のメーカーである OpenAI によるものです。 このモデル、Point-E も、テキストから XNUMXD レンダリングを作成しますが、わずかな時間で作成できます。 XNUMX〜XNUMX分 単一の GPU で。
「Point-E は、3 つの GPU でわずか XNUMX ～ XNUMX 分で、テキストから XNUMXD レンダリングを作成します。」
3D 生成モデルの仕組み
現在、3D モデルを生成する XNUMX つの大きな AI ソリューションにはすべて、独自の利点と特定のアプローチがありますが、一般的なプロセスは同じです。 これらのアルゴリズムがどのように機能するかを詳しく見てみましょう。
参照に関する AI のトレーニング
Dream Fields のようなこの種の AI への初期のアプローチでは、3D モデルとそのテキスト ラベルについて学習させました。 ただし、これでは多くのトレーニング データが残らず、スコープが制限されます。 そのため、新しいモデルは、代わりにラベル付きの 3D 画像から 2D モデルを生成することを学習します。
今日の 3D モデル生成 AI は、テキストから画像へのアルゴリズムとして始まります。 したがって、トレーニングの最初の段階では、「犬」というテキストが付随する犬の写真のように、ラベル付けされた 2D 画像を与えます。 このデータは、ImageNet 単独でホスティングすることで、はるかにアクセスしやすくなります 万14以上 ラベル付けされた画像であるため、AI をトレーニングするためのより良い方法です。
間もなく、2D 画像とテキストの説明をかなり正確に関連付けることができるモデルが完成するはずです。 次に、それらを 3D レンダリングに変換するように教えることに進むことができます。
「3D モデルを生成する AI は、テキストから画像へのアルゴリズムとして始まります。」
補間
AI を使用して 3D モデルを生成する次のステップは補間です。 これは、同じ被写体を異なる角度から見た複数の 2D 画像を組み合わせて 3D バージョンを作成するプロセスです。
このプロセスを可能にする基盤となるテクノロジーは、ニューラル ラディアンス フィールド (NeRF) です。 NeRF は、オブジェクトの複数のビューを見て、それぞれの視野角が空間のどこに存在するかを判断するニューラル ネットワークです。 次に、それらをつなぎ合わせて、異なるビューが重なり合う領域を滑らかにして、まとまりのある 3D モデルを作成します。
伝統的に、NeRF は複数の角度からのオブジェクトの写真を使用して動作します。 ただし、テキストから 3D へのモデルでは、それらを組み合わせる前に、さまざまな角度から独自の 2D 画像を生成します。 ご想像のとおり、これは非常に複雑なプロセスですが、最近の進歩により、はるかに高速になりました。
3D モデルの最適化
これらの NeRF の 3 つを XNUMX 回通過して得られる製品は、解像度が低く、エラーが含まれている可能性があります。 したがって、補間プロセス後に生成される XNUMXD モデルをクリーンアップして最適化することが重要です。
Google の DreamFusion など、今日の一部の AI ソリューションは、ノイズを除去して解像度を向上させるために、レンダリングをいくつかの補間プロセスに渡します。 Nvidia の Magic3D の使用 XNUMX 番目の拡散モデル ノイズを低減し、元の 2D に従ってリファインして解像度を上げます。
この最適化の後でも、モデルをクリーンアップする必要がある場合があります。 そのため、これらのソリューションでは、編集して解像度、形状、色、照明、およびその他の要素を変更できる調整可能なファイルとしてそれらを提示します。
制限と可能性
ホーム オートメーション システムによってセキュリティがより便利になり、アクセスしやすくなったように、3D 画像生成を自動化することで多くのワークフローを合理化できます。 アーティストはゲームを開発したり、 デジタルシーンをより速く作成 映画に関しては、モデルの作成にそれほど時間をかけないためです。 建築家が 3D 設計図を短時間で作成できるようになると、建設のタイムラインも短縮される可能性があります。
ただし、これらのアルゴリズムにはまだ懸念事項があります。 一部のアーティストの作品が無断でトレーニング データセットに表示され、著作権や倫理的な複雑さへの扉が開かれたため、AI によって生成されたアート全体が非難されています。 また、これらのツールが人間のアーティストの雇用と支払いを脅かすのではないかと懸念する人もいます。
AI アートが成長するにつれて、それを構築して使用する企業は、これらの複雑さを考慮する必要があります。 しかし、考え抜かれた人間中心のアプローチにより、これらのモデルは、アーティストの作業を支援する革新的なツールになる可能性があります。
「3D 画像生成を自動化することで、多くのワークフローを合理化できます。」
人工知能は 3D レンダリングに革命を起こす可能性があります
AI は、比較的短期間で 2D 画像の生成から 3D モデルのレンダリングに移行しました。 この一歩前進により、データ サイエンティストとエンド ユーザーがこのテクノロジーに慎重に取り組む限り、幅広い可能性への扉が開かれます。
まだ初期段階ですが、AI 3D モデル生成はデジタル アートとデザインに革命を起こす可能性があります。 その結果、建築から映画製作までの産業がより効率的になる可能性があります。
