研究者は画像を撮影し、それを参照点として使用して、仮想世界、オブジェクト、または人物を作成できます。
企業がデジタルツインを介してメタバースプレゼンスを持つことを模索するにつれて、定型化された3Dコンテンツと仮想世界を迅速かつ簡単に構築する機能が今後ますます重要になります。
最近公開された コーネル大学 論文は、この成長傾向を調査し、従来の方法よりも高速で広範囲の動的仮想シーンを作成するために使用できる定型化された神経放射輝度フィールド（SNeRF）を生成するためのソリューションを開発しました。
さまざまな参照画像を使用して、 トゥグエンフック, 風水劉, レイシャオ さまざまな仮想環境で使用できる定型化された3Dシーンを生成することができました。 たとえば、VRヘッドセットを装着して、パブロピカソの絵画などの定型化されたレンズを通して現実の世界がどのように見えるかを想像してみてください。
このプロセスにより、チームは仮想オブジェクトをすばやく作成できるだけでなく、3Dオブジェクト検出を使用して仮想世界の一部として実世界の環境を利用できます。
研究チームは、同じ視点で異なる視線方向を介して同じオブジェクトを観察することもできたことに注意することが重要です。これは、クロスビューの一貫性とも呼ばれます。 これにより、VRで表示したときに没入型の3D効果が作成されます。
NeRFと様式化の最適化手順を交互に行うことで、研究チームは画像を取得し、それを参照スタイルとして使用して、その画像の様式化に適応する方法で実際の環境、オブジェクト、または人物を再現することができました。作成プロセスをスピードアップします。
「NeRFとスタイルの最適化ステップを交互に行うことで、この問題に対処するための新しいトレーニング方法を紹介します。」 チームは言った。 「このような方法により、ハードウェアのメモリ容量を最大限に活用して、より高い解像度で画像を生成し、より表現力豊かな画像スタイルの転送方法を採用することができます。 私たちの実験は、私たちの方法が、屋内、屋外、ダイナミックなシーンを含む幅広いコンテンツに対して定型化されたNeRFを生成し、クロスビューの一貫性を備えた高品質の斬新なビューを合成することを示しています。」
NeRFのメモリ制限のため、研究者は、リアルタイムのように感じられる速度で、より高解像度の3D画像をレンダリングする方法に関する別の問題も解決する必要がありました。 解決策は、レンダリングされたビューのループを作成することでした。これにより、反復ごとに、各パスでより一貫してスタイリングポイントをターゲットにでき、より詳細に画像を再構築できました。
この技術はアバターも改善しました。 研究チームのSNeRFの定型化されたアプローチにより、会話中により表現力豊かなアバターを作成することができました。 その結果、ダイナミックな4Dアバターが作成され、絵文字を使用したりVRコントローラーのボタンを押したりすることなく、怒り、恐怖、興奮、混乱などの感情をリアルに伝えることができます。
研究作業はまだ続いていますが、現時点では、チームは、環境とアバターに影響を与える暗黙のニューラル表現を使用して、3Dシーンのスタイル設定の方法を開発することができました。 さらに、交互のスタイル設定方法を使用するという彼らのアプローチにより、ハードウェアメモリ機能を最大限に活用して静的および動的な3Dシーンの両方をスタイル設定できるため、チームはより高い解像度で画像を生成し、より表現力豊かな画像スタイルの転送を採用できます。 VRのメソッド。
詳細を深く掘り下げることに興味がある場合は、彼らのレポートにアクセスできます こちら.
画像クレジット：コーネル大学
