研究人员可以拍摄图像并将其用作参考点来创建虚拟世界、物体或人。
随着公司探索通过数字双胞胎实现元界存在，快速轻松地构建风格化 3D 内容和虚拟世界的能力只会变得更加重要。
最近出版 美国康奈尔大学 论文探讨了这种增长趋势，并开发了一种用于生成风格化神经辐射场 (SNeRF) 的解决方案，该解决方案可用于以比传统方法更快的速度创建广泛的动态虚拟场景。
使用各种参考图像，研究团队 秋阮福, 刘枫及 雷啸 能够生成可用于各种虚拟环境的风格化 3D 场景。 例如，想象一下戴上 VR 头戴设备，通过巴勃罗·毕加索 (Pablo Picasso) 的画作等风格化镜头观察现实世界的样子。
这个过程使团队不仅可以快速创建虚拟对象，而且可以利用他们的真实世界环境作为虚拟世界的一部分进行 3D 对象检测。
值得注意的是，研究团队还能够在同一视点通过不同的视角方向观察同一物体，也就是所谓的跨视角一致性。 在 VR 中观看时，这会产生身临其境的 3D 效果。
通过交替使用 NeRF 和风格化优化步骤，研究团队能够获取图像并将其用作参考风格，然后以适应该图像风格化的方式重新创建真实世界的环境、对象或人，从而加快创作进程。
“我们引入了一种新的训练方法，通过交替 NeRF 和程式化优化步骤来解决这个问题，” 团队说。 “这种方法使我们能够充分利用我们的硬件内存容量来生成更高分辨率的图像，并采用更具表现力的图像风格转换方法。 我们的实验表明，我们的方法可以为各种内容（包括室内、室外和动态场景）生成风格化的 NeRF，并合成具有跨视图一致性的高质量新视图。”
由于 NeRF 的内存限制，研究人员还必须解决另一个问题，即如何以更接近实时的速度渲染更多高清 3D 图像。 解决方案是创建一个渲染视图循环，每次迭代都能更一致地定位风格化点，然后用更多细节重建图像。
该技术还改进了头像。 研究团队的 SNeRF 程式化方法让他们创建了一个在对话中更具表现力的头像。 结果是动态 4D 化身可以真实地传达愤怒、恐惧、兴奋和困惑等情绪，而无需使用表情符号或按下 VR 控制器上的按钮。
研究工作仍在继续，但目前该团队能够开发一种使用影响环境和化身的隐式神经表示的 3D 场景风格化方法。 此外，他们使用交替风格化方法的方法使他们能够充分利用硬件内存能力来对静态和动态 3D 场景进行风格化，从而使团队能够生成更高分辨率的图像并采用更具表现力的图像风格转换VR中的方法。
如果您有兴趣深入了解详细信息，可以访问他们的报告 相关信息.
图片来源：康奈尔大学
