计算机图形学的一场革命正在为大众带来 3D 现实捕捉

计算机图形学的一场革命正在为大众带来 3D 现实捕捉

时间戳记：6年2023月10日上午23:XNUMX
计算机图形学的一场革命正在为大众带来 3D 现实捕捉 PlatoBlockchain 数据智能。垂直搜索。人工智能。

作为战争武器，破坏文化遗产是一种行为 常用方法 武装入侵者剥夺了一个社区的独特身份。 2022 年 XNUMX 月，当俄罗斯军队席卷乌克兰时，历史学家和文化遗产专家为即将到来的破坏做好了准备，这也就不足为奇了。 迄今为止，在俄罗斯-乌克兰战争中，联合国教科文组织 确认 数百座宗教和历史建筑以及数十座公共纪念碑、图书馆和博物馆遭到破坏。

虽然新技术如 低成本无人机, 3D印刷及 私人卫星互联网 可能正在创造一个常规军队不熟悉的明显的21世纪战场，另一组技术正在为前线的公民档案工作者保护乌克兰遗产地创造新的可能性。

备份乌克兰是丹麦联合国教科文组织国家委员会和 3D 创建工具 Polycam 之间的合作项目，使任何只配备手机的人都可以扫描和捕捉高质量、详细且逼真的遗产地 3D 模型，而这只有通过昂贵且繁琐的方式才能实现几年前的设备。

技术专家、天使投资人、曾从事 3D 地图和 AR/VR 工作的前 Google 产品经理 Bilawal Sidhu 表示，《Backup Ukraine》充分体现了 3D 捕捉和图形技术惊人的发展速度。

“现实捕捉技术正处于惊人的民主化指数曲线上，”他在接受采访时向我解释道。 奇异枢纽.

Sidhu 表示，生成 3D 资产是可能的，但只能使用昂贵的工具，如 DSLR 相机、激光雷达扫描仪和昂贵的软件许可证。 作为例子，他引用了 A是一家二十年前成立的非营利组织，旨在利用专业级 3D 捕捉技术来保护世界各地的文化遗产。

“最疯狂的是，也发生了变化的是，今天我可以用口袋里的 iPhone 完成所有这一切，”他说。

在我们的讨论中，Sidhu 列出了推动这一进步的三个截然不同但又相互关联的技术趋势。 首先是可以捕捉物体或空间的相机和传感器类型的成本下降。 其次是一系列新技术，利用人工智能来构建成品 3D 资产。 第三是计算能力的激增，这主要是由 GPU 驱动的，能够在消费者广泛使用的设备上渲染图形密集型对象。

激光雷达扫描仪是传感器性价比改进的一个例子。 首先作为自动驾驶汽车顶部的笨重旋转传感器而普及，价格为 数万美元，激光雷达于 12 年在 iPhone 2020 Pro 和 Pro Max 上首次亮相消费技术领域。像无人驾驶汽车观察世界一样扫描空间的能力意味着突然间任何人都可以快速、廉价地 生成详细的 3D 资产。 然而，这仍然只适用于最富有的苹果客户。

同年，该行业最重要的转折点之一发生了，当时谷歌的研究人员 介绍 神经辐射场，通常称为 NeRF。

这种方法利用机器学习来 从 3D 图片或视频构建可靠的物体或空间 2D 模型。 Sidhu 表示，神经网络会“幻觉”完整的 3D 场景将如何出现。 这是“视图合成”的解决方案，这是一项计算机图形挑战，旨在让人们仅从几个源图像中从任何角度看到一个空间。

“所以这件事出来了，每个人都意识到我们现在已经有了最先进的视图合成，它对于摄影测量遇到的所有问题（例如透明度、半透明和反射率）都表现出色。 这有点疯狂，”他补充道。

计算机视觉社区将他们的兴奋转化为商业应用。 在 Google，Sidhu 和他的团队探索了如何使用该技术 身临其境的视野，3D 版本的 Google 地图。 对于普通用户来说，消费者友好型应用程序的普及，例如 亮度AI 其他人则意味着任何人只需拥有智能手机摄像头就可以制作逼真的 3D 资产。 高质量 3D 内容的创作不再局限于 Apple 的激光雷达精英。

现在，另一种可能更有前途的解决视图合成的方法正在引起人们的关注，其程度可与早期 NeRF 的兴奋程度相媲美。 高斯泼溅 是一种模仿方式的渲染技术 三角形用于传统 3D 资源，但它不是三角形，而是通过称为高斯的数学函数表示的颜色“斑点”。 随着更多的高斯分布在一起，高度细节和纹理的 3D 资源变得可见。泼溅的采用速度令人惊叹。

才过了几个月但是 演示 X 正在泛滥，Luma AI 和 Polycam 都提供了生成高斯斑点的工具。 其他开发人员已经在研究将它们集成到 Unity 和 Unreal 等传统游戏引擎中的方法。 Splats 也受到了传统计算机图形行业的关注，因为它们的渲染速度比 NeRF 更快，并且可以用 3D 艺术家熟悉的方式进行编辑。 （NeRF 不允许这样做，因为它们是由难以破译的神经网络生成的。）

要详细了解高斯泼溅的工作原理以及它为何引起轰动，请观看 Sidhu 的这段视频。

[嵌入的内容]

不管细节如何，对于消费者来说，我们无疑正处于一个手机可以生成好莱坞水准的 3D 资产的时刻，而不久前只有装备精良的制作团队才能制作这些资产。

但为什么 3D 创作如此重要呢？

为了理解向 3D 内容的转变，值得注意的是技术格局正在面向“空间计算”的未来。 虽然像元宇宙这样被过度使用的术语可能会引起人们的注意，但其背后的精神是认识到 3D 环境，比如视频游戏、虚拟世界和数字孪生中使用的环境，将在我们的未来发挥重要作用。 NeRF 和 splatting 等制作的 3D 资源将成为我们未来接触的内容。

在此背景下，大规模的野心是实时实现的希望。 3D 世界地图。 虽然生成静态 3D 地图的工具已经可用，但挑战仍然是找到使这些地图与不断变化的世界保持同步的方法。

“首先是建立世界模型，然后是维护这个世界模型。 通过我们正在讨论的这些方法，我认为我们最终可能拥有通过众包解决“维护模型”问题的技术。”Sidhu 说道。

像谷歌的沉浸式视图这样的项目是对消费者影响的早期很好的例子。 虽然 Sidhu 不愿猜测何时最终可能实现，但他同意，在某个时候，这项技术将会存在，让 VR 中的用户可以在地球上的任何地方行走，实时、身临其境地体验那里正在发生的事情。 此类技术也将渗透到以下领域的努力中： 基于化身的“传送”、”远程会议和其他社交聚会。

Sidhu 表示，另一个令人兴奋的原因是 3D 内存捕获。 例如，苹果公司正大力致力于 3D 照片和视频 他们的 Vision Pro 混合现实耳机。 举个例子，Sidhu 告诉我，他最近在父母搬出去之前为他们的房子制作了一个高质量的复制品。 然后，他可以使用虚拟现实为他们提供在其中行走的体验。

“回到那里的那种发自内心的感觉是如此强烈。 这就是为什么我如此看好苹果，因为如果他们掌握了这种 3D 媒体格式，普通人就会感到兴奋。”

从洞穴艺术到油画，保留我们感官体验的各个方面的冲动是人类根深蒂固的。 正如摄影曾经强行将静物作为保存手段一样，3D 创作工具似乎也准备取代我们长期以来对 2D 图像和视频的喜爱。

然而，正如摄影只能捕捉瞬间的一小部分一样，3D 模型也无法完全取代我们与物理世界的关系。 尽管如此，对于那些经历过乌克兰战争恐怖的人来说，也许这些都是值得欢迎的发展，提供了一种更身临其境的方式来保护那些永远无法真正被取代的东西。

图片来源： 维姆·托宾斯 / Unsplash 

时间戳记：

更多来自 奇异枢纽