如今，许多数字艺术家、建筑师、工程师和游戏开发人员都依赖 3D 模型。 然而，创建这些数字对象通常是一个耗时且复杂的过程。 新的人工智能 (AI) 模型可能会提供解决方案。
AI 生成的艺术最近声名狼藉，但大多以 2D 图像的形式出现。 现在，几家公司已经发布了机器学习软件，可以更进一步，将参考文本或图片转化为 3D 设计。
今天的生成人工智能
2022 年 XNUMX 月，谷歌 推出了一个文本到 3D 模型 称为 DreamFusion。 该算法建立在前一个名为 Dream Fields 的算法之上，该算法于 2021 年发布，研究人员在该算法中对带有文本标签的 3D 模型库进行了训练。 然而，DreamFusion 不需要现有的 3D 模型来理解您的请求，这使其更加实用。
两个月后，显卡巨头 Nvidia 发布了类似的型号。 他们的软件被称为 Magic3D，从外部角度来看几乎是一样的。 您输入所需 3D 模型的描述，算法将渲染一个模型。 然而，Nvidia 的解决方案声称速度是原来的两倍。
您今天会发现的第三个主要 3D 生成 AI 来自 OpenAI，它是 ChatGPT 和 Dall-E 的制造商。 这个模型，Point-E，也可以从文本创建 3D 渲染，但可以在尽可能短的时间内完成 一到两分钟 在单个 GPU 上。
“Point-E 在单个 GPU 上只需一到两分钟即可从文本创建 3D 渲染。”
3D 生成模型的工作原理
虽然当今所有三大 3D 模型生成 AI 解决方案都具有独特的优势和特定方法，但它们遵循相同的一般流程。 下面仔细看看这些算法是如何工作的。
在参考资料上训练 AI
这种人工智能的早期方法，如 Dream Fields，在 3D 模型及其文本标签上训练它们。 然而，这并没有给他们留下太多的训练数据，从而限制了他们的范围。 这就是为什么较新的模型会学习从标记的 3D 图像生成 2D 模型的原因。
今天的 3D 模型生成 AI 开始于文本到图像算法。 因此，训练的第一阶段是给它输入带标签的 2D 图像，比如一张带有“狗”字样的狗的图片。 这些数据更容易访问，ImageNet 单独托管 超过14百万 标记图像，因此这是训练 AI 的更好方法。
不久之后，您应该拥有一个可以相当准确地将 2D 图像与文本描述相关联的模型。 然后你可以继续教它把这些变成 3D 渲染。
“3D 模型生成 AI 从文本到图像算法开始。”
插值
使用 AI 生成 3D 模型的下一步是插值。 这是从不同角度组合同一对象的多个 2D 图像以生成 3D 版本的过程。
实现此过程的基础技术是神经辐射场 (NeRF)。 NeRFs 是一种神经网络，它可以查看一个物体的多个视图，并确定每个视角在空间中的位置。 然后他们可以将它们拼凑在一起，平滑不同视图重叠的区域以生成一个有凝聚力的 3D 模型。
传统上，NeRF 从多个角度使用物体的照片来工作。 然而，在文本到 3D 模型中，它们会在组合之前从各个角度生成自己的 2D 图像。 正如您所预料的那样，这是一个非常复杂的过程，但最近的进步使它变得更快。
优化 3D 模型
通过这些 NeRF 之一获得的产品可能是低分辨率的，并且可能包含错误。 因此，清理和优化插值过程后出现的任何 3D 模型非常重要。
今天的一些 AI 解决方案，如谷歌的 DreamFusion，将通过多个插值过程传递渲染，以消除噪音并提高分辨率。 Nvidia 的 Magic3D 使用 第二扩散模型 减少噪声并根据原始 2D 对其进行细化以提高其分辨率。
即使在此优化之后，您可能还必须清理模型。 这就是为什么这些解决方案将它们呈现为可调整的文件，您可以编辑该文件以更改它们的分辨率、形状、颜色、照明和其他因素。
局限性和可能性
正如家庭自动化系统使安防变得更加方便和易于访问一样，自动化 3D 图像生成可以简化许多工作流程。 艺术家可以开发游戏或 更快地创建数字场景 说到电影，他们不会花那么多时间在模型创作上。 随着建筑师在更短的时间内生成 3D 蓝图，施工时间表也可能会缩短。
然而，这些算法仍然存在一些问题。 人工智能生成的艺术作为一个整体受到了抨击，因为一些艺术家的作品在未经他们许可的情况下出现在训练数据集中，为版权和道德复杂化打开了大门。 其他人担心这些工具可能会威胁到人类艺术家的就业和报酬。
随着 AI 艺术的发展，构建和使用它的公司将不得不考虑这些复杂问题。 然而，通过深思熟虑、以人为本的方法，这些模型可以成为帮助艺术家工作的革命性工具，而不是取代他们。
“自动化 3D 图像生成可以简化许多工作流程。”
人工智能可以彻底改变 3D 渲染
人工智能在相对较短的时间内从生成 2D 图像转变为渲染 3D 模型。 只要数据科学家和最终用户谨慎对待这项技术，这一向前迈出的一步就为一系列令人印象深刻的可能性打开了大门。
虽然仍处于早期阶段，但 AI 3D 模型生成可以彻底改变数字艺术和设计。 从建筑到电影制作的行业可能因此变得更有效率。
