Nvidia 展示令人难以置信的即时 NeRF 2D 到 3D 照片 AI 处理

Nvidia 研究人员开发了一种方法，可以"几乎立即"从少量 2D 图像中重建 3D 场景。一篇新的博客文章描述了这一壮举，它利用了一种名为神经辐射场 (NeRF) 的流行新技术，与竞争对手的实现相比，该技术的速度提高了 1,000 倍。Nvidia 的处理速度很大程度上归功于其利用 Tensor Cores 的 AI 加速，从而加快了模型训练和场景渲染的速度。如果您有兴趣但想要一个 TLDR，请看下面直接嵌入的短视频。

Nvidia 为其演示提供了一些背景信息，表示以前的 NeRF 技术可能需要数小时来训练一个场景，然后需要几分钟来渲染目标场景。尽管之前较慢的实施结果很好，但利用 AI 技术的 Nvidia 研究人员已经将性能推向了火箭，因此 Nvidia 有信心将其技术描述为"Instant NeRF"。

您可能已经猜到了，但这项 NeRF 技术使用神经网络基于 2D 图像的输入集合来表示和渲染逼真的 3D 场景。上面的视频暗示只需要四个快照就可以创建我们在运动中看到的 3D 表示。然而，该博客在解释"神经网络需要从场景周围的多个位置拍摄的几十张图像，以及每个镜头的相机位置"方面可能更为现实。神经网络填补了整个 360 度场景的空白，并且可以预测从 3D 空间中的任何点向任何方向辐射的光的颜色，以增加真实感。Nvidia 表示该技术可以解决遮挡问题。

借助 Instant NeRF，Nvidia 可以在几十毫秒内促进如上所述的完整 3D 场景的渲染。这令人印象深刻，但它有什么用呢?Nvidia 图形研究副总裁 David Luebke 对这项技术寄予厚望。"如果像多边形网格这样的传统 3D 表示类似于矢量图像，那么 NeRF 就像位图图像：它们密集地捕捉光从物体或场景中辐射的方式，"Luebke 说。"从这个意义上说，Instant NeRF 对 3D 的重要性可能不亚于数码相机和 JPEG 压缩对 2D 摄影的重要性--极大地提高了 3D 捕获和共享的速度、易用性和范围。"