大家好，我跟大家聊的是设计花生~3D建模是当前设计的热门话题。知名的3D软件如C4D和blender通过首先在3D空间建模，然后设置渲染参数来构建3D场景。内容元素越复杂、越庞大、越精确，渲染时间就会越长，对电脑硬件的要求也不低。但不久前，NVIDIA在其官网发表了一篇文章，表示其研究团队已经开发出了一款可以快速渲染3D场景的模型Instant NeRF。
「文章链接」https://blogs . NVIDIA . com/blog/2022/03/25/Instant-NeRF-research-3D-AI文章表示，Instant NeRF模型可以在几分钟内训练和学习几张静止照片来构建3D场景，然后在几十毫秒内渲染3D场景的图像。Nvidia还在文章中放了一段视频，直观地展示了Instant NeRF是如何工作的。3354通过反向渲染来模拟真实世界中光线的运行，从而用多幅从不同角度拍摄的2D图像重建出逼真的3D场景。
如果我们看到一幅图片，大脑可以通过空间想象很容易地判断出一个物体的空间体积、位置、颜色等信息。比如通过一个人物的三视图，我们可以构建一个完整的三维人物形象。
图片来源：优秀文章《出海产品如何从零搭建 IP 插画库？让大厂高手教你！》作者：腾讯设计但这对于人工智能来说并不容易。在过去，即使我们从多个角度给出图片，人工智能也无法像人脑一样自动计算出空白角度的细节，因此无法自动构建完整的3D场景。这就是为什么现在的3D场景都是从建模开始的。——.只有建立好所有的建模细节，才能实现后期的多角度场景渲染。
来源：Artstation-Merve Kaplan。Instant NeRF是如何仅依靠几张不同角度的图片，在几秒钟内渲染出完整逼真的3D场景的？通过文章的内容，我们可以了解即时NeRF技术的实现，主要依靠两点：
神经辐射场。3D场景的多分辨率哈希网格编码技术，利用函数分析预测2D镜头的颜色和光强并进行渲染，将NeRF模型的训练和学习时间从几个小时缩短到几分钟，渲染时间甚至缩短到毫秒。什么是NeRF(神经辐射场)技术即时NeRF技术并不是英伟达的新研发，其中NeRF(神经辐射场)技术早在2020年就已经提出。NeRF是由加州大学伯克利分校、谷歌研究所和加州大学圣地亚哥分校的研究人员开发的。它旨在使用神经网络来收集输入的2D图像，并在输出端呈现逼真的3D场景。
用NeRF技术把一张图片变成3D场景的具体步骤是：首先把一个连续的场景描述成一个5D向量值函数，包括一个3D位置(x；y；z)和2D观测方向(；)。在将该5D函数输入到模型中之后，输出是发射的颜色C=(r；g；b)和堆积密度()。
然后，使用体绘制技术将输出的颜色和密度数据合成为RGB图像。渲染函数是可微的，因此我们可以通过最小化合成图像和真实图像之间的残差来优化场景表示，最终形成完整的3D场景。
通过NeRF技术，可以使用多张不同角度的2D照片构建逼真完整的3D场景，与真实拍摄几乎相同。
在此基础上，是否要以固定视角查看不同光照角度的效果：
具有复杂遮挡的场景：
或者在遮挡效果明显的现实场景中插入虚拟物体。
NeRF甚至可以在360视图中渲染捕捉真实物体的效果，不需要背景隔离或绿屏等遮挡。
开发人员正在继续进一步开发和扩展NeRF，以便在任何光照条件下从新的角度渲染场景。
NeRF技术的出现无疑令人振奋。根据可视化的复杂程度和分辨率，用传统方法创建一个三维场景需要几个小时甚至更长时间。把人工智能带入画面，会加快事情的进程。3354省去了前期的建模工作，大大提高了3D捕捉的效率和便捷性。我们已经知道，NeRF是输入5D数据，通过模型运算学习，输出RGB数据，渲染体，形成一个完整的3D场景的步骤。
早期的NeRF模型可以在几分钟内渲染出没有伪像的清晰场景。但是在模型训练和学习的步骤中，由于需要处理大量的数据，并且可能需要进行结构修改，比如剪枝、拆分或者合并，所以模型训练的过程非常耗费资源和时间，需要十几个小时甚至一天。但是Nvidia的通过使用一种多分辨率哈希网格编码技术——，将这一步所需的时间缩短了几个数量级，从十个小时缩短到了几分钟。
多分辨率哈希编码技术多分辨率哈希编码技术是由英伟达的托马斯穆勒、亚历克斯埃文斯、克里斯托夫席德和亚历山大凯勒组成的研究团队创造的一种新的输入编码方法。
“我们通过一种通用的新输入编码来降低成本，这种编码允许在不牺牲质量的情况下使用更小的网络，从而显著减少浮点和内存访问操作的数量：一种小型神经网络，它由可训练的多分辨率哈希表增强，通过随机梯度下降来优化其值的特征向量。多分辨率体系结构允许网络消除散列冲突的歧义，从而形成简单的体系结构。现代GPU上的并行化无足轻重。3354多分辨率散列编码技术研究组
多分辨率哈希编码技术的原理涉及到很多计算机术语和知识，但是如果你对哈希算法有所了解，你就知道它的一个特点：无论多大的数据，都可以通过哈希算法转换成定长的哈希值。我们可以对多分辨率哈希编码技术的逻辑有个大概的了解。
多分辨率哈希编码技术的总体思路是减少所使用的参数编码技术所需的参数数量，使数据结构本身更容易被GPU处理，从而使神经网络的训练明显更快。不管输入瞬间NeRF的数据大小如何，首先通过使用Hiha编码技术将数据转换成唯一的对应索引值。在知道检索到的数据的索引值的前提下，模型的处理速度可以提高很多，而不需要在训练操作时更新数据结构。
不同编码的重建质量演示。可以看出，使用哈希表编码方法的(d)和(e)的训练时间分别为1分40秒和1分45秒，比其他编码方法快8倍以上。而当可训练参数总数相同时，(E)比(D)质量更高，但训练时间不会增加。此外，哈希编码技术会自动优先考虑“具有最重要的精细尺度细节的稀疏区域”。这样就不用把时间和计算资源花在空的地方或者细节少的地方。比如图像中细节粗糙的区域，不会以不必要的精细分辨率重复查询，从而提高训练和渲染的效率和速度。多分辨率哈希编码技术可以让Instant NeRF模型在短短几秒钟内训练出几十张静止照片，加上它们拍摄角度的数据，然后在几十毫秒内渲染出最终的3D场景。相比NeRF之前几个小时的训练和学习时间，Instant NeRF的进步无疑是惊人的。
新的多分辨率哈希编码算法将时间减少到5秒，不仅可以训练场景，还可以提供实时渲染。
总结Nvidia研究团队将自己的多分辨率哈希编码技术与NeRF模型相结合，使得Instant NeRF成为首批将超快速神经网络训练与快速渲染相结合的模型之一。它可以在几分钟内处理图像，并在“几十毫秒”内生成一个完整的3D场景，大大提高了3D捕捉和共享的速度、便利性和范围。
并且经过多分辨率哈希编码技术优化后，Instant NeRF可以在单个NVIDIA GPU上训练并高速运行，渲染结果质量较高。Nvidia研究人员表示，Instant NeRF有多种应用：
帮助自动驾驶系统理解现实世界物体的大小和体积，并利用它来训练自动驾驶汽车；用于为虚拟世界创建头像，为“元宇宙”的构建提供技术支持；它还可以用于建筑和娱乐行业，快速生成真实环境的数字表示，创作者可以在此基础上进行修改和构建。这些只是当前即时NeRF的几个应用。Instant NeRF的3D场景构建逻辑与传统的3D软件完全不同，应用也大相径庭。随着元宇宙和人工智能的深入发展，相信Instant NeRF的应用价值会不断提升，技术的迭代升级会不断扩大。“参考资料”
https://blogs . NVIDIA . com/blog/2022/03/25/instant-nerf-research-3d-ai/https://www . matthewtancik . com/nerf https://finance . Sina . com.cn/WM/2020-04-10/doc-iirczymi 5502874 . shtml https://nvlabs . github . io/instant-ngp/https://www . DP review . com/com
暂无讨论，说说你的看法吧
