本周召开的计算机视觉&； amp； 在模式识别会议( CVPR )上，NVIDIA发表了名为3D MoMa的AI“魔法”。 将静态2D照片转换为可以轻松编辑的3D模型。
据NVIDIA介绍，通过3D MoMa，建筑师、设计师、艺术家和游戏开发人员可以将图像转换后的3D模型快速导入到图形引擎中，在使用中可以缩放、更改材料，并尝试各种照明效果
从2D图像中提取3D模型的现实情况是，为了让艺术家和工程师充分利用3D模型，最好将其放入游戏引擎、3D建模器和电影渲染器等广泛使用的工具中。 主要是定义3D图形和建模形状的基本框架。
一般来说，很多游戏工作室和创作者都习惯用复杂的摄影测量技术制作这种3D模型，不仅费力手动操作，而且时间——出现，3D MoMa出现，这种情况
据了解，3D MoMa的背后是NVIDIA图形研究副总裁David Luebke称之为“统一计算机视觉和计算机图形的圣杯”的反向渲染技术。
逆向绘制是将一系列静态2D照片重构为物体和场景的3D模型的技术。 另一方面，3D MoMa通过将逆向绘制的问题全部定义为GPU加速的可微分组件，使用现代的AI机器和NVIDIAGPU的原始计算能力高速生成3D对象，创作者可以用现有的工具不受限制
据NVIDIA官博介绍，3D MoMa一个Tensor Core GPU可以在1小时内生成三角网格模型，输出结果与创作者使用的3D图形引擎和建模工具直接兼容。
此外，3D MoMa还会生成三角网格模型，网格类似于由三角形构建的3D纸型，因此创作者可以修改并重建网格模型、材质和灯光效果。
为了更直观地展示3D MoMa的功能，NVIDIA研究小组首先从不同的角度拍摄了近100幅5种爵士乐队乐器(小号、长号、萨克斯、鼓、单簧管)的图像
然后，研究小组利用3D MoMa将这些2D图像转化为各乐器的三角网格模型，将其从原始场景中取出，读入Omniverse 3D仿真平台进行编辑。
如上所述，由于创作者可以重构3D MoMa的输出结果，NVIDIA研究小组也进行了尝试。
可以改变材质，将小号原有的塑料材质转化为金、大理石、木材或软木；
将新编辑的模型放入虚拟场景，将这些乐器放入经典的图形渲染质量测试工具箱( Cornell Box )，可以发现虚拟乐器在里面对光线的响应方式；
通过这些反向渲染生成的新模型可以用作复杂动画场景的组成部分，如下视频所示。
目前的3D MoMa还在开发中，但NVIDIA对此抱有期待。 我相信游戏开发者和其他设计师可以快速修改3D对象并将其添加到虚拟场景中。
参考链接：
3359 blogs.NVIDIA.com/blog/2023/06/21/inverse-rendering-3d-research-cvpr /
3359 then extweb.com/news/NVIDIA s-new-ai-magic-turns-2d-photos-into-3d-graphics
