指向论文的链接：
https://arxiv.org/abs/2211.10440
项目主页：
3359 deep imagination.cc/magic 3d /
NVIDIA进入了AI生成模型领域的研究，直接比别人多一个维度。 用一句话描述生成3D模型。
我们生活在三维的世界里。 目前，大多数APP应用都是2D，但对游戏、娱乐、建筑、机器人模拟等3D数字内容的需求越来越大。
但是制作专业的3D内容需要很高的艺术和审美素养以及大量的3D建模专业知识。 人工进行这项工作需要时间和劳力。
因为需求很大，是“劳动密集型行业”，所以有可能交给AI吗？ 上周五，NVIDIA提交给预印版论文平台arXiv的论文引起了关注。
和现在流行的NovelAI一样，人们只需输入“坐在睡莲上的蓝箭毒蛙”这样的文字，AI就会生成纹理形状一致的3D模型。
Magic3D还可以执行基于提示的3D网格编辑。 指定低分辨率3D模型和基本提示后，可以通过更改文本来修改生成的模型的内容。 另外，作者还展示了保持画风，将2D图像风格应用于3D模型的能力。
Stable Diffusion的论文于2023年8月首次提交，几个月就进化到如此程度，以至于科技发展的速度令人惊叹。
据NVIDIA介绍，只要在此稍加修改，生成的模型就会成为游戏和CGI艺术场景的素材。
3D生成模型的方向并不神秘，但其实早在9月29日，谷歌就曾推出过基于文本的3D生成模型DreamFusion，NVIDIA在Magic3D的研究中直接标记了该方法。
与DreamFusion用文本生成2D图像并优化体积NeRF (神经辐射场)数据的过程一样，Magic3D使用2阶段生成法，将低分辨率生成的粗糙模型进一步优化为高分辨率。
NVIDIA方法首先利用低分辨率扩散先验得到粗模型，再利用稀疏3D散列网格结构进行加速。 以粗略表示为初始，进一步优化了带纹理的3D网格模型，该模型具有与高分辨率潜在扩散模型相互作用的高效可微分渲染器。
Magic3D可以在40分钟内创建高质量的3D网格模型，比DreamFusion快两倍(后者平均需要1.5小时)，同时实现了更高的分辨率。 据统计，与DreamFusion相比，61.7%的人更喜欢NVIDIA的新方法。
与图像调节生成功能一起，新技术为各种创造性应用开辟了新途径。
一.技术细节
Magic3D可以在短计算时间内基于文本prompt合成高度详细的3D模型。 Magic3D通过改进DreamFusion的几个主要设计选择，使用文本prompt合成高质量的3D内容。
具体来说，Magic3D是一种基于粗糙的优化方法，它使用不同分辨率下的多个扩散先验来优化3D表示，从而生成视图的一致几何形状和高分辨率细节。 Magic3D采用监控方法合成8倍高分辨率的3D内容，速度也比DreamFusion快2倍。
整个Magic3D工作流分为以下两个阶段：
第一阶段，该研究优化了DreamFusion这样的大致神经场特征，实现了具有基于散列网格的内存和计算的高效场景特征。
在第二阶段，该方法切换到优化网格特征。 此步骤是重要的，并且可以利用扩展先验，分辨率达到512 512。 由于3D网格适用于快速图形渲染，并且可以实时渲染高分辨率图像，因此该研究使用基于光栅的高效微分渲染器和摄像机特写来恢复几何纹理的高频细节
基于这两个阶段，该方法可以生成高保真的3D内容，并可以方便地导入到标准图形软件中进行可视化。
另外，该研究如下图1所示，显示了使用文本prompt的3D合成过程的创造性控制能力。
为了比较实际应用效果，NVIDIA的研究者比较了Magic3D和DreamFusion在397文本提示中生成的内容。 的平均粗糙模型生成阶段需要15分钟，精细阶段训练25分钟，全部运行时间采用8枚NVIDIAa100GPU进行测量。
虽然论文和demo只是第一步，但NVIDIA已经为Magic3D考虑了未来的应用方向：为游戏和元宇宙世界提供制作量
是3D模型的工具，而且所有人都可以用手使用。
当然，最早间线这个功能，可能会让自己的Omniverse成为NVIDIA。
参考：
3359 ars technica.com/information-technology/2023/11/NVIDIA s-magic 3d-creates-3d-models-from-written-dred
来源：公众号【机器心】
Illustrati
o
n by Robin&； #039； s Pixel from
IconSc
出局
-The End-
扫码看
！
这周是新的！
很多技术企业都招到了！
很多技术企业都招到了！ 必选小将来自TechBeat技术社区内技术企业的招聘需求，来自微软亚研、腾讯、小红书( RED )等企业算法工程师等正式和实习岗位，欢迎有需求的同学将简历投递到这些公司
扫描详细信息~
关于我的“门”
关门
家人集中精神
技术驱动创业公司挖掘、加速、投资
的新类型
创投机构
在旗下进行掩饰
将门创新服务
、将门技术社区、以及。
将门成立于2015年底，创始团队由微软在华创始团队原团队组建，为微软优选并深度孵化了126家创新技术型创业公司。
如果你是技术领域的初创企业，你不仅希望获得投资，还希望获得持续、有价值的投资后服务。
请向“门”发送物品或推荐：
一键送你去TechBeat快乐明星
