nvidia虚拟人脸，nvidia ai技术

在NVIDIA Research开发出新的人工智能( AI )模型后，越来越多的企业和创作者可以将各种3D建筑物、车辆和人物的作用融入到他们所创建的巨大虚拟世界中。 NVIDIA GET3D通过简单地使用2D图像进行训练，可以制作出具有极其逼真的纹理和复杂的几何细节的3D形状。 这些3D对象的创建格式与典型的绘图软件APP应用程序的格式相同，可以立即导入3D渲染器或游戏引擎中进行编辑。 生成的对象可用于表示三维建筑、室外空间或整个城市，以用于游戏、机器人、建筑、社交媒体等行业。 GET3D可基于训练它的资料生成无限数量的3D形状。 就像艺术家精致纤细的雕刻粘土一样，GET3D模型将数字转换成复杂的3D形状。 就像使用二维汽车照片数据集训练GET3D模型一样，创建三维形状的轿车、卡车、赛车、小型货车等车辆。 使用2D动物的照片进行训练，会产生3D形状的狐狸、犀牛、马、熊等动物。 使用2D椅子的照片进行训练，会产生各种3D形状的转椅、餐椅和舒适的躺椅。 NVIDIA AI研究部门副总裁Sanja Fidler表示：“GET3D模型离使用AI创建3D内容的一般化又近了一步。 可以实时制作出带纹理的3D形状，对于开发者来说可能可以推翻过去的游戏规则，可以快速向虚拟世界添加各种有趣的对象。 ”Sanja Fidler也是位于多伦多的NVIDIA研究实验室的领导者，该工具是该实验室开发的。 在11月26日至12月4日于新奥尔良和在线召开的神经消息系统大会( NeurIPS )上，NVIDIA将发表20多篇论文并举办多场研讨会。 GET3D是其中之一。 现实世界呈现出丰富多彩的面貌，街道两旁有独特的建筑物，各种车辆呼啸而过，各种各样的人来人往。 人工模拟反映这些特征的3D虚拟世界需要花费时间的大量成本，很难在这个数字环境中添加各种细节。 AI模型在创建3D虚拟世界时比传统人工方法速度快，但还不够精细。 最新的反向渲染方法也只能从从不同角度拍摄的2D图像生成3D对象，开发人员一次只能创建一个3D形状。 GET3D是不同的。 使用一个NVIDIA GPU进行推理时，每秒会生成约20个形状，其作用类似于用于生成2D图像的生成对抗网络，同时生成3D对象。 使用规模越大、内容越多样的数据集进行训练，输出的内容越多、越细致。 NVIDIA的研究人员使用从摄像机的各个角度拍摄3D形状的2D图像合成资料对GET3D模型进行了训练。 他们用NVIDIA A100 Tensor核心GPU处理了100万张图像，只用了两天就在时间上完成了训练。 GET3D的名称来源于产生清晰的纹理3d(generateexplicittextured3d )网格，意味着使用三角网格创建各种形状，就像纹理材料覆盖在凝聚纸浆模型上一样这样，用户就可以轻松地将对象导入到游戏引擎、3D建模器和电影渲染器中进行编辑。 创作者可以通过将GET3D生成的形状导出到绘图APP中，在场景中物体移动或旋转时提供逼真的照明效果。 开发者将NVIDIA Research的另一个AI工具StyleGAN-NADA与GET3D相结合，为图像添加特定的风格，例如将渲染的车变成烧毁的车或出租车，将普通的房子作为鬼屋等研究人员指出，未来的GET3D版本将使用摄像机姿态估计技术，以允许开发人员使用真实环境中的数据而不是合成数据来训练模型。 研究人员还改进了GET3D模型以支持通用的生成技术，允许开发人员一次使用各种3D形状训练GET3D，而不是一次在一个对象类中训练。