unity3d数据可视化(unity3d技术应用)

以人体模型为中心的计算机视觉系统在过去几年取得了很大的进步，这在很大程度上得益于大规模的人体数据标注。然而，重要的隐私、法律、安全和伦理问题限制了对人类数据的访问。现有数据集还会在数据收集和注释中引入偏差，这将对用这些数据训练的模型产生负面影响。此外，大多数现有的人类数据没有提供对内容多样性、人类活动和姿势以及领域不可知论的适当分析。真实数据的一种新的替代方法是数据合成，它可以帮助缓解这些问题。该方案主要用于以数据为中心的人工智能和用计算机视觉解锁家庭智能应用的解决方案。然而，创建合成数据生成器非常具有挑战性，这使得计算机视觉社区无法利用合成数据。另外，合成的数据能否帮助替代或补充现有的真实世界数据，也是大家一直在讨论的问题。出现这些问题的主要原因是我们缺乏一个高度参数化的、可操作的数据生成器，可以用于模型训练。
受上述挑战的启发，Unity推出了PeopleSansPeople。它是一个以人为中心的数据生成器，包含高度参数化和模拟就绪的3D人力资源、参数化的照明和相机系统、参数化的环境生成器以及完全可操作和可扩展的基于域的机器。PeopleSansPeople可以在JSON注释文件中使用亚像素完美2D/3D包围盒、符合COCO的人体关键点和语义/实例分割遮罩来生成RGB图像。基准合成数据训练可以通过使用PeopleSansPeople和Detectron2关键点R-CNN变体来实现。
PeopleSansPeople将支持并加速研究合成数据对以人为中心的计算机视觉的影响。这将解决研究人员在涉及人的任务中使用具有域随机化的合成数据的问题，从而扩展模拟器功能在现有和新领域的空间，如增强现实/虚拟现实、自动驾驶、人体姿态预测、运动识别和跟踪等。对PeopleSansPeople数据的研究将涉及生成的合成数据，将模拟与真实传输学习联系起来，将解决合成数据与真实数据的领域差异。
释放人
目前Unity已经发布了PeopleSansPeople两个版本：
首先是macOS和Linux的可执行二进制文件，一个可变配置的JSON文件可以用来生成大规模(1M)的数据集。它包括：
28个不同年龄和种族的3D人体模型，以及不同的服装(21，952个具有28个反照率、28个遮罩和28个法线的独特服装纹理)；
39个动画剪辑，具有完全随机的人体图形放置、大小和旋转，以不同的排列方式生成人体；
完全参数化的照明设置(位置、颜色、角度和强度)和相机(位置、旋转、视野、焦距)设置；
一组原始对象，用作干扰和可变纹理的盾牌；以及来自COCO未标记集的一组1600幅自然图像，它们充当对象的背景和纹理。
其次，Unity还发布了一个模板项目，通过帮助用户创建自己版本的以人为中心的数据生成器来降低其社区的准入门槛。用户可以将自己的3D资产带入这个环境，并通过修改现有的域随机数发生器或定义一个新的域随机数发生器来进一步增强其功能。该环境具有上述二进制文件中描述的所有功能：
4具有不同服装颜色的示例3D人体模型；
8个示例动画剪辑，具有完全随机化的人物放置、大小和旋转，以生成具有不同排列的人物；和
来自Unity的一组529个感知包用作对象的背景和纹理。
人的随机化sans人域
PeopleSansPeople是一个参数数据生成器，它通过一个简单的JSON配置文件公开几个可变参数。当然，用户也可以直接从Unity环境中更改这些配置。大量的现场随机化和环境设计致力于创建完全参数化的人体模型。使用这样的参数集，用户可以捕捉人体模型的一些基本的内部和外部变化。使用Unity Shader Graph randomizer来更改人体数据资源的衣服纹理，为角色提供了独特的外观。当然，你也可以用Unity的动画，用机器来改变角色的姿势。这个工具有一组不同的动画，涵盖了许多真实的人类动作和姿势。
数据集的统计分析
通过使用域随机化，Unity随机生成了500，000个图像和上述标签的复合数据集。通过使用这些图像中的490，000个用于训练，10，000个用于验证。我们将合成数据集统计数据与COCO个人数据集进行比较。与COCO数据集相比，合成数据集的实例数量多一个数量级，带关键点标注的实例数量多一个数量级。
在上图中，显示了三个数据集的边界框占用热图。对于COCO数据集，由于有许多人像和风景图像，我们观察到矩形包围盒分布遵循图像的高度和宽度。我们发现大多数方框靠近大多数图像的中心，但很少延伸到边缘。对于人类合成数据，盒子倾向于更好地占据整个图像帧，从而迫使模型使用整个感受野。
最后，为了量化生成的图像中人体模型的姿势多样性，我们从角色的末端生成了五个最具代表性的关键点的姿势热图。我们观察到1)PeopleSansPeople中的人体姿势分布包括COCO中的姿势分布；2)我们合成姿势的分布比COCO更广；以及3)在COCO中，大部分人脸朝前，导致点密度的“利手”不对称，在合成数据中得到了很好的改善。
PeopleSansPeople基准测试是现成的。
为了获得一组模拟到真实迁移学习的基准结果，我们训练了用于bbox和关键点检测的各种合成和真实数据集的大小和组合。我们使用平均准确率(AP)作为模型性能的主要指标，并在COCO人工验证(person val2017)和测试集(test-dev2017)上报告了我们的结果。
我们根据随机初始化的权重和ImageNet预训练的权重来训练我们的模型。我们没有在任何基准测试中执行任何模型或数据生成超参数。事实上，我们使用我们直观选择的默认参数范围来生成数据集，并通过从这些范围均匀采样来强制数据生成。因此，我们的数据生成非常简单。我们将结果显示在一个选项卡中。我们观察到，我们的模型比仅在真实数据上训练的模型或用ImageNet预先训练然后在真实数据上微调的模型表现得更好。这种效应在真实数据有限的少镜头迁移学习中更强。在大量真实数据的情况下，我们仍然观察到合成数据预训练的优势。
应该注意的是，这些结果旨在为PeopleSansPeople数据的基准测试服务。PeopleSansPeople自带高度参数化的陪机，把定制的陪机集成进去非常简单。因此，我们期望PeopleSansPeople将能够在模型训练周期中研究超参数调整和数据生成，以优化这些数据的性能，从而解决零触发、少触发和完全监督的任务。此外，由于合成数据富含高质量标签，因此可以与标注很少或没有标注的真实数据相结合，实现弱监督训练。