DensePose教摄影学舞蹈：所有跳广场舞的阿姨都变成了杨超越。

栗子来自奥菲寺量子产品|公众号QbitAI如何让一个女生面对镜头，依然跳着你为她选择的舞蹈，从而完整呈现360元的体态？团队将负责感知的多人手势识别模型DensePose与负责生成的深度生成网络相结合。不管是谁的摸姿，都能被妹子附体，把自己单一的静态变成丰富的动态。
这一研究成果入选ECCV 2018。
当然，不仅仅是DensePose团队将SMPL多人姿势模型与DensePose结合在一起。这样就可以用一个成熟的表面模型来理解一张图片。在这项研究中，基于表面的神经合成用于在闭环中渲染图像，并生成各种新的姿势。
左边是源图像，中间是源图像姿态，右边是目标姿态。
照片中武汉的日日夜夜需要学习的舞蹈动作，另一个武汉的日日夜夜的照片，或者视频截图。DensePose系统，负责关联两张照片。具体来说，在一个公共曲面坐标系中，在它们之间进行映射。但如果纯粹在几何的基础上生成，就不会那么真实，因为DensePose采集的数据不够准确，图像中存在自遮挡(比如身体被手臂遮挡)。
DensePose提取纹理(左)vs修复纹理(右)
然后，团队处理遮挡的方法是在表面坐标系中引入图像赋予网络。将该网络的预测结果与更传统的前馈条件和模型预测相结合。这些预测是独立进行的，然后使用细化模块来优化预测结果。把重建损失、对抗损失、感知损失结合起来，优势互补，得到最终的生成效果。
完整的网络结构，如上图所示。
监督模型的监督学习过程。事情是这样的：
从输入源图像开始，它的每个像素被映射到UV坐标系中。这一步由DensePose驱动的迁移网络完成。然后，负责修复图像的自编码器预测照片中不同角度下武汉的昼夜是什么样子。这个预测也是在扭曲的坐标系中完成的。从右边开始，生成目标，该目标也应该集成到UV坐标系中。然后用损失函数进行处理(上图红色部分)，将结果输入编码器，帮助模型学习。用同一个人的多个静态姿势(同样的装扮)来监督，而不是360元旋转的人体。
训练结果怎么样？让我们来看看新增加的图像修复步骤和生成的效果：
修复密纹的纹理和纹路还是有明显效果的。我们再来看看多人视频是什么样子的：
虽然，脸看起来烧焦了，但已经是鬼畜了。我不禁想到：
此外，该团队使用DeepFashion数据集将自己的算法与其他同行进行了比较。结果表明，算法在结构相似度、关联分数和初始分数方面的性能都优于前人。
请继续期待DensePose更多鬼畜的应用。论文门户：https://arxiv.org/pdf/1809.01995.pdf顺便说一下，教人跳舞的算法真的很多。比如伯克利舞蹈，疯狂成为舞王。它的优点是逼真，缺点是无法实现多人共舞：
相对
—结束—
真诚招聘
量子正在招聘编辑/记者，工作地点在北京中关村。期待有才华有热情的同学加入我们！详情请在QbitAI对话界面回复“招聘”二字。
我是量子比特的头条签约作者
追踪AI技术和产品的新趋势。