2023 CVPR |克隆人:从单张照片构建大规模虚拟行人数据集

机器之心专栏

作者:王雅楠,廖胜才

本论文从一张照片中克隆了一套衣服,穿上了三维人物,构建了包含5621个三维人物模型的虚拟行人数据集ClonedPerson。 这些虚拟人物在游戏环境中模拟了实时监测渲染了多场景下的多摄像机视频。 实验结果表明,该数据集在行人再识别任务中具有良好的通用性,可应用于无监控域自适应、无监控学习、人体关键点检测等多项相关任务。 相关论文已被CVPR 2023接收,数据和代码开放源代码。

论文地址: https://arxiv.org/pdf/2204.02611.pdf

项目地址: https://github.com/Yanan-Wang-cs/cloned person

引言

实践证明,大规模虚拟数据能显著提高可泛化的行人再识别能力。 现有的虚拟行人数据库,如RandPerson和UnrealPerson人物的服装与现实生活的差距较大,没有考虑服装搭配问题。

如下图1所示,( a )组合RandPerson的随机颜色和纹理生成虚拟人物的战略将该人物动画化。 ) b ) UnrealPerson使用实际的衣服纹理生成人物,但是由于衣服纹理的尺寸问题,生成的虚拟人物和实际人物仍然有很大的差异,没有考虑上下半身的协调穿搭。

图1. RandPerson、UnrealPerson和ClonedPerson的比较图

因此,本论文提出了从单角度的人物照片中自动克隆衣服整体的穿法,生成三维人物模型,通过在游戏环境中模拟实际的监视并绘制,得到更现实的大规模虚拟行人数据集,最终实现行人再识别模型的泛化

与从现有视频和多视点照片重建的方法不同,我们立足于克隆一张照片的整个衣服来生成虚拟人物。 因此,可以利用网上大量的人像照片进行服装的克隆,达到规模化的限制条件很低。

此外,本文提出的方法将照片中人物的全套衣服克隆到虚拟人物中,有效地解决了现有虚拟数据库衣服组合与现实生活不一致的问题。

具体而言,本论文为了克隆衣服的纹理,设计了衣服的对位映射( registered clothes mapping )和均匀的面料扩展( homogeneous cloth expansion )两种方法。

其中衣服配准映射主要针对目标UV纹理图衣服结构清晰的人物模型,根据正面人物照片和衣服在模型纹理图中对应关键点的位置进行投影变换,保持衣服纹理的清晰度和纹理结构。 均匀的面料扩展主要以人物的背面为对象,在正面的照片中看不到背面的纹理。 通过找出衣服区域面积最大的同质纹理并展开,可以自动涂抹人物背面的纹理。

此外,本文提出了相似性—多样性人物扩展策略,使聚类方法生成的虚拟人物同时具有相似性和多样性,形成最大效用的大规模虚拟行人数据集。 该方法通过克隆同一集群的人物照片来生成相似的人物,同时通过克隆不同集群的人物照片来生成各种各样的人物。

最后,在Unity3D场景中进行渲染,得到包含自动标记的虚拟行人数据集,称为ClonedPerson。 包括5621个虚拟人物、6个场景、24个摄像头、168段密集行人视频和887,766张截取的行人照片。 图1 c表示虚拟行人的照片的一部分。

论文通过实验证明ClonedPerson虚拟数据集可以应用于行人再识别及其域间泛化、无监督域自适应、无监督学习、人体关键点检测等多项任务。 其中,交叉库泛化测试超过了三个主要的行人再识别数据集CUHK03、Market-1501、MSMT17和当前流行的虚拟行人再识别数据集RandPerson、UnrealPerson。

研究动机

数据不足制约着行人再认识的发展,加上标记困难,近年来对监控视频数据隐私敏感性的关注更加剧了这一问题,已经有一些公开数据集瘫痪。 相比之下,虚拟数据几乎不需要标注,没有隐私敏感问题,实践证明虚拟数据能显著提高行人再识别模型的泛化性能。

因此,提出了几种生成RandPerson和UnrealPerson等大规模虚拟数据库的方法。 但是,这些数据库人物的服装纹理与真实人物有很大差异,限制了虚拟数据库的提高效果。

图2. ClonedPerson和HPBTT生成的人物的比较图

另外,研究人员通过PIFu、HPBTT、Pix2Surf等各种方法实现了将2D照片中的人映射到3D模型上。 但是,使用这些方法生成大型虚拟数据库存在以下问题。

PIFu在训练数据中需要3D形状标记,这限制了其接受充分有效的训练;

HPBTT由神经网络模型生成的纹理比较模糊,衣服的纹理结构不十分清晰( )

在Pix2Surf中,需要输入背景相对简单、有正反纹理的衣服的照片。

HPBTT和Pix2Surf中采用的SMPL模型可能如图2c所示的裙子问题那样缺乏通用性。

因此,为了解决上述问题,本文提出通过克隆单角度照片中的衣服来生成大量的三维人物模型,并针对该方案设计了两种克隆方法。 基于该方法,可以将照片中的衣服纹理克隆到虚拟人物中。

图2表示了该方法和HPBTT生成的人物的对比图。 考虑到生成数据的相似性和多样性,本文设计了相似性多样性人物扩展策略,扩展了人物模型。 最后,得到了包含自动标注的虚拟行人数据集ClonedPerson。

该方法减少了对输入图像的需求,该输入图像可以应用于通过互联网获取的大量人像照片,两种克隆方法可以获得清晰的正面纹理,背面纹理可以自动完成,从而不需要输入背面图像。

克隆方案

下图3显示了本文提出的克隆方案,包括以下步骤。 首先在预处理阶段,采用行人检测、人物关键检测、服装类型和服装关键检测对图像进行筛选; 其次,使用衣服定位映射和均匀面料扩展两种方法克隆衣服纹理,生成虚拟人物; 最后将人物引入虚拟环境生成数据。

图3.cloned person从单角度人物照片到虚拟数据的场景图

其中,预处理阶段的方法是为了提高人物生成的成功率。 因为有很多单角度的照片,所以选择正面没有隐藏衣服图案的照片生成人物的话,提高服装分类和服装关键点检测的成功率会很高。 此外,由这些照片生成的虚拟人物具有更完整的衣服纹理和服装组合。

衣服定位图

图4. MakeHuman中衣服模型的纹理图

本文采用MakeHuman制作了三维人物。 该软件的用户社区资源包括许多衣服模型,其中大多数模型的UV纹理图具有被称为规则纹理图的明确纹理结构,如上面的图4b所示。 因此,通过按键排列的投影方法,可以将实际的照片图案投影到模型的UV纹理贴图上。

此外,如图4所示,通过求解目标模型纹理图上的一系列关键位置(用4b红点表示)、实际照片中的衣服对应的关键位置可以用训练检测器检测出来(用4a红点表示)、投影变换矩阵,与电影衣服区域的各像素点进行对照来进行纹理下图5的上部分显示了衣服的对准映射过程。

图5 .衣服配准映射和均匀面料扩展示意图

均匀质地的扩展

衣服对齐映射可以将衣服的正面纹理映射到普通纹理贴图中的适当位置,但不能处理衣服模型的背面纹理和不规则纹理贴图,如图4c所示。 因此,为了解决这个问题,本文提出了第二种方法——均一生地扩展。

如图5的下半部分所示,首先通过训练的行人再识别模型从服装图像中提取特征,然后扫描特征中不同的矩形块。 通过计算各特征的均值方差,可以找到块内均值方差与矩形面积之比最小的矩形块,其对应区域为最优同质块。

如图5所示,在规则模型中,由于图像大小通过投影变换改变,获得的同质块需要进行相应的尺度变换以确保纹理的一致性。 对于不规则模型,将保留同质块的原始大小。 获取同质块后,使用图像翻转策略扩展同质块以填充纹理贴图。

相似性-多元化人物拓展策略

图6 .相似性-多元化人物拓展策略示意图

本文使用DeepFashion和DeepFashion2数据库来生成虚拟人物。 在前处理阶段筛选后,数万张照片也可用于虚拟人物的生成。 考虑到生成的数据应该具有相似性和多样性,本文设计了相似性—多样性人物扩展策略。

照片中有同一个人的多角度照片,所以需要先去掉这些同一件衣服纹理不同的角度的照片。 因此,本文对照片进行两次聚类。 第一次去除重复图像,第二次选择相似性和多样性的照片。 在第一次聚类中,收集非常相似的“同一个人的不同角度”的照片,按类型提取最接近中心点的图像和聚类失败的图像进行混合,然后进行第二次聚类。

在两次聚类之后,相似性-多样性人物扩展策略通过采样并克隆相同集群中的人像照片来生成相似人物,通过克隆不同集群中的人像照片来生成多样性的人物,如图6所示。 本论文从聚类结果的各类别中提取7张照片进行克隆( 5张生成训练集,2张生成测试集),最终生成5621个虚拟人物。 渲染这些虚拟人物得到了数据集ClonedPerson。

下表1总结了ClonedPerson和其他虚拟行人数据集的特征。

表1 .虚拟行人数据集统计表。 Cam :摄像机数,Sur :模拟真实的监视场景,Real :使用真实的衣服纹理,Outfit :考虑服装的组合

实验结果

实验结果表明,ClonedPerson具有传统的单一库行人再识别(表3 )、库间可泛化的行人再识别(表2、3、4 )、无监督学习(表3 )、无监督域适应(表3、4 )、人体关键点检测(图7 )

使用表QAConv 2.0在不同数据库上测试交叉库的结果

表ClonedPerson测试集中不同模型的结果。 安全区:跨库测试; 灰色:库内测试; 蓝色: UDA; 粉红色:没有监督就学习

表4 .不同数据库中不同任务的映射结果。 TransM:TransMatcher,RP: RandPerson,RP*:RandPerson的人物在ClonedPerson环境中被渲染,UP:UnrealPerson,CP:ClonedPerson

跨库测试(表2和表4 )的结果表明,ClonedPerson数据库可以很好地应用于可泛化的行人再识别任务。 例如,根据表2,在ClonedPerson中训练的模型的泛化性能超过在真实数据库( CUHK03,Market-1501,MSMT17 )中训练的模型。

表4表明,与现有虚拟数据库相比,ClonedPerson训练的模型在CUHK03和Market-1501上具有更好的泛化性能。 如果UnrealPerson具有更真实的场景(采用幻想引擎)和更多的摄影机,则ClonedPerson在MSMT17上的泛化性能可能会比UnrealPerson弱。 但是,考虑到3个实际数据库的平均泛化性能,ClonedPerson更好,从照片中克隆衣服生成虚拟数据的有效性得到了证实。

另外,本论文将ClonedPerson作为测试装置进行了测试(表3 )。 实验结果表明,一方面,ClonedPerson可以支持多项行人再识别任务; 另一方面,在ClonedPerson上的测试结果(表3 )明显低于实际数据库上的测试结果(表2 ),表明ClonedPerson本身也是相当困难的数据库。

ClonedPerson也可以用于无监视域自适应( UDA )任务。 如表4所示,将ClonedPerson作为源数据集时,比较RandPerson和UnrealPerson的话,ClonedPerson的平均泛化性能更高。 以ClonedPerson为目标数据集时,如表2的蓝色区域所示,由于多种摄像机和众多相似人物,ClonedPerson的UDA性能有很大的提高空间。

还可以使用ClonedPerson的关键信息训练人体的关键点模型。 图7显示了在ClonedPerson中训练的人体关键点检测模型的实际数据集上的检测效果的样本图。 为了节省存储空间,ClonedPerson目前只记录了7个基本密钥,但在数据渲染过程中可以记录更多密钥的位置信息以进行后续扩展。

图7 .人体关键点检测结果

结论

本文提出了一种通过克隆单角度照片衣服生成大量三维人物模型的方案,在此方案中设计了两种克隆方法和一种相似性-多样性人物扩展策略,最终得到了包含自动标注的虚拟行人数据集ClonedPerson。 通过实验证明,本文通过在制作克隆照片的数据库上进行训练,可以提高行人再识别模型的泛化能力和支持许多相关任务。

提案方法的优点是能够生成服装纹理清晰、与照片中人物的衣服外观相似的虚拟人物。 利用这些更现实的虚拟人物生成的虚拟数据泛化性能更高。 本文提出的方法只需要单一角度的人像摄影,对输入图像要求小,因此可以使用大量的网络图像进行后续扩展。

另外,ClonedPerson公开了相应的图像和视频数据,将来可以探索行人检测、行人跟踪、多摄像头行人跟踪等更多的相关任务。

作者简介

王雅楠,现任阿联酋起源人工智能研究院工程师。 研究的兴趣是行人分析。

廖胜才,阿联酋起源人工智能研究院( IIAI )主任研究员。 IEE高级会员。 研究的兴趣是行人和脸部的分析。

动态分享

2020ai立体插画,2021版ai图像临摹在哪

2022-12-16 7:12:15

动态分享

我羡慕2023年的你!母女俩用废纸箱搭建梦想小镇。

2022-12-16 7:14:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索