近日,计算机视觉顶级大会CVPR 2022公布了大会的录取结果,美图影像研究院(MT Lab)和北航可乐实验室联合发表的论文被录取。提出了一种分布式感知单阶段模型(DAS)来解决三维人体姿态估计的难题。该方法通过一次网络正向推理,可以同时获得三维空间中人体位置信息和对应的关键点信息,简化了预测过程,提高了效率。此外,该方法有效地学习了人体关键点的真实分布,进而提高了基于回归框架的三维人体姿态估计方法的精度。
其实这只是美图用人工智能赋能影像技术的冰山一角。早在2010年,美图就建立了核心研发;d部,——美图图像研究院,致力于计算机视觉、机器学习、增强现实等人工智能(AI)相关领域的研发。在人脸技术、人体技术、图像分割、图像识别、图像生成和图像增强方面处于领先水平,为美图现有和未来的产品提供核心算法支持,通过前沿技术推动美图产品的发展。多次参加CVPR、ICCV、ECCV等计算机视觉顶级国际会议,获得10多项冠军和亚军,被称为美图的“技术中心”。
多人3D人体姿态估计结果的准确获取
计算机视觉的经典技术,——人的3D人体姿态估计,在AR/VR、游戏、运动分析、虚拟试衣等领域有着广泛的应用潜力。近年来,随着元宇宙概念的兴起,这项技术备受关注。
目前,通常采用两阶段方法来解决多人的三维姿态估计问题:自顶向下方法,即首先检测多个人体在一幅图像中的位置,然后利用单个三维姿态估计模型预测每个被检测人的姿态;自下而上的方法,即先检测出图片中所有人的3D关键点,然后通过关联将这些关键点赋给相应的人体。
两阶段法虽然取得了较好的精度,但要依次获取人体位置信息和关键点位置信息,需要冗余的计算和复杂的后处理,其速度通常难以满足实际场景要求,因此多人3D姿态估计算法的流程亟待简化。
为了克服两阶段方法存在的问题,提出一种分布式感知单阶段模型来解决基于单幅图像的多人三维人体姿态估计问题。此外,DAS在优化过程中学习三维关键点的分布,为三维关键点的回归提供有价值的指导信息,从而有效提高预测精度。
此外,为了减轻关键点分布估计的难度,DAS采用迭代更新策略来逐步逼近真实分布目标。这样DAS就可以高效准确地从单目RGB图片中一次性获得多人的3D人体姿态估计结果。
与现有的两阶段方法相比,该模型可以通过一次网络正向推理同时获得人体的位置信息和相应关键点的位置信息,有效简化了预测过程,克服了现有方法计算成本高、模型复杂度高的缺点。此外,该方法成功地将标准化流程引入多人3D人体姿态估计任务,从而在训练过程中学习人体关键点的分布,并提出迭代回归策略来缓解分布学习的难度,从而逐步逼近目标。通过该模型可以得到数据的真实分布,有效提高模型的回归预测精度。
人工智能技术大大提高了照片修图的效率。
人脸皮肤的精细缺损修复和去暗沉。你一输入“牙齿”来修复牙齿上的缺损,照片中模糊的脸就清晰地重现了。全身美告别大粗腿和水桶腰.……AI技术正在让修图成为大师。
钍
在旺季或者拍摄任务激增的时候,从拍摄到开拍的周期甚至可以长达一个月左右。尤其是人像处理部分,更考验修图师的专业技能。而培养一个合格的修图师,需要很高的人力物力成本,还面临人员频繁流动的风险。
美图创始人兼CEO吴在接受科技日报记者采访时表示,据不完全统计,商业摄影一年最多可以修图120亿张。大量复杂的重复性工作和高技术门槛给商业影楼带来巨大的成本压力。在AI技术的帮助下,重复繁杂的后期修复工作不仅可以提高商业摄影后期修复的效率,还可以为商业摄影行业提供美学与艺术深度融合的专业级图像处理服务。
由美图科技大脑——美图影像研究院自主研发的美图云秀,通过智能预设功能,可以一键完成照片的批量处理。其中,面部优化功能可以修复面部瑕疵,打造娇嫩肌肤;妆容调节功能可以实现妆容的智能调节。此外,美图云秀还可以完成80多项修图任务,如塑造立体五官、实现不同区域全身美颜、美化身体皮肤等。同时,灵活自由的参数定制也满足了用户更专业的修图需求。
“美图云秀还提供滤镜特效、牙齿修复、去除双下巴、平滑皮肤、缩头、一键仿妆、背景增强、多体美颜等独特功能,可以帮助影楼快速完成80%左右的收尾工作。”技术副总裁、美图影像研究院负责人刘说。
中国的影像软件技术在AI方面取得了长足的进步。
今年3月30日,美图披露了2021年度业绩报告。报道称,美图的R & amp2021年d投资达到5.455亿元,比2020年增长35%。
随着我国影像软件行业技术研发投入的不断加大,近年来,我国影像软件在技术能力上有了长足的进步,部分已经输给国外同类产品。
“我们的视频美颜App——Wink,其视频人像美化功能需要将人像美颜从图像延伸到视频维度,这就需要实时人脸检测与跟踪、分割、3D建模等技术与人像美颜算法有机结合。同时还要应对视频抖动、侧脸大等极端情况,为用户提供满意的效果。”刘罗说。
“用户拍摄的照片或视频存在清晰度低、画质差、噪点多等问题。我们可以利用基于深度学习的图像质量增强技术来提高用户照片和视频的质量,满足他们的拍摄需求。同时,我们也将深度学习应用于人像美颜。比如我们自主研发的AI皮肤光滑技术,不仅能去除面部瑕疵,还能保留细腻的肤质。”吴对说道。
“我们研发的基于AI的人体美颜技术,并不是简单的拉伸人体,而是先结合人体三维重建、人体分割等技术,建立人体的三维模型,然后利用深度学习算法,学习美化后的人体模型的变形。同时对背景的网格(网格)进行建模,从而缓解背景的变形和扭曲,最终达到用户满意的人体美颜效果。”刘罗指出。
此外,美图证件照应用的人像抠图技术,可以实现发际线的精细抠图,完成证件照人像的一键穿衣,保持人像与背景的光线和谐。基于AI的附加发技术,可以调整发际线,改变发色和发型,让头发显得更加蓬松。
未来,人工智能将如何赋能影像技术?对此,吴表示,一方面,基于人工智能的影像技术将与各行各业有更多更深的融合,这也对影像技术提出了更高的要求。另一方面,通过3D技术和AR技术为用户提供身临其境的交互式虚拟体验也是未来成像技术的热门方向
ai智能修图能代替人工修图吗?(ai 修图)
近日,计算机视觉顶级会议CVPR 2022公布了会议录取结果,美图影像研究院(MT Lab)与北京航