以下文章来源于NExT Studios,作者手动捕获了达人的动作捕捉
也称为动态捕获,是利用外部设备对人体结构位移进行数据记录和姿态恢复的技术。 它广泛应用于军事、娱乐、体育、医疗、计算机视觉、机器人技术等诸多领域。 在电影制作和电子游戏开发领域,通常记录人类演员的运动,将其转换为数字模型的运动,生成二维或三维的计算机动画。 [1]在[1]中
动作捕捉技术已有100多年的历史,其前身“旋转扫描仪技术”是由马克思弗莱彻( Max Fleischer )于1914年左右发明的。 这种技术可以把演员的表演录制在透明的平面里,逐帧跟踪他们的动作。 1937年迪士尼利用这一技术制作了《白雪公主与七个小矮人》 ( snowwhiteandthesevendwarfs )、《灰姑娘》 ( Cinderella )等。 而转录技术在中国动画中广泛应用是在1941年的第一部动画电影《铁扇公主》。
[由扫描技术制造的《白雪公主》 ]1960年,现代运动捕捉之父Lee Harrison发明了Animax,并在1990年《指环王》(thelordoftherings )中首次出现了桃动作数据的易获取性使得动作捕捉技术迅速发展,并相继被完整、大规模地运用于游戏和电影行业。
[ 《指环王》运动捕捉效果]国外游戏开发商通常拥有成熟的生产线,可以提高动画制作的质量、效率和全球团队的协作生产。 例如,固始犬( Naughty Dog )在Vicon Maya中为《美国末日》0 ( thelastofus ),圣莫尼卡工作室( SIE Santa Monica Studio )在Vicon Maya MotionBuilder中为0755-7900
[ 《战神》动作捕捉效果]xMoCap应运而生,随着3A游戏、虚拟形象、VR等项目的增加,业界对高品质角色动画的需求越来越高,制作团队的队伍也越来越庞大在此之前,腾讯内部还没有基于动作捕捉的游戏动画生产线,但由于公司各工作室对动作捕捉的需求巨大,全球异地合作的需求和全球在家办公已成为常态。 我把项目中的课题总结为3个。
如何让大团队紧密合作高效生产? 如何在给定的周期内生产大量的角色和动画数据? 如何保证角色和动画的质量? 于是,NExT Studios自研的xMoCap——3A级标准运动捕捉动画生产线应运而生,包括角色绑定、运动捕捉、动画工具、资产管理和运动捕捉数据库从2018年至今,经过多次技术迭代,目前已在公司10个工作室和20个项目中使用,目前累计生产了25,000条运动捕捉数据和2,250,000秒的动画。
]由xmocap完成的数字宇航员小谗言动作捕捉]xMoCap一针见血地指出,如果把整个动画生成过程比作房屋的建造过程,那么房屋的地基需要足够的结实和材料标准才能屹立不倒。 xMoCap的基础是绑定和运动捕捉硬件,首先通过绑定工具生成控制器,然后完成数据采集,同时将发布器提交给资产管理器,在运动捕捉工具箱中使用运动密钥最后在动画工具箱中进行数据精加工,最终导出到UE。 整个流水线高度自动化,人才得到释放,艺术家可以集中精力生产,发挥自己的创造力。 绑定是3D动画制作过程中的重要环节。 创建模型后,绑定工程师(或设置工程师)需要向模型中添加骨骼和控制器,并正确分配骨骼权重,然后动画制作人员才能通过操纵控制器创建三维动画。 [2]xMoCap提供了各种类型的绑定工具来帮助动画制作人员。提高生产力。 Rigging Tools Box可以自动创建控制器和快速创建其他控制器。 也可以使用从Maya插件mGear/Advanced Skeleton和3ds Max Character Studio创建的骨骼作为模板,并通过一键自动创建两条腿或四条腿的控制器。
运动捕捉数据依靠NExT旗下的xLab运动捕捉实验室的硬件设备和运动捕捉现场解决方案,xMoCap涵盖硬件和软件两方面,现场运动捕捉和后期我们拥有良好的音响环境和消声设施,提供现场动捕和面捕技术支持,提供动捕数据修复和重定向服务,提供面捕数据在线咨询服务。
[运动捕捉工作室中的运动捕捉]目前市面上没有支持在运动捕捉设备上处理运动捕捉数据的DCC插件。 xMoCap会自动检测主要的运动捕捉设备(如Vicon、OptiTrack和Xsens )并自动处理数据。
“支持主流捕获设备”资源管理器资产管理器Asset Library可显示服务器角色,使用附带的“资产创建器”发布资源,并可一键快速获取各种角色的动画数据基于perforce的云数据管理可以确保美术人员都有最新的数据,从而实现协作开发。 xmocapassetmanager的标准化资产提供了所有工具集,使团队协作开发更高效、管理更智能,并具有:
资产标准化视频数据一键式资产重定向同步快速更新绑定自动提示更新资产版本删除及添加服务器资产手动捕获数据处理资产管理器项目手动捕获数据资产查询NExT自研究项目《美国末日》为例, 由于大多数团队成员目前都在上海居住,因此团队之间的流程都是“资产管理器(动画和静态模型)”—同步资产使用—搜索云资产和数据上传—实现
[ NExT自研游戏《重生边缘》 ]视频生产在采集到运动捕捉数据后,xMoCap自动清理运动捕捉数据,进行数据重定向,进入项目闭环视频生产我们有各种实用的动画工具,有助于加速动画师的完成。
[ xMoCap标准化动画生产流程示意图]
xMoCap多面强手xMoCap作为“视频生产全流程流水线”,解决了很多功能性和流程性的问题。提高解决了优化视频制作质量、效率和全球团队高效协作生产的难题。 在整个过程自动化程度为50%的传统动画生产过程中,运动捕捉和动作处理通常属于两个不同的部门。 外部手动捕获部门捕获非标准资产通常需要3-7天的时间来处理手动捕获数据和时间表,然后才能投入项目生产。 如果需要修改动画,则需要在两个部门之间多次转换和重复数据,成本高昂且效率不高。 xMocap可以通过标准化资源在运动捕捉和数据处理过程中无缝连接原始数据和骨架动画数据。 它还提供绑定工具箱、运动捕捉工具箱、动画工具箱、导出工具等,用于绑定角色、运动捕捉数据处理、重定向、动画修复、效果与传统工厂相比,这些工具箱就像生产线上的一个个机器人一样,被放置在不同的生产环节,最后组成了一条生产线。 在这种生产线上,动捕数据可以在1-2天甚至当天处理完成,流水线自动化程度可达50%,能够快速生成高质量的3D卡通动画的完整、流程化的闭环流水线
[ xmocap与腾讯外部运动捕捉生产流程比较]软硬件一体的运动捕捉服务NExT自主构建的xLab运动捕捉实验室拥有视频级现场运动捕捉解决方案标准化运动捕捉数据采集完成后,可以与游戏生产无缝结合。 xLab运动捕捉实验室的优点:
20米(长12米(宽4米)高),最多7人同时支持42个支持vicon vantage16光学相机Timecode的虚拟相机信号切换器) 1600万像素传感器,每秒最高帧
“视频级实时捕捉”一键生成标准化动画资产的xMoCap可以单独处理或批处理来自OptiTrack、Vicon和Xsens的运动捕捉数据。 也可以自动将动画数据重定向到项目角色,并将其批量传输到Max/Maya。 这是一种动画数据处理和批量传输工具,可以满足大多数项目的需求。
“工业运动捕捉工具”]xMoCap可一键实时将动画重定向到任何角色,无需手动执行自动化。
在“实时重定向”精加工阶段,xMoCap动画工具集可以大大减少重复修改和打磨动画的时间。 xMoCap整合了多个项目,经过长期积累,定义了一组资产标准及其相应的标准资产管理器,使大型团队能够顺利有效地协作。 丰富的自研算法和动画工具xMoCap依靠业界最先进的Vicon运动捕捉设备,基于Shogun和业界最受欢迎的MotionBuilder、Unreal等软件进行二次开发,实现运动捕捉对于最容易出现问题的角色四肢,xMoCap自行研究“运动捕捉数据自适应重定向接触动画解算器”和“脚自动修复工具”等,提高提高角色四肢的动画质量如果运动捕捉数据的自适应重定向接触动画解算器的运动捕捉角色的身高比例与游戏角色的身高比例不匹配,则角色的肢体通常会穿透。 目前市场上常见的技术方案以手工修复为主,通常需要几个小时甚至几天才能获得几十秒到几分钟的最终动画,但这种技术通常难以满足动画师和导演的创作和时效的需要。 xMoCap根据运动捕捉数据的特点,提出了一种自动修复角色接触动画的轻量级物理计算方法。 在重定向过程中,为当前角色创建碰撞体,进行碰撞检测和解算,提取关键帧并添加过滤,最后修复动画。 这将使角色动画最接近运动捕捉数据,并将数据的完成时间缩短30 %。
修复前后的图像脚动画每次自动修复演员穿着运动捕捉时,其旋转都会与运动捕捉的标记点不同,或者脚部形状会变得奇怪。 如果使用默认参数进行重定向,则可能很难恢复原始动画的质量。 xMoCap通过算法一键自动优化足部动画,可以快速完成运动捕捉数据的重定向处理,通过旋转矩阵可以优化脚掌动画损失和形态。
[脚动画自动修复算法:修复粘贴误差]
[脚部动画自动修复算法:与脚部地面匹配]各种自磨动画工具xMoCap提供了丰富实用的动画工具,可帮助动画师提高发挥生产力、创造力和制作动画这包括剪切动画、创建动态动画、修改滑动动画、将Story烘焙到take、导出武器动画、镜像动画、视频剪辑零帧化、动画的“Mocap Razor”工具还可以提供快速剪切,保留相应的剪切信息,并在后续过程中重用。
[视频剪切工具]海量视频数据库xMoCap Library云提供了海量的视频数据库。 目前,1500条高质量视频数据,800条自由产权视频(并持续更新,每月增加100-200条),22种动作类型,可以绑定直接一键拖动使用。 通过xMoCap Library动画数据库,您可以将现有的a角色动作数据传输给b角色进行使用,而无需使用运动捕捉设备或真人驱动。 动画角色的身高比率是否相同没有关系。 使用xMoCap Library可以实现早期预研,大大提高生成效率,降低生产成本。
[开源动画数据库]支持多个云协作的xMoCap构建基于云的资源管理器,3D角色可以快速签入,成为云的标准资产。 云上的数据和更新情况一目了然,多方合作降低沟通成本,高效实现闭环。 标准化资产使自动化过程更容易。
基于Perforce服务器开发的资产管理器]xMoCap未来将为xmocap提供绑定、运动捕捉、动画和导出工具箱,以生产运动捕捉动画这些丰富的工具就像工厂生产线上的机器人,与自动化工具结合使用,可以快速、高质量地生成标准化的3D角色动画,并标准化地检入角色和动画数据。 使用xMoCap前后,运动捕捉数据的处理效率提高了200%,整个过程的自动化程度达到了50%以上。
[高自动化全过程]xMoCap有许多新功能正在开发中,包括基于算法的运动捕捉数据自动修复、基于视频的骨骼生成以及对PSD修复的支持,这些都是3A游戏开发中不可缺少的技术。 技术也将继续尝试,应用于其他社会领域,实现更多的可能性。 一起享受吧!