狂战士的身体，精致的五感，生动的眼神，以及和人类没有区别的动作和表情。 在万物萌芽的这个季节，由詹姆斯卡梅伦执导的电影( 《阿丽塔：战斗天使》 )的女主角艾莉塔( Alita )也开始在电影界燃起熊熊大火，扎根于无数热爱暴力美学的人们心中。
为了在心中打造完美的“战斗天使”，卡梅伦此次启用了世界级特效公司Viter工作室，将电影制作中的“动作捕捉”升级为“表演捕捉”。
那么，“动作捕捉”和“表演捕捉”是什么呢？ CG效应是如何体现在我们的日常生活中的？ CG技术在新时代会和AI在更多的技术方面融合吗？
真人表演需要CG吗？
“《阿丽塔》活用了‘演技捕捉’技术，在人物形象上发挥了电影界史上的巅峰效果。 这个技术对CG角色的构筑产生了卓越的影响。 ”杭州相芯科技有限公司(以下简称相芯科技)市场总监秦飞表示。
他指出，构建CG角色时应用的传统技术是“动作捕捉”。 人、动物等真实演员佩戴专业装置，在膝盖等运动关键部位设置跟踪器，通过捕捉这些点在空间中的位置来还原真实演员的动作。 另一方面，多个摄像机从多个角度同步地捕捉运动，并将这些运动渲染到适当的虚拟图像中。 除了虚拟形象以外，还有使用该技术的著名角色，例如《阿丽塔》的猩猩王凯撒、《猩球崛起》系列的格鲁姆等。
“表演捕捉是在传统的“动作捕捉”的基础上增加了“表情捕捉”。 ”秦飞进一步解释说，真正的演员表演时要“全副武装”，脸上也要打上密密麻麻的特征点标志，戴上特制头盔。 表演时，用多台摄像机多角度同步拍摄，将拍摄的数据与制作的虚拟人物的骨骼、皮肤等融合，制作角色的CG模型。
秦飞从专业的角度还原了《指环王》主角的拍摄过程，首先在饰演亚里达的罗莎身上安装了一个装置，让罗莎按照剧本进行表演，电脑对表情和动作的基本数据进行了另一个“压力测试”，对肌肉伸展到最大时的极值最后通过人为调整，阿里塔不仅能做出动作和表情，瞳孔的细微变化也能更接近现实。 传说有一出戏叫《阿里塔吃橘子变酸》，特效公司导演选择了2000多种动态效果。
与普通表演不同，在“捕捉表演”时，演员掌握了密切的连接设备，承受着巨大的心理压力，面对着绿色的帷幕，许多场景都是没有实物的表演。 那么，可以不依赖真人来表现CG角色的动作和表情吗？
“目前，要达到艾莉塔那样的水平，需要真人表演。 现有技术不需要人的驱动就能移动虚拟人物，但在电影中虚拟人物从整体像到表情、动作、肢体等都像人一样，根据场景的不同会有不同的反应，从而带来大量的数据积累和算法优化。 ”秦飞强调。
普通大众也能起到CG效果吗？
这样迷人的特效只能在电影院欣赏吗？
“电影是产业性的APP，非常讲究精密化。 艾莉塔之所以如此引人注目，是因为她能跨越“恐怖谷效应”，让虚拟人物无限接近真人。 这需要技术、算法和设备的持续优化升级，以及巨大的人力、物力和时间成本。 ”秦飞介绍，电影《阿丽塔》专属特效制作团队超过800人，渲染电影启用3万台电脑，渲染总时间达4.32亿小时，制作成本1.7亿美元，共计11.5亿
“但是，既然有‘工业级’的技术，‘民生级’的技术也是当然的。 所谓“民生级”，一般大众也追求发挥CG效应。 ”秦飞表示，去年底，相芯科技与浙江大学合作成立了“智能图形计算联合实验室”。 此举旨在进一步打破传统图形软件只能供专业用户使用的技术障碍，让广大公众体验好莱坞特效。
“以人脸为焦点的CG效果。 其核心技术包括面部检测、面部跟踪、面部重构、深度学习、表情视频等。 只需用普通手机拍照或输入，即可生成合适的虚拟形象，并实时移动该虚拟形象。 目前，基于这些技术，我们已经拥有美颜美型、智能贴纸、情绪识别、背景分割、3D动画表情Animoji等一系列成熟产品，包括短视频、直播、社交、游戏、智能家居、广告妈妈”秦飞说。
“3D动画表情其实是《阿丽塔》表情捕捉的简化版，通过检测人的眼睛、鼻子、嘴等特征，用口袋和佩奇等来表现用户的表情。 ”秦飞表示，智能美颜也是CG特效的一种，技术原理也是通过捕捉用户脸部特征点对线条和颜色进行修改。
人脸的AI建模如何“精致”？
随着技术的成熟，CG的应用将会越来越广泛。 在AI热潮高涨的今天，CG也会上升到另一个高度吗？
“从电影的层面来看，《阿丽塔》的出现可能会让更多的电影人和特效公司投入到这个领域。 要升级特效，与AI的融合是必不可少的。 ”在秦飞看来，AI是机器对人类的学习和理解，CG将AI学习和理解的东西再次还原，两者相辅相成、互有收获。
“在民间层面，AI和CG的合作也是必不可少的。 至于能否快速发展，能否广泛应用于更多领域，还要看市场需求有多大，是否有更多的人力和资本等涌入，不断优化技术应用。 ”秦飞说。
2000年初，相芯科技创始团队开始从事这方面的研究，并推出了多项人脸建模相关技术，目前已服务于400多家国内外客户。
脸部的AI建模是怎么炼成的？ “为了让人们在日常生活中获得更方便的体验，我们的面部建模技术依赖于最简单的输入。 一张照片通过现在主流的深度学习技术，可以完全自动生成脸部的完整三维模型。 ”秦飞说。
认为二维上升到三维的过程必然是困难的。 “三维物体的重建和二维视觉分析任务有很大的区别。 ”秦飞指出，三维重建与二维图像的特征物理分析、识别相比，有空间位置的数据需求和表示，这对深度神经网络提出了新的要求； 其次，视觉分析的任务侧重点在“分析”，三维建模的侧重点在“展示”，两者的最终目标相差较大，需要明确设计具体的算法； 最后，AI算法非常依赖数据，但三维数据的获取比图像数据困难得多。 二维照片网上有数以亿计，但很难找到三维雕塑的数字模型。
你怎么解决这些问题？ 相芯科技研究团队利用深度传感器采集多人多视点图像，通过几何处理得到这些人的三维人脸模型，并配合相应的拟合优化策略将这些数据扩展到更大的范围和尺度； 设计了一系列神经网络架构，将上述复杂的三维数据科学表示出来，只要有“骨骼”和积累的数据“血肉”，就可以全自动生成三维人脸。
“为了适应民间技术的特点，我们在‘表现’上又有了新的突破，提出了‘数码形象造型’技术，可以从一张照片中塑造出既有本人特点，又有某种艺术风格的三维形象。 想象一下，在冰雪女王的公主风格中加入用户自身形象的特征，是否能圆了现实生活中无法实现的公主梦呢？ ”秦飞说。 (吕苏娟实习记者是紫月() ) ) )。
