对美的追求伴随着OPPO品牌发展的方方面面。
从设计的工艺美,到毒色设计的色彩美,再到UI和UX设计的交互美,最后不可或缺的当然是美女的颜值美。在许多手机厂商中,做美颜算法OPPO绝对是最认真:P51开启的非智能机时代自拍的巅峰,U系列自拍手机、R系列等众多的功勋机型,巩固了OPPO在自拍领域的优势地位,最美的人永远是你自己。国内
进入5G时代后,OPPO不再满足于简单地将美颜算法应用于静态照片。他们紧跟时代视频发展步伐,开辟了全新的人像美颜战场3354人像视频美颜——FDF全维人像视频技术体系。
00-1010作为OPPO对外的科技盛会,OPPOINNODAY是OPPO将带来最新最酷R & amp所有行业用户的成功。在5G时代进入新篇章之前,OPPO INNO DAY 2020展示了其在理念、战略和技术产品上的全方位飞跃:OPPO“科技为民,让世界美好”的技术选择,“3 N X”技术飞跃战略,探索新形态、新生活、新交互的三大概念产品,以及伴随发布的OPPO全链路色彩管理系统和FDF全维度人像视频技术系统,将这场技术盛宴推向高潮。
我们把目光从消费市场拓宽到专业市场。视频的人像美颜和护肤技术一直是整个行业发展的难点:在专业领域,依靠昂贵的美容师全程陪伴,专业的百万人会不惜时间和成本一帧一帧的修复视频。在民用领域,各种Pr、FCP的剥皮插件,以及一些短视频软件自带的美颜功能,要么效果相对不理想,要么背景歪了或者整张照片在人物剥皮美颜中失去质感。从静态照片到动态视频,其技术水平远超想象。
近年来,随着AI和机器学习的引入,手机技术走上了智能化的快车道。作为手机产品的边缘算力,OPPO将目光投向了AI,创新性地打造了两个针对性极强的引擎:感知人像引擎和画质增强引擎。双剑合璧,打造了OPPOFDF全维视频人像技术体系。
从静到动,要克服的困难远超你想象
从字面上看,感知人像引擎的作用非常明确:找到你的脸,锁定你的脸,分析你的脸。说起来容易,但实际计算过程绝对超乎你的想象。
根据OPPO给出的信息,感知人像引擎主要分为以下几个功能:AI人脸检测、AI人脸关键点检测、AI超清人像、OFL皮肤优化算法、人脸扭曲矫正。正是对审美的不断探索,为《人更美》视频提供了强有力的保障。
AI人脸检测和AI人脸关键点检测,这两项关键技术已经成为FDF全维视频人像技术系统的核心算法。在如今的视频拍摄场景中,面部识别和面部对焦已经成为一项基础技术。如何在基础技术上发挥更大的作用,AI的引入和算法的优化非常关键。OPPO采用深度可分卷积模型,减少参数数量完成相同数量的特征图。在该模型中,采用金字塔FPN结构以达到更高精度的检测效果。根据OPPO给出的数据,AI人脸检测准确率为99.78%,单帧
检测耗时25ms,更准也更快。
将人脸识别到后,如何将人脸的关键点检测出来至关重要。特别是在没有TOF镜头、3D双目镜头的辅助下,如何让手机影像,从平面识别变成立体识别,从立体识别中获取人脸关键点成为了难点。OPPO智能感知与交互研究团队,凭借在计算机视觉领域的深厚积累,优化LOSS函数,加入关键点是否可见判断、人脸角度判断等辅助信息,将人脸关键点数量提升至296个,基于WFLW数据集的模型NME为4.71%(学术界最好的模型NME约为4.36%)。
有了这些基础性配备,OPPO就能将所有的精力放在视频的人像美颜、美肤上。OFL肤质优化算法分为两部分——AI肤色检测和AI祛瑕疵。OPPO的AI肤色检测超越了行业传统定义的皮肤检测,不仅仅检测面部的皮肤区域,更涵盖了脖子和手部皮肤的区域,使得美颜后脸部皮肤和脖颈、手部不会出现色差的情况,让最容易暴露女性生理年龄的手部皮肤也能获得最全面的呵护。据悉,AI肤色检测能实现96.5%的皮肤区域检测准确率和97.4%的脸部皮肤精度。
而AI祛瑕疵,更是让每个人手机中聘请了一位专业的化妆师、美妆师。每个用户的脸上总有一些天生的“瑕疵”,如美人痣等天生特性,在不少的美颜算法中会将用户的天生特性“完美祛除”,“过于完美”成为了不少美颜美肤的“缺陷”。AI祛瑕疵的智能识别瑕,通过大量的机器学习,精准区分天生特征和后天瑕疵,让每一丝专属于你的美好,留在记忆中。
人脸畸变矫正可谓是OPPO适应超广角镜头普及所推出的杀手级优化。为了获得更佳的视频防抖拍摄效果,为了获得更好的静态照片视角,超广角镜头成为了不少用户影像的主力,但伴随而来的是不矫正前的过度畸变和矫正后不正常画面变形。而OPPO的做法更为简单明了:将人像部分与背景部分单独进行畸变矫正,保证背景部分得到充足的畸变矫正之余,人像部分也能做到自然的体态美。
AI超清人像的用途就更为广泛了,针对用户视频拍摄容易模糊的场景(暗光、长焦拍摄、轻微的抖动等),利用AI算法对画面进行处理,获得更加锐利、清晰的画面;同样地,该算法对于画面的噪点变现也有一定的优化作用。
总得来说,感知人像引擎大幅度压榨了手机的AI算力,借助大数据、机器学习、神经网络模型等,革新了用户绝大多数日常场景的使用体验。
画质增强引擎:拍得更好看就是我的责任
感知人像引擎的存在,让用户拍出山好水好景,美人更美成为了可能。而画质引擎的存在,则将用户拍摄更高质量的视频门槛大大降低。
最新的画质增强引擎主要分为两个大的功能,分别是防抖算法的优化还有超级夜景模式与视频HDR的融合算法。
在目前OPPO十分优秀的超级视频防抖Pro算法面前,OPPO要将其应用高度、使用场景进一步扩展实属不易。新一代的算法优化了场景检测,通过检测手机陀螺仪、加速度计和Sensor的数据,对运动轨迹、姿态和曝光进行判断,建立不同拍摄场景下的抖动模型,并针对性地匹配防抖策略。提升用户的防抖效果。
全新的防抖算法
在全新的超级防抖算法中,OPPO还加入了全新的移动延时摄影玩法,增加运动趋势判断,使被抽取出来的多帧画面过渡更平滑,并且实现更长时间跨度的防抖。手持媲美专业云台不再是梦想。
在超级夜景视频带来让人惊叹的拍暗叫绝后,OPPO将夜景视频拍得更好看作为下一步的奋斗目标。将夜景视频与HDR模式相匹配,增加画面的层次感,在视频中彰显五彩斑斓的黑与五彩斑斓的白。
业内首个也是业内最强
人像视频领域作为行业新赛道,OPPO将自己对自然美的理解、对人像美颜的思考倾注FDF全维视频人像技术系统中,为行业的下一个发展趋势开启了一个好头。
无论是对于消费领域亦或是专业层面,该技术的出现大大降低了用户拍摄视频的门槛与难度:特别是对于爱美的女生而言,她们能在静态照片中展现最美的自己,但没有完美的视频美颜技术让她们一度落后与视频化时代;对于专业领域,随着手机影像力的不断攀升,对于一些轻度的视频,甚至说在一些主流的移动端传播的视频资源,借助FDF全维视频人像技术系统,他们能大大减少后期的工作量,用手机拍、用手机剪、用手机发布再到在手机上传播,一个十分完整而全面的行业技术闭环就此形成。
开放API接口
随着5G普及进入深水区,5G如何应用的问题成为了大家都必须回答的问题,OPPO用敏锐的目光押宝视频人像技术,推动视频化时代普及再度迈上新台阶,让4G从人人都是生活视频的导演,到5G人人都是生活视频的主角。想拍就拍,就拍得好看。
科技自然不是一个人的独舞,既要引进来更要走出去,让“科技为人、以善天下”。据悉,OPPOFDF全维视频人像技术系统将开放给广大的第三方厂商,让每一个OPPO用户,不再做选择,原生相机满足绝大多数用户需求,第三方应用同样能将天生的硬件高水准发挥到极致。
当然,OPPO未来科技大会所公布的技术,并不会让用户只能在遥远的未来才能触及。在12月OPPO即将发布的新品中,FDF全维视频人像技术就能与广大消费者见面,你与未来的差距,弹指一挥间触手可及。
结语:不讲武德
在OPPO全新开辟的领域中(视频人像技术),用不讲武德来结束本文不足为过:OPPO在探索自然美的道路上,越走越远,走出自己的风格,从用户痛点出发,以提高用户使用幸福感为己任,让最广大的消费者尽享科技之美好。搭载OPPOFDF全维人像视频技术的新品即将到来,12月让我们一同期待。