鱼来自奥菲庙。

量子比特报告|微信官方账号QbitAI

要说现在什么AI技术最接近大家伙，那真的非AI特效游戏莫属。

想要整个手绘头像，不需要点亮自己的绘画技巧。拿起手机打开APP拍照。AI“秒秒”自动帮你搞定。

Aauto更快的“手绘封面”特效

而且不再局限于单张照片。短视频的每一帧都可以被这样的麻瓜“魔法”覆盖。

各种艺术风格，只有你想不到的，没有AI做不到的。

不过，别看这些特效滤镜层出不穷，总会掀起一波网络狂欢。从一款机型的诞生到它真正进入你的手机，背后的故事真的不是三言两语能轻易说清的。

00-1010下面就以Aauto Quicker的爆火手绘特效为例来详细讨论一下这个事情。

首先，自然是算法层面的一系列操作。

从用户拍摄的视频/照片到AI输出“手绘作品”，在AI看来大致是这样一个过程：

将ISP处理过的视频/照片发送到App。AI接收到要处理的图像时，会提前对每一帧进行预处理，统一格式和大小。

接下来可以开始检测和切割图片中的人脸，使用定制的“艺术家”神经网络(如U-Net等。)来处理它。

本步骤生成的手绘效果进一步与输入帧融合后，初步完成手绘效果。

当然，在正式输出之前，每一帧都要经过一个化妆美颜的步骤，以提高整体形象的质量。

这时候可能有朋友会问。现在，各种开源的生成算法已经非常成熟。为什么把它们直接搬到手机上那么难？

不不不。

更不用说为了最大程度的保留用户的五官和外貌特征，同时兼顾手绘风格的审美和艺术效果，需要对AI模型在整体风格和局部细节上进行更加严格的训练。对于Aauto faster这样的应用来说，训练一个稳定易用的模型往往只是第一步。

更大的困难在于载体本身。

手机作为移动设备，计算能力有限。也就是说，AI的手绘能力越强大，技术越复杂，手机就越难流畅运行而不卡顿。

对于我们用户来说，如果特效是个卡卡卡卡，电量下降，那就一点乐趣都没有了。

另外，像手绘滤镜这样的算法，默认运行在手机的CPU上。CPU是通用计算单元，运行AI工作负载不是最佳选择。

怎么解决？一般有以下三种思路。

第一个想法是从算法上压缩模型。以Aauto Quicker为例，AI滤镜背后有定制化模型压缩算法的加持，使得在考虑各种边界条件和有限计算、内存资源的情况下，最小化模型的计算量成为可能。

但无论如何优化算法，硬件水平的限制仍然是无法回避的问题。

于是就有了第二个想法，上云。许多App提供商会选择在云端进行复杂的AI处理，以解决移动端计算能力不足带来的挑战。

然而，这又引发了新的问题。——在云端计算时，会受到网络环境的影响，产生额外的时延等变化，没有办法满足线下的需求。

所以第三种思路是直接从SoC硬件厂商这边解决问题。

以最常见的高通骁龙移动平台为例。其高通人工智能引擎在硬件方面，加速了人工智能计算。

00-1010高通人工智能引擎实际上是内置在小龙移动。

动平台的一套完整软硬件AI解决方案。

在硬件方面，高通AI引擎采用多核异构计算方案，包含：

Hexagon向量处理器Adreno GPUKryo CPU

因此，通过智能调度CPU、GPU和向量处理器来进行AI运算，高通AI引擎能充分发挥出不同架构处理器的优点，在实现高算力的同时，最大限度保证能效。

而在软件方面，高通AI引擎的软件工具包括：骁龙神经处理SDK、Android NN和Hexagon NN。利用这些软件工具，像视频平台这样的算法开发方，就能够快速接入高通AI引擎，充分探索AI算法的性能边界。

事实上，快手和高通早在骁龙765移动平台推出时就展开了合作。针对App在移动平台的性能、功耗、扩展性和兼容性等方面的需求，高通神经处理SDK能够以软件的方式提供支持，并释放CPU工作负载，通过Hexagon处理器来实现AI加速。并且，双方还在模型量化压缩方面开展了合作，在提升模型性能和能效的同时，确保AI处理的精确度。

由此带来的效果可以直接用一组数据体现：手绘滤镜帧率（FPS）提升56%，功耗降低32%。

而在今年，随着新一代骁龙778G移动平台的推出，双方的合作还在进一步加深。核心围绕的，就是第6代高通AI引擎。

骁龙778G支持的第6代高通AI引擎包含高通Hexagon 770处理器，算力可达12TOPS，性能较前代平台实现翻番。为便于大家参照：苹果A14为11TOPS。

此外，骁龙778G采用的全新Qualcomm Spectra ISP，支持每秒处理20亿像素，能够为高通AI引擎运行特效算法提供额外加持。

快手Y-tech AI工程组负责人边红昌针对这项合作，还表示：

与高通技术公司的出色合作帮助快手突破了AI算法的性能边界。我们很高兴能够与高通继续协作，充分发挥骁龙高端芯片的强大异构计算能力。通过增强神经网络性能并提升输出质量，我们将能为用户提供更具吸引力的应用和更高价值。”

“AI大厂”高通？

说起高通，或许你的印象还停留在“一家手机芯片厂”，长于游戏和图形。

但从手绘滤镜这个案例中，就不难看出，其实高通早已是一家AI大厂，还是App开发商们乐于携手合作的那种。

事实上，早在AI方兴未艾之时，高通就已经将AI视为技术发展的重点。

在2007年，高通旗下的Qualcomm Research就启动了首个人工智能项目，并于2018年正式成立Qualcomm AI Research。

2015年，搭载第一代高通AI引擎的骁龙820发布，正式引入高通Hexagon向量扩展内核，以支持更强大的AI处理能力。

在历经6年的逐年迭代之后，今年同样搭载第6代高通AI引擎的骁龙888 Plus，已经实现了高达32 TOPS的强大算力。

并且，高通的AI能力或许也比你想象的更深入日常生活。

虽然不像App里的AI特效算法那样让人感知强烈，但你的手机、手机应用越来越智能背后，或多或少都有高通AI引擎的影子。

最近就有新例子——

搭载了骁龙888系列的荣耀Magic 3，通过场景元素识别和智能匹配、推荐，实现AI影调推荐功能，让用户在手机上也能拍出电影大片的质感。

而同样搭载了骁龙888 Plus的小米MIX4，惊艳的屏下摄像头落地背后，少不了AI图像增强算法的加持；更有全景AI翻译新玩法，带来同声传译、屏幕翻译、拍照翻译、AI字幕等实用AI功能，让用户能在刷视频、线上会议等诸多场景中，都方便体验到AI“翻译大师”的服务……

黑科技有多复杂？那不是大多数用户需要考虑的。

但在高通与其合作厂商的碰撞中，更多的黑科技正在成为生活的常态。

拿来就完事了，你说呢（手动狗头）？

—完—

@量子位 · 追踪AI技术和产品新动态

深有感触的朋友，欢迎赞同、关注、分享三连վ'ᴗ' ի ❤