抖音短视频效果(抖音最近特别火的特效)

小法来自奥菲寺的量子位报告| QbitAI，微信官方账号
说到短视频特效，你可能第一时间会想到“Tik Tok特效”。
是的，Tik Tok的特效似乎总是如火如荼，像是用一段视频让你“回到三岁”:
视频来源@ Sunny
或者另一个动作会打破维度墙，PDD也会变美：
事实上，国内外有许多与AI相关的特效技术的app，但在手机上运行后，Tik Tok往往是最受欢迎的一个。
类似特效背后的AI技术其实是接近的，但是Tik Tok做出来的特效是逼真的，流畅的，有爆发力的。
Tik Tok长盛不衰的特效秘诀是什么？
只要5M，效果堪比虚幻引擎里的一个特效，但是渲染效果和运算时间都可以打磨到极致。
其中，渲染效果依赖于CV(计算机视觉)CG(计算机图形学)算法的改进，而计算时间依赖于模型的优化。
对于计算机来说，CV算法可以让它准确地“理解”一张照片中的内容。小到特效的拟合和实时跟踪的精度，大到整个图像的分辨率提升和风格变化，都属于CV算法的范畴。
合成菠萝等贴脸特效，或者高清修复老照片，或者“重返三岁”、“卡通脸”等整体画风的迁移，都属于CV算法的“职责”。
Tik Tok使用的CV算法基本上是自主开发的。仅CVPR 2021，就有14篇论文被字节跳动选中，涵盖NAS、图像恢复、行为识别等方向。同时在运动目标检测、细粒度图像识别、视频分类的比赛中获得冠军。
先说CG算法，让计算机做出以假乱真的特效，结合CV算法粘贴在图片或者视频上。
像常见的PBR算法，只渲染“基础习题”；电影《Tik Tok》中常用的粒子系统也将用于手机特效。除此之外，还有透明材质和高光效果.比2D贴纸更接近真实场景。
3D渲染与2D程序的火焰效果对比
但无论CV算法还是CG算法，模型越大，渲染效果越好。
影视行业甚至有一种说法：“一个1秒的顶级特效，如果用专业的渲染算法实现，可能需要连续渲染50天。”
这样的特效模式永远无法满足用户的实时拍摄需求，更别说流畅度了。
不过据火山引擎技术专家杨辉介绍，Tik Tok的5MB渲染效果可以达到和虚幻引擎中达到的效果一样。
是的，为了保证特效的流畅运行，Tik Tok的特效模型被严格限制在5MB，方便用户实时使用。
这个5MB，所有文件包括模型，地图，动画，特效和逻辑触发机制.
在极度压缩计算时间的背后，是结合了自研渲染引擎的云渲染技术。
在渲染工具方面，Tik Tok没有选择Unity或unreal engine进行特效制作，而是开发了一款针对短视频和AR的轻量级渲染引擎。
自研引擎侧重于增强短视频拍摄所需的特效算法，省略了一些游戏专属、短视频不需要的特效，以保证渲染效果。
同时，为了让特效使用更好的渲染算法，Tik Tok自主研发了云渲染技术，将原本应该由手机硬件计算的特效放到服务器中进行计算，然后将效果实时传输给用户。
这样，原本GPU级别计算量的渲染特效，现在可以在手机上实时完成，效果提升也很明显。
比如渲染算法中的粒子系统，只有用GPU计算才能发挥更好的作用(烟花特效)。相比之下，CPU计算的粒子系统更细(控雨效果):
2021年烟花特效vs vs 2018年控雨特效
然而，尖端的CV CG算法和自主开发的工具只是Tik Tok特效的一部分秘密。炸药频频爆炸，与其成熟的输出工艺和完善的工业化体系是分不开的。
火山引擎：技术井喷一项技术能否常青，取决于它带来的产品能否批量生产，适用场景是否全面，特效也是如此。Tik Tok特效已经满足了这两个条件：
一方面，根据Tik Tok和火山引擎联合发布的《抖音特效数据报告》显示，2021年上半年，平均每天在Tik Tok平台上线超过100个特效爆炸，平均每5个用户贡献中就有1个使用了特效。
这意味着Tik Tok有能力以流水线的方式制作特效。同时，这些特效的质量足够五分之一的投稿使用(目前Tik Tok的日活用户已经达到6亿)。
也让特效设计更容易。在Tik Tok把特效变成“创意生产线”之前，特效设计师并不是一个“低门槛”的职业。据抖音设计师游洋介绍，他原本是一名后期影视艺人，但在Tik Tok成功成为特效师，身边也有越来越多的同事在加入这个职业。
另一方面，特效技术在Tik Tok的应用场景早已触及各行各业，不仅仅是Tik Tok APP。
汽车行业，用AR看汽车有特效；美妆行业，使用AR化妆特效；在传统媒体行业，数字人技术被用来制作虚拟主持人和虚拟客服.
AR试妆
可以预见的是，Tik Tok特效已经不再是最初短视频拍摄中使用的特效，而正在逐渐成为一种“创意数字内容”。
圆圈的Tik Tok特效已经成为《字节增长的秘密》中另一个不可或缺的重要地图。
现在，字节跳动以火山发动机的形式将它们全部公之于众，——。
没错，就像字节管理能力的“井喷”产物，字节技术能力的井喷带来了火山引擎。
作为曾经在字节跳动使用的技术平台，火山引擎不仅“储存”了Tik Tok所有特效背后的算法技术能力，还包含了从制作、品控到特效落地的所有工程技术。
实际上，为了加快制作速度和降低技术门槛，Byte将Tik Tok特效背后的算法技术变成了各种模块化组件。
比如Tik Tok把常见的CV和CG算法做成组件后，设计师只需要拖动阅读条或者按下按钮就可以在特效中使用这个功能。
在算法制作过程中，包括训练到推理，Tik Tok采用自主研发的推理框架和训练平台，保证APP最合适的运行速度。
质量审核方面，特效设计会进行效果评级，资质够了才能上线；同时在Byte内部成立了专门的创新团队，保证算法的前沿性和创新性，设计出更多的组件来满足设计者的需求(这里有很多高层会议的论文)。
在落地上，Tik Tok还会考虑用户体验，以及客户在不同场景下的定制需求。
例如，Tik Tok采取了针对不同手机性能的分级策略和优化运行速度等技术措施，将系统崩溃率降至十万分之一。
同时采用资源分配等技术，保证用户无需更新软件即可使用新的特效；面对不同的场景，Tik Tok特效也可以适应不同的分辨率、界面类型和型号。
所有这些，加上前沿的算法技术，构成了Tik Tok特效成功的秘诀。
《字节技术没有秘密》7月28日，火山引擎和Tik Tok联合宣布，将向客户开放数万张Tik Tok的同款特效。
这意味着字节跳动正在向外界提供包括算法、道具资源在内的Tik Tok特效所有优势的技术服务，让更多的人享受到这一综合成果。
目前，知球帝、心机APP等一批企业级产品已经在使用火山引擎作为自己的业务增长技术。
未来，火山引擎还计划进一步引入端云协作、多人交互等最新技术，提升用户和客户的特效体验。
可想而知，更多的苏菲
以影视行业和游戏行业为例，这两项技术可以大大降低视频后期制作和游戏美术的成本，比如给一个角色添加马赛克，或者制作智能地图，都不需要另外一帧来手动调整，算法可以自动完成这些步骤。
Byte公开自己所有的成长技术是害怕同行的竞争吗？
杨辉说他并不害怕：
随着时间的推移，任何新技术的进入门槛都会越来越低。我们能做的不是打价格战，而是扩大和更新我们的技术，保证我们的竞争力。
从这个角度来看，字节跳动的增长技术没有秘密。—end—qubit qbitai头条报名关注我们，第一时间获悉前沿科技动态。