鱼肖骁来自奥菲寺量子报道|微信官方账号QbitAI
只给AI两张图，就能得到高帧率动态视频？输入的两个图像，重叠后看起来像这样：
而计算出来的视频来自酱阿姨：
没错，又是视频帧插入算法。极限操作6的常规方法，让老电影丝滑，这个叫RIFE的AI算法也是得心应手。右边的这支经典探戈看起来是不是比左边的流畅很多？
不仅仅是一部老电影，更是一场飞行表演的精彩瞬间。也可以一口气从每秒24帧提升到每秒96帧。
这项新研究来自迪法恩斯和北京大学。旧图像数据不仅能赶上人们对高帧率的需求，支持2X/4X/8X高质量插值，而且还有一个最大的特点：速度快。Quantum bit在Colab上与T4一起运行了一个演示，这是一个720p 25fps的视频，时长53秒。插值到100fps只用了2分19秒。该项目现已开源，有官方演示和第三方Windows应用可供试用。看完RIFE的表演，网友们不禁惊叹。这是要超越经常出现在各种修复视频中的插帧AI DAIN，引领新一波节奏吗？突然之间，RIFE在Reddit上的人气飙升到了2.8k
那么，这种效果是如何实现的呢？
从双向估计到一步预测中间帧视频插值，通常采用光流预测算法来预测中间帧，并将其插入到两帧之间。光，就像光的流动一样，是用颜色来表示图像中物体的运动方向的一种方式。
稀疏光流和密集光流传统的光流预测算法通常是根据两帧视频来预测中间某一帧的长度。插入预测图像后，视频看起来会更丝滑。以DAIN算法为例。如果要预测T时刻的帧，需要T时刻前后两帧视频，通过光流预测算法实现。
DAIN的算法图。但是，这种算法会有一个缺点：在预测过程中，如果由前后图像生成双向光流，并通过线性组合来估计中间流，那么预测结果会在运动边界区域造成伪影。
这种伪影使得重建中间帧图像的效果不令人满意。那么，如果我们换个思路，先直接预测中间流量呢？相比于使用上一帧和下一帧进行两次估计，这里的IFNET(一种专门的高效中间流网络)算法将直接使用直线运动假设对中间帧进行一次估计。
效果也很明显。与前后帧双向估计产生的光流相比，IFNET估计的光流非常清晰，几乎没有伪影。
用这种方法重建图像，不仅可以清晰地看到光流的边缘，而且速度更快。其中提到RIFE是第一个基于光流的实时视频帧插入方案。因为中间帧预测，直接假设前后两帧的变换是线性的，相当于每帧预测直接漏了一个估计。那么，这个模型在什么层面上改进了插帧算法呢？
跑步速度远超其他方法。如前所述，RIFE最引人注目的是它的速度。
基于UCF101、Vimeo90K、Middlebury OTHER set和HD基准，研究人员将RIFE与Nvidia的SoftSplat和上海交通大学的DAIN进行了比较。用一个640480的视频测试运行时间，使用的GPU型号为NVIDIA TITAN X(Pascal)。
从结果可以看出，RIFE基本模型的运行速度在性能相近的情况下，比所有的比较方法都要快。该模型的较大版本RIFE-Large运行速度比SOTA方法SoftSplat快30%。此外，基于Vimeo90K测试集，研究人员提供了可视化对比结果。
可以看出，绿盒部分、赛普康夫-L1和DAIN制造出了神器，而该隐铲部分却不见了。相对而言，RIFE生成的结果更可靠。
安装包和colab都是可用的。试用一下这么好看又有省心效果的模特。应该怎么用？目前作者已经给出了预训练模型的几种用法，网盘版本的压缩包可以直接从GitHub项目下载。
无论是用作者提供的demo，还是你想框的样张，都可以尝试一下。当然也有colab版本的机型，可以直接在云服务器上播放。而且有的玩家把软件做成了Windows版，可以直接下载使用。界面看起来非常简单：
RIFE模型的出现，已经让一些游戏爱好者疯狂了：你能想象，连吃灰很久的PS2都能做到4k游戏的关卡效果吗！用这个算法，3步就能搞定！
但也有网友对这种算法表示担忧。这种算法虽然速度快，性能高，但实际上存在一个问题：这种算法本质上无法想到丢失的帧间信息，因此无法用于安防视频。
对于这些应用，未来需要进一步考虑。
黄卫哲，本文作者，目前是一名鄙视算法研究者，毕业于北京大学。进入北大信息科学系一年后，获得ICPC地区赛金奖，成为旷视科技智能计算组(IC组)实习生。之后参加了NIPS 2017的《学会跑步》比赛，使用演员-评论家集成算法获得第二名。此外，他的论文还被列入ICCV 2019年峰会。张天元，北京大学毕业。在研究期间，他的论文被ICML 2019，ICCV 2019，NIPS 2019和其他顶级会议收集。恒，北京大学计算机应用技术专业硕士学位。石柏新，北京大学，现任eecs助理教授(文科青年学者)、研究员、博士生导师。旷视研究院人工智能计算组组长常毕业于清华大学电子系，在中国科学院计算技术研究所获得学士和博士学位。在NeuIPS 2017学跑挑战赛中获得第二名，并获得美国国家标准技术研究院NIST TRAIT 2016 OCR。项目地址：https://rife-vfi.github.io/论文地址：https://arxiv.org/abs/2011.06294与DAIN效果对比：https://www.youtube.com/Watch=60 dx 2 T3 zy vofeature=youtu . be参考链接：https://www.reddit.com/r/linux/comments/jy4jjl/opensourced _实时_视频_帧_插值/https://www . Reddit . com/r/machine learning/comments/jy vog 1/d _ better _ than _ dain _ increase _ videos _ fps _ with _ rife/http://hz wer . com/3358 Tian Yuanjiang . com/3359eecs.pku.edu.cn/info/1339/9244.htmhttps://www.linkedin.com/in/heng-wen-020321a0/——end—qubit Qbitai头条报名付费
暂无讨论，说说你的看法吧
