简出生于凹非寺
量子位|公众号QbitAI
新魔法! 效果炸裂!
两张静止图像,几秒钟就能生成视频,丝绸拍摄得很流畅!
在两张照片中,小狗慢慢抬起头,伸展到身体。
还是两张照片,一键生成。
女孩跳着,双手自然交叉,轻轻摇着衣服,和实拍一样。
这些视频通过帧插值工具
根据图片生成,任何人都可以在线免费玩。 (链接请参考文末
请参阅。
这两天刚发表就在网上引起了很大的关注,推特上的like超过了2500个。
在评论区,网友们兴高采烈地到处跑。
有人受到了很大的冲击,鹅妹妹嘤嘤:
还有人说,这是什么现代巫术:
当然,有更多的网友迫切想试试。
到底来了什么? 往下看。
来看看Frame Interpolation的试玩效果吧。
登录web端口,上传两张开花图片:
设定视频的长度,例如2秒钟就可以得到这个视频。 花慢慢打开,镜头也渐渐靠近:
再试试两张狗的照片,转过头来看看。
但是,上传两张鸟在天空各个位置飞行的照片,效果并不ok :
如先前所述,这个产品是帧内插
工具。
帧内插是指在视频的两帧之间插入新的合成帧的一部分,相关技术被广泛用于图像产生视频、视频流中的帧修复中。
谷歌今年《大幅动作的帧插值》 ( about film:frameinterpolationforlargemotion )已被ECCV 2023接收。
技术人员通过双向运动估计、独立于尺度的特征提取等方式,取得了良好的帧插值效果。
目前,这项技术难以突破的地方有以下几点。
即使只有几秒钟,照片中的人物或物体也会进行复杂的运动,在帧被插值后,视频会失真。
但是,如果不追求写实,产生魔术效果的话,这个技术就绰绰有馀了。 (手动狗头) :
比如把建筑变成变形金刚
背后团队与Stable Diffusion有关,这场大火的帧插值工具的背后团队被称为Runway。
最近,AIGC圈的顶尖人物,Stable Diffusion,依据的论文《High-Resolution Image Synthesis with Latent Diffusion Models》是由慕尼黑大学、海德堡大学和他们共同完成的。
其中之一的Patrick Esser,也是Runway的首席科学家。
有趣的是,Patrick Esser和Runway在这期间,在Stability AI和Stable Diffusion上互相拖后腿。
)
公开资料显示,Runway成立于2023年,是一家希望使用AI/ML和计算机图形技术在视频、图像、音乐和文本领域提供内容创意工具的创业公司,总部位于美国纽约
目前,该公司共获得投资4550万美元
、投资方包括Coatue、Amplify、Lux、Compound等机构。
Runway的产品包括几个模式,不仅从开头提到的静态图像生成丝网视频,而且从文本中生成图像,从图像中去除背景,依赖文本修改图像,删除视频中的物体,去除声音噪声
感兴趣的朋友可以在他们的官网上试试。
附加链接: https://app.runway ml.com/video-tools
参考链接: [1] https://Weibo.com/TV/show/1034:4833638056132718 from=old _ PC _ videoshow [2] https://app.runway ml.crunway
—完—量子位QbitAI 头条签约关注我们,第一时间了解前沿科技动态