2023年,一个逼真的视频可以由2张图片生成,来自稳定扩散技术团队。

简出生于凹非寺

量子位|公众号QbitAI

新魔法! 效果炸裂!

两张静止图像,几秒钟就能生成视频,丝绸拍摄得很流畅!

在两张照片中,小狗慢慢抬起头,伸展到身体。

还是两张照片,一键生成。

女孩跳着,双手自然交叉,轻轻摇着衣服,和实拍一样。

这些视频通过帧插值工具

根据图片生成,任何人都可以在线免费玩。 (链接请参考文末

请参阅。

这两天刚发表就在网上引起了很大的关注,推特上的like超过了2500个。

在评论区,网友们兴高采烈地到处跑。

有人受到了很大的冲击,鹅妹妹嘤嘤:

还有人说,这是什么现代巫术:

当然,有更多的网友迫切想试试。

到底来了什么? 往下看。

来看看Frame Interpolation的试玩效果吧。

登录web端口,上传两张开花图片:

设定视频的长度,例如2秒钟就可以得到这个视频。 花慢慢打开,镜头也渐渐靠近:

再试试两张狗的照片,转过头来看看。

但是,上传两张鸟在天空各个位置飞行的照片,效果并不ok :

如先前所述,这个产品是帧内插

工具。

帧内插是指在视频的两帧之间插入新的合成帧的一部分,相关技术被广泛用于图像产生视频、视频流中的帧修复中。

谷歌今年《大幅动作的帧插值》 ( about film:frameinterpolationforlargemotion )已被ECCV 2023接收。

技术人员通过双向运动估计、独立于尺度的特征提取等方式,取得了良好的帧插值效果。

目前,这项技术难以突破的地方有以下几点。

即使只有几秒钟,照片中的人物或物体也会进行复杂的运动,在帧被插值后,视频会失真。

但是,如果不追求写实,产生魔术效果的话,这个技术就绰绰有馀了。 (手动狗头) :

比如把建筑变成变形金刚

背后团队与Stable Diffusion有关,这场大火的帧插值工具的背后团队被称为Runway。

最近,AIGC圈的顶尖人物,Stable Diffusion,依据的论文《High-Resolution Image Synthesis with Latent Diffusion Models》是由慕尼黑大学、海德堡大学和他们共同完成的。

其中之一的Patrick Esser,也是Runway的首席科学家。

有趣的是,Patrick Esser和Runway在这期间,在Stability AI和Stable Diffusion上互相拖后腿。

公开资料显示,Runway成立于2023年,是一家希望使用AI/ML和计算机图形技术在视频、图像、音乐和文本领域提供内容创意工具的创业公司,总部位于美国纽约

目前,该公司共获得投资4550万美元

、投资方包括Coatue、Amplify、Lux、Compound等机构。

Runway的产品包括几个模式,不仅从开头提到的静态图像生成丝网视频,而且从文本中生成图像,从图像中去除背景,依赖文本修改图像,删除视频中的物体,去除声音噪声

感兴趣的朋友可以在他们的官网上试试。

附加链接: https://app.runway ml.com/video-tools

参考链接: [1] https://Weibo.com/TV/show/1034:4833638056132718 from=old _ PC _ videoshow [2] https://app.runway ml.crunway

—完—量子位QbitAI 头条签约关注我们,第一时间了解前沿科技动态

动态分享

必须收藏的六个图片素材网站,最常用的图片素材网站

2022-12-3 9:58:22

动态分享

2023视频号。小白运营指南,快速打造你的个人IP

2022-12-3 10:00:24

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索