萧发自凹非寺量子位报道|公众号QbitAI
视觉特效师和GAN强强联手,制作的动画会不会更好看?
答案是肯定的。
这是一位视觉特效师,用海外版嘀嗒超级火的姐姐Bella Poarch的视频,生成了奥巴马TikTok版的动画:
不仅动画效果逼真、表情生动,GAN生成的人物也不会意外地“脱模”。
当时,这位专业动画师一接触AI,AI艺术的“手臂”——用GAN将一个视频中的人物动画化只需要几分钟。
相比之下,如果使用普通软件制作动画,每个动画师可能需要几个星期的时间。
但他很快发现,现有的这些将AI脸部动画化的模式,制作的动画形象很丑陋。
如下图所示,此前用AI将安倍晋三动画化后,动画角色的脸色不太好……
动画化后,总觉得有些发黑可疑。 于是,他自己动手,结合现有的GAN模型进行了优化调整。
效果太棒了!
不仅仅是在普通人的脸上增加了美颜效果,动画的形象也可以和迪士尼动画的主角相媲美。
就连奥巴马也“返老还童”,看起来比戴了美颜还年轻。
而且,谁都可以控制这些角色的表情。 预先录制的视频也可以。
那么,这样的视频效果到底是怎么制作出来的呢?
迁移学习的妙方选择使用这个视觉特效师,用特殊的方法制作漂亮的角色。
他利用迁移学习制作了76的表,根据迁移学习的强度生成了不同风格的人脸。
也就是说,迁移学习强度越大,人物越接近动画化,迁移学习强度越小,人物越接近真实的形象。
你会发现图像越接近左下角,人物看起来越真实。 越接近右上角,角色就越接近动画化。
这样可以在最大限度保留人物特征的同时,让动画的脸看起来更真实。
AI还可以根据“客户需求”判断更合适的人,并提供数据培训。
就连尤金爷爷看起来也相当年轻。 甚至有点《飞屋环游记》爷爷的慈爱之意。
其中,视觉特效师利用GAN生成了动漫角色的形象。
“变性”和年龄都可以改变的视觉效果师采用的基础模型是Justin Pinkney和Doron Adler的作品Stylegan2ffhq(NVIDIA的模型)。
主要是基于DeepAI制作的。
StyleGAN的原理是消除输入层,增加非线性映射网络。
我们还创新了一个名为style-based generator的生成器,使您可以控制生成的图像的高级属性(高级别属性),如发型、雀斑等。
而且,这个StyleGAN附带了开源数据集FFHQ,其中包含了各种各样的面部数据集。
这个视觉效果师对这个StyleGAN2 FFHQ进行了微调。
利用GAN生成的人物像,不仅可以动画化,还可以将图像图案化( )
生成相似风格的人物表情和特征。
可爱的孩子们不仅能被改编成动画,还能根据眉毛和脸的特征塑造女孩子的脸:
人物变成“大人”的话,被模型化了的女孩子的脸也会变得更成熟:
这个软件还没有开源。 这位视觉特效师对自己制作的动画不太满意,似乎认为还有改进的余地。
不过,网友似乎有点着急。
一位热爱二次元的网友表示,希望这样的工具把所有的漫画变成动画。
有网友表示,这样的工具看起来已经很棒了,不知道作者对作品满意后是否有进行开源的意愿。
我希望这位视觉特效师能达成目标,并让这个模型代码开源。
作者介绍了Nathan Shipley、视觉特效师、动态图形艺术家、创意工程师,目前感兴趣的研究方向是AI生成艺术。
另外,这位特效师2023年也曾为佛罗里达州圣彼得堡的达利博物馆“复活”过超现实主义画家Salvador Dali本人。
对画家Dali的著作感兴趣的展览会上的人们,只要按一下按钮,就能看到屏幕上的Dali在向你“打招呼”,非常棒。
如果对他的艺术作品感兴趣的话,可以戳下面地址的主页看。
Nathan Shipley主页的地址:
http://www.nathanshipley.com/gan
参考链接:
3359 www.Reddit.com/r/machine learning/comments/j0 btow/p _ toonifying _ a _ photo _ sing _ style gan _ modele
3359 www.dezeen.com/2023/05/24/Salvador-Dali-deep fake-Dali-musuem-Florida /
结束了
量子比特QbitAI 头条号合同
关注我们,第一时间了解尖端技术动态