AI朱元璋，兵马俑！唱杜甫奥特曼主题曲，哔哩哔哩Up大谷新作

机心报道编辑：张骞、蛋酱里的朱元璋、林黛玉、兵马俑、杜甫……这些历史人物长什么样？b站up主大谷用AI帮我们还原了一个可能性。理科或文科的同学，一定对中学历史课本上的朱元璋画像印象深刻。这幅画像中的朱元璋有一张“鞋拔子脸”，只能用帝王特有的“不一样”来解释。
不过，在故宫南熏殿的历代皇帝官方画像中，朱元璋的长相就正常多了：
朱元璋长什么样？其实这个问题一直都有争议。很多人觉得故宫收藏的官方画像似乎更有说服力，因为两幅画的相似度和随年代的演变不容易造假。画像虽然能大致还原古人的样子，但不如照片逼真清晰。最近国内外似乎有一种用AI还原古人的趋势。先是某设计师用GAN和PS还原了他眼中的古罗马皇帝形象，然后b站主大谷用AI还原了中国皇帝朱元璋，还是那个主动的：
长得帅一点有什么问题？
此外，大谷还复原了林黛玉、徐悲鸿等人的肖像，以及姜、黄舟等人经典画作中的人物：
林黛玉。
蒋《老伴》。
徐悲鸿。
黄洲《于阗歌舞图》。甚至博物馆里的兵马俑也有逼真的外观：
评论里有人说：“想看秦始皇，以后转账的时候可以做个对比。说到课本，还记得你当年画的杜甫吗？作为教科书涂鸦领域最受欢迎的人物，杜甫也在新视频中亮相，并演唱了奥特曼主题曲《奇迹再现》，有望成为b站新一轮的鬼畜素材。
大谷简单介绍了这些成果以及他在视频中使用的方法(友情提醒：不关闭弹幕可能看不到作品)。或许，我们离哈利波特的魔法世界不远了。《修复大谷》的技术细节视频中介绍，影片的AI工作流程来自海外博主Denis Shiryaev的教程。丹尼斯在AI Stuff系列中修复了很多西方经典的油画人物，我们可以称之为“神经网络的艺术”。比如神秘的蒙娜丽莎：
弗里达，墨西哥传奇画家，《戴荆棘和蜂鸟项链的自画像》:
和《戴珍珠耳环的少女》:
《维纳斯的诞生》 :
完整视频如下：
0:00/00:00倍速画中画Denis Shiryaev的youtube主页：https://www.youtube.com/user/shirman88Denis在这段视频中使用了五种复原技术，分别是人脸-图像-运动-模型、style gan 2-人脸-修饰器、DAIN、ESRGAN和Artbreeder。人脸-图像-运动-模型项目地址：https://github.com/tg-bomze/Face-Image-Motion-Model.该模型基于“一阶运动”核心模型，方法来自NeurIPS 2019论文《First Order Motion Model for Image Animation》。之前机器心推出的视频会议变脸软件Avatarify也是基于该技术实现人脸处理的。
论文链接：3359 papers . nips . cc/paper/8935-First-order-motion-model-for-image-animation . pdf“一阶运动”框架由两个主要模块组成：运动估计模块和图像生成模块。运动估计模块的目的是预测密集运动场。这里假设有一个抽象的参考坐标，估计有“从参考到源”和“从参考到驱动”两种变换。因此，可以独立处理源帧和驱动帧。这样做是因为模型在测试过程中会接收到多组从不同视频中采样的源图像帧和驱动帧，这些帧在视觉上可能会有很大的不同。
“一阶运动”方法综述。style gan 2-Face-modifier
gan2-face-modifier项目效果图。项目地址：https://github.com/tg-bomze/StyleGAN2-Face-Modificator
论文链接：https://arxiv.org/abs/1912.04958DAIN
0:00/00336000x项目地址：https://github.com/baowenbo/DAINDAIN模型来自CVPR 2019论文《Depth-Aware Video Frame Interpolation》。在这项研究中，来自上海交通大学、加州大学默塞德分校、谷歌等机构的研究人员基于深度学习优化了视频帧插入中的常见问题，提出了一种利用深度信息检测遮挡的视频帧插值方法。丹尼斯已经在很多修复视频中使用了这项技术。
地址：https://arxiv.org/pdf/1904.00830.pdfESRGAN
项目地址：https://github.com/xinntao/ESRGANDenis Shiryaev视频使用的分辨率放大方式为“ESRGAN”，来自ECCV 2018工作坊论文《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》，研究者在* *SRGAN的基础上进行改进。包括改进网络结构、鉴别器的鉴别形式以及替换用于计算感测域损耗的预训练网络，提出了残差中残差密度块(RRDB)的网络单元。
论文链接：https://arxiv.org/pdf/1809.00219.pdfArtbreederArtbreeder是一个在线生成程序。该网站拥有大量不同风格的面部图像，用户可以手动调整，将不同的图像混合在一起，生成全新的图像。近日，设计师丹尼尔沃斯哈特(Daniel Voshart)通过使用Artbreeder和手动调整的方式，复原了800张罗马皇帝的半身像照片，在社交网络上引起热议。
地址：http://artbreeder.com/.此外，Denis Shiryaev在他的YouTube频道上发布了许多修复视频。有兴趣可以在他的网站上多看一些作品：https://neural.love/注：本文视频素材来自b站“大谷的游戏创作小屋”账号，转载已获授权。