画二奶，上HKUST队的APP。网友：我没用。

机器心脏报告
编辑：蛋酱，船
虽然AI可以帮你完成大部分工作，但是画画也需要一些技巧。或者它可以在光天化日之下暴露你所有的想法。
想给自己画第二个老婆，却发现自己是个残疾手。我该怎么办？
问题不大。这是一件艺术品。你只需要涂抹出轮廓，剩下的交给AI:
第二代妻子生成器的名字叫“WAND”，现在已经在苹果AppStore上线。目前为iPhone和iPad提供限时免费下载，并以下载量Top1的成绩登上App Store图形与设计榜单。
《魔杖》上映时刚出大火。在社交网络上看，已经有很多人率先尝试了。作品是这样的：
画各种好看的小姐姐：
嗯，三次元也可以，也可以这样操作：
但是，一些手残党的失败案例，会让他们的SAN价值观疯狂：
编辑部
本着“不试怎么知道”的想法，编辑部还下载了一根魔杖，把珍藏在手机相册里多年的二代老婆照片挖了出来。
WAND提供的功能非常丰富。可以直接上传一个二次元头像，然后生成其他风格版本的“老婆”。我们在这里上传的是无人喜爱的叶晖小姐：
可见AI也贴心的帮你解决了发际线问题。
您还可以在画板上调整和变换肖像。在此，残障党要高度警惕，不要制造一些惊悚片来损害“老婆”形象。
如果是线稿，导入后会自动上色，切换样式可以得到多个版本：
即使你对现在的二胎老婆不满意(过度满意)，也可以从头开始，亲手捏出一个来。但是，你二胎老婆的上限将完全取决于你的艺术造诣。
这话伤了多少韩寒的心：
而且这个App还有一个功能被埋没了：“真人模式”。一旦你选择了“写实”并自拍，你可能会陷入深思(觉)考(兴).
最终，用户体会到了这个App的真正含义：
其实使用的时候还是有一些小技巧的。比如作者说上传照片的时候尽量只做整帧的人脸，识别和生成效果会更好。
吸收各方反馈，WAND可以在后续做一些改进：
很多人问，安卓版什么时候能上市？
机心向开发团队求助，作者说：“已经新建了一个文件夹。相信用不了多久，安卓用户就会在手机上画出自己的第二任妻子，而“老公版”的WAND也正在制作中。
据了解，“WAND”背后的开发团队影眼科技是在上海科技大学孵化的。团队专注于前沿人工智能和计算机视觉技术在影视制作和大众娱乐市场的推广应用。最近，相关研究被选入ICCV 2021和其他峰会。
索夫根
看完APP效果，我们再来看看背后的技术。根据项目介绍，该软件基于上海科技大学ACM Transactions on Graphics 2021的一篇研究论文。
地址：https://arxiv.org/pdf/2007.03780.pdf项目主页：https://apchenstu.github.io/sofgan/虽然一代对抗网络(GAN)已经广泛应用于人像图像生成，但是在GAN学习的潜在空间中，不同的属性，如姿态、形状和纹理风格，通常是交织在一起的，这使得对特定属性的显式控制变得困难。为了解决这个问题，本研究提出了一个名为SofGAN的图像生成器，它将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。从两个子空间采样得到的潜在码分别被送入两个网络分支，一个生成姿态规范的人像的三维几何图形，另一个生成纹理。对齐的3D几何图形还具有语义部分分割，其被编码为语义占据域(SOF)。SOF可以在任何视图中呈现一致的2D语义分割图，然后将其与生成的纹理图融合，并使用语义实例模式(SIW)模块将其样式化为肖像图像。大量实验表明，该系统能够生成几何和纹理属性可独立控制的高质量人像图像。此外，该方法还可以很好地扩展到各种应用中，比如外观一致的人脸动画生成。
在StyleGAN中，基于不同级别的输入潜在向量，图像的风格由每个卷积层上的特征控制。虽然这种控制机制是有效的，但是它没有提供对单个属性的独立控制，这在很大程度上是由于各种属性的纠缠。为了解决这个问题，研究将生成的空间分解为两个子空间：几何空间和纹理空间，如下图3左侧所示。
本研究中提出的生成管道概述。
几何空间中的每个样本可以被解码为SOF网络的权重，该权重用伴随的语义标签来表征3D连续占据域(SOF)。在绘制阶段，给定任意查询视点，该方法使用光线移动框架将SOF映射到2D分割图中。SOF的使用保证了视图的一致性。接下来，根据语义图像合成框架，本研究提出了一个基于语义的实例生成模块来生成逼真的图像。
图形表示法
与之前的方法相比，本研究提出了一种更稳定的光移动器，用于根据当前位置特征和光线方向预测步长，如下图4所示。
图5示出了SOF的示例，其包含体积中每个点的预测语义标签(仅显示具有最高概率的标签)。
图5: SOF是一个三维体，每个空间点都有一个类语义概率。
纹理合成
在这项研究中，SIW卷积层用于将基于区域的特征图放大为高分辨率图像，如下图6所示。
图6:本研究的SIW生成模块。
更多技术细节请参考原论文。