羿阁发源于凹非寺
量子位|公众号QbitAI
有空间感差的伙伴吗？ 你不知道怎么每次拿到乐高的说明书就动手吗？
这次，工作乐高的说明书来了！
来自清华班、斯坦福大学助理教授吴佳俊带领团队开发出可以将纸质说明书转换为3D动画的技术，目前该论文已被选为2023年计算机视觉顶级会议ECCV。
从效果图来看，有网友表示：“这对所有年龄段的乐高爱好者来说都有很大的帮助！
3D动画的说明书尽管乐高的说明书是专业设计师写的，但对于想象力低下的人，不得不说还是3D动画更香。
这一步的转换看起来很容易，但实际上背后隐藏着两个技术问题。
第一个挑战是将纸上的2D图像投影到3D动画中。
研究小组要做的是将任务分解成一系列能顺利有效执行的短步骤，通过建立模型，将说明书的图像转化为机器能解释的算法，简化机器学习的任务。
如上图所示，要将图a转换为图c，为了构建最终的成品，需要提取说明书各部件的图像位置。
研究面临的第二个挑战是乐高积木的形状太奇特了。
很多基础配件形状相似，但像图中的吉他头一样，乐高也有很多柔软复杂的配件。 另外，由于这些部件的组合，机器解读的难度也大幅增加。 所有构建步骤都会形成新的未知图像。
为了解决这两个课题，研究小组提出了一种新的基于机器学习的框架：手动执行计划网络( manual-to-executable-plannetwork，MEPNet )。
其核心思想是将基于神经网络的二维关键点检测方法与二维3D匹配算法相结合，实现对隐形3D目标的高精度预测。
MEPNet的执行包括两个阶段。 第一阶段，以基础形状和新零件的3D模型、目标形状的2D图像作为输入信息，对每个零件预测一组2D键、旋转角度和掩模。
第二阶段，寻找基础形状和新零件的联系，将第一阶段预测的2D关键点反投影到3D图像上。
有趣的是，这种方法在训练时不需要ground truth图像。
另外，MEPNet的数据集表示优于其他现有方法。 与端到端的学习方法相比，MEPNet保持了基于机器学习的模型效率，能够很好地推广到未知3D对象的生成。
最值得注意的是，MEPNet可以利用合成数据进行单独训练，应用于实际生活场景。
现在所有的代码和数据都是开源的，感兴趣的伙伴请关注。
作者来自斯坦福大学吴佳俊团队介绍了这篇论文。 作者还包括了ruocheng、云智章、麻省理工学院的贾元茂、Autodesk AI Lab的Chin-Yi Cheng。
吴佳俊，现任斯坦福大学助理教授，隶属于斯坦福视觉与学习实验室( SVL )和斯坦福人工智能实验室( SAIL )。 毕业于麻省理工学院博士学位，本科清华大学姚班，被誉为“清华十大学神之一”。
论文第一作者刘城王，硕士毕业于斯坦福大学计算机科学专业，系吴佳俊门下学生。本科浙江大学计算机系毕业，曾在加州大学洛杉矶分校与Adnan Darwiche教授一起工作时间。
One More Thing的整篇论文都以乐高为例，正如作者在论文中所述，其实该技术也可以应用于其他类型的组装说明书。
不少“辛苦安装了很久”的网友呼吁马上推出宜家版：
但在欢呼声中，有网友发出了不同的声音：
不知道这是惊讶，还是破坏了玩的乐趣。
关于这个，你怎么想？ 你喜欢看说明书做乐高还是自己发挥？
参考链接： [1] https://cs.Stanford.edu/~ RC Wang/projects/Lego _ manual/[2] https://Twitter.com/_ akhaliq/status
—完—量子比特QbitAI 头条号签约关注我们，第一时间了解前沿科技动态
