机器之心ArXiv每周电台
参与：杜威、初航、罗若天。
本周重要论文有华为开源自研Disout算法，中科院计算所GCN中文摘要。
目录：
图形卷积神经网络综述基于强化学习的无地图机器人导航超越退出：特征地图失真以调节深度神经网络综述基于深度学习的手语识别通过学习相机行为的示例驱动虚拟电影摄影用于鲁棒图形神经网络的图形结构学习M2GRL:用于网络规模推荐系统的多任务多视图图形表示学习框架arxiv每周广播电台：NLP，CV，ML更多精选论文(带音频)论文1:图形进化神经网络综述
作者：徐冰冰、岑克庭、黄俊捷、沈华伟、程雪琪论文链接：摘要：过去几年，卷积神经网络因其强大的建模能力而引起广泛关注，并成功应用于自然语言处理、图像识别等领域。而传统的卷积神经网络只能处理欧氏空间的数据，而现实生活中的很多场景，比如交通网络、社交网络、参考网络，都是以图数据的形式存在的。将卷积神经网络用于图形数据分析和处理的核心在于图形卷积算子和图形池算子的构造。
本文总结了中国科学院计算技术研究所的图形卷积神经网络。首先，介绍了图形卷积神经网络的背景，梳理了——谱方法和空间方法这两种经典方法。图形数据缺乏平移不变性，使得定义图形卷积算子变得困难。谱方法通过卷积定理在谱域定义图形卷积，而空间方法通过在节点域定义节点相关性实现图形卷积。然后介绍了图卷积神经网络的最新进展，包括如何利用图卷积神经网络对图上的复杂信息进行建模，如异构连接和高阶连接，以及如何在大规模图上实现图卷积神经网络。
此外，本文还介绍了图卷积神经网络的相关应用，包括推荐系统和流量预测领域。最后，对图卷积神经网络的发展趋势进行了总结和展望。
基于个性化PageRank的图卷积神经网络结构。
010-350000
基于置信度的图卷积网络。
010-350000
符号卷积神经网络运算示意图。
010-350000
约束图卷积神经网络结构。
推荐：本课题得到国家自然科学基金、北京致远人工智能研究院、王宽城教育基金的资助，发表于《计算机学报》。徐冰冰和合著者岑克庭是博士生，CCF学生会员，是硕士生。
论文：基于强化学习的无地图机器人导航
作者：林海谢论文链接：https://ora . ox . AC . uk/objects/uuid 3360 c 466 b 944-2243-4017-AA7C-46419 ddf 6 c 94/Download _ File？file _ format=pdf safe _ filename=PhD _ thesis.pdf type _ of _ work=thesis摘要：导航是移动机器人需要的最基本的功能之一，可以使其从一个源点穿越到一个目的地。传统方法严重依赖于预定义的地图，导致大量的时间和人力支出。另外，地图只有画出来才是准确的，随着时间的推移，由于环境的变化，准确性会降低。在这篇博士论文中，作者认为，获取高质量地图的严格要求从根本上限制了机器人系统在动态环境中的可实现性。因此，得益于无地图导航范式和深度强化学习(DRL)的新发展的启发和启发，作者研究了如何开发实用的机器人导航。
强化学习的一个主要问题是需要大量的重复实验和多样化的实验设置。通过反复实验从真实机器人身上获取这些设置显然是不可行的，所以作者选择从模拟环境中学习。这就引出了第一个基本问题，即如何缩小仿真与真实环境之间的差距，这也是第三章要解决的关键问题。他专注于避免单眼视觉障碍的具体挑战，并将其视为低级导航原语。作者创造了一种在模拟环境中训练的DRL方法，但是这种方法仍然可以很好地推广到真实环境中。
限制DRL方法在现实世界中移动机器人中应用的另一个问题是训练策略变化很大。由于搜索空间复杂高维，上述情况导致收敛性差，整体奖励低。在第四章中，作者使用了一个简单的经典控制器来指导使用DRL的局部导航任务，以避免纯随机的初始探索。作者证明，这种新的加速方法大大降低了样本方差，并显著提高了可实现的平均报酬。
作者认为最后一个挑战是无地图导航的稀疏视觉制导。在第五章中，作者提出了一种创新的基于少量海图图像的导航方法，这种方法不同于传统的基于视频的教学和复述方法。作者证明了在模拟环境中学到的策略可以直接迁移到现实世界，可以很好地推广到环境描述很少的未知环境。针对避障、局部导航和全局导航等主要问题，作者开发并测试了新的方法，并赋予了实用的机器人导航视觉。最后，作者展示了DRL是如何解决这些问题的一个强大的无模型方法。
010-350000
在强化学习问题中，学习代理在每个时间步观察环境的状态并采取行动影响环境。根据不同的行为，环境返回一个数值奖励作为反馈给智能体，以评估它是否是期望的行为。
010-350000
三种不同的无模型RL方法：基于策略、基于价值和行动者-批评家。
010-350000
基于地图和无地图导航系统的结构。
推荐：这篇长达139页的博士论文的作者是牛津大学凯洛格学院博士生谢林海。主题是基于强化学习的无地图机器人导航。
论文：超越Dropout :特征图失真调节深度神经网络
作者：唐、徐宜兴等论文链接：项目地址：摘要：深度神经网络通常包含大量可训练参数，用于从给定的数据集中提取强大的特征。一方面，大量的可训练参数大大提高了这些深度网络的性能；另一方面，它们会带来过度拟合的问题。基于此，在降低神经元自适应的训练阶段，基于dropout的方法禁用输出特征图中的部分元素。虽然这些方法可以提高生成模型的泛化能力，但传统的二进制丢弃并不是最优解。
因此，来自北京大学、华为诺亚方舟实验室等机构的研究人员研究了深度神经网络中间层经验Rademacher的复杂性，提出了基于dropout方法解决特征失真的方法。在训练阶段，特征图中随机选取的元素将通过泛化误差界被特定值所替代。研究人员在几个基准图像数据集上进行了分析和验证，提出的特征映射变形方法在生成具有更高测试性能的深度神经网络方面显示了优越性。
010-350000
算法1:用于训练深度神经网络的特征图失真。
010-350000
传统卷积神经网络(CNN)在CIFAR-10和CIFAR-100数据集上的精度。
010-350000
ResNet-56在CIFAR-10和CIFAR-100数据集上的准确性。
010-350000
ResNet-50在ImageNet数据集上的准确性。
推荐：该算法在ImageNet数据集上训练的ResNet-50准确率可达78.76%，超过Google Dropout算法的76.51%。
论文：基于深度学习的手语识别综述
作者：http://jeit.ie.ac.cn/article/app/doi/10.11999/JEIT190416、张树军、张群、李辉论文链接：摘要：手语识别涉及计算机视觉、模式识别、人机交互等领域，具有重要的研究意义和应用价值。深度学习技术的蓬勃发展，为更准确、实时的手语识别带来了新的机遇。本文总结了近年来基于深度学习的手语识别技术，并从孤立词和连续句两个分支对算法进行了详细阐述和分析。
孤立词识别技术分为基于卷积神经网络(CNN)、3D-CNN和RNN三种方法。用于连续句识别的模型比较复杂，通常需要一些长时间的时间序列建模算法辅助。按其主体结构可分为双向长时和短时记忆网络模型、三维卷积网络模型和混合模型。本文总结了国内外常用的手语数据集，探讨了手语识别技术的研究挑战和发展趋势。高精度前提下的鲁棒性和实用性还有待提升。
010-350000
总分类图。
010-350000
基于深度学习的手语识别技术及孤立词代表作。
010-350000
基于深度学习的手语识别技术及连续句代表作。
010-350000
中国手语数据CSL样本。
推荐：这篇综述论文发表于《电子与信息学报》。
论文：通过学习相机行为的示例驱动虚拟电影
作者：蒋宏达、王、Marc Christie、论文链接：摘要：设计一个摄像机运动控制器，使其能够以电影化和有组织的方式自动移动对应于3D动画内容的虚拟摄像机，是一项复杂而具有挑战性的任务。虽然有许多电影摄影规则，但实践表明，在如何应用这些规则方面存在明显的风格差异。
本文来自北京大学前沿计算研究中心视觉计算与学习实验室、北京电影学院未来影像高科技创新中心等研究人员。提出了一种样本驱动的摄像机控制器，通过学习一系列摄像机运动，从样本影片中提取摄像机行为，并将提取的摄像机行为重新应用到三维动画中。
010-350000
本研究中提出的学习相机行为的框架由三部分组成：用于从电影中提取高级特征的电影特征估计器，用于估计高级特征中相机行为类型的门控网络，以及用于估计3D动画中相机行为的预测网络。
010-350000
为了从影片中估计拍摄特征，每一帧都要经过以下步骤：(1)用LCR网提取2D骨架；(二)姿势联想，填补缺失关节，平滑关节；通过神经网络估计特征。
010-350000
本研究中MoE(混合专家)培训网络的结构图。该网络以样片和3D动画中应用的拍摄特征的估计结果为输入，为每个动画帧输出一系列摄像机参数，实现自己的渲染。具体来说，在门控预测网络的两个部分中，门控输入长的拍摄序列，输出一组专家值；预测使用自回归方法从过去1s拍摄和专家推导下一个相机帧的复曲面坐标。
010-350000
样片和3D模拟动画的效果比较。
推荐：本研究的亮点是利用样片控制想要的拍摄方式。
论文：鲁棒图神经网络的图结构学习
作者：魏进，刘，论文链接：摘要：图神经网络(GNN)是图表征学习中的一个强有力的工具，但最近的研究表明，GNN容易受到精心设计的干扰，即所谓的对抗性攻击。在对下游任务进行预测时，对抗性攻击很容易愚弄GNN。因此，GNN对对抗性攻击的脆弱性使得研究人员越来越担心其在安全关键应用中的应用。因此，开发能够抵御对抗攻击的鲁棒算法具有重要意义。防御对抗性攻击的通常方法是清理被扰乱的图形。显然，现实世界中的图具有一些相同的内在性质，如现实世界中许多图的低秩和稀疏性，两个相邻节点的特征趋于相似。
本文中，来自密歇根州立大学(MSU)的研究人员发现，对抗性攻击往往会破坏这些图属性，并探索这些属性如何防御图的对抗性攻击。具体来说，他们提出了一个通用框架Pro-GNN，它可以根据这些属性从扰动图中学习结构图和鲁棒图神经网络。在真实世界地图上的大量实验表明，本研究提出的亲GNN可以达到比当前SOTA防御方法强得多的效果，即使地图受到严重干扰。
010-350000
这项研究提出了一个亲GNN框架的示意图。虚线表示较小的重量。
010-350000
亲GNN算法。
010-350000
在Cora、Citeseer、Polblogs和Pubmed数据集(基于精度标准)上，比较了GCN、GAT、RGCN、RGCN雅克卡德、RGCN奇异值分解和Pro-GNN的节点分类性能。
建议：本研究提出的亲GNN框架总是优于当前的SOTA基线方法，并能提高在各种对抗攻击下的整体鲁棒性。
论文：m2grl3360a网络规模推荐系统的多任务多视图图表示学习框架
作者：王，林玉杰，杨克平，肖论文链接：摘要：在这篇论文中，来自阿里巴巴和香港理工大学的研究人员提出使用多任务多视图图表示学习框架(M2GRL)来学习web规模推荐系统中多视图图的节点表示。
具体来说，M2GRL为每个单视图图建立相应的图，学习多个图的单独表示，并对齐跨视图关系。此外，M2GRL利用相同的方差不确定性，在训练阶段自适应地调整任务的损失权重。研究人员在淘宝上部署了M2GRL，并在570亿个例子中对其进行了训练。根据离线指标和在线A/B测试，M2GRL的性能明显优于当前的SOTA算法。淘宝多样性推荐的进一步探索验证了M2GRL生成的各种表示的有效性，对于各种侧重点不同的行业推荐任务将是一个很有前景的发展方向。
010-350000
具有3个视图内任务和2个视图间任务的M2GRL框架示意图。
010-350000
淘宝推荐平台上部署的M2GRL框架整体架构图。
010-350000
淘宝和Movielens线下数据集上不同模型的比较。
推荐：研究人员认为，M2GRL生成的有用表示可以在未来进一步用于处理标签推荐和可解释推荐。
ArXiv每周电台
机器之心联合初航、罗若天发起的ArXiv每周电台，在7篇论文的基础上，精选本周更重要的论文，包括NLP、CV、ML领域的10篇，以音频格式提供摘要论文介绍。详情如下：
本周的10篇NLP精选论文是：
1.对土耳其命名实体识别中最新神经序列标记模型的评估。(摘自阿吉泽姆阿拉斯、迪丹马卡洛格鲁、塞尼兹德米尔、阿尔坦恰基尔)
2.用对比句目标进行预训练可以提高语言模型的语篇表现。(来自丹伊特尔、凯尔文古、拉里兰辛、丹茹拉夫斯基)
3.你的面向目标的对话模型表现的真的很好吗？系统评价的实证分析。(来自隆一、李金超、彭、高剑锋、黄敏烈)
4.GPT-图：一种语言模型优先的自主移动机器人（Adaptive Multi-Rate的缩写）到文本生成方法。(摘自曼努埃尔马杰、拉蒙费尔南德斯阿斯图迪略、塔希拉纳西姆、Md阿拉法特苏丹、李英淑、拉杜弗洛里安、萨利姆鲁科斯)
5.用于语音识别的迭代伪标记。(来自许倩彤、塔蒂亚娜利霍曼科、雅各布卡恩、奥尼汉南、加布里埃尔辛纳伊夫、罗南科洛伯特)
6.用软屏蔽伯特纠正拼写错误。(来自、刘继聪、)
7.MultiMWE:构建多语言多词表达(MWE)平行语料库。(摘自莫砺锋汉、加雷斯琼斯、艾伦斯米顿)
8.多语伯特中所有语言都是平等的吗？（来自吴世杰，马克德雷泽)
9.语境嵌入：它们什么时候值得？（摘自西姆兰阿罗拉、艾夫纳梅、张建、克里斯托弗雷)
10.编剧：叙事引导的脚本生成。(摘自朱玉涛、宋瑞华、窦志成、简、金舟)
本周10 篇履历精选论文是：
1.陶：是跟踪任何物体的大型基准。(摘自阿查尔戴夫、塔拉莎库拉纳、帕维尔托克马科夫、科迪莉亚施密德、德瓦拉曼南)
2.通过物理交互进行实例分割的自监督迁移学习。(摘自安德烈亚斯艾特尔、尼科豪夫、沃尔夫拉姆布尔加德)
3.解释甘斯学会的非纠缠面孔表征。(摘自沈、杨策远、唐晓鸥、周)
4.腹侧-背侧神经网络：通过选择性注意进行物体检测。(摘自穆罕默德易卜拉欣普尔、李佳云、延-余云、杰克森l里斯、阿扎德莫格塔德里、明-杨玄、戴维c诺埃尔)
5.从卫星图像导出的点云进行深度学习指导的建筑物重建。(摘自、徐章、李志新、马特莱奥塔、张世福、杰山)
6.用于三维多器官分割的领域自适应关系推理。(摘自傅书豪、陆永毅、周、埃利奥特菲什曼、)
7.视频取证chq :检测高质量的人脸视频。(摘自盖伦福克斯、刘文涛、金亨宇、汉斯-彼得塞德尔、穆罕默德埃尔加里布、克里斯蒂安西奥博尔特)
8.对具身代理的对抗性攻击。(摘自刘爱珊、黄泰然、徐、陈、斯蒂芬j梅班克、陶大成)
9.用于城市场景分割的视频序列半监督学习。(摘自陈良杰、拉斐尔冈蒂霍洛佩斯、郑博文、麦克斯韦d科林斯、埃金d库布克、巴雷特佐夫、哈特维格亚当、黄邦贤施伦索)
10.用于婴儿脑部核磁共振成像的自动上下文可变形配准网络。(摘自、艾哈迈德、黄、钱旺、叶培智、沈丁刚)
本周10 篇机器语言(机器语言)精选论文是：
1.使用自动编码器进行表征学习的分析：基础知识，学习任务案例研究，可解释性和挑战。(摘自大卫沙特、弗朗西斯科沙特、玛丽亚j德尔赫苏斯、弗朗西斯科埃雷拉)
2.用于进化数据流的自适应XGBoost .（摘自雅各布蒙蒂尔、罗里米切尔、艾贝弗兰克、伯恩哈德普法林格、塔勒阿布德斯莱姆、艾伯特比费特)
3.具有一般价值函数逼近的可证明有效的强化学习。(作者王若松、鲁斯兰萨拉胡季诺夫、林杨)
4.基于模型的鲁棒深度学习。(摘自亚历山大罗比、哈米德哈萨尼、乔治j帕帕斯)
5.公平的输入和公平的输出：隐私的公平性和准确性的不相容性。(摘自Bashir Rastegarpanah、Mark Crovella、Krishna P. Gummadi著)
6.无概率笼的标准化注意。(摘自奥利弗里希特、罗杰瓦滕霍费尔)
7.多目标政策优化的分布式观点。(来自阿巴斯阿卜杜勒马利基、桑迪h黄、伦纳德哈森克莱弗、迈克尔纽纳特、h弗朗西斯宋、马蒂娜赞贝利、穆里洛f马丁斯、尼古拉斯赫斯、莱娅哈德塞尔、马丁里德米勒)
8.简单的传感器探测意图。(摘自蒂姆赫特威克、马丁里德米勒、迈克尔布洛施、约斯特托拜厄斯斯普林根贝格、诺亚西格尔、马库斯沃尔夫梅尔、罗兰哈夫纳、尼古拉斯赫斯)
9.视频游戏中的异常检测。(来自本尼迪克特威尔金斯、克里斯沃特金斯、科斯塔斯斯塔西)
10.反事实学习排序的加速收敛。(摘自罗尔夫贾格曼、马腾德里克)
