机器之心ArXiv每周电台
参与：杜威、初航、罗若天。
本周的重要论文包括AAAI 2020最佳论文，最佳学生论文，以及Hinton Group提出的新的无监督方法SimCLR。
目录：
视觉表征对比学习的简单框架Winograd :对抗性wino grad图式挑战规模混合可分和不可见商品的公平划分通过近似迭代进行有效的神经架构搜索2019年中国新型冠状病毒爆发的流行病学和临床特征Ready Policy One:通过主动学习建立世界是BERT真正强大的自然语言基线关于文本分类和到达的TT arxiv weekly radio station:NLP、CV和ML的更多精选论文(带音频)。
1:视觉表征对比学习的简单框架
作者：https://arxiv.org/pdf/2002.05709.pdf，陈婷，西蒙科恩布鲁斯，穆罕默德诺鲁齐
现在ImageNet上图像识别准确率的性能提升通常每次只有几个百分点。然而，来自图灵奖获得者杰弗里辛顿(Geoffrey Hinton)等谷歌研究人员的最新研究将无监督学习的指数一次性提高了7-10%，甚至堪比监督学习的效果。SimCLR是一种简单明了的方法，可以让AI在没有类别标签的情况下学习视觉表示，可以达到监督学习的精度。根据作者的说法，在ImageNet上对1%的图像标签进行微调后，SimCLR可以达到85.8%的前5名准确率。——的性能优于只有1%标签的AlexNet。
Hinton推荐其领导小组推出的SimCLR无监督方法。
SimCLR的Top-1准确率与之前在ImageNet上自我监控方法的对比(用ImageNet进行预训练)，以及ResNet-50的监督学习效果(gray)。
推荐：Hinton Group推出的这种新的无监督学习方法在Twitter上引起了热烈的讨论，受到了机器学习界的广泛关注。
论文：winogrand e:an大规模的对抗性winograd模式挑战
作者：坂口圭介、罗南勒布拉斯、钱德拉巴加瓦图拉、叶筋崔论文链接：https://mp.weixin.qq.com/s/QP-O IOC E1 N2 zwd 4-R-3OQ摘要：维诺格拉德图式挑战：WSC)是常识推理的基准测试。该测试由专家撰写了273个问题，旨在处理依赖于选择偏好和单词联想的统计模型。不过最近在这个基准测试中很多机型的性能都达到了90%。因此，研究人员想知道这些模型是否真的获得了健壮的常识能力。
因此，研究人员提出了WINOGRANDE，一个有44k问题的大规模数据集。这个数据集在规模和难度上都大于之前的数据集。这个数据集的构建包括两个步骤：首先通过众包的方式设计问题，然后使用新的AFLITE算法减少系统偏差，使人类可以检测到的词汇关联转化为机器可以检测到的嵌入关联。现在最好的SOTA模型能达到的性能是59.479.1%，比人脸的性能水平(94%)低15-35%(绝对值)。这种性能波动取决于训练数据量(2%到100%)。
WSC的问题是由问题对构成的。其中，这两个问题基本相似，有两个答案项。该问题包含一个触发词，用于指示哪个选项是正确的。
AFLITE算法检测到的数据集偏差，用x标记。
推荐：这篇论文获得了AAAI 2020最佳论文奖，文中提出的WINOGRANDE是很好的迁移学习资源；但这也表明，我们现在高估了模型的常识推理能力。研究者希望这项研究能引起学术界对减少算法偏差的重视。
论文3:混合可分和不可能货物的公平划分
作者：肖慧贝，刘胜新，陆新航论文链接：摘要：本文研究了资源包含可分商品和不可分商品时的公平分配问题。比如免羡慕(EF)和免羡慕最多一个商品(EF1)，经典的公平概念，不能直接应用于混合商品的分配。本文提出了一种新的公平概率——混合商品免嫉妒(EFM ),它是混合商品公平概率EF和EF1的直接推广。
研究人员已经证明，对于任意数量的代理，EFM的分配总是存在的。他们还提出了一种有效的算法来计算两个代理和n个代理的EFM分配问题，并对可分商品进行分段线性评价。最后，研究者放宽了不嫉妒的要求，对于混合商品改为-不嫉妒(-EFM)，并提出了一种算法，求具有一定数量的代理和不可分商品之和的1/的时间多项式的-EFM分布。
1: EFM算法。
推荐：本文获得AAAI 2020最佳学生论文奖，作者分别来自南洋理工大学、清华大学和HKU。
论文：通过近似迭代进行有效的神经结构搜索
作者：姚，鞠旭，涂伟伟，朱占兴论文链接：摘要：神经架构搜索(NAS)因其能识别出比人工架构更好的架构而备受关注。近年来，可区分搜索方法因能在几天内获得高性能的NAS而成为研究热点。但由于超级网络的建设，仍然面临着计算成本巨大、性能低下的问题。
本文提出了一种基于近端迭代(NASP)的高效NAS方法。与以前的工作不同，NASP将搜索过程重新定义为具有离散约束的优化问题和具有模型复杂性的正则化问题。由于新目标难以求解，我们进一步提出了一种高效算法，并采用近端启发式方法进行优化。这样，NASP不仅比现有的可微搜索方法更快，而且可以找到更好的架构，平衡模型的复杂度。最后，在不同任务上的大量实验表明，NASP在测试精度和计算效率方面都能取得较好的性能。在找到更好的模型结构的同时，NASP的速度比飞镖等现有技术快10倍以上。此外，NASP消除了操作之间的相关性。
在所有这些作品中，DARTS [1]是最好的一个，因为它结合了可微性和搜索空间小的优点，实现了单元内的快速梯度下降。然而，它的搜索效率和识别架构的性能仍然不尽如人意。
第三步，研究人员使用相邻迭代算子生成离散结构。第四步，更新连续结构参数(单步梯度下降，无二阶近似)；最后，在离散网络结构下，更新网络权重。
实验结果表明，飞镖二阶比一阶慢得多。NASP不仅比飞镖快得多，而且可以达到与其他最先进的方法相同的测试性能。
推荐：在本周结束的AAAI 2020中，第四范式提出了基于邻近迭代的NAS方法，比DARTS快10倍以上。
论文：2019年中国新型冠状病毒爆发的流行病学和临床特征
作者：杨洋，刘，王宜兴等。论文链接：https://www.medrxiv.org/content/10.1101/2020.02.10.20021675v1摘要：近日，医学预印本平台medRxiv上发表了一篇名为《中国 2019 新型冠状病毒爆发流行病学和临床特征》的论文，总结了新冠肺炎8866例患者的临床和流行病学特征。这是迄今为止新冠肺炎最大的肺炎临床研究。本文使用了来自30个省级行政单位的8866例患者资料，其中确诊患者4021例(占45.35%)，其余为疑似患者。数据截至2020年1月26日【注】，是目前规模最大的新冠肺炎疫情临床回顾性研究。
本文的主要结论如下：近一半(47.7%)的患者年龄在50岁及以上；每10万人中的发病率存在显著的性别差异，男性为0.31，女性为0.27(P 0.001)。新型冠状病毒对老年男性的影响比其他人群更大，诊断率和病死率最高。重症和轻症患者的比例分别为25.5%和69.9%，其余4.5%的受访者没有肺炎症状。潜伏期中位数为4.75天，四分位距为3.0-7.2天。总体病死率(病死率)估计约为3.06% (95%可信区间2.02-4.59%)，低于SARS-CoV (9.2%)和MERS-CoV (34.4%)。60岁或以上男性患者在首次诊断时出现严重肺炎(符合上述一种或多种条件)的病死率较高。R0(基本再生数)的值估计为3.77(95%置信区间3.51-4.05)，根据潜伏期和感染期的不同，R0的敏感性分析范围为2.23-4.82。
估计死亡率。以上均为2020年1月26日之前的病例，症状出现不到14天。在该组的统计期间，D可以在5到8天的范围内。
年龄和性别对新冠肺炎感染的影响。a:所有患者按年龄和性别的分布；b:确诊病例；丙：疑似病例。d:基于性别的统计数据仅限于中国大陆确诊病例；e:武汉报告的确诊病例；f:武汉未报告的确诊病例。
建议：根据研究结果，研究人员认为新冠肺炎和SARS-CoV具有相似的传染性，但死亡率更低。在症状变得严重之前，应尽早发现并治疗老年患者，尤其是男性患者。但需要注意的是，该论文尚处于同行评议阶段，其结果有待评估，因此不能用于指导临床。
论文：ready政策一：通过主动学习建设世界
作者：菲利普鲍尔，杰克帕克-霍尔德，奥尔多帕奇亚诺，斯蒂芬罗伯茨等。论文链接：https://arxiv.org/pdf/2002.02693 . pdf:基于模型的强化学习(MBRL)为高效样本学习提供了一个很有前途的方向，它通常可以达到连续控制任务的SOTA结果。然而，许多现有的MBRL方法依赖于贪婪策略和探索启发式方法的结合，即使那些利用探索奖金的方法也可以以特定的方式建立双重目标。
在本文中，研究者介绍了准备政策一(RP1)，这是一个框架，认为MBRL是一个积极的学习问题。研究人员的目标是用尽可能少的样本改进世界模型。RP1通过使用混合目标函数来实现这个目标，而这个函数在优化过程中的自适应调整是非常重要的，这样算法就可以在不同的学习阶段权衡回报和探索。此外，一旦有足够的轨迹批次来改进模型，研究人员将引入一种原则性的机制来终止样本收集。
给定时间步长为10的四次方时的最佳中值性能比较。
RP1关键部件控制变量的研究。
建议：在实验阶段，研究人员在各种连续控制任务上对他们的方法进行了严格的评估，结果证明他们与现有方法相比具有统计学上的显著优势。
论文7:对于文本分类和蕴涵的自然语言攻击伯特真的是一个健壮的基线吗
作者：金迪、金志敬、乔伊周天翼、彼得佐洛维茨论文链接：https://arxiv。org/pdf/1907.11932。可移植文档格式文件的扩展名（portable document format的缩写）摘要：众所周知，简历领域的对抗性攻击被非常广泛的研究，但是在自然语言处理领域的对抗攻击却因为文本的离散的特性而难以推进。对于自然语言处理的模型来说，那些在人们眼里几乎没变的文本却会被模型非常不同地对待，甚至错判。这些是特别致命的、且急需研究的方向。这是一篇与麻省理工学院(麻省理工学院)合作的AAAI 2020口腔文章，自然语言对抗样本生成，我们将详细解读如何简单高效地生成自然语言对抗样本，并且高度攻击文本分类和文本推测的七个数据集。
研究者探究了对抗攻击在文本分类和文本蕴涵两项重要自然语言处理任务上的有效性，并采用了不同的数据集。
对于每个数据集，研究者在训练集上训练了三个新加坡艺术学院模型，并得到了与原始实现相近的测试集准确率分数。
本文攻击系统与其他已发表系统的比较。
推荐：本文二作金致静，香港大学毕业，目前在亚马逊上海人工智能实验室做实习研究。
ArXiv每周电台
机器之心联合由楚航、罗若天发起的ArXiv每周广播电台，在七篇论文的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
10篇自然语言处理论文来自机器之心00:0019:30
本周10 篇自然语言处理精选论文是：
1.使用流式注释进行训练。(摘自张、亨吉、张世福、玛乔丽弗雷曼)
2.检测由大规模语言模型产生的文本的限制。(摘自拉夫r瓦什尼、尼蒂什希里什凯斯卡尔、理查德索彻)
3.句子级命名实体链接中的联合嵌入。(摘自魏实、洪诚、余)
4.ConvLab-2:是一个用于构建、评估和诊断对话系统的开源工具包。(来自、闫芳、隆一、李金超、彭、高剑锋、黄敏烈)
5.口语理解系统中查询重写的预训练。(来自、袁凌、兰伯特马西亚斯、郭)
6.探索紧急沟通中的结构归纳偏差。(摘自阿格尼耶斯卡索维克、阿比纳夫古普塔、林子幸汉密尔顿、马特加贾姆尼克、肖恩霍尔登、克里斯托弗帕尔)
7.利用领域转移和数据合成对低资源数据进行抽象概括。(来自艾哈迈德马古达、黛安利特曼)
8.学习比较以更好地训练和评估开放领域自然语言生成模型。(来自王春树周)
9.将视觉语义结合到基于空间的句子表达中。(摘自帕特里克博德斯、埃洛伊扎布罗基、劳雷苏利埃、本杰明皮沃沃斯基、帕特里克加里纳利)
10.具有扩充数据的半监督意见挖掘。(摘自苗、王卓谭)
10份简历来自机器之心00:0020:34
本周10 篇履历精选论文是：
1.利用排序统计自动发现和学习新的视觉类别。(来自韩凯，西尔威斯特阿尔维斯雷布菲，塞巴斯蒂安艾尔哈特，安德里亚维达尔迪，安德鲁齐塞曼)
2.用于三维（three dimension的缩写）形状学习的连续测地线卷积。(摘自张思豪杨，或利塔尼，托尔加伯达尔，斯里纳斯斯里达尔，列奥尼达斯吉巴斯)
3.子空间胶囊网络。(摘自马齐埃埃德拉基、纳扎宁拉赫纳瓦德、穆巴拉克沙阿)
4.用低秩局部连通性重温空间不变性。(摘自贾迈勒丁f埃尔萨伊德、普拉吉特拉马钱德兰、黄邦贤施伦斯、西蒙科恩布利斯)
5.训练数据中的性别平衡如何影响人脸识别准确率？（来自维特阿尔比罗、张开、凯文鲍耶)
6.带文本引导的图像到图像翻译。(摘自、小娟齐、菲利普健康安全托尔、托马斯卢卡舍维奇)
7.用于自动路面裂缝检测和测量的深度卷积神经网络集成。(来自范准、保拉迪马斯西奥、陈、朱桂杰、朱塞佩洛普兰西佩)
8.点数：是一个轻量级的三维（three dimension的缩写）分类点集学习模型。(来自张敏、王一凡、普拉纳夫卡达姆、刘禅)
9.在不确定中寻找新奇。(来自雅各布莱因霍尔德、何、韩世忠、陈、高大山、李俊勋、杰里普林斯、亚伦卡拉斯)
10.医学图像翻译中不确定性的验证。(来自雅各布莱因霍尔德、何、韩世忠、陈、高大山、李俊勋、杰里普林斯、亚伦卡拉斯)
10毫升纸来自机器之心00:0019:30
本周10 篇机器语言(机器语言)精选论文是：
1.非凸优化随机梯度方法的适应性。(摘自塞缪尔霍瓦特、李华雷、彼得里奇里克、迈克尔乔丹)
2.监管不力，不妥协。(摘自弗朗切斯科洛卡泰罗、本普尔、贡纳尔勒施、伯恩哈德舍尔科夫、奥利维尔巴切姆、迈克尔特查宁)
3.胶囊与倒置点积注意路由。(作者：蔡耀鸿、尼提什斯里瓦斯塔瓦、吴翰林、鲁斯兰萨拉胡季诺夫)
4.一种可解释的监督机器学习算法。(摘自费利克斯威克、乌尔里希克泽尔、迈克尔范特)
5.动态概率模型的斯坦样的速度。(来自穆罕默德塔雷克、许凯、马丁特拉普、洪戈、邹斌格拉马尼)
6.探索，发现和学习：无监督发现状态覆盖技能。(摘自维克多坎波斯、亚历山大特罗特、蔡明熊、理查德索赫尔、泽维尔吉罗-伊-涅托、乔迪托雷斯)
7.无不可约性的混合比例估计。(摘自、刘铜梁、龚明明、杉山正、陶大成)
8.理查森外推法在机器学习中的有效性。(摘自弗朗西斯巴赫，塞拉)
9.连续控制转移的学习状态抽象。(摘自卡沃什阿萨迪、大卫阿贝尔、迈克尔l利特曼)
10.递归语言模型关于不完全解码的一致性。(来自肖恩韦勒克、伊利亚库利科夫、金在德、理查德袁哲庞、赵京贤)
暂无讨论，说说你的看法吧
