来自芝加哥大学和谷歌的研究人员以三种深度学习答疑模式的内在过程为依据进行了分析，包括对图像、图表和文本段落的答疑。 结果表明，这些深度网络常常忽略问题关键词，导致错误原因(以无关词作为决定答案的重要线索)，可以方便地构建对抗样本实现攻击。 例如，最强攻击可以将图像交互模型的精度从61.1%降低到19%，图表交互模型的精度从33.5%降低到3.3%。
引言
最近，各种各样的答疑任务在应用深度学习。 例如，与图像相关q&； a任务(例如Kazemi和Elqursh等2023年的工作)； 关于图表的问答； a任务(例如Neelakantan等人2023年的工作)； 以及关于文本段落的问答任务( Yu等人2023年的工作)。 开发者、用户和审阅者(学术界)都想知道这些模型的能力。
衡量系统性能的标准方法是在测试集中评估错误率。 仅当测试集能够表示潜在的真实世界任务时，高精度才是模型的良好指标。 大多数任务的测试集和训练集都非常大，因此很难验证这些数据集是否表示真实世界。
本文提出的技术可以分析深度学习模型对问句中单词的灵敏度。 研究人员通过分析和生成抗性问题实现了该技术。 举个例子，视觉问答( Agrawal et al .2015 )的任务是回答关于图像的问题。 “建筑物两边的白砖有多对称？ ”的问题(如图1所示)。 本研究的系统得到了正确的答案。 但是，根据“根据方式”可知，该系统只依赖“how”和“积木”等少数单词。 实际上，我们可以提出在图像相同的情况下，给系统带来错误回答的对抗性问题。 例如：“建筑物两侧的白砖有多圆？ ”这样的问题，系统得到的答案是一样的(“非常”)。 本研究的重要前提之一是在答疑中很多人都有基本的常识。 虽然无法手动验证数据集是否表示真实世界，但可以识别问句中的关键词语，并预测这些关键字在回答问题中的作用。
本文的研究贡献
研究人员分析了三种问答模式。 有两个步骤。 首先，应用集成梯度，ig][Sundarajanetal .2023，将系统预测结果归因于问题中的单词。 研究人员将原因结果可视化，使后续分析成为可能。 然后通过原因分析确定网络逻辑中的弱点(例如对非关键单词的依赖)，并利用这些弱点构建对抗性问题。
本研究的重要贡献之一是q&； a可以对网络进行稳定性( overstability )的测试。 Jia和Liang的研究( 2023 )表明，阅读和理解网络对语义变更编辑来说有点过于稳定。 在研究过程中，作者发现这种超稳定性也适用于答疑任务。 此外，这种行为也出现在视觉对话网络和表对话网络中。 作者根据定义通用的测试方法，测定过稳定性的程度( 4.3节和5.3节)。 这个过程是从问题中系统地去除单词的过程，涉及到测量网络精度的变化。
值得强调的是，与类似于Jia和Liang的模型独立对抗技术相比，本文的方法利用了现有模型的优缺点，从而使攻击成功率更高。 另外，如果使用原因分析的话，可以得到提高 Jia和Liang的工作概率( 6.2节)。 据目前所知，利用如此广泛的依据分析构建对抗样本是新颖的。
其次，给出了本论文的结果概要，无论哪种情况都要评价新输入下的事前训练模型，不改变网络参数。
图像q&； 答(第4节) :这个任务是回答有关图像的问题。 作者分析了Kazemi和Elqursh研究( 2023 )中的深层网络。 他们发现互联网忽视了问题中的许多单词。 这些单词依赖图像来回答问题。 例如，在验证集中，即使删除了被强调的单词以外的所有单词，模型的正确性也达到了原来正确性的50%以上。 他们还发现，该模型潜在地依赖于重要的疑问词(如名词)，在问题中添加无内容的前缀(如“简言之……”)会使模型的精度从61.1%降低到19%。
图表q&； a (第5节)作者分析了Neelakantan等人在2023年制作的Neural Programmer，NP )系统的工作，该系统对表数据回答问题。 NP选择适用于附表的一系列操作来回答问题(类似于SQL的query方法； 第五节有详细的说明)。 他们发现，与名词和形容词等重要词相比，没有“in”、“at”、“the”等内容的单词更容易影响这些操作的选择。 删除所有没有内容的单词后，模型的准确率从33.5%下降到28.5%。 他们还发现，NP通常是因为错误的理由而得到正确答案。 例如，对于问题，他说：“哪个国家获得了最多的金牌？ ”，NP选择的操作之一是“第一”(选择图表的第一行)。 只有图表正好由排行榜组织起来时，那个答案才是正确的。 研究人员通过在Pasupat和Liang于2023年提出的生成摄动图表集中进行测试，量化了这一弱点，发现其精度从33.5%下降到了23%。 最后，研究者表现出过稳定性的极端形式，其中图表本身无论问题的具体内容如何都能在网络中诱导出较大的偏差。 例如，在关于奥运会金牌数的图表中，NP倾向于预先选择“前一个”操作。
理解(第6节)此任务是回答有关文本段落的问题。 对Yu等人的网络( 2023 )进行分析后发现，网络容易忽略应该重视的单词。 Jia和Liang等人在2023年提出，在句子中添加几个短语一般不会改变网络上给出的答案，但可以实现攻击。 研究人员的主要发现是，如果添加了短语的句子中含有所有模型都认为重要的(对原段落来说)疑问词，攻击成功的可能性很高。 例如，发现添加包含最高原因( top-attributed )名词的语句会导致攻击成功的可能性超过50%。 这种洞察有助于更成功的攻击和更好的训练数据集的构建。
总之，研究人员发现所有的网络都忽略了问题的重要部分。 可以通过改进训练集或引入归纳偏序来解决这个问题。 他们的分析工作对这两个方案都有帮助。 将最终用户演示的依据可视化也很有意义。 了解哪些单词将被忽略，以及哪些操作将映射到单词，有助于用户决定是否相信来自系统的响应。
图1 )图像问答； a(kazemiandElqursh，2023 ) :对能够正确回答问题的网络的重要性)进行可视化。 红色表示高原因，蓝色表示负原因，灰色表示接近零的原因。 颜色由标准化的原因决定。 也就是说，这是问题中原因度最高的词。
图2 ) vqa网络( Kazemi and Elqursh，2023 ) :相对于本来的正确率，正确率是词汇的函数。 按出现频率从高到低排列词汇，选择出现最多的词汇。 x轴取对数刻度，除了接近0的地方都是线性的。
表1 ) vqa网络( Kazemi and Elqursh，2023 )前缀攻击的精度； 当初的准确率是61.1%。
图3 :通过分析可视化。 y轴有疑问词、预处理标记、列选择事前。 x轴是运算符和列的选择，括号内是其基准线。 运算符和列本身不影响最终答案，与对应的基线一样为零。
表2 :表特定的默认程序( NP为空输入问题返回的程序)的列名原因。 完整列表见补充资料表6。 这些结果表明，网络倾向于预先只根据表选择运算符。
图4 )精度作为词汇的函数。 根据出现频率，按降序排列这些词，选择这些词作为问题中词的最高原因。 x轴取对数坐标，除了接近0的地方都是线性的。 请注意，仅五个单词网络的最终精度就超过50%。
表3 )神经程序员( Neelakantan et al .2023 )将左)攻击短语加入提问中得到的验证精度(原创精度为33.5% )。
表4:ADDSENT攻击没能欺骗这个模型。 修改并留下原因度高的名词后，成功地欺骗了模型。 原因程度高的词是红色的(原因程度越高颜色越深) ) ) )。
论文： didthemodelunderstandthequestion
论文地址： https://arxiv.org/abs/1805.05492
摘要：本文分析了针对图像答疑、图表答疑、文本段落答疑三项任务的最新深度学习模型。 通过原因(词的重要性)标记发现，这些深层网络常常忽视问题的重要词。 利用这样的漏洞，我们对问题加以干扰修正，制作了各种各样的对抗样本。 最强的攻击将图像对话模型的精度从61.1%降低到19%，图表对话模型的精度从33.5%降低到3.3%。 另外，在段落理解模型中，对如何增强攻击力进行了说明(在Jia和Liang 2023年提交)。 研究结果表明，可以加强准确率的标准度量，使模型性能具有探索性。 如果模型由于错误而正确，原因分析会在模型上显示逻辑错误，并指示测试集中数据的不足之处。
