误差分析（如何正确地做误差分析）-励北网

错误分析(如何正确进行错误分析)

误差分析（如何正确地做误差分析）

自然语言处理任务错误分析的现状

但是目前人们是怎么做错误分析的呢？如果你翻翻自然语言处理顶级学术会议ACL的接收论文，基本上会看到这样的叙述:

我们对100个样本问题进行了误差分析...

我们随机选择了50个错误答案，并将其分为六类...

我们找出了100个不正确的预测结果，并试图找出常见的错误类别...

……

显然，这一领域的研究人员都采用了这种方法:“我们随机选择了50到100个答案不正确的问题，并将其大致分为N组”。(斯坦福大学NLP小组负责人克里斯托弗·曼宁的画外音:恐怕在问答任务的论文中选择100个样本进行错误分析的惯例来自于我——起初我们想做200个，但我从未完成分配给我的那一半)

选择一些错误的样本进行分析似乎有些道理，不是吗？但实际上，这种做法有一个很大的问题。比如50到100的样本数量太少，一般只占总误差的5%。如此少量的样本很难代表真实的误差分布。如果某个关键的模型问题只是没有出现在用于错误分析的抽样样本中(比如聊天助手机器人会对一些特定的句子给出不恰当的回答)，然后实际部署还没有修复的模型，结果肯定很可怕。

这还不是全部。小样本只是通常实践中的之一个问题。在ACL 2019论文《博学:可扩展、可重现、可测试的错误分析》中，作者详细列举了NLP错误分析中的诸多关键挑战，同时也提出了三个原则。希望你能让错误分析更准确，有更好的可重复性、可扩展性和可测试性。作者还设计了Errudite，这是一个实践这些原则的交互式工具，它也可以逐个处理发现的问题。

作者们还写了一篇介绍博客，解释为什么目前基于少量样本的人工和主观错误分析容易得到模糊和有偏见的分析，以及错误的原因可能是错误的，以及如何借助Errudite避免这些错误。他们的论文中有更多的例子。雷锋网AI技术评论整理了介绍博客全文。

从实际例子开始。

我们需要对BIDAF(https://allenai . github . io/bi-att-flow/)这个大家熟知的机器阅读理解的基准模型做一个错误分析。在这个任务中，首先，给定一个问题和一段文本，机器阅读理解模型需要找到一段能够正确回答问题的文本。

在这个来自小队数据集的例子中，Murray Gold用粗体字创建了2005年的《神秘博士》特刊。

作为语言理解最重要的测试任务之一，机器阅读理解中的错误分析非常关键，但也存在许多困难:研究人员都希望发现高级模型中的弱点并加以改进。然而，由于模型的输入(问题、文本段落)和输出(答案)是非结构化文本，因此很少有特征可用于分析和解释数据集。BiDAF是研究机器阅读理解任务的学者非常熟悉的一个模型，下面的错误分析例子都来自研究者对BiDAF的真实分析。

在刚才的这个例子中，BiDAF做了一个错误的预测，给出的答案是约翰·戴布尼(下划线)而不是默里·戈尔德。我们希望能从这个误差中做一些归纳，更全面的了解模型的性能。

在分析这个误差的时候，我们会问的之一个问题是:为什么模型会出现这个误差？一位专家给出了一个噪音词猜想:BiDAF擅长将问题匹配到各种命名实体类别，但如果同时出现其他同类型实体，BiDAF很容易受到干扰。在上面的例子中，我们问的问题是“谁”。比达夫知道我们需要一个人的名字，他回答了一个人的名字，但不是正确的名字。

有了这个假设，我们需要问的下一个问题是，“这个模型经常犯这样的错误吗？探索猜想的普遍性需要研究更多相似的样本。但是，正如我们上面所说的，如果我们要探索整个数据集，这些非结构化文本中可用的特征太少，所以研究者通常的做法是手动标记一些错误样本，并将其划分到不同的组中。

这种方法的问题是，不同群体的定义是主观的，不同的人会提出不同的分组方式。比如另一个例子，一个问题“什么时候”的标准答案是“他上大学的时候”，而模型给出的答案是“1996年”，这是错误的年份。有人会觉得这是一个符合噪音词猜想的问题。毕竟问题问的是时间，和模型给的答案类型(也是时间)相匹配。但也有人认为应该属于其他错误类别。毕竟，标准答案“在大学期间”并不是一个可识别的命名实体。如果您只是浏览这个错误示例的名称和文本描述，很可能您甚至不会意识到这种差异。

事实上，论文作者发现，人与人之间的这种差异/不一致，即使只使用简单的规则来定义不同的错误组，也会发生:作者在之前发表的错误分析中发现了一种错误类型及其描述，然后要求当前的专家重复实验。因此，他们分配给这组人的错误数量差异很大，从13.8%到45.2%不等。这更明显地反映了人工标注的模糊性。

针对这种情况，作者提出了之一个原则:伪猜想必须通过清晰的描述来准确定义。

原则1:准确性

为了避免人的主观性和提高准确性，Errudite使用特定领域的语言来定量描述不同的示例。

简单来说，这种特定于任务的语言使用一系列强大的属性提取器，在附加辅助运算符的帮助下解决特定的错误(属性提取器、目标和运算符)。比如一个问题可以解决的长度，长度要大于20。这样，研究者就可以客观系统地将大量的错误实例按照特定的模式进行分组，得到某些错误的准确频率。比如下图就是这种语言对“干扰词猜想”的准确描述，可以把“他上大学的时候”这个例子排除在这个分类之外。

原则2:覆盖所有数据。

在BiDAF的所有错误中实现该过滤器后，共找到192个符合“噪音词猜想”的例子，即标准答案和错误答案的命名实体类型相同，然后由模型给出错误实体。值得注意的是，在达到这种准确度的基础上，特定任务语言的应用还可以大大扩展错误分析的规模:与分析50到100个错误样本的常见做法相比，单个错误类别的样本量现在已经达到了192个。这也减少了采样误差。

从总量上看，这192个错误样本占全部错误的6%，这个噪声词猜想似乎是可以验证的。有了具体的数据之后，错误分析的说服力就变得强多了吧？

然而，当我们实现了所有步骤中的过滤器并构建了详细的分组后，我们实际上会发现一个全新的画面:BiDAF可以在所有样本的68%中给出正确的实体；对于标准答案是一个实体的样本，模型的准确率会提高到80%；当文本中存在其他同类型实体时，BiDAF的准确率仍为79%；当用它来预测一个类型正确的实体时，其准确率高达88%，远高于所有样本。这意味着当实体类型匹配且存在噪声词时，模型的性能优于整体性能，这并不是模型性能的短板。所以，如果你只是发现了某种错误，然后决定先解决它，你可能需要重新考虑，因为你很可能忽略了模型表现非常糟糕的情况。

因此，这种特定于领域的语言可以帮助分析整个数据集，包括检查没有错误的样本。这样的误差分析更加系统化，可以支持更大的规模；和只看一个小样本相比，你得到的结论可能是完全不同的。

那么，第二个原则可以正式表述为:错误频率的分析要在整个数据集上进行，包括真正例。

原则三:检验错误猜测，验证因果关系。

现在我们已经设置了干扰词的分组。然而，在错误发生的同时有一个干扰词并不一定意味着该干扰词是错误的根本原因。回到前面的例子，我们可以简单地认为错误的根本原因是噪音词，但也可能是因为我们需要进行多句推理，将神秘博士与系列联系起来，或者还有其他原因。

这导致了我们目前面临的另一个问题:我们很难有效地隔离某个错误的根本原因。为了找到答案，我们需要第三个原则。

原则3:错误的猜测应该被明确地测试和验证。

在Errudite的帮助下，作者想回答这个问题:这192个错误都是因为噪音词吗？验证方法是提出并验证一个相关的假设问题:“没有这个噪声词，模型能给出正确答案吗？”作者使用改写规则和反事实分析来寻找答案。

根据特定于领域的语言，Errudite可以按照一定的规则重写一个组中的所有实例。比如这里，为了验证干扰词是否是根本原因，根据重写规则，将文本中的干扰词替换为无意义的占位符“#”，这样就不会再次被检测为实体。

重写完成后让模型再次预测。在前面的神秘博士的例子中，尽管错误答案约翰·戴布尼已被替换为“#”，该模型仍然给出了另一个错误答案Ron Grainer。似乎另一个噪声词仍然混淆了模型。

对于分组中的其他样本，2-friend资源 *** 的9%的案例模型会给出另一个相同类型的不正确实体(另一个干扰词)；在48%的情况下，模型给出了正确的预测，而确实是这部分样本中的噪声词带来了错误的预测；剩下的23%，模型给出的预测和之前一样——只不过由于现在那些字符已经换成了“#”，模型的预测结果会包含“#”字符，而这个“#”字符在这个优优资源网中是没有实际意义的！可以推测，这可能是因为问题和预测的答案高度重合，所以模型实际做的事情更接近于直接的字符匹配，而不是寻找实体。这种反事实分析得出的结论，不能仅仅通过分组就得出。