统计模型验证

在统计学中，模型验证是确认统计模型的输出对于实际数据生成过程是可接受的任务。换句话说，模型验证是确认统计模型的输出对数据生成过程的输出有足够的保真度以实现调查目标的任务。

概述

模型验证可以基于两种类型的数据：用于构建模型的数据和未用于构建的数据。基于第一种类型的验证通常涉及分析模型的拟合优度或分析残差是否看起来是随机的（即残差诊断）。基于第二种类型的验证通常涉及分析模型的预测性能在应用于相关的新数据时是否会出现不可忽略的恶化。

仅基于第一种类型（用于构建模型的数据）的验证通常是不充分的。图 1 显示了一个极端示例。该图显示了通过直线 + 噪声生成的数据（黑点）。该图还显示了一条曲线，该曲线是为完美拟合数据而选择的多项式。曲线的残差全部为零。因此，仅基于第一类数据的验证将得出该曲线是一个好的模型的结论。然而曲线显然是一个糟糕的模型：插值，特别是在 -5 和 -4 之间，往往会产生高度误导；此外，任何实质性的推断都是不好的。

因此，验证通常不仅仅基于模型构建中使用的数据；相反，验证通常还使用构建中未使用的数据。换句话说，验证通常包括测试模型的一些预测。

模型只能相对于某些应用领域进行验证。对一个应用程序有效的模型可能对其他一些应用程序无效。例如，考虑图 1 中的曲线：如果应用程序仅使用区间 [0, 2] 的输入，那么曲线很可能是一个可接受的模型。

验证方法

根据统计科学百科全书，在进行验证时，存在三个显着的潜在困难原因。这三个原因是：缺乏数据；缺乏对输入变量的控制；潜在概率分布和相关性的不确定性。处理验证困难的常用方法包括：检查构建模型时所做的假设；检查可用数据和相关模型输出；应用专家判断。请注意，专家判断通常需要应用领域的专业知识。

专家判断有时可用于评估预测的有效性而无需获得真实数据：例如，对于图 1 中的曲线，专家很可能能够评估实质性外推将无效。此外，专家判断可用于图灵类型测试，其中向专家提供真实数据和相关模型输出，然​​后要求区分两者。

对于某些类别的统计模型，可以使用专门的验证方法。例如，如果统计模型是通过回归获得的，则存在并通常采用回归模型验证的专门分析。

残留诊断

残差诊断包括对残差的分析以确定残差是否看起来是有效随机的。这种分析通常需要估计残差的概率分布。残差分布的估计通常可以通过重复运行模型来获得，即通过使用重复的随机模拟（在模型中为随机变量使用伪随机数生成器）。

如果统计模型是通过回归获得的，则存在回归残差诊断并且可以使用；这种诊断方法已经得到很好的研究。