如何使用 K-S 检验检查两个结果是否具有可比性？

问题描述

我在几个数据集上使用了两种算法（方法）并获得了一些结果。现在我想检查得到的结果是否具有可比性？我已经使用了两个采样的 K-S 测试并得到了以下结果，现在如何解释测试结果？结论应该是什么？

KstestResult(statistic=0.11320754716981132,pvalue=0.8906908896753045)
D_alpha= 0.2641897545611759

解决方法

K-S 检验用于比较分布。所以，当你应用它时，你有兴趣比较分布 F(X) 和另一个分布 $G(X)$。通常，前者是您的数据分布，后者是另一个数据分布或您指定的内容（例如高斯分布）。

现在，检验的原假设是 F(X)=G(X)。该测试产生一个 statistic 来评估是否可以假设该原假设为真。您通常不会直接查看这个数量；而是您想查看 p-value。如果原假设为真，这是观察到的统计量大于您观察到的统计量的概率。在这种情况下，p 值的低值表明观察到的统计量几乎不可能（即低概率）大于您在假设成立时观察到的统计量；因此，由于您观察到的统计数据为您提供了一个小的 p 值，您倾向于相信您的原假设一定是错误的，并且确实 F(X) 与 G(X) 不同。

在您的情况下，p 值很高（对于低 p 值，我们打算为 0.1、0.05 或 0.01 或更低），因此您不会拒绝原假设。因此，你会说你测试的东西是一样的，没有统计上的不同。

但是，我强烈建议您阅读有关该测试的更多信息、使用方式以及何时；还要尝试了解它是否适​​合您的情况。您可以在 Wikipedia 和 scipy docs