问题描述
我正在尝试计算将 CDF 指定为数组的 KS 测试，但是，我遇到了意想不到的结果。经过进一步评估，我发现根据我是否将 CDF 指定为可调用、字符串或数组，得出不同的结果。我的代码如下：
import scipy.stats as st
random_variables = st.norm.rvs(loc=1,scale=1,size=1000000)
cdf_data = st.norm.cdf(random_variables,loc=1,scale=1)
params = st.norm.fit(data=random_variables)
display(params)
print('\n')
#test 1
out = kstest(rvs=random_variables,cdf='norm',args=params)
display(out,out[0],out[1])
print('\n')
#test 2
out = kstest(rvs=random_variables,cdf=st.norm.cdf,out[1])
print('\n')
#test 3
out = kstest(rvs=random_variables,cdf=cdf_data)
display(out,out[1])
这段代码的结果是：
(1.0004825310590526,0.9996641807017618)
KstestResult(statistic=0.0007348981302804924,pvalue=0.6523439724424506)
0.0007348981302804924
0.6523439724424506
KstestResult(statistic=0.0007348981302804924,pvalue=0.6523439724424506)
0.0007348981302804924
0.6523439724424506
KstestResult(statistic=0.500165,pvalue=0.0)
0.500165
0.0
鉴于将大样本数据与其生成样本的确切分布进行比较，我预计将无法拒绝原假设。这是测试 1 和 2 中的情况，但测试 3 中不是这种情况。我希望能够使用“cdf”参数的数组参数来复制此测试。关于我在测试 3 中做错了什么的任何帮助都会非常有帮助。我的 numpy 是 1.19.2 版，scipy 是 1.5.2 版。谢谢！
解决方法
我认为有两件事可能会导致您感到困惑。
- 我认为您不想与
cdf_data = st.norm.cdf(random_variables,loc=1,scale=1)进行比较。这是在random-variables的所有 x 值处返回累积分布函数的值。在 KS 测试中，您要比较两个分布，而您的cdf_data和random_variable是两个非常不同的分布，因此您希望得到的 p 值为 0。我建议您替换 {{1} } 类似cdf_data - 此外，您在前两个（一个样本）和第三个（两个样本）测试之间执行两个不同的 KS 测试。在前两个中，您将数据与固定的函数形式进行比较，以检查数据是否与该函数分布一致。由于您在案例一和案例二之间拥有相同的数据和分布，因此您希望输出相同。但是，在第三种情况下，您正在测试两个独立的分布以查看它们是否彼此一致。由于
random_variable_2 = st.norm.rvs(loc=1,scale=1,size=size)应该只是其他正态分布的数据点，你应该会发现这两个分布是一致的，但它不一定会给你与前两种情况完全相同的答案，只是 KS 检验统计量和 p-表明两个数据集来自相同的基础分布的值。