python经验分布函数 经验分布函数求法( 五 )


Q-Q图的原理与P-P图几乎一致 。P-P图考察的是实际分布与理论分布的累积概率分布差异,而Q-Q图考察的是实际百分位数与理论百分位数的差异 。同理在此处,我们所假定的分布就是正态分布,如果数据样本是服从正态分布的话,那么实际的分布应该是相对一致的,反映在图形中就是数据点应该沿着图形的对角线分布 。
在Python中,statsmodels包中目前主要提供的是Q-Q图的绘制
柯尔莫戈洛夫-斯米诺夫检验(Kolmogorov-Smirnov test),一般又称K-S检验 , 是一种基于累计分布函数的非参数检验,用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同 。
K-S检验的原假设是“样本数据来自的分布与正态分布无显著差异”,因此一般来说 , KS检验最终返回两个结果 , 分别是检验统计量及P值,检验结果P0.05才是我们的目标 。
实际上,GraphPad不推荐使用单纯的Kolmogorov-Smirnov test方法
夏皮洛-威尔克检验(Shapiro—Wilk test),一般又称W检验 。W检验是一种类似于利用秩进行相关性检验的方法 。同样需要注意的是,W检验与K-S检验一样,原假设是“样本数据来自的分布与正态分布无显著差异”,因此一般来说,W检验最终返回两个结果 , 分别是检验统计量及P值 。,检验结果P0.05才是我们的目标 。
当数据集中的数据无重复值时,该方法的检验效果比较好,但是当数据集中有些数据不是独一无二的,即有些数据的数值是相同的,那么该方法的检验效果就不是很好
GraphPad官方推荐使用该方法 。
首先计算 偏度和峰度以便在不对称和形状方面量化分布离高斯分布的距离 。然后 , 其计算这些值中的每一个与高斯分布的预期值之间的差异 , 并基于这些差异的总和,计算各P值 。这是一种通用和强大的正态性检验,推荐使用 。请注意,D'Agostino开发了几种正态性检验 。Prism使用的其中一个是“综合K2”检验 。
安德森-达令检验样本数据是否来自特定分布,包括分布:'norm', 'expon', 'gumbel', 'extreme1' or 'logistic'.
原假设 H0:样本服从特定分布;备择假设 H1:样本不服从特定分布
实际上,从已有的文献表明,对于数据分布的正态性研究,首选方法是图形观察,即利用直方图、P-P图或Q-Q图进行观察 , 如果分布严重偏态和尖峰分布则建议进行进一步的假设检验 。如果图形分布结果不好判断,则再进行正态性检验 。
实际上 , 从已有的文献表明 , 对于数据分布的正态性研究,首选方法是图形观察 , 即利用直方图、P-P图或Q-Q图进行观察,如果分布严重偏态和尖峰分布则建议进行进一步的假设检验 。如果图形分布结果不好判断 , 则再进行正态性检验 。
其次,对于检验方法来说,对于K-S检验及W检验结果来说,有文献采用蒙特卡罗模拟方法进行多次验证,结果表明W检验结果相比于大部分方法都有较大的检验功效,而K-S方法的检验结果相对不佳 。并且部分学者认为,K-S检验的实用性远不如图形工具,因为在样本量少时 , 该检验不太敏感,但是在样本量大时,该检验却过于敏感 。因此正常情况下 , 我们更常采用W检验的结果 。
值得注意的是,虽然说K-S检验结果相对不佳,但是不同检验方法对于样本量的敏感度是不一样的 。在样本量较小的情况下(小于50个样本的情况下) , 请优先选择W检验;在样本量50-5000的情况下,可以酌情使用W检验及K—S检验;在样本量大于5000的情况下,请使用K-S检验结果,尤其是在SPSS中,当样本量大于5000的情况下,将只显示K-S检验结果,而不显示W检验结果 。

推荐阅读