学习笔记|n折交叉验证结果中的+-怎么算的（标准差？有偏估计？无偏估计？）机器学习|概率论

n折交叉验证的结果怎么写
文章图片

Q：这种实验结果里的±是怎么写出来的呢？
A：均值± 标准差
标准差百度标准差的时候，发现了这两个公式。差别是，后者是无偏估计量。

文章图片

无偏估计那么什么是无偏估计呢？下面三个链接很好的解释了：
为什么分母从n变成n-1之后，就从【有偏估计】变成了【无偏估计】？
为什么样本方差（sample variance）的分母是 n-1？
为什么样本方差（sample variance）的分母是 n-1？
下面自己总结总结~
个人理解：

首先，我们要看看方差是怎么计算的： E [ 1 n ∑ i = 1 n ( X i ? μ ) 2 ] = σ 2 \mathbb{E}\left[\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right]=\sigma^{2} E[n1?∑i=1n?(Xi??μ)2]=σ2。
此时候是无偏估计的，但当我们用 X ˉ \bar{X} Xˉ替换 u u u后，将倾向于低估方差。
1 n ∑ i = 1 n ( X i ? X ˉ ) 2 = 1 n ∑ i = 1 n [ ( X i ? μ ) + ( μ ? X ˉ ) ] 2 = 1 n ∑ i = 1 n ( X i ? μ ) 2 + 2 n ∑ i = 1 n ( X i ? μ ) ( μ ? X ˉ ) + 1 n ∑ i = 1 n ( μ ? X ˉ ) 2 = 1 n ∑ i = 1 n ( X i ? μ ) 2 + 2 ( X ˉ ? μ ) ( μ ? X ˉ ) + ( μ ? X ˉ ) 2 = 1 n ∑ i = 1 n ( X i ? μ ) 2 ? ( μ ? X ˉ ) 2 \begin{aligned} \frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} &=\frac{1}{n} \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)+(\mu-\bar{X})\right]^{2} \\ &=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+\frac{2}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\mu-\bar{X})+\frac{1}{n} \sum_{i=1}^{n}(\mu-\bar{X})^{2} \\ &=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+2(\bar{X}-\mu)(\mu-\bar{X})+(\mu-\bar{X})^{2} \\ &=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-(\mu-\bar{X})^{2} \end{aligned} n1?i=1∑n?(Xi??Xˉ)2?=n1?i=1∑n?[(Xi??μ)+(μ?Xˉ)]2=n1?i=1∑n?(Xi??μ)2+n2?i=1∑n?(Xi??μ)(μ?Xˉ)+n1?i=1∑n?(μ?Xˉ)2=n1?i=1∑n?(Xi??μ)2+2(Xˉ?μ)(μ?Xˉ)+(μ?Xˉ)2=n1?i=1∑n?(Xi??μ)2?(μ?Xˉ)2?
从公式可以看出，除非均值 X ˉ \bar{X} Xˉ与期望 u u u是相等的，否则会导致对方差的低估。
我们也可以通过一个例子说明为什么样本均值 X ˉ \bar{X} Xˉ与期望 u u u是不相等的：掷骰子，点数的期望是 3.5, 是一个确定的数字，但是实际投掷n次取平均并不一定等于3.5。
因此，为了不要低估方差，就把分母从 n n n换成 n ? 1 n-1 n?1。具体来说，需要用一个 n n ? 1 \frac{n}{n-1} n?1n?的因子来进行修正：
E ( S 1 2 ) = 1 n ∑ i = 1 n E ( ( X i ? X ˉ ) 2 ) = 1 n E ( ∑ i = 1 n ( X i ? μ + μ ? X ˉ ) 2 ) = 1 n E ( ∑ i = 1 n ( ( X i ? μ ) 2 ? 2 ( X i ? μ ) ( X ˉ ? μ ) + ( X ˉ ? μ ) 2 ) ) = 1 n E ( ∑ i = 1 n ( X i ? μ ) 2 ? 2 ∑ i = 1 n ( X i ? μ ) ( X ˉ ? μ ) + n ( X ˉ ? μ ) 2 ) = 1 n E ( ∑ i = 1 n ( X i ? μ ) 2 ? 2 n ( X ˉ ? μ ) ( X ˉ ? μ ) + n ( X ˉ ? μ ) 2 ) = 1 n E ( ∑ i = 1 n ( X i ? μ ) 2 ? n ( X ˉ ? μ ) 2 ) = 1 n ( ∑ i = 1 n E ( ( X i ? μ ) 2 ) ? n E ( ( X ˉ ? μ ) 2 ) ) = 1 n ( n Var ? ( X ) ? n Var ? ( X ˉ ) ) = Var ? ( X ) ? Var ? ( X ˉ ) = σ 2 ? σ 2 n = n ? 1 n σ 2 \begin{aligned} E\left(S_{1}^{2}\right) &=\frac{1}{n} \sum_{i=1}^{n} E\left(\left(X_{i}-\bar{X}\right)^{2}\right)=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu+\mu-\bar{X}\right)^{2}\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(\left(X_{i}-\mu\right)^{2}-2\left(X_{i}-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^{2}\right)\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\bar{X}-\mu)+n(\bar{X}-\mu)^{2}\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 n(\bar{X}-\mu)(\bar{X}-\mu)+n(\bar{X}-\mu)^{2}\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2}\right) \\ &=\frac{1}{n}\left(\sum_{i=1}^{n} E\left(\left(X_{i}-\mu\right)^{2}\right)-n E\left((\bar{X}-\mu)^{2}\right)\right) \\ &=\frac{1}{n}(n \operatorname{Var}(X)-n \operatorname{Var}(\bar{X})) \\ &=\operatorname{Var}(X)-\operatorname{Var}(\bar{X})=\sigma^{2}-\frac{\sigma^{2}}{n}=\frac{n-1}{n} \sigma^{2} \end{aligned} E(S12?)?=n1?i=1∑n?E((Xi??Xˉ)2)=n1?E(i=1∑n?(Xi??μ+μ?Xˉ)2)=n1?E(i=1∑n?((Xi??μ)2?2(Xi??μ)(Xˉ?μ)+(Xˉ?μ)2))=n1?E(i=1∑n?(Xi??μ)2?2i=1∑n?(Xi??μ)(Xˉ?μ)+n(Xˉ?μ)2)=n1?E(i=1∑n?(Xi??μ)2?2n(Xˉ?μ)(Xˉ?μ)+n(Xˉ?μ)2)=n1?E(i=1∑n?(Xi??μ)2?n(Xˉ?μ)2)=n1?(i=1∑n?E((Xi??μ)2)?nE((Xˉ?μ)2))=n1?(nVar(X)?nVar(Xˉ))=Var(X)?Var(Xˉ)=σ2?nσ2?=nn?1?σ2?
这个公式还是写的很清楚，很好理解~

【学习笔记|n折交叉验证结果中的+-怎么算的（标准差？有偏估计？无偏估计？）】补充：很多资料都提到了自由度这一概念，“自由度”来源于卡方分布，表示 n n n个正态随机变量的平方和，链接里讲的比较清楚，不过我看不懂，就不在这里深入了。