西瓜书笔记|详解线性判别分析(LDA)
目录
LDA基本思想：
投影的定义
同类投影点的接近
异类样本点的远离
找到一条直线（转为最优化）
类内散度矩阵与类间散度矩阵
目标函数对?欧米伽大小的无关性
拉格朗日乘子法
LDA做法总结
本文着重于思想的理解与公式的推导~
Linear Discriminant Analysis（LDA）是一种经典的线性学习方法，亦称“Fisher判别分析法”
注意：本文中的
文章图片
文章图片
- LDA基本思想：
- 投影的定义
文章图片
（原点指向样本点的向量）投影到直线上，也就是投影到直线的单位方向向量
文章图片
上，不妨设
文章图片
的起点是原点
文章图片
，然后求原点
文章图片
至投影点的距离。
由向量的点乘可知：
文章图片
是投影长度,i.e.原点
文章图片
至投影点的距离
- 同类投影点的接近
文章图片
越小，同类样本点越接近。
注意到西瓜书内使用的是：
文章图片
刻画接近，其本质上是相等的，下面给出公式推导：
对于
文章图片
有如下变形：
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
对于
文章图片
有如下变形：
文章图片
文章图片
文章图片
可以验证的是：(1)=(2)
到此，证明了
文章图片
，即样本之间的协方差本质上就是样本点投影的方差。
- 异类样本点的远离
文章图片
，为了去除绝对值这样的不光滑的函数我们采用二次函数代替绝对值，也就是
文章图片
越大，越远离。
此处的
文章图片
是第0类的样本中心点，
文章图片
是第1类的样本中心点。后文也将这样表述。
- 找到一条直线（转为最优化）
类内散度矩阵与类间散度矩阵 为方便计算
定义“类内散度矩阵”
文章图片
：顾名思义，也就是刻画同类样本点之间“接近”程度的矩阵，下标
文章图片
是
文章图片
的首字母。
定义“类间散度矩阵”
文章图片
：顾名思义，也就是刻画异类样本点之间“远离”程度的矩阵，下标
文章图片
是
文章图片
的首字母。
文章图片
文章图片
目标函数对
文章图片
欧米伽大小的无关性 因此该优化问题变为：
文章图片
该目标函数也称“广义瑞利商”，注意到
文章图片
和
文章图片
都是
文章图片
的矩阵，所以目标函数中的分子与分母都是关于
文章图片
的二次项
不妨设目标函数的形式为：
文章图片
其中
文章图片
∈
文章图片
可以化简为：
文章图片
所以该式与
文章图片
大小无关，只与
文章图片
方向有关（
文章图片
确定之后，
文章图片
的方向也就确定了）
不妨令
文章图片
，最优化问题化简为：(为方便之后的拉格朗日乘子法，将最大目标转换为最小目标)
文章图片
拉格朗日乘子法 使用拉格朗日乘子法：由偏导为0得到两个等式：
文章图片
由
文章图片
的定义可知，
文章图片
,即他俩是对称矩阵。
文章图片
上式子中
文章图片
为拉格朗日乘子
注意到
文章图片
不妨设
文章图片
文章图片
所以
文章图片
与
文章图片
同向，而上面已经证明了原始目标函数与
文章图片
的大小无关，也就是
文章图片
大小任取，从而
文章图片
长度任取，不妨就令：
文章图片
现将(3)(4)联立解得：
文章图片
到此整个LDA就做完了。
LDA做法总结 最后再总结一下LDA的结论：
- 计算类内散度矩阵的逆矩阵
文章图片
- 分别计算两类的样本中心点
文章图片
- 计算最终找到的这条直线
文章图片
- 将新样本点投影到求得的
文章图片
再判断其类别
【西瓜书笔记|详解线性判别分析(LDA)】
推荐阅读
- EffectiveObjective-C2.0|EffectiveObjective-C2.0 笔记 - 第二部分
- 图书集合完毕
- “成长”读书社群招募
- Android中的AES加密-下
- 书评——《小行星》
- 【0212读书感悟】
- 历史教学书籍
- 我正在参加安特思库共读一本书干法。
- 【读书笔记】贝叶斯原理
- 【韩语学习】（韩语随堂笔记整理）