1.补充些gay率论知识：
（1）随机变量的独立性和相关之间的关系 简单的一句话就是
相关系数为0是两变量独立的必要非充分条件统计学上的相关一般指线性相关，可以用相关系数这个指标来说明期相关程度
文章图片
文章图片
文章图片
相关可以认为是一种映射，故可以分为线性映射和非线性映射 线性映射 ：设映射f是线性映射，即满足(1) f(a+b)=f(a)+f(b) (2) f(ca)=cf(a) 而在统计中存在随机扰动项e，即y=f(x)+e ，故相关性描述的是随机噪声的大小相关性越大随机干扰项越小
非线性映射 ：映射 对应的转化 可能对应多个值？？、
独立：就是不存在关系
不独立：f(x,y) = 0
相互独立的两个概率密度和其边缘概率密度存在以下关系
文章图片
（2）贝叶斯推导
条件概率公式
设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：
P(A|B)=P(AB)/P(B)
若
文章图片
是两两不相容事件(互斥)则
文章图片
B两两互斥则
文章图片
再加一个P就成全概率公式了
文章图片
文章图片
从而推导出大名鼎鼎的贝叶斯公式
文章图片
（3）无偏估计 a .估计量的无偏估计
文章图片
b.最小方差无偏估计
2.最大似然估计
由于样本集中的样本都是iid（独立同分布），可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
文章图片
文章图片
其主要思想就是样本都已经出现了，所以他出现的概率是比其他未出现的随机变量概率要大的，故L的值应该取得最大，故建模成功，成为求最大值问题 
文章图片
实际中为了便于分析，定义对数似然函数
文章图片
文章图片
文章图片
最大似然估计的求解： 必要条件是似然函数的梯度为0
若似然函数满足连续可导的条件，则最大似然估计量就是下面方程的解（必要条件）：
文章图片
参数不止一个的情况下
梯度算子
文章图片
则最大似然估计量的必要条件由S 个构成的方程组
文章图片
求解注意事项 （1）如果似然函数连续可导，存在最大值，且上述必要条件方程组有唯一解，则其解就是最大似然估计量。
（2）如果必要条件有多解，则需从中求似然函数最大者
（3）若不满足连续可导，则无一般性方法，用其它方法求最大（如：均匀分布的情况）
文章图片
文章图片
求解过程
文章图片
文章图片
文章图片
文章图片
无法求解
例子参数 μ δ均未知的一元正态分布 
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
解得 
文章图片
文章图片
文章图片
文章图片
N -> ∞
文章图片
被成为渐进无偏估计
最大似然估计总结 a.如果假设的类条件概率模型
文章图片
正确，则通常能获得较好的结果。但果假设模型出现偏差，将导致非常差的估计
b.计结果收敛性：无偏或者渐近无偏
贝叶斯估计
主要思想：最大似然估计，矩估计看来未知参数θ就是一个未知数，我们不需要对其有了解，或者我们根本无法了解，其所有信息全部来源于样本。但是现实中，对于未知数θ我们可以通过过往的经验进行推测，也就是我们对θ是有一点了解的，而这θ就是我们所说的先验分布
通过以往经验我们可以画（大胆假设其服从的分布）出θ概率密度分布，进而求出其概率密度函数，假设为h（0），则
文章图片
则成为后验密度函数，即在样本出现的情况下θ的密度函数，故求解的时候需要将上图的2.10带入即可求解。
注意 此时求出的来的不是还不是估计值，而只是未知数θ最新分布函数
而估计值是θ分布的数学期望，再根据数学期望公式求解
文章图片
所以其公式为
文章图片
例子之一元正态分布的贝叶斯估计正态分布情况：仅
可以看出当样本数量足够大时 估计量接近样本均值，而当先验信息足够准确时即δ2够小时，估计量在μ附近。先验知识十分不确定，完全依 靠样本信息
【参数估计之最大似然估计法和贝叶斯估计法（点估计）】问：假设没有先验知识的时候 怎么办吗，贝叶斯提出“同等无知”，即假设服从均匀部分，反正那啥就算不准确，样本都多也足以，呵呵哒
推荐阅读
- paddle|动手从头实现LSTM
- 人工智能|干货！人体姿态估计与运动预测
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- 读书笔记|《白话大数据和机器学习》学习笔记1
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- Python机器学习基础与进阶|Python机器学习--集成学习算法--XGBoost算法
- 深度学习|深度学习笔记总结
- 机器学习|机器学习Sklearn学习总结
- 机器学习|线性回归原理与python实现