【机器学习】深入理解局部加权线性回归+源码实现机器学习

理解局部加权线性回归+源码实现线性回归是在已有数据的基础上，通过建立含有未知参数的线性模型来拟合样本点。通过已有数据确定未知参数后，就可用回归模型来预测其他输入状态下的输出值。
一般地，线性回归分为标准线性回归(Standard LR)和局部加权线性回归(Locally Weighted LR)两种。其区别在于：前者对所有的样本点共享一个权重矩阵，权重矩阵由全局MSE得出；后者每个样本点使用一个权重矩阵，权重矩阵由核函数与MSE共同决定。下面从一个实例考虑二者的区别。

文章图片

图1(i)
文章图片

图1(ii) 考虑如图1(i)所示的数据集，用标准线性回归直观上并不恰当，似乎用曲线可以拟合得更好，这是全局共享权重矩阵的弊端。如图1(ii)所示，将某个样本点x i x_i xi?及其邻域内的点视为一个元集合 A A A，对 A A A进行标准线性回归以得到回归直线，将样本中的所有元集合对应的回归直线连接起来，就形成了对整个样本集的拟合。换言之，这是用局部最优拟合全局最优，用线性拟合非线性模型。
局部加权线性回归的核心原理在于如何计算出一个元集合并进行标准线性回归。这里引入的是高斯核函数：
k ( x i , x j ) = e ? ( x i ? x j ) 2 2 σ 2 k(x_i,x_j)=e^{-\frac{(x_i-x_j)^2}{2\sigma^2}} k(xi?,xj?)=e?2σ2(xi??xj?)2?
这使得离 x i x_i xi?近的点对 x i x_i xi?对应元集合的影响大，离 x i x_i xi?远的点影响小。对每一个点 x i x_i xi?都运用高斯核函数计算出一个权重矩阵 W i = d i a g ( w 1 , w 2 , . . . , w m ) W_i=diag(w_1,w_2,...,w_m) Wi?=diag(w1?,w2?,...,wm?) ，此时对于每一个样本点都有一个标准线性回归方程，其代价函数为：

文章图片

文章图片

文章图片

于是对于每个预测值而言都有：

文章图片

在代码实现层面，下面贴出计算参数的核心代码：

def lwlr_weights(x_Test,xMat,yMat,Gama):#计算权重矩阵并返回theta n = np.shape(xMat)[1] weights = np.eye(n)temp = np.multiply(np.diagonal((xMat-x_Test).T*(xMat-x_Test)).T,weights) weights = np.multiply(np.diagonal(np.exp(-Gama*temp)).T,weights)xWx = xMat*weights*xMat.T if (np.linalg.det(xWx)==0): return "\terror" else: theta = xWx.I*xMat*weights*yMat.T return theta

【【机器学习】深入理解局部加权线性回归+源码实现】其中temp与weights的计算通过numpy库中矩阵点乘、提取对角元素等操作避免了显式的for循环。向量化是机器学习中非常重要的节约资源的手段，经验证，本实验200个数据采用矩阵运算只需0.7ms左右完成，而使用for循环则需要3.8ms左右，且此倍率将随着样本扩大而增加。