锐客网

  1. 首页 > 睿知 > it技术 > >

代价函数python 代价函数是什么意思( 三 )

IT技术学习


同理，二项逻辑斯蒂回归的参数估计的方法也可以推广到多项逻辑斯蒂回归 。
[1]. 机器学习算法与Python实践之（七）逻辑回归（Logistic Regression）
[2].《统计学习方法》 李航 著
代价函数（python实现） 首先我们要知道???(??(??))等于什么 ， 它的意思是θ^T乘以X，X是一个向量，如果用等式表达的话就是 θ0??0 + θ1??1 + θ2??2+...+θ??????，当然θ也是一个向量，而且是一维的，python里面有一个库叫numpy，专门做矩阵运算的，我们使用就可以了，我们先初始化X,y,还有θ吧
先随机初始化，这些东西应该不需要讲，randint是随机整数，rand是小数，然后low参数代表你的随机数上界，size就是维度 ， 初始化完成后就开始运算 。
求和公式里面的运算
( (h(θ) = Xtheta^T) - y )^2*
我想这些应该不难，就是(X * theta.T - y)，平方的话用np的power()函数 。
inner = np.power((X * theta.T - y),2)，第二个参数就是平方数
然后我们就可以计算求和公式外面的了 ， 这个m代表着X矩阵的行数，对应的就是X的
向量个数 ， 
np.sum(inner,axis=None)
最后再除以两倍的x向量个数即可 ， 就是1 / len(X) * 2为什么是两倍呢 ， 因为它求了偏导数，所以就是2了，好了 ， 把它们整理一下写成函数吧
正则化项L1和L2的直观理解及L1不可导处理正则化（Regularization）
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ?1-norm 和 ?2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。
L1正则化和L2正则化可以看做是损失函数的惩罚项 。所谓『惩罚』是指对损失函数中的某些参数做一些限制 。对于线性回归模型 ， 使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归） 。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项 。
下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||22即为L2正则化项 。
一般回归分析中回归w表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制） 。L1正则化和L2正则化的说明如下：
L1正则化是指权值向量w中各个元素的绝对值之和 ， 通常表示为||w||1
L2正则化是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2
一般都会在正则化项之前添加一个系数，Python中用α表示，一些文章也用λ表示 。这个系数需要用户指定 。
那添加L1和L2正则化有什么用？ 下面是L1正则化和L2正则化的作用 ，这些表述可以在很多文章中找到 。
L1正则化可以产生稀疏权值矩阵 ， 即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合
稀疏模型与特征选择
上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择 。为什么要生成一个稀疏矩阵？
稀疏矩阵指的是很多元素为0 ， 只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0.
通常机器学习中特征数量很多，例如文本处理时 ， 如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram） 。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献 ， 绝大部分特征是没有贡献的，或者贡献微?。ㄒ蛭乔懊娴南凳?或者是很小的值 ， 即使去掉对模型也没有什么影响） ， 此时我们就可以只关注系数是非零值的特征 。这就是稀疏模型与特征选择的关系 。

推荐阅读


上一篇：jquery导航横向滑动，jquery 滑动显示

下一篇：u盘照片删除怎么恢复软件，u盘里的照片删掉了怎么恢复