机器学习整理（逻辑回归）
二分类问题
问题定义：给定一些特征，给其分类之一。
假设函数 \(h(x)\) 定义：
\[h(x) = g(\theta^Tx) \]
\[g(z) = \dfrac{1}{1 +e^{-z}} \]
决策边界：
文章图片
当 \(h(x) >= 0.5\) 的时候，y 更有可能预测为 1。
当 \(h(x) < 0.5\) 的时候，y 更有可能预测为 0。
当 z 的值为 0，也就是 \(\theta^Tx\) = 0 时就是区分两种分类的决策边界。
决策边界可能是直线，也有可能是曲线、圆。
代价函数
\(g(x)\) 是一个“非凸函数”，如果将点距离公式带入到逻辑回归中，就会存在很多局部最优解。
新的代价函数定义：
文章图片
定义的代价函数图像和原因如下：
文章图片
如果预测是/接近 0，但是实际的y是 1，这样代价函数的值就会非常大，以此来惩罚（修正）代价函数，而我们需要将代价函数最小化才能计算出 \(h(x)\) 的参数 θ。
因为总是存在 $y = 0 $ 或 \(y = 1\) ，所以可以将代价函数合并：
\[J(\theta) = -\frac{1}{m} [\sum_{i=1}^{m}y_ilog(h(x_i)) + (1-y_i)log(1-h(x_i)) ] \]
梯度下降的算法和之前一致，只不过偏导数相对复杂一些。
多分类问题
文章图片
将多个类别的分类，转化成一对一的分类（分类器），每一个分类器相当于在计算属于自己那个分类的逻辑回归。
【机器学习整理（逻辑回归）】进行预测时：选择 \(max(h_i(x))\) 的分类器，也就是概率最高的一个，如图（右侧）。
推荐阅读
- p2p|JAVA学习（语言基础第一天）
- ElasticSearch7.3|ElasticSearch7.3 学习之定制分词器（Analyzer）
- 程序设计基础·Java学习笔记·面向对象（下）
- 安卓开源框架学习|OKHttp原理讲解之RetryAndFollowUpInterceptor
- mysql学习笔记-底层原理详解
- 研发管理|学习笔记（3):Windows版YOLOv4目标检测（原理与源码解析-目标检测-YOLOv3原理）
- 动手学深度学习PyTorch版|《动手学深度学习PyTorch版》打卡_Task3，过拟合，欠拟合，梯度消失，梯度爆炸
- 研发管理|学习笔记（2):Windows版YOLOv4目标检测（原理与源码解析-目标检测-YOLOv2原理）
- 深度学习|【深度学习1】Anaconda3的安装和Jupyter的使用
- 深度学习|【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程（上）——一步步建立深度神经网络