这个系列的文章都将是对于deeplearning.ai 开设的关于深度学习的相关课程的学习笔记，第一门课就是神经网络与深度学习。
本篇的内容和机器学习学习笔记中的某些章节有些重复，于是简单的地方就不过多赘述，同时呢也可以对照着来看，寻找联系和区别。在这里我们不再阐述神经网络的由来等，而是直接针对神经网络这种方法进行说明。
第一篇讲述内容如题，作为神经网络的逻辑回归。（由于博主比较懒，很多信息都在图里，文字内容主要是针对图里没有的内容，或是需要强调的内容，或是博主自己的见解）
Binary Classification
由二分类问题进行引入，在处理图像二分类问题时，通常我们将图像的所有通道的数值平铺成一个vector作为输入 x x x。旨在运用将 x x x输入网络后得到输出 y y y来进行分类。
文章图片
下图展示了惯常的对于输入输出的表示方式，在后面的课程中将会经常用到不再赘述，值得一提的是，通常x x x 表示为列向量（并非行向量）
文章图片
Logistic Regression
对于分类问题运用逻辑回归的原因是我们希望得到的y y y 能够在0到1的范围内，这样就能与我们习惯的概率联系上，即越接近于1说明该图像是猫的可能性越大，于是我们判定它是猫，越接近于0则越不可能是猫。（线性回归 y y y值的范围就不满足）
文章图片
Logistic Regression Cost Function
Loss(error) function指的是针对一个样本的损失函数。
Cost function指的是考虑到所有样本的损失函数。
逻辑回归的损失函数不能使用最小二乘，因为最小二乘下的损失函数不满足凸函数性质，使得存在很多局部最优解。而逻辑回归的损失函数第一满足凸函数性质，第二定性分析也符合我们的期望。
文章图片
Logistic Regression Gradient Descent
对于神经网络，首先是正向传播一次计算得出y y y 和L ( ) L() L(), 然后是反向传播运用链式法则计算出损失函数对于每个参数的偏导数。进而运用梯度下降算法进行参数更新。
文章图片
在机器学习学习笔记中，我们直接对损失函数进行求导，并没有采用链式法则。采用链式法则更加清晰，同时也明白了对于输出层我们的所谓残差并不是直接定义出来的，也是通过求导求出来的（$a - y $）。
机器学习学习笔记中对于反向传播的公式非常复杂，是因为我们是针对多层复杂神经网络给出的规范表达式，这里的神经网络非常简单所以公式非常清晰。
文章图片
Gradient Descent on m Examples
【神经网络|神经网络与深度学习（一）- Logistic Regression as a Neural Network】对于m个样本，每次参数更新我们需要遍历这m个样本进行求平均的运算。
文章图片
下图为对于m个样本进行逻辑回归的步骤。
文章图片
推荐阅读
- 深度学习|神经网络和深度学习（二）-神经网络的编程基础
- [DL]神经网络与深度学习|[2022-09-05]神经网络与深度学习第0章-basic‘s basic(part 2)
- [DL]神经网络与深度学习|[2022-08-29]神经网络与深度学习第0章-basic‘s basic(part 1)
- 神经网络与深度学习|神经网络与深度学习第3章（线性模型 阅读提问）
- 算法|字节跳动VQScore算法拿下ICME 2021“压缩UGC视频质量评估”比赛第一名
- 自然语言处理|机器学习中的七宗罪
- 机器学习|[HITML] 哈工大2020秋机器学习Lab1实验报告
- 算法|计算建模之EM算法
- 哈工大机器学习实验一多项式拟合正弦函数