5.1 神经元模型 “M-P神经元模型”:在这个模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。
文章图片
理想中的激活函数是图5.2(a)所示的阶跃函数,它将输入值映射为输出值“0”或“1”,显然“1”对应于神经元兴奋,“0”对应于神经元抑制。然而,阶跃函数具有不连续、不光滑等不太好的性质,因此实际常用Sigmoid函数作为激活函数。典型的Sigmoid函数如图5.2(b)所示,它把可能在较大范围内变化的输入值挤压到(0,1)输出值范围内,因此有时也称为“挤压函数”(squashing function)。
文章图片
许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。
5.2 感知机与多层网络 感知机由两层神经元组成,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元。
感知机能容易地实现逻辑与、或、非运算。
感知机模型:激活函数为sgn (阶跃函数)的神经元
文章图片
文章图片
感知机学习策略:
文章图片
文章图片
文章图片
5.3 神经网络 【机器学习|西瓜书——第五章神经网络】由于像感知机这种单个神经元分类能力有限,只能分类线性可分的数据集,对于线性不可分的数据集则无能为力,但是多个神经元构成的神经网络能够分类线性不可分的数据集(西瓜书上异或问题的那个例子),且有理论证明(通用近似定理)︰只需一个包含足够多神经元的隐层,多层前馈网络(最经典的神经网络之一)就能以任意精度逼近任意复杂度的连续函数。因此,神经网络既能做回归,也能做分类,而且不需要复杂的特征工程。
BUT,理想很丰满,现实很骨感,神经网络存在如下问题待屏幕前的你来解决︰
- 面对一个具体场景,神经网络该做多深?多宽?
- 面对一个具体场景,神经网络的结构该如何设计才最合理?
- 面对一个具体场景,神经网络的输出结果该如何解释?
文章图片
文章图片
文章图片
BP算法:
文章图片
文章图片
文章图片
推荐阅读
- 机器学习|机器学习西瓜书——第05章神经网络
- python|超简单教你用Python克隆声音(以卷福为例)
- 神经网络|对CTC、RNA、RNN-T的理解
- CVPaper|计算机视觉论文-2021-09-09
- pytorch|pytorch学习笔记(六)——pytorch中搭建神经网络
- 算法|YOLOv6(又快又准的目标检测框架开源啦)
- python|YOLOv5系列学习之指标
- python|基于Python的决策树判断是否降雪
- 机器学习入门