机器学习|西瓜书——第五章神经网络

5.1 神经元模型 “M-P神经元模型”:在这个模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。
机器学习|西瓜书——第五章神经网络
文章图片

理想中的激活函数是图5.2(a)所示的阶跃函数,它将输入值映射为输出值“0”或“1”,显然“1”对应于神经元兴奋,“0”对应于神经元抑制。然而,阶跃函数具有不连续、不光滑等不太好的性质,因此实际常用Sigmoid函数作为激活函数。典型的Sigmoid函数如图5.2(b)所示,它把可能在较大范围内变化的输入值挤压到(0,1)输出值范围内,因此有时也称为“挤压函数”(squashing function)。
机器学习|西瓜书——第五章神经网络
文章图片

许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。
5.2 感知机与多层网络 感知机由两层神经元组成,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元。
感知机能容易地实现逻辑与、或、非运算。
感知机模型:激活函数为sgn (阶跃函数)的神经元
机器学习|西瓜书——第五章神经网络
文章图片

机器学习|西瓜书——第五章神经网络
文章图片

感知机学习策略:
机器学习|西瓜书——第五章神经网络
文章图片

机器学习|西瓜书——第五章神经网络
文章图片
机器学习|西瓜书——第五章神经网络
文章图片

5.3 神经网络 【机器学习|西瓜书——第五章神经网络】由于像感知机这种单个神经元分类能力有限,只能分类线性可分的数据集,对于线性不可分的数据集则无能为力,但是多个神经元构成的神经网络能够分类线性不可分的数据集(西瓜书上异或问题的那个例子),且有理论证明(通用近似定理)︰只需一个包含足够多神经元的隐层,多层前馈网络(最经典的神经网络之一)就能以任意精度逼近任意复杂度的连续函数。因此,神经网络既能做回归,也能做分类,而且不需要复杂的特征工程。
BUT,理想很丰满,现实很骨感,神经网络存在如下问题待屏幕前的你来解决︰

  • 面对一个具体场景,神经网络该做多深?多宽?
  • 面对一个具体场景,神经网络的结构该如何设计才最合理?
  • 面对一个具体场景,神经网络的输出结果该如何解释?
    机器学习|西瓜书——第五章神经网络
    文章图片

    机器学习|西瓜书——第五章神经网络
    文章图片

    机器学习|西瓜书——第五章神经网络
    文章图片

    BP算法:机器学习|西瓜书——第五章神经网络
    文章图片

    机器学习|西瓜书——第五章神经网络
    文章图片
    机器学习|西瓜书——第五章神经网络
    文章图片

    推荐阅读