ANN构建模块 _构建模块

本文概述

网络拓扑结构
权重或学习的调整
激活功能

神经网络由较短的模块或构造块组成, 与电子电路中的物质和逻辑门中的原子相同。一旦知道了块是什么, 我们就可以将它们组合起来以解决各种问题。
人工神经网络的处理取决于给定的三个构建块：

网络拓扑结构
调整权重或学习
激活功能

在本教程中, 我们将详细讨论ANN的这三个构建块。
网络拓扑结构神经网络的拓扑结构是指神经元如何关联的方式, 它是网络功能和学习的重要因素。无监督学习中的常见拓扑是将输入直接映射到代表类别的一组单元, 例如自组织映射。监督学习中最广为人知的拓扑结构是完全关联的三层前馈网络(反向传播, 径向基函数网络)。所有输入值都与隐藏层中的所有神经元相关(被隐藏, 因为它们在输入或输出中不可见), 隐藏神经元的输出与输出层中的所有神经元相关, 并且输出的激活函数神经元建立整个网络的输出。这样的网络是众所周知的, 部分原因是假设地已知它们是通用函数逼近器, 例如, S型或高斯型。
前馈网络：
Rosenblatt的感知器和Widrow的自适应线性元素(ADLINE)在1950年代末开始推动分层前馈网络的发展。感知器和ADLINE可定义为单层网络, 通常称为单层感知器。单层感知器只能解决线性可分离的问题。单层网络的局限性促使具有至少一个隐藏层的多层前馈网络(称为多层感知器(MLP)网络)的发展。 MLP网络克服了单层感知器的各种限制, 可以准备利用反向传播算法。反向传播方法是自主发明的。
1974年, Werbos创建了反向传播训练算法。但是, Werbos的工作在科学界仍然是未知的, 1985年, Parker重新发现了该技术。派克发表发现后不久, 鲁梅尔哈特, 欣顿和威廉姆斯也重新发现了这种方法。如果并行分布处理(PDP)组是Rumelhart和其他人的努力, 则使得反向传播方法成为神经计算的支柱。
单层前馈网络：
Rosenblatt于1950年代末和1990年代初首次构建了单层前馈网络。仅具有一个加权层的前馈人工神经网络的概念。换句话说, 我们可以说输入层与外层完全关联。

文章图片
多层前馈网络：
多层前馈神经网络是感知器的链接, 其中信息和计算流是单向的, 从输入数据到输出。神经网络的总层数与感知器的总层数相同。最简单的神经网络是一个具有单个输入层和一个感知器输出层的神经网络。具有多个加权层的前馈人工神经网络的概念。由于系统在输入层和输出层之间至少有一层, 因此称为隐藏层。
反馈网络：
基于反馈的预测是指以迭代方式近似结果, 其中每个迭代的运算都取决于当前结果。反馈是从控制假设到心理学的不同领域做出预测的一种常见方式。生物有机体还额外地使用反馈关联, 并且大脑提出了在复杂认知中至关重要的作用。
换句话说, 我们可以说反馈网络具有反馈路径, 这意味着信号可以使用环路在两个方向上流动。它构成了一个非线性的动态系统, 该系统不断变化直到达到平衡状态。它可以分为以下几种类型：
循环网络：
人脑是循环神经网络, 是指具有反馈连接的神经元网络。它可以学习许多常规学习技术无法学习的行为, 顺序, 处理任务算法和程序。它解释了对用于技术应用的人工循环网络的迅速增长的兴趣。例如, 通用计算机可以在有或没有老师的情况下学习将输入布置映射到输出布置的算法。与其他自适应方法相比, 它们在计算上更占优势, 并且在生物学上更容易想象。例如, 隐马尔可夫模型(无连续内部状态), 前馈网络和支持向量机(无内部状态)。

文章图片
完全循环网络：
完全递归神经网络最直接的形式是多层感知器(MLP), 具有之前的一组隐藏单元激活, 并随输入一起反馈。换句话说, 这是最简单的神经网络设计, 因为所有节点都与所有其他节点相关联, 并且每个节点都充当输入和输出。

文章图片
请注意, 必须离散时间” t” , 并在每个时间间隔更新激活。时间尺度可以与真实神经元的活动进行比较, 或者可以使用针对给定问题的步长拟合的人工系统进行比较。应该引入一个延迟单元来保持激活, 直到在下一个时间间隔准备激活为止。
乔丹网络：
Jordan网络是指一种简单的神经结构, 其中仅过程输入信号的一个值(来自先前的采样)和模型的延迟输出信号的一个值(来自先前的采样)被用作神经网络的输入。网络。为了获得计算上的基本MPC(模型预测控制)算法, 非线性约旦神经模型在工作点周围重复在线线性化, 从而引发了二次优化问题。将所描述的MPC算法的适当性与非线性MPC方案的适当性进行比较, 并在每个采样时刻执行在线非线性优化。

文章图片
权重或学习的调整 ANN中的学习是一种用于更改指定网络的神经元之间的关联权重的技术。人工神经网络中的学习可分为三类, 即监督学习, 无监督学习和强化学习。
监督学习：
监督学习包括监督和学习两个词。监督打算指导。我们有主管来指导和指示道路。在学习的情况下, 我们可以看到类似的情况。在这里, 机器或程序正在借助现有数据集进行学习。我们有一个数据集, 并假设新数据的结果依赖于现有数据集的行为。这意味着现有数据集充当主管或老板来查找新数据。一个基本的例子是电子产品的价格预测。可以根据观察到的其他数字小工具的价格来预测电子小工具的价格。
在监督学习的人工神经网络训练期间, 将输入向量提供给网络, 该网络提供输出向量。然后, 将输出向量与所需的输出向量进行比较。如果实际输出与期望输出矢量之间存在差异, 则会产生错误信号。根据该错误信号, 调整重量, 直到实际输出与所需输出匹配为止。

文章图片
无监督学习：
顾名思义, 无监督学习是指在没有任何监督或现有数据帮助的情况下进行预测。在这种学习中, 程序通过将具有相似特征的数据划分为相似组来学习。在监督学习中, 数据依赖相似的特征进行分组。在这种情况下, 没有现有数据可寻找方向。换句话说, 没有主管。在无监督学习的人工神经网络训练过程中, 将比较类型的输入向量合并以形成聚类。在实现新的输入模式时, 神经网络会给出输出响应, 显示出输入模式所属的类。没有来自环境的反馈, 关于理想的输出应该是什么, 以及输出是正确还是不正确。因此, 在这种类型的学习中, 网络本身必须从输入数据以及输出上输入数据的连接中找到模式和特征。

文章图片
强化学习：
强化学习(RL)是一种有助于解决控制优化问题的技术。通过使用控制优化, 我们可以识别系统访问的每个状态中的最佳动作, 以优化某些目标函数。通常, 当系统具有大量状态并且具有复杂的随机结构时, 强化学习就应运而生, 这对闭式分析不负责。如果问题的状态数相对较少, 则随机结构相对简单, 因此可以利用动态编程。

文章图片
顾名思义, 这种学习被用来加强一些分析师数据上的网络。此学习过程就像监督学习。但是, 我们可能掌握的信息很少。在强化学习中, 在网络训练期间, 网络会从系统中获得一些反馈。这使得它非常像监督学习。这里获得的反馈是评估性的, 而不是指导性的, 这意味着在监督学习中没有指导者。收到反馈后, 网络将对权重进行修改, 以在将来获得更好的Analyst数据。
激活功能激活函数是指神经网络中用于计算输入和偏差的加权总和的函数, 该函数用于选择是否可以触发的神经元。它通过某些梯度处理(通常是梯度下降)来控制显示的信息。它为神经网络生成一个输出, 其中包含数据中的参数。
激活函数可以是线性函数, 也可以是非线性函数, 具体取决于它显示的函数。它用于控制跨各个领域的外部神经网络的输出, 例如语音识别, 分割, 指纹检测, 癌症检测系统等。
在人工神经网络中, 我们可以对输入使用激活函数以获得精确的输出。这些是ANN中使用的一些激活功能。
线性激活功能：
线性激活函数的方程与直线的方程相同, 即
Y = MX + C
如果我们有很多层, 并且所有层本质上都是线性的, 那么最后一层的最终激活函数与第一层的线性函数相同。线性函数的范围是–不定式至+不定式。
线性激活功能只能在输出层的一个位置使用。
乙状结肠功能：
S形函数是指投影为S形图的函数。
A = 1 /(1 + e-x)
此函数是非线性的, 并且x的值介于-2到+2之间。因此, X的值与Y的值成正比。这意味着x值的微小变化也将导致y值的变化。
腥功能：
比S形函数更有效的激活函数是Tanh函数。 Tanh函数也称为正切双曲函数。它是S型函数的数学更新版本。 Sigmoid函数和Tanh函数彼此相似, 并且可以彼此推导。
F(x)= tanh(x)= 2 /(1 + e-2X)-1
OR
腥(x)= 2 *乙状结肠(2x)-1
【ANN构建模块】此函数是非线性的, 值范围在-1到+1之间