锐客网

  1. 首页 > 睿知 > it技术 > >

物联网|脉冲神经网络原理及应用,脉冲神经网络怎么训练

人工智能物联网神经网络深度学习


物联网|脉冲神经网络原理及应用,脉冲神经网络怎么训练
文章图片

脉冲神经网络的简介 脉冲神经网络（SNN-SpikingNeuronNetworks)经常被誉为第三代人工神经网络。第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数据。
第二代神经网络包括比较广泛，包括应用较多的BP神经网络。但是从本质来讲，这些神经网络都是基于神经脉冲的频率进行编码(ratecoded）。
脉冲神经网络，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。
思路是这样的，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。
当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。
在脉冲神经网络中，神经元的当前激活水平（被建模成某种微分方程）通常被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段时间，然后逐渐衰退。
【物联网|脉冲神经网络原理及应用,脉冲神经网络怎么训练】出现了很多编码方式把这些输出脉冲序列解释为一个实际的数字，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。借助于神经科学的研究，人们可以精确的建立基于脉冲产生时间神经网络模型。
这种新型的神经网络采用脉冲编码(spikecoding)，通过获得脉冲发生的精确时间，这种新型的神经网络可以进行获得更多的信息和更强的计算能力。
谷歌人工智能写作项目：小发猫
物联网|脉冲神经网络原理及应用,脉冲神经网络怎么训练
文章图片

脉冲神经网络的应用 脉冲神经网络大体上可以和传统的人工神经网络一样被用在信息处理中，而且脉冲神经网络可以对一个虚拟昆虫寻找食物的问题建模，而不需要环境的先验知识A8U神经网络。
并且，由于它更加接近现实的性能，使它可以用来学习生物神经系统的工作，电生理学的脉冲和脉冲神经网络在电脑上的模拟输出相比，决定了拓扑学和生物神经学的假说的可能性。
在实践中脉冲神经网络和已被证明的理论之间还存在一个主要的不同点。
脉冲神经网络已被证明在神经科学系统中有作用，而在工程学中还无建树，一些大规模的神经网络已经被审计来利用脉冲神经网络中发现的脉冲编码，这些网络根据储备池计算的原则，但是现实中，大规模的脉冲神经网络计算由于所需计算资源多而产能小被限制了，造成了只有很少的大规模脉冲神经网络被用来解决复杂的计算问题，而这些之前都是由第二代神经网络解决的。
第二代神经网络模型中难以加入时间，脉冲神经网络（特备当算法定义为离散时间时）相当容易观察其动力学特征。我们很难建立一个具有稳定行为的模型来实现一个特定功能。
pcnn 的全名是什么？ 脉冲耦合神经网络（PCNN-PulseCoupledNeuralNetwork）与传统神经网络相比，有着根本的不同。
PCNN有生物学的背景，它是依据猫、猴等动物的大脑皮层上的同步脉冲发放现象提出的。PCNN有着广泛的应用，可应用于图像分割，边缘检测、细化、识别等方面。
PCNN是Eckhorn于20世纪90年代开始提出的一种基于猫的视觉原理构建的简化神经网络模型，与BP神经网络和Kohonen神经网络相比，PCNN不需要学习或者训练，能从复杂背景下提取有效信息，具有同步脉冲发放和全局耦合等特性，其信号形式和处理机制更符合人类视觉神经系统的生理学基础。
需要的话我这边有资料~~。
脉冲神经网络的历史 AlanLloydHodgkin和AndrewHuxley在1952年提出了第一个脉冲神经网络模型，这个模型描述了动作电位是怎样产生并传播的。
但是，脉冲并不是在神经元之间直接传播的，它需要在突触间隙间交换一种叫“神经递质”的化学物质。这种生物体的复杂性和可变性导致了许多不同的神经元模型。
从信息论的观点来看，找到一种可以解释脉冲，也就是动作电位的模型是个问题。所以，神经科学的一个基本问题就是确定神经元是否通过时间编码来交流。时间编码表明单一的神经元可以取代上百个S型隐藏层节点。
脉冲耦合神经网络和cnn的区别 pcnn比起convolutionalneuralnetwork，还是稍稍像点cellularneuralnetowork。结构上看起来总觉得更像是一个胞元自动机。
ConvolutionalNeuralNetwork和PCNN一点关系都没有，纯粹是靠重复卷积-池化来提取深度特征最后用softmax分类而已。
如何评价浙大研制出国内首款支持脉冲神经网络的类脑芯片 第一，并没有太多的创新性。且不说国际上早有‘SNN（spikingneuralnetwork）’芯片，仅在国内，是不是国内首例都不好说，据我所知，清华也有课题组在做类似的芯片。
第二，在功能上没有大的突破。看浙大官方的新闻，该芯片“实现”的功能是“手写数字的识别和脑电波的解码”。业内人士应该都知道，这两项功能是机器学习领域已经玩儿烂的了，和SNN几乎没有一毛钱的关系。
第三，在算法上没有大的突破。具体的算法没有报道，但新闻上说，“最多可支持2048个神经元、400多万个神经突触及15个不同的突触延迟。
”我一看这神经元和突触比例吓一跳，原来是做了一个全连接的网络啊……并没有什么真实神经网络的算法引进。
而在制作工艺上，本研究采用传统的CMOS工艺，显然和IBM的研究不在一个时代（TrueNorth芯片里的神经元是百万级的）。

    推荐阅读


    上一篇：深度学习21天学习挑战赛|【深度学习21天学习挑战赛】6、使用VGG16模型实现卷积神经网——识别眼睛状态

    下一篇：JavaScript|神经网络之智能科学与技术专业