alexnet网络结构分析

ResidualNetwork Residual Network(简称ResNet)是继三个经典的CNN网络AlexnetGooglenetVGG之后于2015年提出的,并在ImageNet竞赛的分类任务中获得第一名 。ResNet以其简单实用的优点 , 被广泛应用于检测、分割、识别等领域 。
1、经典分类CNN模型系列其二:VGG ConvNet自2012年Alexnet赢得ILSVRC比赛以来 , 发展势不可挡 。2014年,谷歌网和VGG在新的ILSVRC竞赛中脱颖而出 。与VGG相比,Googlenet在网络结构中取得了更新突破 , 但其复杂性也大大增加 。虽然VGG的准确率略低于Googlenet,但其整体网络框架延续了Alexnet和更早的lenet的一贯思路 。此外,还进一步讨论了ConvNet深度对模型性能的可能影响 。
2、如何用深度学习实现卫星图像分割与识别深度学习在物体识别方面最重要的进展是ImageNetILSVRC3挑战中的图像分类任务 。传统计算机视觉方法在该测试集上的最低错误率为26.172% 。2012年,辛顿的研究团队使用卷积网络将错误率降低到15.315% 。这个网络结构叫AlexNet 。与传统的卷积网络相比 , 它有三个不同点:一是AlexNet采用了dropout的训练策略,输入层和中间层的部分神经元在训练过程中被随机置零 。
丢包使训练过程收敛更慢,但得到的网络模型更健壮 。其次,AlexNet采用整体流线单元作为非线性激励函数 。这不仅大大降低了计算的复杂度,而且使得神经元的输出稀疏 , 对各种干扰更具鲁棒性 。第三,AlexNet通过镜像训练样本和添加随机翻译扰动生成新的训练样本,减少了过拟合 。在ImageNetILSVRC2013比赛中,前20名的队伍都使用了深度学习技术 。
几何代数中定义的3、张量和卷积神经网络张量是基于向量和矩阵的推广 。通俗的说,我们可以把标量看成一个零阶张量 , 把向量看成一阶张量,那么矩阵就是二阶张量 。设A是m*p的矩阵 , B是p*n的矩阵 , 那么设m*n的矩阵C是矩阵A和B的乘积,记为CAB,其中矩阵C中的行元素和列元素可以表示为:m*n矩阵A和m*n矩阵B的Hadamard积为a * B .其元素定义为两个矩阵对应元素的积:Kronecker积是任意大小的两个矩阵之间的运算,CNN也称为直积或张量积 , 是一种具有深度结构的前馈神经网络 , 包含卷积计算,是深度学习的代表性算法之一 。
4、一文看懂四种基本的神经网络架构【alexnet网络结构分析】原文链接:更多干货在我的个人博客里 。欢迎关注刚刚起步的神经网络 。你会经常被很多神经网络架构所迷惑 。神经网络看起来复杂多样,但这么多架构无非三种,分别是前馈神经网络、环形网络和对称连接网络 。本文将介绍四种常见的神经网络,即CNN、、和GAN 。通过这四种基本的神经网络架构,我们对神经网络有了一定的了解 。神经网络是机器学习中的一种模型,是模仿动物神经网络的行为特征,进行分布式并行信息处理的算法数学模型 。

    推荐阅读