摄影网站开发的背景,怎样申请一个网站,静态网站注入,手机网站建设效果随着计算机硬件的升级与性能的提高#xff0c;运算量已不再是阻碍深度学习发展的难题。卷积神经网络#xff08;Convolution Neural Network#xff0c;CNN#xff09;是深度学习中一项代表性的工作#xff0c;其雏形是 1998 年 LeCun 提出的 LeNet-5 模型。如今#xff… 随着计算机硬件的升级与性能的提高运算量已不再是阻碍深度学习发展的难题。卷积神经网络Convolution Neural NetworkCNN是深度学习中一项代表性的工作其雏形是 1998 年 LeCun 提出的 LeNet-5 模型。如今卷积神经网络已被广泛应用于计算机视觉领域。本文主要介绍卷积神经网络中的经典网络包括 LeNet-5, AlexNet 和 VGG-16. 目录
1 LeNet-5
2 AlexNet
3 VGG-16 1 LeNet-5 LeNet-5 是经典卷积神经网络之一1998 年由 Yann LeCun 等人在论文 《Gradient-Based Learning Applied to Document Recognition》中提出。LeNet-5 网络使用了卷积层、池化层和全连接层实现可以应用于手写体识别的卷积神经网络。 论文链接如下
《Gradient-Based Learning Applied to Document Recognition》 LeNet-5 包含 2 个卷积层和 3 个全连接层包含学习参数的网络层有 5 层这也是 LeNet-5 名字中 5 的由来。LeNet-5 的输入图像大小是 32 x 32颜色通道数为 1这表明 LeNet-5 仅支持输入黑白图像。 卷积 / 池化操作图像大小 / 神经元个数待训练的参数个数Input32 × 32 × 1/Conv15 × 5, s 128 × 28 × 6150avg pool12 × 2, s 214 × 14 × 6/Conv25 × 5, s 110 × 10 × 162,400avg pool22 × 2, s 25 × 5 × 16/FC112048,000FC28410,080FC3 (Output)10840 LeNet-5 网络拥有约 6.1 万个待训练的参数与如今常见的卷积神经网络不同 LeNet-5 激活层使用了 Sigmoid 函数池化层采用平均池化另外最后一层的输出使用 RBF 函数处理而现在常用的处理方法是 Softmax 函数。 2 AlexNet 与 LeNet-5 类似AlexNet 是另一个用于图像识别的经典神经网络。AlexNet 的名字来源于其第一作者 Alex Krizhevsky于 2012 年 ImageNet 赛事夺冠之后为人们所熟知。AlexNet 沿用了 LeNet-5 的思路把卷积池化操作应用于更深层的神经网络中。 论文链接如下
《ImageNet Classification with Deep Convolutional Neural Networks》 卷积 / 池化操作图像大小 / 神经元个数待训练的参数个数Input224 × 224 × 3/Conv111 × 11, s 455 × 55 × 9634,848max pool13 × 3, s 227 × 27 × 96/Conv25 × 5, p 1, s 127 × 27 × 256614,400max pool23 × 3, s 213 × 13 × 256/Conv33 × 3, p 1, s 113 × 13 × 384884,736Conv43 × 3, p 1, s 113 × 13 × 3841,327,104Conv53 × 3, p 1, s 113 × 13 × 256884,736max pool33 × 3, s 26 × 6 × 256/FC14,09637,748,736FC24,09616,777,216FC3 (Output)1,0004,096,000 AlexNet 网络拥有约 6200 万个参数AlexNet 的创新点包括 1使用 ReLU 作为卷积层的激活函数避免了 Sigmoid 函数在网络层数增加时梯度消失或爆炸问题 2全连接层使用 DropOut 随机失活方式屏蔽一部分神经元的输出值避免模型的过拟合 3使用重叠的最大池化。AlexNet 使用最大池化替代此前人们常用的平均池化避免了平均池化的模糊问题并且池化的步长比池化核小使池化输出有一定的重叠丰富输出特征。 3 VGG-16 VGG 网络是 Oxford 的 Visual Geometry Group 团队提出在 2014 年的 ImageNet 赛事中取得亚军。VGG 在 AlexNet 的基础上进一步增加了神经网络的深度表明当网络层数增加到 1619 个时可以实现显著改进。 论文链接如下
《Very Deep Convolutional Networks for Large-Scale Image Recognition》 VGG 网络有两个常见的版本VGG-16 和 VGG-19分别对应上图中的模型 D 和模型 E数字 16 和 19 表示带有待训练权重的网络层数。VGG-16 有 13 个卷积层和 3 个全连接层VGG-19 比 VGG-16 多 3 个卷积层有 16 个卷积层和 3 个全连接层。 卷积 / 池化操作图像大小 / 神经元个数待训练的参数个数Input224 × 224 × 3/Conv13 × 3, p 1, s 1224 × 224 × 641,728Conv23 × 3, p 1, s 1224 × 224 × 6436,864max pool12 × 2, s 2112 × 112 × 64/Conv33 × 3, p 1, s 1112 × 112 × 12873,728Conv43 × 3, p 1, s 1112 × 112 × 128147,456max pool22 × 2, s 256 × 56 × 128/Conv53 × 3, p 1, s 156 × 56 × 256294,912Conv63 × 3, p 1, s 156 × 56 × 256589,824Conv73 × 3, p 1, s 156 × 56 × 256589,824max pool32 × 2, s 228 × 28 × 256/Conv83 × 3, p 1, s 128 × 28 × 5121,179,648Conv93 × 3, p 1, s 128 × 28 × 5122,359,296Conv103 × 3, p 1, s 128 × 28 × 5122,359,296max pool42 × 2, s 214 × 14 × 512/Conv113 × 3, p 1, s 114 × 14 × 5122,359,296Conv123 × 3, p 1, s 114 × 14 × 5122,359,296Conv133 × 3, p 1, s 114 × 14 × 5122,359,296max pool52 × 2, s 27 × 7 × 512/FC14,096102,760,448FC24,09616,777,216FC3 (Output)1,0004,096,000 VGG-16 网络拥有约 1.38 亿个参数。它的主要创新之处在于VGG 使用了多个连续的卷积层以及尺寸更小的卷积核3 × 3 大小替代 AlexNet 中大尺寸的卷积核11 × 115 × 5 等大小以更好地提取图像的深层特征。 另外随着神经网络层数的增加输出图像的宽高减半卷积层的输出特征数从最初的 64增加到 128256 和 512。
