卷积神经网络参数量计算示例:128x128 RGB图像
卷积神经网络参数量计算示例:128x128 RGB图像
假设输入是一张128x128的RGB彩色图像,如果网络第一个卷积层的卷积核为3x3的大小,步长为1,共有64个卷积核,后接一个步长为2的2x2平均池化层,随后再接两层核大小为5×5,卷积核个数为128的卷积层以及一层步进为2的2x2的平均池化层,最后接含有128个神经元的全连接层和一个含有10个神经元的输出层,试计算该网络的参数量。
(5x5的卷积核步长为1,假设卷积过程默认加入Padding,卷积之后的特征图尺寸大小不变)
我的解答是:
- 第一层卷积层参数 3×3×3×64+64=1792
- 第二层 (5×5×64+1)×128=204928
- 全连接层 128×7×7×128+128=6917632
- 输出层 128×10+10=1290
您的解答是正确的。
详细解答每一步骤的做法,并解释每一步为什么要加上偏置量的原因:
1. 第一层卷积层
- 每个卷积核的参数量为3x3x3=27,共有64个卷积核,因此参数量为27x64=1728;
- 另外还需要加上64个偏置量,因此总参数量为1728+64=1792。
2. 第二层卷积层
- 每个卷积核的参数量为5x5x64=1600,共有128个卷积核,因此参数量为1600x128=204800;
- 另外还需要加上128个偏置量,因此总参数量为204800+128=204928。
3. 全连接层
- 输入特征图大小为7x7x128,每个神经元需要连接到所有的输入特征,因此参数量为128x7x7x128=6291456;
- 另外还需要加上128个偏置量,因此总参数量为6291456+128=6291584。
4. 输出层
- 输入特征数量为128,输出特征数量为10,因此参数量为128x10=1280;
- 另外还需要加上10个偏置量,因此总参数量为1280+10=1290。
解释偏置量的作用:
在卷积神经网络中,每个卷积核都需要学习一个权重矩阵,这个权重矩阵用来对输入特征进行卷积操作,得到输出特征。同时,每个输出特征还需要加上一个偏置量,这个偏置量用来调整输出特征的整体偏移。因此每个卷积核都需要学习一个权重矩阵和一个偏置量。同理,每个全连接层神经元也需要学习一个权重向量和一个偏置量。
总结:
通过以上分析,我们可以看到卷积神经网络的参数量主要来自卷积核和全连接层的权重以及偏置量。偏置量是每个神经元学习到的一个常数,可以改变神经元输出的整体偏移,从而提高模型的表达能力。
原文地址: https://www.cveoy.top/t/topic/mEZo 著作权归作者所有。请勿转载和采集!