LeNet改进实验：激活函数、池化、卷积核、正则化、残差连接

在实验中，我学习了如何对卷积神经网络进行改进。通过对LeNet进行改进，我了解到不同的改进方法对模型性能的影响，同时也学习到了如何在PyTorch中实现这些改进。在实验中，我发现以下几点：

1. ReLU激活函数比LeNet中的sigmoid激活函数表现更好，可以提高模型的准确率。

2. 最大池化比平均池化表现更好，这是因为最大池化可以更好地保留特征。

3. 增加卷积核的大小可以提高模型的准确率，但是也会增加模型的参数量和计算量。

4. Dropout和BatchNorm是两种常用的正则化方法，可以有效地防止过拟合。

5. 将卷积核从5x5修改为3x3，但增加网络的层数可以提高模型的准确率，并且可以减少模型的参数量和计算量。

6. 残差连接是一种有效的方法，可以减轻梯度消失的问题，并且可以提高模型的准确率。

通过实验，我对卷积神经网络的改进方法有了更深入的了解，同时也加深了我对PyTorch的理解。我相信这些知识对我的深度学习研究会有很大的帮助。