学习完这些你有什么实验心得与小结？以LeNet为基础分别实现如下几种改进并比较改进前与改进后模型的性能。6与7为扩展任务激活函数的改进：将LeNet中的激活函数替换为ReLU。池化方式：平均池化改为最大池化。卷积核大小：将其中一个55的卷积核修改为77正则化方法1：在全连接层后加入Dropout层中间的全连接层可增加维度正则化方法2：卷积层后加入BatchNorm层将卷积核从55修改为33但增加网

在实验中，我学习了如何对卷积神经网络进行改进。通过对LeNet进行改进，我了解到不同的改进方法对模型性能的影响，同时也学习到了如何在PyTorch中实现这些改进。在实验中，我发现以下几点：

1. ReLU激活函数比LeNet中的sigmoid激活函数表现更好，可以提高模型的准确率。

2. 最大池化比平均池化表现更好，这是因为最大池化可以更好地保留特征。

3. 增加卷积核的大小可以提高模型的准确率，但是也会增加模型的参数量和计算量。

4. Dropout和BatchNorm是两种常用的正则化方法，可以有效地防止过拟合。

5. 将卷积核从5x5修改为3x3，但增加网络的层数可以提高模型的准确率，并且可以减少模型的参数量和计算量。

6. 残差连接是一种有效的方法，可以减轻梯度消失的问题，并且可以提高模型的准确率。

通过实验，我对卷积神经网络的改进方法有了更深入的了解，同时也加深了我对PyTorch的理解。我相信这些知识对我的深度学习研究会有很大的帮助。