LeNet 代码优化指南：提升性能和可读性

LeNet 代码优化指南：提升性能和可读性

以下是针对 LeNet 代码的优化建议，可以帮助提升模型性能和代码可读性：

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        self.conv1 = nn.Sequential(
            nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5, stride=1, padding=2),
            nn.BatchNorm2d(6),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )

        self.conv2 = nn.Sequential(
            nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5, stride=1),
            nn.BatchNorm2d(16),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )

        self.conv3 = nn.Sequential(
            nn.Conv2d(in_channels=16, out_channels=120, kernel_size=5),
            nn.BatchNorm2d(120),
            nn.ReLU()
        )

        self.fc1 = nn.Sequential(
            nn.Linear(120, 84),
            nn.BatchNorm1d(84),
            nn.ReLU()
        )

        self.fc2 = nn.Linear(84, 10)

1. 激活函数统一： 考虑使用 ReLU 作为所有卷积层和全连接层的激活函数，简化代码并可能提升性能。
2. 卷积池化顺序调整： 可以尝试将卷积层和池化层的顺序进行调整，先进行池化再进行卷积可以减少计算量，提升效率。
3. 结构简化： 使用 nn.Sequential() 将网络结构简化，使代码更加简洁易读。
4. AdaptiveAvgPool2d 替换全连接层： 尝试使用 nn.AdaptiveAvgPool2d() 替换掉全连接层，这样可以使得网络在输入大小发生变化时依然有效，提高模型的鲁棒性。

通过应用这些优化建议，可以显著提升 LeNet 模型的性能并提高代码可读性。