Fashion MNIST 数据集上的 LeNet 模型训练和测试 - 使用 PyTorch

首先，我们需要下载 Fashion MNIST 数据集并对其进行预处理。

import torch
import torchvision
import torchvision.transforms as transforms

# 数据预处理
transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5,), (0.5,))
])

trainset = torchvision.datasets.FashionMNIST(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

testset = torchvision.datasets.FashionMNIST(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=2)

classes = ('T-shirt/top', 'Trouser', 'Pullover', 'Dress',
           'Coat', 'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot')

接下来，我们定义 LeNet 模型。

import torch.nn as nn
import torch.nn.functional as F

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.pool1 = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.pool2 = nn.MaxPool2d(2, 2)
        self.fc1 = nn.Linear(16 * 4 * 4, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool1(F.relu(self.conv1(x)))
        x = self.pool2(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 4 * 4)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = LeNet()

接下来，我们定义优化器和损失函数。

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

现在，我们可以开始训练模型了。

import matplotlib.pyplot as plt

# 训练模型
def train(net, trainloader, optimizer, criterion, num_epochs):
    loss_list = []
    acc_list = []
    for epoch in range(num_epochs):
        running_loss = 0.0
        correct = 0
        total = 0
        for i, data in enumerate(trainloader, 0):
            inputs, labels = data
            optimizer.zero_grad()
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            
            running_loss += loss.item()
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
            
        loss_list.append(running_loss / len(trainloader))
        acc_list.append(correct / total)
        print('Epoch %d, Loss: %.3f, Accuracy: %.3f' % (epoch+1, running_loss / len(trainloader), correct / total))
        
    print('Finished Training')
    return loss_list, acc_list

num_epochs = 10
loss_list, acc_list = train(net, trainloader, optimizer, criterion, num_epochs)

# 绘制训练损失函数曲线
plt.plot(loss_list)
plt.title('Training Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

# 绘制训练分类正确率曲线
plt.plot(acc_list)
plt.title('Training Accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.show()

接下来，我们测试模型。

# 测试模型
def test(net, testloader, criterion):
    loss_list = []
    acc_list = []
    with torch.no_grad():
        running_loss = 0.0
        correct = 0
        total = 0
        for data in testloader:
            images, labels = data
            outputs = net(images)
            loss = criterion(outputs, labels)
            
            running_loss += loss.item()
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
            
        loss_list.append(running_loss / len(testloader))
        acc_list.append(correct / total)
        print('Test Loss: %.3f, Accuracy: %.3f' % (running_loss / len(testloader), correct / total))
    
    return loss_list, acc_list

loss_list, acc_list = test(net, testloader, criterion)

# 绘制测试损失函数曲线
plt.plot(loss_list)
plt.title('Test Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

# 绘制测试分类正确率曲线
plt.plot(acc_list)
plt.title('Test Accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.show()

最后，我们可以保存模型。

# 保存模型
torch.save(net.state_dict(), 'lenet.pth')

现在，我们已经完成了对 Fashion MNIST 数据集的 LeNet 模型的训练和测试，并保存了最佳模型。你可以调整 BatchSize 和学习率来看看不同的结果。

提示：

• 你可以使用不同的优化算法，例如 torch.optim.Adam，来观察其对结果的影响。
• 你可以尝试增加训练 epoch 数量来进一步提高模型精度。
• 你可以将代码扩展到使用多层感知器，并在训练和测试过程中记录和绘制损失函数和准确率曲线。
• 你可以使用测试损失曲线的拐点来确定最佳模型。
• 你可以使用不同的批次大小 (BatchSize) 和学习率 (learning rate) 来观察其对模型性能的影响。
• 你可以根据测试损失曲线的拐点来确定最佳模型，并保存该模型。

通过实验和调整超参数，你可以找到最佳的模型配置，以获得更高的分类准确率。