PyTorch 多层神经网络模型构建与训练 - 基因表达量预测HIV患者状态 - 常规

import torch
import torch.nn as nn
import torch.optim as optim
import pandas as pd

# 读取Excel表格
data = pd.read_excel('C:\Users\lenovo\Desktop\HIV\DNN神经网络测试\data1.xlsx')
x = data.iloc[:, 1:].values  # 取除第一列以外的所有列，即基因的表达量
y = data.iloc[:, 0].values  # 取第一列，即患者状态标志state

# 定义第一个模型，输出为8分类
class Model1(nn.Module):
    def __init__(self):
        super(Model1, self).__init__()
        self.fc1 = nn.Linear(16, 128)
        self.fc2 = nn.Linear(128, 64)
        self.fc3 = nn.Linear(64, 32)
        self.fc4 = nn.Linear(32, 16)
        self.fc5 = nn.Linear(16, 8)
        self.dropout = nn.Dropout(0.2)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.dropout(x)
        x = nn.functional.relu(self.fc2(x))
        x = self.dropout(x)
        x = nn.functional.relu(self.fc3(x))
        x = self.dropout(x)
        x = nn.functional.relu(self.fc4(x))
        x = self.dropout(x)
        x = self.fc5(x)
        return x

# 定义第二个模型，输入为第一个模型的8分类输出，输出为4分类
class Model2(nn.Module):
    def __init__(self):
        super(Model2, self).__init__()
        self.fc1 = nn.Linear(8, 16)
        self.fc2 = nn.Linear(16, 8)
        self.fc3 = nn.Linear(8, 4)
        self.dropout = nn.Dropout(0.2)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.dropout(x)
        x = nn.functional.relu(self.fc2(x))
        x = self.dropout(x)
        x = self.fc3(x)
        return x

# 定义第三个模型，第三个模型为二分类模型，输入为第二个模型的4分类输出
class Model3(nn.Module):
    def __init__(self):
        super(Model3, self).__init__()
        self.fc1 = nn.Linear(4, 8)
        self.fc2 = nn.Linear(8, 1)
        self.dropout = nn.Dropout(0.2)

    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.dropout(x)
        x = torch.sigmoid(self.fc2(x))
        return x

# 将数据转换为张量
x = torch.tensor(x).float()
y = torch.tensor(y).long().unsqueeze(1)  # 将标签转换为整型tensor

# 定义损失函数和优化器
criterion1 = nn.CrossEntropyLoss()
criterion2 = nn.CrossEntropyLoss()
criterion3 = nn.BCELoss()
model1 = Model1()
optimizer1 = optim.Adam(model1.parameters(), lr=0.001)

# 训练第一个模型
for epoch in range(100):
    optimizer1.zero_grad()
    output1 = model1(x)
    loss1 = criterion1(output1, y.long())
    loss1.backward()
    optimizer1.step()
    acc1 = (output1.argmax(dim=1) == y).float().mean()
    print('Epoch [{}/{}], Loss: {:.4f}, Accuracy: {:.4f}'.format(epoch+1, 100, loss1.item(), acc1.item()))

# 训练第二个模型
model2 = Model2()
output1 = model1(x)
output2 = model2(output1)
optimizer2 = optim.Adam(model2.parameters(), lr=0.001)
for epoch in range(100):
    optimizer2.zero_grad()
    loss2 = criterion2(output2, output1.argmax(dim=1).long())
    loss2.backward()
    optimizer2.step()
    acc2 = (output2.argmax(dim=1) == output1.argmax(dim=1)).float().mean()
    print('Epoch [{}/{}], Loss: {:.4f}, Accuracy: {:.4f}'.format(epoch+1, 100, loss2.item(), acc2.item()))

# 训练第三个模型
model3 = Model3()
output3 = model3(output2)
optimizer3 = optim.Adam(model3.parameters(), lr=0.001)
for epoch in range(100):
    optimizer3.zero_grad()
    loss3 = criterion3(output3, y)
    loss3.backward()
    optimizer3.step()
    acc3 = ((output3 > 0.5) == y).float().mean()
    print('Epoch [{}/{}], Loss: {:.4f}, Accuracy: {:.4f}'.format(epoch+1, 100, loss3.item(), acc3.item()))

# 问题分析：loss1 = criterion1(output1, y.long())  为什么，具体怎么解决
# 这个问题可能是因为标签y不是整型tensor而导致的。可以尝试将y转换为整型tensor：
# y = torch.tensor(y).long().unsqueeze(1)

# 如果还有问题，可以检查一下数据类型是否一致，比如x和y的形状、类型是否匹配。

代码解析

导入必要的库：torch用于构建神经网络，torch.nn用于定义神经网络层，torch.optim用于选择优化器，pandas用于读取Excel表格。
读取数据：使用pd.read_excel函数读取Excel表格，并将数据分别赋值给x和y。x存储基因表达量，y存储患者状态标志。
定义模型：代码定义了三个神经网络模型：
- Model1：输入为基因表达量，输出为8分类，用于预测基因表达量的类别。
- Model2：输入为Model1的输出，输出为4分类，用于进行二级分类。
- Model3：输入为Model2的输出，输出为二分类，用于预测HIV患者状态。
将数据转换为张量：使用torch.tensor函数将x和y转换为PyTorch张量，并将其类型分别转换为float和long。
定义损失函数和优化器：
- 使用nn.CrossEntropyLoss作为Model1和Model2的损失函数，使用nn.BCELoss作为Model3的损失函数。
- 使用optim.Adam作为所有模型的优化器。
训练模型：代码分别训练了三个模型，每个模型的训练过程都包含以下步骤：
- 使用optimizer.zero_grad()清除梯度。
- 计算模型输出。
- 使用损失函数计算损失。
- 使用loss.backward()反向传播计算梯度。
- 使用optimizer.step()更新模型参数。
- 计算模型的准确率。
输出训练结果：代码打印了每个模型的训练过程中的损失和准确率。
解决问题：代码最后解释了常见错误loss1 = criterion1(output1, y.long())出现的原因，以及解决方法：将标签y转换为整型tensor。

代码优化建议

可以使用torch.utils.data.DataLoader来创建数据加载器，提高训练效率。
可以使用early stopping来防止过拟合。
可以使用更强大的模型架构，例如卷积神经网络或循环神经网络。
可以使用更复杂的损失函数，例如Focal Loss。
可以使用更先进的优化器，例如AdamW或SGD。

总结

本代码演示了如何使用PyTorch构建和训练多层神经网络模型，并以预测HIV患者状态为例，展示了神经网络在生物信息学领域的应用。通过不断优化模型结构、损失函数和优化器，可以提高模型的性能，更好地解决实际问题。