PyTorch Geometric GCN 多标签分类：基于图像特征和节点连接关系

以下是使用 PyTorch Geometric 框架构建 GCN 网络，结合 CNN 模型提取图像特征，完成多标签分类任务的完整代码：

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
from torch_geometric.data import Data
from torch_geometric.nn import GCNConv
from torch_geometric.loader import DataLoader
from torchvision.transforms import ToTensor
from PIL import Image
import pandas as pd
import os

# 设置文件路径
feature_folder = 'C:\Users\jh\Desktop\data\input\images'
label_folder = 'C:\Users\jh\Desktop\data\input\labels'
edge_file = 'C:\Users\jh\Desktop\data\input\edges_L.csv'
image_size = 40
num_nodes = 37
num_labels = 8
num_epochs = 10
batch_size = 4

# 定义CNN模型
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
        self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1)
        self.fc1 = nn.Linear(image_size * image_size * 32, 128)
        self.fc2 = nn.Linear(128, num_labels)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool(x)
        x = F.relu(self.conv2(x))
        x = self.pool(x)
        x = x.view(-1, image_size * image_size * 32)
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 定义GCN模型
class GCN(nn.Module):
    def __init__(self):
        super(GCN, self).__init__()
        self.conv1 = GCNConv(num_labels, 16)
        self.conv2 = GCNConv(16, num_labels)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = F.relu(x)
        x = self.conv2(x, edge_index)
        return x

# 加载图像特征和标签
features = []
labels = []
for i in range(1, 43):
    for j in range(num_nodes):
        feature_path = os.path.join(feature_folder, f'{i}.png_{j}.png')
        img = Image.open(feature_path).convert('RGB')
        img = ToTensor()(img)
        features.append(img)
        
        label_path = os.path.join(label_folder, f'{i}_{j}.txt')
        with open(label_path, 'r') as file:
            line = file.readline()
            label = [float(x) for x in line.split()]
            labels.append(label)

# 加载边的连接关系
edges = pd.read_csv(edge_file, header=None).values.tolist()
edges = torch.tensor(edges, dtype=torch.long).t().contiguous()

# 创建数据集和数据加载器
data = Data(x=torch.stack(features), y=torch.tensor(labels), edge_index=edges)
data.train_mask = torch.zeros(data.num_nodes, dtype=torch.bool)
data.train_mask[:30] = 1
data.val_mask = torch.zeros(data.num_nodes, dtype=torch.bool)
data.val_mask[30:] = 1

dataset = [data]
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

# 创建CNN模型和GCN模型
cnn_model = CNN()
gcn_model = GCN()

# 训练过程
optimizer = optim.Adam(gcn_model.parameters(), lr=0.01)

for epoch in range(num_epochs):
    for batch in loader:
        cnn_outputs = cnn_model(batch.x)
        gcn_outputs = gcn_model(cnn_outputs, batch.edge_index)
        
        loss = F.binary_cross_entropy_with_logits(gcn_outputs[batch.train_mask], batch.y[batch.train_mask])
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    
    with torch.no_grad():
        cnn_outputs = cnn_model(data.x)
        gcn_outputs = gcn_model(cnn_outputs, data.edge_index)
        train_acc = (gcn_outputs[data.train_mask].sigmoid().round() == data.y[data.train_mask]).sum().item() / data.train_mask.sum().item()
        val_acc = (gcn_outputs[data.val_mask].sigmoid().round() == data.y[data.val_mask]).sum().item() / data.val_mask.sum().item()
        
    print(f'Epoch {epoch+1}: Train accuracy: {train_acc:.4f}, Val accuracy: {val_acc:.4f}')

该代码包含以下步骤：

1. 定义 CNN 模型：使用 nn.Conv2d 和 nn.MaxPool2d 层构建 CNN 模型，以提取图像特征，并使用 nn.Linear 层进行降维。
2. 定义 GCN 模型：使用 GCNConv 层构建 GCN 模型，以捕获节点之间的关系。
3. 加载图像特征和标签：从指定路径加载图像特征和标签数据，并将其转换为 PyTorch 张量。
4. 加载边的连接关系：从 CSV 文件中加载边的连接关系数据，并将其转换为 PyTorch 张量。
5. 创建数据集和数据加载器：使用 Data 类将图像特征、标签和边连接关系数据组合成一个图数据集，并使用 DataLoader 类创建数据加载器。
6. 创建 CNN 模型和 GCN 模型：实例化 CNN 模型和 GCN 模型。
7. 训练过程：使用 optim.Adam 优化器进行模型训练，并使用二元交叉熵损失函数计算损失。

请注意，以上代码假设使用了 PyTorch 和 PyTorch Geometric 库。在运行代码之前，请确保已安装这些库。另外，代码中的 CNN 模型和 GCN 模型只是示例模型，您可以根据需要进行修改和调整。

最后，该代码实现了一个多标签分类任务，将图像特征、节点连接关系和标签信息结合起来进行训练，并使用 PyTorch Geometric 框架构建 GCN 网络，展示了如何利用图神经网络进行图像数据分析。