Python 实现支持向量机分类：从数据生成到模型评估

使用 Python 实现支持向量机分类：从数据生成到模型评估

本文将介绍如何使用 Python 语言从头实现一个支持向量机 (SVM) 模型，并通过示例代码展示如何进行数据生成、模型训练、参数求解、预测和评估。

算法设计思路

随机生成数据: 生成一组数据，数据格式为 (x1, x2)，并将其划分为两类，分别标记为 0 和 1。
构建 SVM 模型: 使用 SMO 算法训练 SVM 模型，找到最优的超平面，将不同类别的数据分开。
输出模型参数: 输出模型的权重向量 W 和偏置 b。
预测新样本: 使用训练好的模型对新的样本进行预测，判断其属于哪个类别。
模型评估: 计算模型的准确率等指标，评估模型的性能。

可能存在的问题

数据质量: 如果数据质量不好，例如存在噪声或异常值，可能会导致模型效果不佳。
数据量: 数据量过小可能会导致模型过拟合，无法很好地泛化到新的样本。
参数调节: 参数选择不当，例如惩罚系数 C、核函数类型和参数等，也会影响模型的性能。
算法复杂度: SMO 算法的复杂度较高，可能会导致模型训练时间过长，尤其是在数据量较大时。
数据不平衡: 如果数据不平衡，即不同类别样本数量差异很大，可能会导致模型对少数类别的预测效果不佳。

代码示例

import numpy as np
import matplotlib.pyplot as plt

# 随机生成数据
def generate_data(num_samples=100):
    X = np.random.rand(num_samples, 2) * 10  # 随机生成 x1 和 x2
    y = np.zeros(num_samples)  # 初始化类别标签
    for i in range(num_samples):
        if X[i, 0] + X[i, 1] > 10:  # 判断类别
            y[i] = 1
    return X, y

# 使用 SMO 算法训练 SVM 模型
def train_svm(X, y, C=1, max_iter=100):
    # ... (代码省略)
    return W, b

# 预测新样本
def predict(X, W, b):
    # ... (代码省略)
    return y_pred

# 评估模型性能
def evaluate(y_true, y_pred):
    # ... (代码省略)
    return accuracy

# 示例代码
X, y = generate_data()
W, b = train_svm(X, y)
X_test = np.random.rand(20, 2) * 10
y_pred = predict(X_test, W, b)
accuracy = evaluate(y_test, y_pred)

# 绘制数据和超平面
plt.scatter(X[:, 0], X[:, 1], c=y)
plt.plot(X[:, 0], -(W[0] * X[:, 0] + b) / W[1], 'r-')
plt.show()

总结

本文介绍了使用 Python 实现支持向量机分类模型的基本步骤，并提供了代码示例。在实际应用中，需要根据具体情况选择合适的参数和调整算法，以获得最佳的模型性能。