文本分类实战：基于KNN和SVM算法的文本预处理与分类

给定数据集corpus，该数据集包含若干类数据，其目录结构为：2个，每个目录下面有若干个文本文件，其结构如下所示：

Cls1: 1.txt 2.txt ... Cls2: 1.txt 2.txt ...

本文将介绍如何使用Python进行文本分类，包括文本预处理、KNN和SVM算法实现，以及评价指标分析。

1. 文本预处理

文本预处理是文本分类的第一步，目的是将文本转化为机器学习算法可以处理的格式。常用的文本预处理方法包括：

(1) 文本分词

在Python中，有多种分词工具可以使用，如jieba、NLTK、SnowNLP等，这里以jieba为例实现文本分词：

import jieba

def cut_words(text):
    # 使用jieba分词
    words = jieba.cut(text)
    # 将分词结果转为list类型
    words_list = list(words)
    # 将list转为以空格分隔的字符串
    words_str = ' '.join(words_list)
    return words_str

# 测试分词效果
text = '我爱自然语言处理'
words_str = cut_words(text)
print(words_str)

(2) 停用词处理

在分词的基础上，还需要对文本中出现频率较高但又无实际意义的词进行去除，这些词就是停用词。可以使用中文停用词表，也可以自己定义停用词表。

# 定义中文停用词表
stopwords = [line.strip() for line in open('stopwords.txt', 'r', encoding='utf-8').readlines()]

def cut_words(text):
    # 使用jieba分词
    words = jieba.cut(text)
    # 将分词结果转为list类型
    words_list = list(words)
    # 去除停用词
    words_list = [word for word in words_list if word not in stopwords]
    # 将list转为以空格分隔的字符串
    words_str = ' '.join(words_list)
    return words_str

# 测试去除停用词效果
text = '我爱自然语言处理'
words_str = cut_words(text)
print(words_str)

(3) 文本向量化

文本向量化是指将文本转化为向量形式，便于机器学习算法处理。常用的文本向量化方法有one-hot、TF-IDF、Word2Vec等，这里以TF-IDF为例实现文本向量化。

from sklearn.feature_extraction.text import TfidfVectorizer

# 定义TF-IDF向量化器，使用默认参数
tfidf_vectorizer = TfidfVectorizer()

# 将文本转化为向量
X = tfidf_vectorizer.fit_transform(docs)  # docs为文本列表

# 打印向量形状
print(X.shape)

2. 文本分类实现

文本分类是指将文本按照其内容划分到不同的类别中。常用的文本分类算法包括KNN和SVM等。

(1) KNN算法实现文本分类

KNN算法是一种基于实例的分类算法，根据样本之间的距离进行分类。可以使用sklearn库中的KNeighborsClassifier实现KNN算法。

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

# 定义KNN分类器，设置k=5
knn = KNeighborsClassifier(n_neighbors=5)

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练KNN分类器
knn.fit(X_train, y_train)

# 预测测试集结果
y_pred = knn.predict(X_test)

(2) SVM算法实现文本分类

SVM算法是一种非常流行的分类算法，它可以处理高维度的数据，并具有良好的泛化性能。可以使用sklearn库中的SVC实现SVM算法。

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split

# 定义SVM分类器，使用线性核函数
svm = SVC(kernel='linear')

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练SVM分类器
svm.fit(X_train, y_train)

# 预测测试集结果
y_pred = svm.predict(X_test)

3. 评价分析实现

对于文本分类问题，常用的评价指标有准确率、召回率和F1值。可以使用sklearn库中的classification_report函数计算这些指标。

from sklearn.metrics import classification_report

# 计算评价指标
report = classification_report(y_test, y_pred)
print(report)

本示例展示了如何使用Python进行文本分类的基本步骤，包括文本预处理、模型训练和评价分析。在实际应用中，需要根据具体的场景选择合适的文本预处理方法、分类算法和评价指标。