BBC新闻分类:使用KNN和TF-IDF进行文本分类

本代码使用KNN算法和TF-IDF特征提取技术对BBC新闻数据集进行分类,包含数据预处理、模型训练和评估步骤,旨在提供一个简单易懂的文本分类示例。

1. 导入所需的库

import pandas as pd
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
  • pandas:用于读取和处理CSV文件。
  • word_tokenize:用于将文本分词。
  • stopwords:用于去除停用词。
  • PorterStemmer:用于将单词词干化。
  • TfidfVectorizer:用于将文本转化为TF-IDF模型。
  • KNeighborsClassifier:K近邻分类器,用于训练和预测分类结果。
  • accuracy_score:用于计算分类器准确率。
  • train_test_split:用于将数据集分为训练集和测试集。

2. 读取训练集和测试集的CSV文件

train_df = pd.read_csv('BBC News Train.csv')
test_df = pd.read_csv('BBC News Test.csv')
  • 使用pd.read_csv函数读取CSV文件,并将其存储为DataFrame类型。
  • 训练集包含ArticleId(文章ID)、Text(文章内容)和Category(文章分类)。
  • 测试集包含ArticleId和Text。

3. 读取样本解决方案

solution_df = pd.read_csv('BBC News Sample Solution.csv')
solution_dict = dict(zip(solution_df['ArticleId'], solution_df['Category']))
  • 使用pd.read_csv函数读取CSV文件,并将其存储为DataFrame类型。
  • 样本解决方案包含ArticleId和Category,用于验证预测结果的正确性。

4. 分词、去停用词、词干化

stop_words = set(stopwords.words('english'))
stemmer = PorterStemmer()

train_texts = []
train_labels = []
for i, row in train_df.iterrows():
    text = row['Text'].lower()
    tokens = word_tokenize(text)
    tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
    tokens = [stemmer.stem(token) for token in tokens]
    train_texts.append(' '.join(tokens))
    train_labels.append(row['Category'])

test_texts = []
test_ids = []
for i, row in test_df.iterrows():
    text = row['Text'].lower()
    tokens = word_tokenize(text)
    tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
    tokens = [stemmer.stem(token) for token in tokens]
    test_texts.append(' '.join(tokens))
    test_ids.append(row['ArticleId'])
  • 遍历训练集和测试集的每一行,将文本转换为小写字母,并使用word_tokenize函数将其分词。
  • 过滤掉非字母字符和停用词,使用PorterStemmer将剩余的单词进行词干化。
  • 将处理后的单词以空格分隔,存储为新的train_texts和test_texts列表。
  • 同时记录训练集和测试集的文章分类标签,存储为train_labels和test_ids列表。

5. 将数据集分为训练集和测试集

train_texts, test_texts, train_labels, test_labels = train_test_split(train_texts, train_labels, test_size=0.2, random_state=42)
  • 使用train_test_split函数将数据集分为训练集和测试集,test_size=0.2表示测试集占总数据集的20%。

6. 转化为TF-IDF模型

vectorizer = TfidfVectorizer()
train_features = vectorizer.fit_transform(train_texts)
test_features = vectorizer.transform(test_texts)
  • 创建TfidfVectorizer对象,使用fit_transform函数对训练集的文本数据进行拟合和转化。
  • 使用transform函数对测试集的文本数据进行转化。

7. 训练KNN分类器

k = 5
knn_classifier = KNeighborsClassifier(n_neighbors=k)
knn_classifier.fit(train_features, train_labels)
  • 创建KNeighborsClassifier对象,并使用fit函数对训练集的特征和标签进行拟合。
  • 设置K值为5,表示使用5个最近邻的标签进行分类。

8. 对测试集进行分类

test_predictions = knn_classifier.predict(test_features)
  • 使用predict函数对测试集的特征进行预测。

9. 使用测试集对分类器进行评估,计算准确率

accuracy = accuracy_score(test_labels, test_predictions)
print('KNN分类器的准确率:', accuracy)
  • 使用accuracy_score函数计算KNN分类器在测试集上的准确率。

10. 保存预测结果

predictions_df = pd.DataFrame({'ArticleId': test_ids, 'Category': test_predictions})
predictions_df.to_csv('BBC News Test Predictions.csv', index=False)
  • 将测试集的文章ID和预测结果存储为DataFrame类型。
  • 使用to_csv函数将DataFrame类型的预测结果保存为CSV文件。

代码总结

该代码通过以下步骤对BBC新闻数据集进行分类:

  1. 导入所需的库。
  2. 读取训练集和测试集的CSV文件。
  3. 读取样本解决方案。
  4. 分词、去停用词、词干化。
  5. 将数据集分为训练集和测试集。
  6. 转化为TF-IDF模型。
  7. 训练KNN分类器。
  8. 对测试集进行分类。
  9. 使用测试集对分类器进行评估,计算准确率。
  10. 保存预测结果。

该代码旨在提供一个简单的文本分类示例,可以作为学习和应用文本分类技术的起点。

BBC新闻分类:使用KNN和TF-IDF进行文本分类

原文地址: https://www.cveoy.top/t/topic/owjm 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录