BBC新闻分类:使用KNN和TF-IDF进行文本分类
BBC新闻分类:使用KNN和TF-IDF进行文本分类
本代码使用KNN算法和TF-IDF特征提取技术对BBC新闻数据集进行分类,包含数据预处理、模型训练和评估步骤,旨在提供一个简单易懂的文本分类示例。
1. 导入所需的库
import pandas as pd
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
pandas:用于读取和处理CSV文件。word_tokenize:用于将文本分词。stopwords:用于去除停用词。PorterStemmer:用于将单词词干化。TfidfVectorizer:用于将文本转化为TF-IDF模型。KNeighborsClassifier:K近邻分类器,用于训练和预测分类结果。accuracy_score:用于计算分类器准确率。train_test_split:用于将数据集分为训练集和测试集。
2. 读取训练集和测试集的CSV文件
train_df = pd.read_csv('BBC News Train.csv')
test_df = pd.read_csv('BBC News Test.csv')
- 使用
pd.read_csv函数读取CSV文件,并将其存储为DataFrame类型。 - 训练集包含
ArticleId(文章ID)、Text(文章内容)和Category(文章分类)。 - 测试集包含
ArticleId和Text。
3. 读取样本解决方案
solution_df = pd.read_csv('BBC News Sample Solution.csv')
solution_dict = dict(zip(solution_df['ArticleId'], solution_df['Category']))
- 使用
pd.read_csv函数读取CSV文件,并将其存储为DataFrame类型。 - 样本解决方案包含
ArticleId和Category,用于验证预测结果的正确性。
4. 分词、去停用词、词干化
stop_words = set(stopwords.words('english'))
stemmer = PorterStemmer()
train_texts = []
train_labels = []
for i, row in train_df.iterrows():
text = row['Text'].lower()
tokens = word_tokenize(text)
tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
tokens = [stemmer.stem(token) for token in tokens]
train_texts.append(' '.join(tokens))
train_labels.append(row['Category'])
test_texts = []
test_ids = []
for i, row in test_df.iterrows():
text = row['Text'].lower()
tokens = word_tokenize(text)
tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
tokens = [stemmer.stem(token) for token in tokens]
test_texts.append(' '.join(tokens))
test_ids.append(row['ArticleId'])
- 遍历训练集和测试集的每一行,将文本转换为小写字母,并使用
word_tokenize函数将其分词。 - 过滤掉非字母字符和停用词,使用
PorterStemmer将剩余的单词进行词干化。 - 将处理后的单词以空格分隔,存储为新的
train_texts和test_texts列表。 - 同时记录训练集和测试集的文章分类标签,存储为
train_labels和test_ids列表。
5. 将数据集分为训练集和测试集
train_texts, test_texts, train_labels, test_labels = train_test_split(train_texts, train_labels, test_size=0.2, random_state=42)
- 使用
train_test_split函数将数据集分为训练集和测试集,test_size=0.2表示测试集占总数据集的20%。
6. 转化为TF-IDF模型
vectorizer = TfidfVectorizer()
train_features = vectorizer.fit_transform(train_texts)
test_features = vectorizer.transform(test_texts)
- 创建
TfidfVectorizer对象,使用fit_transform函数对训练集的文本数据进行拟合和转化。 - 使用
transform函数对测试集的文本数据进行转化。
7. 训练KNN分类器
k = 5
knn_classifier = KNeighborsClassifier(n_neighbors=k)
knn_classifier.fit(train_features, train_labels)
- 创建
KNeighborsClassifier对象,并使用fit函数对训练集的特征和标签进行拟合。 - 设置
K值为5,表示使用5个最近邻的标签进行分类。
8. 对测试集进行分类
test_predictions = knn_classifier.predict(test_features)
- 使用
predict函数对测试集的特征进行预测。
9. 使用测试集对分类器进行评估,计算准确率
accuracy = accuracy_score(test_labels, test_predictions)
print('KNN分类器的准确率:', accuracy)
- 使用
accuracy_score函数计算KNN分类器在测试集上的准确率。
10. 保存预测结果
predictions_df = pd.DataFrame({'ArticleId': test_ids, 'Category': test_predictions})
predictions_df.to_csv('BBC News Test Predictions.csv', index=False)
- 将测试集的文章ID和预测结果存储为DataFrame类型。
- 使用
to_csv函数将DataFrame类型的预测结果保存为CSV文件。
代码总结
该代码通过以下步骤对BBC新闻数据集进行分类:
- 导入所需的库。
- 读取训练集和测试集的CSV文件。
- 读取样本解决方案。
- 分词、去停用词、词干化。
- 将数据集分为训练集和测试集。
- 转化为TF-IDF模型。
- 训练KNN分类器。
- 对测试集进行分类。
- 使用测试集对分类器进行评估,计算准确率。
- 保存预测结果。
该代码旨在提供一个简单的文本分类示例,可以作为学习和应用文本分类技术的起点。
原文地址: https://www.cveoy.top/t/topic/owjm 著作权归作者所有。请勿转载和采集!