BBC新闻分类:基于KNN的文本分类模型
该代码实现了一个基于KNN算法的BBC新闻分类模型,主要步骤如下:
- 导入模块和库:
import pandas as pd
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
- 读取数据集:
data_df = pd.read_csv('BBC News.csv')
- 分割数据集:
train_df, test_df, train_solution_df, test_solution_df = train_test_split(data_df, data_df['Category'], test_size=0.2)
使用 train_test_split 函数将数据集随机分为训练集和测试集,比例为8:2。
- 文本预处理:
stop_words = set(stopwords.words('english'))
stemmer = PorterStemmer()
train_texts = []
train_labels = []
for i, row in train_df.iterrows():
text = row['Text'].lower()
tokens = word_tokenize(text)
tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
tokens = [stemmer.stem(token) for token in tokens]
train_texts.append(' '.join(tokens))
train_labels.append(row['Category'])
test_texts = []
test_labels = []
for i, row in test_df.iterrows():
text = row['Text'].lower()
tokens = word_tokenize(text)
tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
tokens = [stemmer.stem(token) for token in tokens]
test_texts.append(' '.join(tokens))
test_labels.append(row['Category'])
对训练集和测试集的文本进行分词、去停用词和词干化等预处理操作,以提取关键特征,便于模型训练和预测。
- 特征提取:
vectorizer = TfidfVectorizer()
train_features = vectorizer.fit_transform(train_texts)
test_features = vectorizer.transform(test_texts)
使用 TF-IDF 模型将文本数据转化为特征向量,以表示文本的语义信息。
- 模型训练:
k = 5
knn_classifier = KNeighborsClassifier(n_neighbors=k)
knn_classifier.fit(train_features, train_labels)
使用 KNN 分类器对训练集进行训练,设定 K 值为 5。
- 模型评估:
test_predictions = knn_classifier.predict(test_features)
accuracy = accuracy_score(test_labels, test_predictions)
print('分类器准确率为:', accuracy)
使用测试集对训练好的分类器进行预测,并计算分类器的准确率。
- 保存预测结果:
predictions_df = pd.DataFrame({'ArticleId': test_df['ArticleId'], 'Category': test_predictions})
predictions_df.to_csv('BBC News Test Predictions.csv', index=False)
将测试集的预测结果保存为 CSV 文件。
该代码实现了基于 KNN 的 BBC 新闻分类模型,并使用 TF-IDF 模型进行特征提取,最终获得分类器的准确率。可以通过调整参数和尝试不同的分类器来提高模型的性能。
原文地址: https://www.cveoy.top/t/topic/owjw 著作权归作者所有。请勿转载和采集!