该代码实现了一个基于KNN算法的BBC新闻分类模型,主要步骤如下:

  1. 导入模块和库:
import pandas as pd
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
  1. 读取数据集:
data_df = pd.read_csv('BBC News.csv')
  1. 分割数据集:
train_df, test_df, train_solution_df, test_solution_df = train_test_split(data_df, data_df['Category'], test_size=0.2)

使用 train_test_split 函数将数据集随机分为训练集和测试集,比例为8:2。

  1. 文本预处理:
stop_words = set(stopwords.words('english'))
stemmer = PorterStemmer()

train_texts = []
train_labels = []
for i, row in train_df.iterrows():
    text = row['Text'].lower()
    tokens = word_tokenize(text)
    tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
    tokens = [stemmer.stem(token) for token in tokens]
    train_texts.append(' '.join(tokens))
    train_labels.append(row['Category'])

test_texts = []
test_labels = []
for i, row in test_df.iterrows():
    text = row['Text'].lower()
    tokens = word_tokenize(text)
    tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
    tokens = [stemmer.stem(token) for token in tokens]
    test_texts.append(' '.join(tokens))
    test_labels.append(row['Category'])

对训练集和测试集的文本进行分词、去停用词和词干化等预处理操作,以提取关键特征,便于模型训练和预测。

  1. 特征提取:
vectorizer = TfidfVectorizer()
train_features = vectorizer.fit_transform(train_texts)
test_features = vectorizer.transform(test_texts)

使用 TF-IDF 模型将文本数据转化为特征向量,以表示文本的语义信息。

  1. 模型训练:
k = 5
knn_classifier = KNeighborsClassifier(n_neighbors=k)
knn_classifier.fit(train_features, train_labels)

使用 KNN 分类器对训练集进行训练,设定 K 值为 5。

  1. 模型评估:
test_predictions = knn_classifier.predict(test_features)

accuracy = accuracy_score(test_labels, test_predictions)
print('分类器准确率为:', accuracy)

使用测试集对训练好的分类器进行预测,并计算分类器的准确率。

  1. 保存预测结果:
predictions_df = pd.DataFrame({'ArticleId': test_df['ArticleId'], 'Category': test_predictions})
predictions_df.to_csv('BBC News Test Predictions.csv', index=False)

将测试集的预测结果保存为 CSV 文件。

该代码实现了基于 KNN 的 BBC 新闻分类模型,并使用 TF-IDF 模型进行特征提取,最终获得分类器的准确率。可以通过调整参数和尝试不同的分类器来提高模型的性能。

BBC新闻分类:基于KNN的文本分类模型

原文地址: https://www.cveoy.top/t/topic/owjw 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录