使用 LDA、LSA、PLSA、HDP-LDA 和 lda2vec 主题模型对文本数据进行主题分类
使用 LDA、LSA、PLSA、HDP-LDA 和 lda2vec 主题模型对文本数据进行主题分类
本文将使用 LDA、LSA、PLSA、HDP-LDA 和 lda2vec 这几种主题模型对文本数据进行分类,并将文本数据分成 3 个主题。同时,代码还将获取每个主题的名称,并打印每个评论文本中每一类主题的数量。
代码示例:
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation, TruncatedSVD
from sklearn.decomposition import NMF
import gensim
from gensim import corpora, models
from gensim.models import HdpModel, LdaModel, LdaMulticore
from lda2vec import preprocess, Corpus
# 读取评论文本数据
data = pd.read_csv('comments.csv')
# 文本预处理
processed_data = preprocess.process_documents(data['comment_text'].values)
# 创建词袋模型
vectorizer = CountVectorizer(stop_words='english')
X = vectorizer.fit_transform(processed_data)
# LDA模型
lda = LatentDirichletAllocation(n_components=3, random_state=42)
lda.fit(X)
lda_topic_names = ['Topic {}'.format(i) for i in range(lda.n_components)]
lda_topic_distribution = lda.transform(X)
lda_predicted_topics = np.argmax(lda_topic_distribution, axis=1)
# LSA模型
lsa = TruncatedSVD(n_components=3, random_state=42)
lsa.fit(X)
lsa_topic_names = ['Topic {}'.format(i) for i in range(lsa.n_components)]
lsa_topic_distribution = lsa.transform(X)
lsa_predicted_topics = np.argmax(lsa_topic_distribution, axis=1)
# PLSA模型
plsa = NMF(n_components=3, random_state=42)
plsa.fit(X)
plsa_topic_names = ['Topic {}'.format(i) for i in range(plsa.n_components)]
plsa_topic_distribution = plsa.transform(X)
plsa_predicted_topics = np.argmax(plsa_topic_distribution, axis=1)
# HDP-LDA模型
hdp_corpus = gensim.matutils.Sparse2Corpus(X.T)
hdp_dict = corpora.Dictionary.from_corpus(hdp_corpus, id2word=dict((id, word) for word, id in vectorizer.vocabulary_.items()))
hdp = HdpModel(hdp_corpus, hdp_dict)
hdp_topic_names = ['Topic {}'.format(i) for i in range(hdp.m_topics)]
hdp_topic_distribution = np.array(list(hdp.get_topics()))
hdp_predicted_topics = np.argmax(hdp_topic_distribution, axis=1)
# lda2vec模型
corpus = Corpus()
corpus.fit(processed_data, max_length=100)
lda2vec = lda2vec.LDA2Vec(n_topics=3, random_state=42)
lda2vec.fit(corpus)
# 打印每个评论文本中每一类主题的数量
for i in range(3):
print('Topic {}: {}'.format(i, len(np.where(lda_predicted_topics == i)[0])))
# 打印每个主题的名称
print('LDA Topics:')
for i, topic in enumerate(lda.components_):
print('Topic {}: {}'.format(i, ' '.join([vectorizer.get_feature_names()[index] for index in topic.argsort()[:-11:-1]])))
print('LSA Topics:')
for i, topic in enumerate(lsa.components_):
print('Topic {}: {}'.format(i, ' '.join([vectorizer.get_feature_names()[index] for index in topic.argsort()[:-11:-1]])))
print('PLSA Topics:')
for i, topic in enumerate(plsa.components_):
print('Topic {}: {}'.format(i, ' '.join([vectorizer.get_feature_names()[index] for index in topic.argsort()[:-11:-1]])))
print('HDP-LDA Topics:')
for i, topic in enumerate(hdp_topic_distribution):
print('Topic {}: {}'.format(i, ' '.join([hdp_dict[id] for id, _ in topic])))
print('lda2vec Topics:')
for i, topic in enumerate(lda2vec.topic_word_):
print('Topic {}: {}'.format(i, ' '.join([corpus.id2word[j] for j in topic.argsort()[:-11:-1]])))
注意:
- 以上代码仅供参考,你需要根据自己的数据和需求进行相应的调整。
- lda2vec 模型的安装和使用可能需要额外的步骤和依赖项。
- 为了更清晰的展示,代码中省略了部分导入模块的代码,请根据实际情况进行补充。
原文地址: https://www.cveoy.top/t/topic/ZzA 著作权归作者所有。请勿转载和采集!