CountVectorizer与TfidfTransformer：文本特征提取和向量化利器

CountVectorizer和TfidfTransformer是Scikit-learn库中常用的文本特征提取和向量化工具，它们都是基于词袋模型的方法，常与机器学习算法结合使用，对文本数据进行建模和分析。

1. CountVectorizer：构建词频矩阵

CountVectorizer用于将文本数据转换为词频矩阵。它将文本拆分成单个词语，并计算每个词语在文本中出现的次数。

**代码示例：**pythonfrom sklearn.feature_extraction.text import CountVectorizer

创建CountVectorizer对象vectorizer = CountVectorizer()

假设有一个包含多个文本的列表text_data = ['I love coding', 'Machine learning is interesting', 'Coding is fun']

将文本数据转换为词频矩阵count_matrix = vectorizer.fit_transform(text_data)

打印词频矩阵print(count_matrix.toarray())

打印特征词语列表print(vectorizer.get_feature_names_out())

输出结果：

二维的词频矩阵，每行代表一个文本样本，每列代表一个词语的出现次数。get_feature_names_out()方法返回特征词语的列表。

2. TfidfTransformer：计算TF-IDF权重

TfidfTransformer用于将词频矩阵转换为TF-IDF（Term Frequency-Inverse Document Frequency）矩阵。TF-IDF是一种用于衡量词语在文本中重要性的统计方法，它将一个词语的词频与其在整个文档中的逆文档频率相乘。

**代码示例：**pythonfrom sklearn.feature_extraction.text import TfidfTransformer

创建TfidfTransformer对象transformer = TfidfTransformer()

将词频矩阵转换为TF-IDF矩阵tfidf_matrix = transformer.fit_transform(count_matrix)

打印TF-IDF矩阵print(tfidf_matrix.toarray())

输出结果：

二维的TF-IDF矩阵，每行代表一个文本样本，每列代表一个词语的TF-IDF值。

CountVectorizer 和 TfidfTransformer 的组合使用

CountVectorizer和TfidfTransformer通常一起使用：

1. 使用CountVectorizer将文本转换为词频矩阵。2. 使用TfidfTransformer将词频矩阵转换为TF-IDF矩阵，以便更好地表示文本特征。

这样的组合能够有效地将文本数据转换为机器学习算法可处理的数值向量，从而进行文本分类、聚类、情感分析等任务。