文本预处理：分词、停用词处理和 TF-IDF 向量化 Python 代码示例

以下是一个简单的 Python 代码示例，实现了文本分词、停用词处理和 TF-IDF 文本向量化：

import nltk
from sklearn.feature_extraction.text import TfidfVectorizer
from nltk.corpus import stopwords

# 导入数据集 corpus
corpus = ['This is a sample sentence.', 'Here is another sentence.', 'And one more sentence.']

# 分词
tokenized_corpus = [nltk.word_tokenize(sentence) for sentence in corpus]

# 停用词处理
stop_words = set(stopwords.words('english'))
filtered_corpus = [[word for word in sentence if word.lower() not in stop_words] for sentence in tokenized_corpus]

# TF-IDF 向量化
vectorizer = TfidfVectorizer()
tfidf_vectors = vectorizer.fit_transform([' '.join(sentence) for sentence in filtered_corpus])

# 输出结果
print(tfidf_vectors.toarray())

该代码首先导入了必要的库，然后定义了一个数据集 corpus。接着使用 nltk 库的 word_tokenize 函数对每个句子进行分词，并利用 NLTK 提供的英文停用词列表过滤掉其中的停用词。最后使用 TfidfVectorizer 类对过滤后的文本进行向量化，并输出结果。