jieba分词详解：模式、词典、停用词等常用属性及使用方法

jieba分词是中文自然语言处理中常用的分词工具，提供了多种属性以满足不同的分词需求。本文将详细介绍jieba分词库的常用属性，并结合代码示例进行说明。

1. 分词模式 (mode)

jieba分词提供了三种分词模式：

• 精确模式 (默认)：尽量将句子切分成最精确的词语。- 全模式: 将句子中所有可能的词语都切分出来。- 搜索引擎模式: 在精确模式的基础上对长词再次切分。pythonimport jieba

text = 'jieba分词是一个强大的中文分词工具'

精确模式seg_list = jieba.cut(text)print('/'.join(seg_list)) # 输出：jieba/分词/是/一个/强大/的/中文/分词/工具

全模式seg_list = jieba.cut(text, cut_all=True)print('/'.join(seg_list)) # 输出：jieba/分词/是/一个/强大/大的/中文/分词/工具

搜索引擎模式seg_list = jieba.cut_for_search(text)print('/'.join(seg_list)) # 输出：jieba/分词/是/一个/强大/的/中文/分词/工具

2. 用户自定义词典 (user_dict)

通过添加用户自定义词典可以提高分词的准确性，尤其对于专业词汇或新词。用户自定义词典是一个文本文件，每行包含一个词语和其对应的词频，以空格分隔。pythonjieba.load_userdict('user_dict.txt')

3. 停用词 (stop_words)

停用词是指在文本中出现频率高但没有实际意义的词语，例如 '的'、'了' 等。可以通过设置停用词列表过滤掉这些词语。python# 创建停用词列表stop_words = ['的', '了', '在']

分词时过滤停用词seg_list = [word for word in jieba.cut(text) if word not in stop_words]

4. HMM 模型 (hmm)

HMM 模型用于处理未登录词 (OOV)，即分词库中没有出现的词语。

5. 并行分词 (parallel)

通过设置并行分词的线程数可以加快分词速度。pythonjieba.enable_parallel(4) # 设置并行线程数为 4

6. Tokenize 函数 (tokenize)

tokenize 函数可以将文本分词结果输出为一个可迭代的生成器，每个元素包含词语、词语在文本中的起始位置和结束位置。pythonresult = jieba.tokenize(text)for tk in result: print(tk)

7. 添加词语 (add_word)

可以使用 add_word 函数动态添加词语到分词库中。pythonjieba.add_word('机器学习', freq=100)

8. 删除词语 (del_word)

可以使用 del_word 函数删除分词库中的词语。pythonjieba.del_word('机器学习')

9. 获取词性 (posseg)

posseg 函数可以获取词语的词性标注信息。pythonimport jieba.posseg as pseg

words = pseg.cut(text)for word, pos in words: print(f'{word}/{pos}')

10. 关键词提取 (extract_tags)

extract_tags 函数可以提取文本中的关键词。pythonkeywords = jieba.analyse.extract_tags(text, topK=10)print(keywords)

总结

本文介绍了 jieba 分词库的常用属性，包括分词模式、用户自定义词典、停用词、HMM 模型、并行分词、Tokenize 函数、词语添加与删除、词性获取以及关键词提取等。您可以根据实际需求选择合适的属性，对 jieba 分词进行个性化配置，以达到最佳的分词效果。