NLP 分词：词频概率与词熵计算方法详解

NLP 分词是自然语言处理中的一个重要任务，目的是将连续的文本序列切分成一个个有意义的词语。

'各词概率' 指在一个语料库中，每个词出现的频率。一般可以通过统计每个词在语料库中出现的次数，然后除以总词数得到概率值。

'各词熵' 指对每个词的概率分布进行熵计算。熵是信息论中的概念，用于衡量一个随机变量的不确定性。在自然语言处理中，可以将熵用于衡量一个词的多样性和灵活性。

计算方法原理

1. 各词概率计算方法原理

• 统计方法: 通过对大规模语料库进行统计，统计每个词在语料库中出现的次数，并计算出概率值。
• n-gram 模型: 根据前 n-1 个词的上下文预测第 n 个词的概率，通过计算出现频率来得到概率值。
• 基于神经网络的语言模型: 使用神经网络模型进行训练，通过最大似然估计来计算概率值。

2. 各词熵计算方法原理

• 使用信息熵: 对于一个词的概率分布，可以使用信息熵来计算其熵值。信息熵定义为负概率的对数的期望值，可以用来衡量一个随机变量的不确定性。
• 具体计算方法: 对于一个词的概率分布 P(x)，其熵可以通过以下公式计算：H(x) = -Σ(P(x)*log(P(x)))，其中 Σ 表示对所有可能的取值求和。
• 熵值越大，表示一个词的多样性和灵活性越高，即该词在不同上下文中出现的概率比较均衡。反之，熵值越小，表示该词在特定上下文中出现的概率较高。