构建词表：训练语言模型的关键步骤

构建词表是训练语言模型的重要步骤之一。词表是一个包含所有在训练数据中出现过的单词的列表。以下是一个例子：

假设我们有以下句子作为训练数据：

'The cat sat on the mat.'

'Tommy and Timmy played with a ball.'

首先，我们需要对这些句子进行分词，将它们分成单词：

['The', 'cat', 'sat', 'on', 'the', 'mat', '.', 'Tommy', 'and', 'Timmy', 'played', 'with', 'a', 'ball', '.']

接下来，我们将所有的单词放入我们的词表中，并为每个单词分配一个唯一的整数标识符：

{ 'The': 1, 'cat': 2, 'sat': 3, 'on': 4, 'the': 5, 'mat': 6, '.': 7, 'Tommy': 8, 'and': 9, 'Timmy': 10, 'played': 11, 'with': 12, 'a': 13, 'ball': 14 }

现在，我们可以使用这个词表来训练我们的语言模型，并将每个单词替换为它们的整数标识符。在这个例子中，句子'The cat sat on the mat.'将被表示为[1, 2, 3, 4, 5, 6, 7]。