Transformer 语言模型超参数配置函数 lm_hparams() 解释

这段代码定义了一个函数 lm_hparams()，用于返回一个包含语言模型超参数的对象 params。这些超参数可以用于构建和训练 Transformer 语言模型。

def lm_hparams():
    params = tf.contrib.training.HParams(
        num_heads = 8,
        num_blocks = 6,
        # vocab
        input_vocab_size = 50,
        label_vocab_size = 50,
        # embedding size
        max_length = 100,
        hidden_units = 512,
        dropout_rate = 0.2,
        lr = 0.0003,
        is_training = True)
    return params

• num_heads: 注意力头的数量
• num_blocks: Transformer 模型中的块数
• input_vocab_size: 输入词汇表的大小
• label_vocab_size: 输出词汇表的大小
• max_length: 最大输入序列长度
• hidden_units: 隐藏单元的数量
• dropout_rate: Dropout 的保留率
• lr: 学习率
• is_training: 是否处于训练模式