预训练模型BERT的参数量如何统计

BERT模型的参数量可以通过以下公式计算：

参数量 = (输入维度 × 隐藏层维度) + 隐藏层维度 + (隐藏层维度 × 4 × 隐藏层维度)

其中，输入维度为词汇表大小，隐藏层维度为模型中每个隐藏层的节点数。

例如，对于BERT-Base模型，输入维度为768，隐藏层维度为768，共有12层隐藏层，因此参数量为：

(768 × 768) + 768 + (768 × 4 × 768) × 12 = 110M

对于BERT-Large模型，输入维度为1024，隐藏层维度为1024，共有24层隐藏层，因此参数量为：

(1024 × 1024) + 1024 + (1024 × 4 × 1024) × 24 = 340M