解决 BertModel 初始化警告:部分权重未使用
此警告信息表明在使用来自 './model_hub/chinese-bert-wwm/' 模型检查点的权重初始化 BertModel 时,某些权重未被使用。具体而言,名为 'cls.predictions.bias', 'cls.predictions.decoder.weight', 'cls.predictions.transform.dense.bias', 'cls.seq_relationship.weight', 'cls.seq_relationship.bias', 'cls.predictions.transform.LayerNorm.weight', 'cls.predictions.transform.dense.weight' 和 'cls.predictions.transform.LayerNorm.bias' 的权重未被使用。
这并不一定需要担心,因为其中一些权重可能与您使用模型的特定任务无关。但是,如果您遇到性能问题或意外结果,您可能需要调查这些未使用的权重是否会导致问题。
原文地址: https://www.cveoy.top/t/topic/mX0H 著作权归作者所有。请勿转载和采集!