悟道2.0模型在SuperGLUE few-shot任务上使用的FewGLUE参数如下:

  • batch_size: 2
  • learning_rate: 1e-5
  • num_train_epochs: 10
  • warmup_proportion: 0.1
  • max_seq_length: 512
  • gradient_accumulation_steps: 4
  • weight_decay: 0.01

这些参数是根据实验和调优得出的最佳值,用于在SuperGLUE few-shot任务中训练悟道2.0模型。请注意,这些参数可能会根据具体任务和数据集的特点进行微调,以获得更好的性能。

悟道2.0 SuperGLUE Few-Shot 任务参数配置

原文地址: https://www.cveoy.top/t/topic/pf1Q 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录