悟道2.0 SuperGLUE Few-Shot 任务参数配置
悟道2.0模型在SuperGLUE few-shot任务上使用的FewGLUE参数如下:
- batch_size: 2
- learning_rate: 1e-5
- num_train_epochs: 10
- warmup_proportion: 0.1
- max_seq_length: 512
- gradient_accumulation_steps: 4
- weight_decay: 0.01
这些参数是根据实验和调优得出的最佳值,用于在SuperGLUE few-shot任务中训练悟道2.0模型。请注意,这些参数可能会根据具体任务和数据集的特点进行微调,以获得更好的性能。
原文地址: https://www.cveoy.top/t/topic/pf1Q 著作权归作者所有。请勿转载和采集!