PyTorch CosineAnnealingWarmRestarts 学习率调度器详解

这段代码使用了 PyTorch 中的优化器（optimizer）和学习率调度器（lr_scheduler），具体来说是使用了'CosineAnnealingWarmRestarts' 这个学习率调度器。其中，'epochs' 表示总共的训练轮数，'1.0' 表示初始学习率，'0.02' 表示最终学习率。这个调度器会在每个 restart 时将学习率降低到初始学习率的一部分，然后在下一个 restart 时重新开始缓慢降低学习率，直到最终学习率。这样做的目的是在训练过程中逐渐减小学习率，以便更好地拟合数据。