import itertoolsimport torchimport torchnn as nnimport torchoptim as optimimport osimport scipyio as sciofrom matplotlib import pyplot as pltfrom prettytable import PrettyTable# from My_Basic_Netutils

是的，这段代码使用了带预热的余弦退火(lr_scheduler=torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer,epochs,1,0.02))和不带预热的余弦退火(lr_scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs, eta_min=0.05,last_epoch=-1))两种学习率衰减方式。具体来说，带预热的余弦退火会先在一定的lr下训练一段时间，然后再以余弦函数的形式下降lr。不带预热的余弦退火则从初始lr开始下降。