PyTorch 单 GPU 非分布式训练代码
import os\nimport torch\nimport random\nimport numpy as np\nfrom torch.backends import cudnn\n\n# 删除与SLURM相关的代码块\n\nconfig.defrost()\nconfig.LOCAL_RANK = 0 # 使用第一张GPU\nconfig.freeze()\n\n# 删除 torch.distributed.init_process_group 和 torch.distributed.barrier 的调用\n\nseed = config.SEED # 使用 config.SEED 作为种子\ntorch.manual_seed(seed)\ntorch.cuda.manual_seed(seed)\nnp.random.seed(seed)\nrandom.seed(seed)\ncudnn.benchmark = True
原文地址: https://www.cveoy.top/t/topic/qptp 著作权归作者所有。请勿转载和采集!