解决 RuntimeError: Default process group has not been initialized 错误

此错误通常发生在使用 PyTorch 进行分布式训练时，原因是默认进程组尚未初始化。默认进程组用于分布式训练，负责协调不同进程之间的通信。

要解决此错误，您需要在调用 restart_from_checkpoint 函数之前初始化默认进程组。您可以通过调用 torch.distributed 包中的 init_process_group 函数来完成此操作。

以下是如何初始化默认进程组的示例：

import torch
import torch.distributed as dist

dist.init_process_group(backend='nccl', init_method='env://')

此代码使用 NCCL 后端和环境变量 init_method 初始化默认进程组。

初始化默认进程组后，您就可以调用 restart_from_checkpoint 函数，而不会遇到 RuntimeError。