mpirun 中使用 HPC-X 的方法 - 详细步骤和环境变量设置

在 mpirun 命令中使用 HPC-X 需要指定 HPC-X 的安装路径和使用的 MPI 库。具体步骤如下：

1. 打开终端，进入需要运行 MPI 程序的目录。

2. 使用以下命令启动 MPI 程序：

mpirun -x LD_LIBRARY_PATH -x PATH -x UCX_TLS=self,sm,tcp -x UCX_NET_DEVICES=mlx5_0:1 -x UCX_IB_GID_INDEX=3 -x UCX_IB_PORTS=1 -x UCX_IB_PCI_BDF=01:00.0 -x UCX_IB_MTU=1024 -x UCX_IB_ROCE_VERSION=2 -x UCX_IB_LINK_TYPE=IB -np <num_procs> <path/to/mpi_executable>

其中，<num_procs> 为需要启动的 MPI 进程数，<path/to/mpi_executable> 为 MPI 程序的可执行文件路径。

3. 在上述命令中，-x 选项指定了需要传递给 MPI 进程的环境变量。需要将以下环境变量添加到命令中：

• LD_LIBRARY_PATH：指定 HPC-X 的共享库路径。
• PATH：指定 HPC-X 的可执行文件路径。
• UCX_TLS：指定使用的传输协议，可以是 'self', 'sm', 'tcp', 'rocm' 等。
• UCX_NET_DEVICES：指定使用的网络设备，可以是网卡名称、IP 地址、网络接口等。
• UCX_IB_GID_INDEX：指定使用的 GID 索引。
• UCX_IB_PORTS：指定使用的物理端口号。
• UCX_IB_PCI_BDF：指定使用的 PCI 总线地址。
• UCX_IB_MTU：指定使用的 MTU 大小。
• UCX_IB_ROCE_VERSION：指定使用的 RoCE 版本。
• UCX_IB_LINK_TYPE：指定使用的 IB 或者 RoCE 网络类型。

4. 运行命令，启动 MPI 程序。MPI 程序将使用指定的 HPC-X 环境运行。