MPI 程序错误：进程退出码非零导致作业终止

MPI 程序中常见的错误提示 'Primary job terminated normally, but 1 process returned a non-zero exit code. Per user-direction, the job has been aborted.' 表示有一个进程返回了非零退出码，导致整个作业被终止。要解决这个问题，需要找到导致进程退出的原因，一般可以通过以下步骤来排查：

1. 查看 MPI 程序的输出日志，看看是否有错误信息或异常情况；
2. 检查 MPI 程序的代码，看看是否有逻辑错误、内存泄漏等问题；
3. 检查 MPI 程序的输入数据，看看是否有不合法的数据导致程序异常退出；
4. 检查 MPI 程序的运行环境，看看是否有资源不足、权限问题等导致程序异常退出。

根据具体情况进行排查，找到问题后进行修复即可。