PyTorch 中 total_grad 累加操作：每次循环都会清零吗？

不会，这段代码中的'total_grad'是一个numpy数组，使用'np.zeros_like(params.grad)'创建时已经被初始化为全零数组。在每次执行'torch.add(total_grad,params.grad)'时，'params.grad'的值会被加到'total_grad'中，不会清零。如果想要每次清零，需要在每次加法操作前将'total_grad'重新赋值为全零数组。