PyTorch 循环累加梯度:totalGrad 清零问题
不会,因为在每次循环中,'total_grad' 都会被重新初始化为全零张量,而 'params.grad' 是当前参数的梯度,会根据反向传播的结果不断更新。所以,'totalGrad' 最终会累加所有参数的梯度。
原文地址: https://www.cveoy.top/t/topic/nw2I 著作权归作者所有。请勿转载和采集!
安全问答是一个知识全球问答,包含丰富的问答知识
不会,因为在每次循环中,'total_grad' 都会被重新初始化为全零张量,而 'params.grad' 是当前参数的梯度,会根据反向传播的结果不断更新。所以,'totalGrad' 最终会累加所有参数的梯度。
原文地址: https://www.cveoy.top/t/topic/nw2I 著作权归作者所有。请勿转载和采集!