神经网络优化：梯度运算与不可微激活函数

进行梯度运算是神经网络运算过程必须具备的性质。即使像ReLU这样的激活函数在某些点处不可微，但目标函数不会将梯度收敛到0值附近，并且ReLU函数保持连续性。因此，有限数量的不可微点也可以满足优化网络的要求。

原文地址: https://www.cveoy.top/t/topic/mNuq 著作权归作者所有。请勿转载和采集!