梯度消失问题：Sigmoid 和 Tanh 函数的饱和性

然而，Sigmoid 和 Tanh 函数都表现出饱和性，也就是说，当x趋近于无穷时，它们的导数都接近于零。因此，在反向传播的过程中，可能会遇到梯度消失的情况。这是因为，当导数接近零时，权重更新将变得非常小，导致学习速度减慢甚至停滞。

原文地址: https://www.cveoy.top/t/topic/mQAs 著作权归作者所有。请勿转载和采集!