深度学习激活函数选择：ReLU、tanh和sigmoid的对比

在深度神经网络中，通常使用ReLU（Rectified Linear Unit）作为激活函数，因为它可以更好地处理梯度消失和梯度爆炸的问题，并且在计算上比sigmoid和tanh更快。

如果必须使用tanh作为激活函数，则通常会优先选择它而不是sigmoid，因为tanh的输出范围是[-1,1]，而sigmoid的输出范围是[0,1]。这意味着tanh可以产生更强的非线性响应，并且可以更好地防止梯度消失的问题。此外，tanh还具有零均值的属性，这在某些情况下可以使训练更稳定。