Tanh vs Sigmoid 激活函数：何时选择Tanh？

Tanh和sigmoid都是常用的激活函数，但它们的使用场景略有不同。

Tanh函数是一种S型函数，它的取值范围在[-1,1]之间。Tanh函数在输入为正数时，输出接近于1；在输入为负数时，输出接近于-1；在输入接近于0时，输出接近于0。因此，Tanh函数具有对称性，可以将正负数的输入映射到[-1,1]之间。相比于sigmoid函数，Tanh函数的输出范围更大，可以提供更强的非线性表达能力。

Sigmoid函数也是一种S型函数，它的取值范围在[0,1]之间。Sigmoid函数在输入为正数时，输出接近于1；在输入为负数时，输出接近于0。Sigmoid函数主要用于二分类问题中，可以将输入值映射到[0,1]之间，表示概率值。但是，Sigmoid函数存在梯度饱和的问题，当输入值非常大或非常小时，梯度会变得非常小，导致训练过程缓慢甚至停滞。

因此，如果需要更强的非线性表达能力，并且输出值的范围不需要限制在[0,1]之间，可以使用Tanh函数。如果需要将输入值映射到概率值，可以使用Sigmoid函数。但是，为了避免梯度饱和问题，可以考虑使用其他的激活函数，如ReLU、LeakyReLU等。