为什么选择 Tanh 而不是 Sigmoid 作为激活函数？

Tanh 和 Sigmoid 函数都是常见的激活函数，但它们各有优缺点。使用 Tanh 函数时，它的输出值范围在 -1 到 1 之间，相比 Sigmoid 函数的输出值范围在 0 到 1 之间，Tanh 函数具有更好的中心化特性，即输出值的中心在 0 附近，这使得模型的训练更加稳定。此外，Tanh 函数在输入值较大或较小时，梯度值比 Sigmoid 函数更大，因此可以加速模型的训练过程。

因此，在使用神经网络时，如果需要使用非线性激活函数，通常更倾向于选择 Tanh 函数而不是 Sigmoid 函数。但是在某些特定的情况下，如输出层需要输出概率时，Sigmoid 函数仍然是一个更好的选择。