Sigmoid 函数

Sigmoid函数是一种常用的非线性激活函数，通常用于神经网络中。它的公式为：

f(x) = 1 / (1 + e^(-x))

其中，e是自然对数的底数。

Sigmoid函数的特点是将输入的值映射到一个介于0和1之间的值，使得输出值可以表示概率或激活程度。当输入接近正无穷大时，Sigmoid函数的输出趋近于1；当输入接近负无穷大时，输出趋近于0。

Sigmoid函数在早期的神经网络中广泛使用，但由于在输入较大或较小的情况下，Sigmoid函数的斜率接近于0，导致梯度消失或梯度爆炸的问题，限制了其在深层网络中的应用。因此，近年来ReLU等激活函数逐渐取代了Sigmoid函数在神经网络中的地位。