Sigmoid, Tanh, ReLU 函数表达式详解

Sigmoid 函数的表达式：

sigmoid(x) = 1 / (1 + exp(-x))

TanH 函数的表达式：

tanh(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

ReLU 函数的表达式：

relu(x) = max(0, x)

这里，exp(x) 是指数函数。Sigmoid 函数将任何实数映射到 [0, 1] 的区间，TanH 函数将任何实数映射到 [-1, 1] 的区间，而 ReLU 函数在输入为负数时输出 0，在输入为正数时输出原始值。