详细介绍激活函数并举例

激活函数是神经网络中的一种非线性函数，用于在神经元的输出上添加非线性特性。在神经网络中，每个神经元都有一个激活函数，用于将输入信号转换为输出信号。激活函数的主要作用是将神经元的输出映射到一个非线性的范围内，使神经网络能够处理更加复杂的问题，并提高网络的表达能力。

常见的激活函数包括sigmoid函数、tanh函数、ReLU函数、Leaky ReLU函数和softmax函数等。

sigmoid函数是一个常用的激活函数，它将神经元的输出映射到0到1之间，并且具有可导性质。Sigmoid函数的公式如下：

$$f(x) = \frac{1}{1+e^{-x}}$$

sigmoid函数的输出值在0和1之间，可以将它们看作是概率值，表示该神经元激活的概率。

tanh函数是一种常见的激活函数，它将神经元的输出映射到-1到1之间，并且具有可导性质。tanh函数的公式如下：

$$f(x) = \frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$$

tanh函数的输出值在-1和1之间，可以将它们看作是概率值，表示该神经元激活的概率。

ReLU函数是一种常用的激活函数，它在神经网络中具有非常好的表现，并且计算速度非常快。ReLU函数的公式如下：

$$f(x) = \max(0,x)$$

ReLU函数的输出值在0和正无穷之间，如果输入值小于0，则输出值为0，否则输出值等于输入值。

Leaky ReLU函数是ReLU函数的一种改进，它在输入值小于0时，输出一个小的常数（通常设为0.01），而不是0。这样可以解决ReLU函数在输入值小于0时出现的“死亡神经元”问题。Leaky ReLU函数的公式如下：

$$f(x) = \begin{cases} x & x\geq 0 \ 0.01x & x<0 \end{cases}$$

softmax函数是一种常用的激活函数，它将神经元的输出映射到0到1之间，并且将它们归一化为和为1的概率分布。softmax函数的公式如下：

$$f(x_i) = \frac{e^{x_i}}{\sum_{j=1}^k e^{x_j}}$$

softmax函数的输出值可以看作是一个概率分布，表示每个神经元的激活概率。

举例来说，当我们使用一个神经网络对手写数字进行分类时，我们通常会使用ReLU函数或Leaky ReLU函数作为隐藏层的激活函数，使用softmax函数作为输出层的激活函数，这样可以将神经元的输出映射到0到1之间，并将它们归一化为和为1的概率分布，从而得到每个数字的概率值。