激活函数种类：适用场景与参数放大 | 深度学习入门

常见的激活函数有以下几种：\n\n1. Sigmoid函数（Logistic函数）：\n - 公式：f(x) = 1 / (1 + exp(-x))\n - 适用场合：二分类问题中，输出结果需要映射到0和1之间。\n\n2. 双曲正切函数（Tanh函数）：\n - 公式：f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))\n - 适用场合：多分类问题中，输出结果需要映射到-1和1之间。\n\n3. ReLU函数（Rectified Linear Unit）：\n - 公式：f(x) = max(0, x)\n - 适用场合：通常用于隐层的激活函数，可以有效解决梯度消失的问题。\n\n4. Leaky ReLU函数：\n - 公式：f(x) = max(0.1x, x)\n - 适用场合：与ReLU函数类似，但可以缓解ReLU函数中负数区域的不可导性质。\n\n5. PReLU函数（Parametric Rectified Linear Unit）：\n - 公式：f(x) = max(ax, x)，其中a是可学习的参数\n - 适用场合：与ReLU函数类似，但可以让参数a根据数据进行学习。\n\n6. ELU函数（Exponential Linear Unit）：\n - 公式：f(x) = x if x >= 0, f(x) = a * (exp(x) - 1) if x < 0，其中a是可调节的超参数\n - 适用场合：可以缓解ReLU函数的负数区域的问题，并且具有更平滑的曲线。\n\n7. Softmax函数：\n - 公式：f(x_i) = exp(x_i) / sum(exp(x_j))，其中i表示第i个输出，j表示所有输出\n - 适用场合：多分类问题中，将输出结果映射到概率分布上。\n\n如果想重视和放大对输出结果影响非常小的参数来寻找规律，可以使用ReLU函数或其变种，如Leaky ReLU、PReLU或ELU函数。这些激活函数在输入为正数时会保持线性增长，而在输入为负数时会接近于0，从而可以将对输出影响较小的参数进行放大。