深度学习激活函数大全：种类、适用场景及参数影响分析

常用的激活函数有以下几种：

1. Sigmoid函数：将输入值转化为0到1之间的输出值，适用于二分类问题或需要将输出映射到概率的场景。

2. Tanh函数：将输入值转化为-1到1之间的输出值，适用于二分类问题或需要将输出映射到概率的场景。

3. ReLU函数：将负数输入值映射为0，正数输入值不变，适用于大部分深度学习任务。

4. Leaky ReLU函数：与ReLU函数类似，但负数输入值会有一个小的输出值，适用于解决ReLU函数可能出现的"神经元死亡"问题。

5. Parametric ReLU函数：与Leaky ReLU函数类似，但负数输入值的输出值可以学习得到，适用于解决ReLU函数可能出现的"神经元死亡"问题。

6. ELU函数：在负数输入值上有一个平滑的曲线，适用于减少因ReLU函数的死亡神经元而导致的信息损失。

7. Softmax函数：将多个输入值转化为表示概率的输出值，适用于多类分类问题。

如果想重视和放大对输出结果影响非常小的参数来寻找规律，可以选择使用Sigmoid函数或Tanh函数。这两种函数的输出范围都是有限的，并且对输入值的绝对值较大的变化相对不敏感，因此可以将对输出结果影响非常小的参数映射到一个较小的范围内，从而更容易寻找规律。