激活函数种类、应用场景及参数放大选择 - 深入理解神经网络

常见的激活函数有以下几种：

1. Sigmoid函数：将输入值压缩到0和1之间，适用于二分类问题或将输出映射到概率值的情况。
2. 双曲正切函数（Tanh函数）：将输入值压缩到-1和1之间，适用于二分类问题。
3. ReLU函数：对于负值输入，输出为0；对于正值输入，输出等于输入值，适用于解决梯度消失问题和加速训练速度。
4. Leaky ReLU函数：对于负值输入，输出为一个较小的正数；对于正值输入，输出等于输入值，适用于解决ReLU函数中负值输入导致的神经元不活跃问题。
5. Parametric ReLU函数：对于负值输入，输出为一个乘以参数的值；对于正值输入，输出等于输入值，适用于解决ReLU函数中负值输入导致的神经元不活跃问题。
6. Softmax函数：将输入值压缩到0和1之间，并保证所有输出值的和为1，适用于多分类问题。 对于想重视和放大对输出结果影响非常小的参数来寻找规律的情况，可以选择ReLU函数或Leaky ReLU函数。这是因为这两种激活函数在正值输入时可以保持原始数值，从而放大对结果影响较小的参数。