激活函数的所有种类有哪些适用的场合是什么。想重视和放大对输出结果影响非常小的参数用什么激活函数

激活函数的种类有以下几种：

1. Sigmoid函数（Logistic函数）：将输入值映射到0和1之间，适用于二分类问题或输出概率值。

2. Tanh函数：将输入值映射到-1和1之间，适用于二分类问题或输出概率值。

3. ReLU函数（Rectified Linear Unit）：将负数映射为0，非负数保持不变，适用于解决稀疏激活问题，如图像分类。

4. Leaky ReLU函数：与ReLU函数类似，但负数部分有一个小的斜率，解决了ReLU函数对负数部分完全抑制的问题。

5. Parametric ReLU函数（PReLU函数）：与Leaky ReLU函数类似，但斜率是可学习参数。

6. ELU函数（Exponential Linear Unit）：在负数部分引入了指数增长，解决了ReLU函数对负数部分完全抑制的问题，并且具有负数部分平滑的特点。

7. Softmax函数：将向量映射到概率分布上，适用于多分类问题。

对于想要重视和放大对输出结果影响非常小的参数，可以使用ReLU函数或其变种，如Leaky ReLU，PReLU或ELU函数。这是因为ReLU函数在输入为正数时保持不变，对于小于等于0的输入则将其设为0，因此对于输出结果影响较小的参数，ReLU函数会将其置为0，从而减小了对输出结果的影响