常见的激活函数有以下几种:

  1. Sigmoid函数:将输入映射到介于0和1之间的连续输出。适用于二分类问题和神经网络的输出层。

  2. Tanh函数:将输入映射到介于-1和1之间的连续输出。适用于二分类问题和神经网络的输出层。

  3. ReLU函数:将负输入映射为0,正输入保持不变。适用于隐藏层的激活函数,可以缓解梯度消失问题。

  4. Leaky ReLU函数:与ReLU函数类似,但是负输入时有一个小的斜率。适用于隐藏层的激活函数,可以缓解ReLU函数的死亡神经元问题。

  5. ELU函数:对负输入有一个小的斜率,可以缓解ReLU函数的问题,并且在负输入时有一个更平滑的输出。

  6. Softmax函数:将输入映射到一个概率分布,适用于多分类问题。

对于想要重视对输出结果影响较小的参数,可以使用Sigmoid函数或Tanh函数作为激活函数。这是因为这两个函数的输出范围较小,对于参数的微小变化不会引起很大的输出变化,适用于需要稳定输出的情况。

激活函数种类及适用场合:Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Softmax

原文地址: https://www.cveoy.top/t/topic/pJlm 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录