激活函数的所有种类有哪些适用的场合是什么。想重视和放大对输出结果影响非常小的参数并放大它对输出结果的影响用什么激活函数
常见的激活函数有以下几种:
-
Sigmoid函数:将输入的值压缩到0到1之间,适用于二分类问题或者需要将输出归一化到概率分布的情况。
-
Tanh函数:将输入的值压缩到-1到1之间,适用于需要输出有负值的情况。
-
ReLU函数:将输入的值大于0的部分保持不变,小于等于0的部分置为0,适用于大多数情况,特别是在深度学习中常用的激活函数。
-
Leaky ReLU函数:与ReLU函数类似,但是小于0的部分不是完全置为0,而是乘以一个小的斜率,适用于ReLU函数出现的一些问题,如神经元死亡问题。
-
Parametric ReLU函数:与Leaky ReLU类似,但是小于0的部分的斜率不是固定的,而是可以学习的参数。
-
Softmax函数:将输入的值映射到0到1之间,并且输出的值之和为1,适用于多分类问题。
如果想重视和放大对输出结果影响非常小的参数,并放大它对输出结果的影响,可以使用Sigmoid函数或者Tanh函数。这是因为这两个函数的输出范围在0到1之间或者-1到1之间,且在接近边界的地方梯度变化较大,可以更好地放大对输出结果影响非常小的参数。
原文地址: https://www.cveoy.top/t/topic/h0N8 著作权归作者所有。请勿转载和采集!