深度学习常用激活函数详解:Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Softmax
常见的激活函数有以下几种:
-
Sigmoid函数:将输入值映射到0和1之间,常用于二分类问题。
-
Tanh函数:将输入值映射到-1和1之间,常用于多分类问题。
-
ReLU函数:将输入值小于0的部分置为0,大于0的部分保持不变,可以加速神经网络的训练。
-
Leaky ReLU函数:与ReLU函数类似,但是将输入值小于0的部分乘以一个小的斜率,可以避免ReLU函数的'死亡神经元'问题。
-
ELU函数:与ReLU函数类似,但是将输入值小于0的部分乘以一个指数函数,可以避免ReLU函数的'死亡神经元'问题。
-
Softmax函数:将输入值映射到0和1之间,并且所有输出值的和为1,常用于多分类问题。
原文地址: https://www.cveoy.top/t/topic/lfh1 著作权归作者所有。请勿转载和采集!