CBS 激活函数:连续可微有界斜率激活函数
CBS 激活函数是一种非线性激活函数,其全称为 'Continuously Differentiable Bounded Slope'(连续可微有界斜率)激活函数。它是一种类似于 ReLU 和 LeakyReLU 的激活函数,但是具有更平滑的导数。
CBS 激活函数的公式为:
f(x) = max(0, x) + min(0, c * (exp(x/c) - 1))
其中,c 是一个超参数,控制 CBS 函数在负半轴的斜率。
CBS 激活函数的优点是:
-
具有 ReLU 和 LeakyReLU 的优点,可以避免梯度消失问题,加速神经网络的训练速度。
-
具有更平滑的导数,可以使得神经网络的收敛速度更快。
-
具有有界性,可以避免梯度爆炸问题,提高神经网络的稳定性。
-
可以调整斜率,适应不同的数据集和任务。
原文地址: https://www.cveoy.top/t/topic/jRWx 著作权归作者所有。请勿转载和采集!