CBS 激活函数是一种非线性激活函数,其全称为 'Continuously Differentiable Bounded Slope'(连续可微有界斜率)激活函数。它是一种类似于 ReLU 和 LeakyReLU 的激活函数,但是具有更平滑的导数。

CBS 激活函数的公式为:

f(x) = max(0, x) + min(0, c * (exp(x/c) - 1))

其中,c 是一个超参数,控制 CBS 函数在负半轴的斜率。

CBS 激活函数的优点是:

  1. 具有 ReLU 和 LeakyReLU 的优点,可以避免梯度消失问题,加速神经网络的训练速度。

  2. 具有更平滑的导数,可以使得神经网络的收敛速度更快。

  3. 具有有界性,可以避免梯度爆炸问题,提高神经网络的稳定性。

  4. 可以调整斜率,适应不同的数据集和任务。


原文地址: https://www.cveoy.top/t/topic/jRWx 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录