Darknet19的激活函数

Darknet19使用的激活函数是LeakyReLU（带泄漏的ReLU函数），其定义为：

$$f(x) = \begin{cases} x & \text{if } x > 0 \ \alpha x & \text{otherwise} \end{cases}$$

其中，$\alpha$是一个小于1的常数，通常取0.1。带泄漏的ReLU函数相比普通的ReLU函数，在$x<0$时返回一个非零值，这样可以避免神经元“死亡”的问题，即当神经元输出为负数时，梯度为0，无法更新权重。带泄漏的ReLU函数可以保证在$x<0$时也有梯度，从而更好地训练网络。