Darknet-53的激活函数

Darknet-53使用的激活函数是LeakyReLU（Leaky Rectified Linear Unit）。它是ReLU的变种，可以避免ReLU的“神经元死亡”问题，即某些神经元的输出恒为0，无法更新权重。LeakyReLU在输入为负数时，输出为输入的一个小比例（通常为0.1）乘以输入，而在输入为正数时，输出与输入相等。这样可以使得神经元在负数输入时也有一定的梯度，从而避免“神经元死亡”问题。