使用激活函数的优缺点

优点：

1.非线性：激活函数是非线性的，使神经网络可以学习非线性模式，更好地适应复杂的数据分布。

2.可导性：激活函数的导数可以被用于梯度下降算法的计算，使神经网络能够进行反向传播。

3.稀疏性：某些激活函数（如ReLU）可以使一些神经元在训练过程中变得不活跃，从而减少了神经网络的参数数量，提高了模型的泛化能力。

缺点：

1.梯度消失/梯度爆炸：某些激活函数（如Sigmoid、tanh）在输入较大或较小时会出现梯度消失/梯度爆炸问题，导致神经网络无法训练。

2.计算复杂度：某些激活函数（如Softmax）的计算复杂度较高，会增加神经网络的计算负担。

3.不可凸性：某些激活函数（如ReLU）不是凸函数，可能存在多个局部最优解，使神经网络的训练过程不稳定。