RELU 和 Sigmoid 激活函数：神经网络非线性逼近能力的奥秘

RELU 和 Sigmoid 函数是常用的激活函数，它们具有很强的非线性逼近能力。原因在于它们能够将输入的线性组合映射为非线性的输出。

以 RELU 函数为例，其公式为：

$$f(x)=\max(0,x)$$

当输入为负数时，输出为 0；当输入为正数时，输出等于输入本身。这种非线性映射能够更好地拟合复杂的数据分布，增强神经网络的表达能力。

以 Sigmoid 函数为例，其公式为：

$$f(x)=\frac{1}{1+e^{-x}}$$

Sigmoid 函数的输出值在 0 到 1 之间，具有很好的概率解释性。当输入越大时，Sigmoid 函数的输出趋近于 1；当输入越小时，输出趋近于 0。这种非线性逼近能力可以用来解决分类问题。

综上所述，RELU 和 Sigmoid 函数能够将输入的线性组合映射为非线性的输出，从而增强神经网络的表达能力，使其具有更强的非线性逼近能力。