BP的残差公式梯度公式

BP算法是一种常见的神经网络训练方法，其核心是残差公式和梯度公式。

残差公式： 对于一个神经网络模型，假设其输出为y，期望输出为t，则残差为e=t-y。BP算法的核心思想是通过反向传播误差来更新模型的权重和偏置，而残差公式就是BP算法中计算误差的公式。

梯度公式： BP算法的另一个核心是梯度下降法，其核心是求解模型的梯度值，以确定更新方向和步长。在BP算法中，梯度公式用于计算每个神经元的权重和偏置的梯度值，其公式为：

∂E/∂w = δ * x ∂E/∂b = δ

其中，E为误差函数，w为权重，b为偏置，x为输入值，δ为误差传递率，其计算公式为：

δ = f'(z) * Σ(w * δ)

其中，f'(z)为激活函数的导数，z为神经元的输入值，Σ(w * δ)为后一层神经元误差的加权和。