残差网络（ResNet）原理详解：深度学习中的关键技术

图2.4(a)为残差网络中残差单元的示意图，残差单元通过堆叠若干权重层的同时采用跳跃式连接，图中X为残差单元的输入，F(X)为经过权重层的输出特征。F(X)+X的是通过跳跃连接的前馈神经网络来实现，残差单元将输入以跳跃的方式与输出相加，将底层输出表示为H (x)= F (x)+x，通过堆叠的非线性层拟合F (x)=H(x)−x，再经过ReLU激活函数激活。跳跃连接的方式既不增加额外的参数，也不增加计算的复杂性。整个网络仍然可以通过具有反向传的SGD进行端到端训练。

图2.4(b)为ResNet-34的网络结构示意图，它包含了32个卷积层和1个全连接层，其中蓝色的残差单元为ResNet的核心部分。ResNet-34相对于传统的卷积神经网络，在深度增加的情况下，具有更好的性能和更快的收敛速度。

总之，ResNet通过跳跃式连接的方式解决了深度神经网络中的梯度消失和过拟合问题，极大地提高了深度神经网络的性能和可训练性。它已经成为了图像识别、目标检测、语音识别等领域中的重要技术，对于深度学习的发展产生了深远的影响。