以一种不会产生学术重复的方法降重：最初的 ResNet 灵感源自一个问题：随着神经网络不断加深网络的准确率会先上升然后达到一定程度后就会饱和进而导致准确率下降的 Degradation 问题。这种现象不是由过拟合引起的因为不仅在测试集上的误差增大而且训练集本身上的误差也会增加。假设一个浅层网络已经达到了饱和的准确率即使再添加几个全等映射层误差也不会增加。这表明更深的网络不应该带来训练集上的误差上升

ResNet 的提出是为了解决神经网络深度增加导致 Degradation 问题的挑战。ResNet 的灵感源自于使用全等映射来传递前一层的输出到后一层。如果一个神经网络的输入是 x，那么期望的输出是 H(x)。如果我们直接将输入 x 作为初始结果传递到输出，那么需要学习的目标就是 F(x) = H(x) - x。因此，ResNet 的学习目标是输出和输入的差别 H(x) - x，即残差。为此，ResNet 引入了残差学习单元（Residual Unit）来实现这个目标。ResNet 的设计使得更深的网络不会导致训练集误差的上升，从而提高网络的准确率。