深度学习模型的‘突破’：理解性能跃升的关键

戴尔说道：‘我们如何理解这些急剧的转变，是一个极具研究价值的问题。’

正如预料的那样，在某些任务中，模型的性能随着复杂度的增加而平稳、可预测地提升。然而，在其他任务中，增加参数数量并没有带来任何改善。然而，对于大约 5% 的任务，研究人员发现了他们称之为‘突破’的现象——在某个阈值规模上，性能出现了迅速而戏剧性的跃升。这个阈值因任务和模型而异。