梯度下降法学习率与震荡现象:常见错误解析
常见错误解析:
'步长太大,容易引起震荡现象,可能无法收敛。'
正确理解:
步长太大确实会导致算法无法收敛,但不会引起震荡现象。震荡现象通常是由于学习率过大,导致模型在训练过程中反复跳跃,无法找到最优解。
其他关键信息:
- 学习率是人为确定的可以进行更改。
- 梯度下降法是常用的求函数最优解的方法,而不是求解析解的方法。
- 使用Tensorflow自动求导机制,不仅可以对多元函数和向量、矩阵求偏导数,还能通过梯度带求解高阶导数。
原文地址: https://www.cveoy.top/t/topic/ovy3 著作权归作者所有。请勿转载和采集!