梯度下降策略中,应该尽可能选择更小的batch吗?
14. (判断题) 梯度下降策略中,应该尽可能选择更小的batch
A 对
B 错
答案:B
解析:
选择batch大小是一个权衡问题,过小的batch会导致训练速度慢,因为每个batch更新参数的次数更多。过大的batch会导致模型难以收敛到最优解,因为每次更新参数时,batch内的数据可能存在较大差异,导致更新方向不准确。
因此,应该根据具体情况选择合适的batch大小。一般来说,在模型训练初期,可以使用较小的batch size来帮助模型快速收敛到一个较好的区域。在模型训练后期,可以使用较大的batch size来提高训练速度。
原文地址: https://www.cveoy.top/t/topic/mBSj 著作权归作者所有。请勿转载和采集!