学习率衰减可以指数级加速 SGD 以实现非凸函数的全局优化

原文：Learning Rate Decay Can Exponentially Accelerate SGD for Global Optimization of Nonconvex Functions

随机梯度下降 (SGD) 是一种用于连续优化的主力算法。深度学习从业者普遍认为 SGD 的学习率衰减可以显着提高性能。然而，目前尚不清楚学习率衰减是否为全局非凸优化提供渐近优势。我们通过证明 n 来肯定地回答这个问题

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。