预训练数据规模扭转了 Muon-AdamW 微调差距

原文：Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap

Muon 最近成为一种有前途的预训练大型语言模型优化器，在最小化预训练损失方面比 AdamW 提供了加速。然而，目前尚不清楚微调后 Muon 的优势是否仍然存在。在本文中，我们研究了 Muon 和 AdamW 的下游行为，并发现了一个令人惊讶的趋势：超出足够大的预训练数据预算，AdamW 表现优于

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。