‹ arXiv cs.LG

损失曲线遗漏了什么:FP4 预训练减慢了稀有事实的获取速度

原文:What the Loss Curve Misses: FP4 Pretraining Slows the Acquisition of Rare Facts

arXiv cs.LG 未缓存正文

低精度预训练通常通过验证损失来判断。我们询问匹配损失是否也意味着有效地学习稀有事实。我们从头开始训练变形金刚,在合成传记上进行模拟 4 位矩阵乘法,并控制曝光次数,将其单独训练并混合到网络文本中。 NVFP4 需要 1.32$\times$ 和 1.52$\times$ 与 BF16 一样多的曝光才能匹配其召回率

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类