[论文] 正确完成多标记预测 - Soft-MTP
原文：[Paper] Multi-Token Prediction Done Right - Soft-MTP
多标记预测 (MTP) 现在是语言模型预训练中的常见成分，因为它提高了下游性能并通过推测解码实现更快的推理。我们发现了标准 MTP 训练中的一个缺陷，其中 MTP 梯度的残余分量会干扰下一个令牌和多令牌学习，并且随着规模的增加，这种情况越来越严重。具体来说，MTP 交叉熵
正文没能搬到本站：该站禁止服务器（机房 IP）抓取，返回 site，换任何浏览器标识都拿不到。在手机上打开原站往往又慢又卡，下面先把收录到的内容给你。
本站会持续尝试重新抓取；也可以收藏这条，正文抓到后会永久保留。
正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。
