O$^2$PD:可靠前缀上的重叠门控同策略蒸馏
原文:O$^2$PD: Overlap-Gated On-Policy Distillation on Reliable Prefix
在策略蒸馏 (OPD) 通过将学生与教师在其自己生成的推出中的下一个代币分布对齐来提供密集的代币级别监督。现有的工作大多实现 top-$k$ OPD,在教师 top-$k$ 支持上应用教师和学生的重正化分布之间的反向 Kullback-Leibler ($\RKL$) 散度。然而,老师给学生打分
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。