知道何时教学:从多语言推理蒸馏中的可教学前缀中学习
原文:Knowing When to Teach: Learning from Teachable Prefixes in Multilingual Reasoning Distillation
按策略自蒸馏 (OPSD) 通过使用与教师相同的以参考解决方案为条件的模型来训练学生自己的推理,从而改进推理。将 OPSD 应用于多语言推理需要教师提供跨语言的有用反馈,即使学生在中间步骤中犯了错误。我们观察到一种称为“教师漂移”的现象:因为这些错误
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。