保证金引导的代币信用，用于具有可验证奖励的强化学习

原文：Margin-Guided Token Credit for Reinforcement Learning with Verifiable Rewards

在具有可验证奖励的强化学习中，语言模型会因为正确的最终答案而获得奖励，并且 GRPO 将该奖励同等地传递给解决方案的每个标记。相反，我们将信用放在模型犹豫的地方，采用我们称为 MCPO（保证金信用政策优化）的方法。我们通过策略的下一个代币分布的 top-2 边距 $M=p_1-p_2$ 来衡量犹豫度，地图

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。