b12128
原文:b12128
测试:修复由近联系引起的 TOPK_MOE 的 CI 碎片 (#31426) 测试:修复由近联系引起的 TOPK_MOE 的 CI 碎片 使用统一的随机 Logits,两个专家有时会在路由边界处彼此相距 1 f32 ulp 以内,主要使用 sqrt_softplus 门控,其输出范围很窄。如果后端的门控与 CPU 相差几个 ulp,那么它会选择另一个专家,测试就会失败。德拉
正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。
抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。
正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。