‹ llama.cpp Releases

b12146:金属:保险丝 DeepSeek-V4/V4.1 和 GLM MoE 路由 (#31615)

原文:b12146: metal : fuse DeepSeek-V4/V4.1 and GLM MoE routing (#31615)

llama.cpp Releases 未缓存正文

metal :支持 TOPK_MOE 融合中的比例偏差路由规范 DeepSeek-V4.1 图使用比例+偏差(sum + 1e-20)而不是其他模型使用的下钳位来规范路由权重。添加norm_bias/norm_scale_bias融合链,该融合链接受在钳位位置具有单位比例因子的SCALE节点,在内核args中传递附加偏差,并将其应用为max(wt_sum,钳位)+b

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类