‹ llama.cpp Releases

b12316:CUDA:跳过 MMQ Stream-k 修复中的空 MoE 块 (#32067)

原文:b12316: CUDA: skip empty MoE tiles in MMQ stream-k fixup (#32067)

llama.cpp Releases 未缓存正文

CUDA:跳过 MMQ 流-k 修复中的空 MoE 块 mul_mat_q_stream_k_fixup 在检查 j_sup 之前为所有 j < J 加载 ids_dst[col_low + j]。 mul_mat_q 在 col_low == col_high 上提前返回,而修复内核则没有。 mm_ids_helper 为每个专家发出一个额外的图块,该图块可能为空;对于尾随专家 col_low == ncols_dst,因此加载会读取 #29953 中添加的 J_best-1 填充之后的一个元素。克

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类